ChatGPT 사용 시 두뇌 활동: 에세이 작성 작업에 AI 도우미를 사용할 때 발생하는 인지 부채의 축적

1. 💡 LLM 사용은 뇌 신경 연결성을 약화시키고 인지적 몰입을 감소시켜, 인지적 비용을 증가시킬 수 있다는 연구 결과가 나왔습니다.

2. 📚 LLM 그룹 참가자들은 에세이 소유권을 낮게 인식했으며, 작성 직후에도 에세이 내용을 인용하거나 요약하는 능력이 현저히 저하되었습니다.

3. 🧠 이러한 결과는 LLM이 즉각적인 이점을 제공하지만, 장기적으로는 학습 기술 감소라는 문제를 야기할 수 있음을 시사합니다.

이 논문은 ChatGPT와 같은 대규모 언어 모델(LLM) 사용이 에세이 작성 과제 수행 시 인지 부하, 학습 기술 및 인지 비용에 미치는 영향을 탐구한다. 인간의 인지 능력 감소 가능성을 '인지 부채(cognitive debt)'라는 용어로 설명하며, LLM 사용이 장기적으로 학습 능력 저하로 이어질 수 있다는 가설을 검증한다.

핵심 방법론:

본 연구는 총 54명의 참가자를 대상으로 4세션에 걸쳐 실험을 진행했으며, 참가자들은 무작위로 세 그룹으로 할당되었다:

1. LLM 그룹: OpenAI의 ChatGPT만을 정보원으로 사용하도록 제한받았다.

2. 검색 엔진 그룹 (Search Engine Group): LLM을 제외한 모든 웹사이트를 검색 정보원으로 활용할 수 있었다 (Google 사용).

3. 뇌-단독 그룹 (Brain-only Group): LLM이나 인터넷 검색 등 어떠한 외부 도구도 사용할 수 없이 오직 자신의 지식만을 활용해야 했다.

각 참가자는 3세션 동안 동일한 그룹에 할당되어 에세이 작성 과제를 수행했다. 4세션에서는 참가자 그룹이 재배정되었다. LLM 그룹 참가자 중 일부는 'LLM-to-Brain' 그룹으로, 뇌-단독 그룹 참가자 중 일부는 'Brain-to-LLM' 그룹으로 전환되어 각각 도구 없이 또는 LLM을 사용하여 과제를 수행했다. 이 4세션은 총 18명의 참가자만 완료했다.

데이터 수집 및 분석:

인지적 참여도와 인지 부하를 측정하기 위해 뇌파(EEG)를 기록하고 분석했다. 특히, 동적 직접 전달 함수(dynamic Directed Transfer Function, dDTF) 분석을 사용하여 뇌 영역 간의 신경 연결성(neural connectivity)을 알파(Alpha), 베타(Beta), 델타(Delta), 세타(Theta) 대역별로 평가했다.

자연어 처리(NLP) 기법을 사용하여 작성된 에세이의 언어적 특징을 분석했다. 여기에는 명명된 개체 인식(Named Entities Recognition, NER), n-그램(n-grams), 토픽 온톨로지(ontology of topics) 분석 등이 포함되었다.

각 세션 후 인터뷰를 통해 참가자들의 과제 수행 방식, 도구 사용 정도, 에세이에 대한 소유권(ownership), 만족도 등을 조사했다.

에세이 평가는 인간 교사와 AI 심판(AI judge)을 통해 이루어졌다.

주요 결과:

1. 신경 연결성 (EEG Analysis):

*   뇌-단독 그룹은 가장 넓고 강한 신경 연결 네트워크를 보였다.

*   검색 엔진 그룹은 중간 수준의 뇌 활동을 보였다.

*   LLM 그룹은 가장 약한 전체적인 뇌 연결성을 나타냈으며, 이는 외부 도구 사용량이 증가할수록 뇌 네트워크 활동이 감소하는 경향을 시사한다.

*   4세션 결과:

    *   LLM-to-Brain 그룹 (이전에 LLM 사용 경험이 있는 참가자): 알파 및 베타 대역의 활동 감소 등 신경 연결성이 약화되고 저조한 참여를 보였다.

    *   Brain-to-LLM 그룹 (이전에 도구 없이 글쓰기 경험이 있고 LLM을 사용한 참가자): 이전 LLM 그룹 세션들보다 높은 기억 회상(memory recall) 능력과 광범위한 후두-두정엽 및 전전두엽 영역의 재활성화를 보였다. 이는 시각 처리와 유사하며, 이전의 도구 없이 글을 쓴 경험이 LLM 사용을 통해 더 효과적으로 통합되었음을 나타낸다.

2. 언어적 및 내용 분석 (NLP Analysis):

*   LLM 그룹의 에세이에서는 NER, n-그램, 토픽 구조 등에서 그룹 내 동질성(homogeneity)이 높게 나타났다. 이는 LLM이 제공하는 답변의 경향성을 반영할 수 있다.

*   뇌-단독 그룹의 에세이는 LLM 그룹이나 검색 엔진 그룹에 비해 주제(topic)나 사용된 용어(n-grams, NER) 면에서 더 큰 편차와 독창성을 보였다.

*   LLM 그룹은 에세이에 대한 '소유권' 인식이 현저히 낮았으며, 작성 직후 자신의 에세이에서 인용(quoting)하는 능력 또한 크게 저하되었다.

*   검색 엔진 그룹은 뇌-단독 그룹보다는 낮지만, LLM 그룹보다는 높은 소유권을 보였다.

3. 참가자 인터뷰:

*   LLM 그룹 참가자들은 에세이 작성 후 자신의 글에 대한 '소유권'이 낮다고 보고했으며, 몇 분 전에 작성한 자신의 에세이에서 문장을 인용하는 능력도 떨어졌다.

*   전반적으로 4세션의 결과는 LLM 사용이 뇌 활동, 언어적 표현, 결과물 평가(scoring) 등 모든 측면에서 참가자들의 성능을 저하시킬 수 있음을 시사한다.

결론:

본 연구는 LLM 사용이 초기에는 즉각적인 이점을 제공할 수 있지만, 4개월에 걸친 4세션 동안 LLM 그룹 참가자들이 뇌 활동, 언어 분석, 결과 평가 측면에서 뇌-단독 그룹의 참가자들보다 모든 수준에서 낮은 성과를 보였다고 결론짓는다. LLM 사용은 인지 부채를 축적시켜 학습 기술을 감소시킬 위험이 있으며, 교육 환경에서 AI의 사용에 대한 신중한 접근과 이해가 필요함을 강조한다.

요약 :