언어 모델을 이해하는 방법은 성능이 높을 때만 관찰하는 것이 아니다. 일부러 망가뜨렸을 때 어떤 방식으로 실패하는지를 보면, 모델 내부에서 언어 기능이 어떻게 조직되어 있는지 더 선명하게 드러날 수 있다.
논문 「Artificial Aphasias in Lesioned Language Models」는 이 관점에서 언어 모델에 인위적 병변을 만들고, 그 결과를 인간 실어증 유형과 비교했다.1 여기서 병변은 모델의 일부 매개변수를 0으로 만드는 방식으로 구현됐다.1
실어증은 언어 기능 손상의 패턴을 보여준다
실어증은 뇌 손상 뒤 나타날 수 있는 선택적 언어 장애다.1 핵심은 단순히 “말을 못 한다”가 아니라, 어떤 언어 기능이 어떤 방식으로 손상되는지를 구분해 보여준다는 점이다.
그래서 실어증 연구는 손상된 뇌 영역과 특정 증상 프로필 사이의 인과적 연결을 파악하는 데 쓰여 왔다.1 이 논문은 같은 사고방식을 언어 모델에 적용한다. 모델의 특정 부분을 손상했을 때 어떤 종류의 언어 오류가 나타나는지 측정한 것이다.
병변은 모델 내부의 기능 분화를 드러낸다
연구진은 다섯 개의 1B 규모 언어 모델에서 112,426개 출력을 만들고, Text Aphasia Battery로 증상을 평가했다.1 그 결과 병변 언어 모델에서도 다양한 증상 프로필이 나타났다. 다만 전체 분포는 인간 실어증과 상당히 달랐다.1
차이는 모델의 어느 부분을 손상했는지에 따라 달라졌다. 어텐션 구성요소와 피드포워드 구성요소를 손상했을 때 서로 다른 증상 프로필이 나타났고, 층의 위치에 따라서도 양상이 달랐다.1 초기 층의 병변은 구문·의미 관련 증상을 더 많이 만들었고, 중후반 층의 병변은 음운·유창성 결함을 더 많이 만들었다.1
이는 언어 모델 내부에도 언어 기능과 관련된 분화가 생길 수 있음을 시사한다. 하지만 이것이 곧 “언어 모델이 사람 뇌처럼 작동한다”는 뜻은 아니다.
닮은 점보다 중요한 것은 실패 방식의 차이다
연구에서 일부 모델 병변은 특정 인간 실어증 유형과 정량적으로 유사한 프로필을 보였다.1 그러나 증상의 질적 패턴은 인간 실어증과 달랐다.1 즉, 겉으로 비슷한 점수가 나오더라도 내부 구조와 실패 원인은 다를 수 있다.
이 연구의 의미는 AI가 사람처럼 “아프다”는 데 있지 않다. 오히려 임상 언어학의 분류 도구를 빌려, 언어 모델의 실패를 더 세밀하게 분석할 수 있다는 데 있다. 같은 “언어 시스템의 손상”이라도 인간과 모델은 같은 방식으로 무너지지 않는다.
모델 평가는 정답률 너머의 실패 패턴을 봐야 한다
실무적으로 이 연구는 모델 평가의 관점을 넓힌다. 정답률이나 평균 성능만 보면 모델이 왜 실패하는지 알기 어렵다. 반대로 실패가 어떤 유형으로 반복되는지 보면, 모델이 언어 정보를 어떻게 처리하고 조직하는지에 대한 단서를 얻을 수 있다.
따라서 병변 언어 모델 연구의 가치는 인간 실어증을 그대로 복제하는 데 있지 않다. 모델을 체계적으로 망가뜨려 봄으로써, 그 실패의 형태를 비교하고 해석할 수 있는 기준을 만드는 데 있다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.