AI 신경망의 암기와 문제 해결, 완전히 다른 길을 걷다

AI(인공지능)의 뇌 속 비밀, 어디까지 알고 계신가요? 똑똑한 챗봇이나 번역기는 단순 암기일까요, 진짜 ‘생각’하고 있을까요? 최근 연구진이 AI 신경망에서 ‘암기’와 ‘문제 해결’이 서로 다른 경로로 처리된다는 사실을 첫 실험으로 입증했습니다. 이 놀라운 결과는 앞으로 AI의 안전, 저작권 보호, 더 똑똑한 모델 개발에 엄청난 변화를 가져올 열쇠가 될 수 있습니다.

암기와 추론, 신경망 속에서 갈라지는 두 길

AI를 훈련시키면 데이터를 받아들이고, 기억하며, 새로운 문제를 푸는 다양한 능력이 생깁니다. 이번 연구는 OLMo-7B 언어 모델의 특정 신경망 계층(22번 영역)에서 ‘암기 경로’와 ‘문제 해결 경로’가 실제로 물리적으로 분리된다는 점을 밝혀냈습니다. 연구팀은 각 가중치의 ‘곡률(curvature)’을 분석해보니, 암기 전용 컴포넌트는 하위 50%에 몰려 있고, 추론(문제 해결) 전용 컴포넌트는 상위 10%에 집중된 모습이었습니다.

이 말인즉슨, 신경망을 정밀하게 살펴보면 “이 부분은 외워둔 것만 재생” “저 부분은 논리를 돌린다”라는 식으로 전담 구역이 나뉘어진다는 뜻입니다.

암기를 지운 AI, 문제 해결은 그대로!

그럼 만약 AI의 ‘암기 경로’를 지워버리면 어떻게 될까요? 놀랍게도 AI가 훈련 데이터를 하나도 기억하지 못하게 되면서도, 여전히 논리적 문제 해결 능력은 거의 무너지지 않았습니다. 실제 실험에서 암기 능력은 무려 97%나 사라졌지만, 논리 추론은 오히려 95~106%에 달하는 본래 성능을 유지했습니다.

다양한 모델, 비전(이미지) AI에도 동일한 방법을 적용해보니 똑같은 경향을 확인할 수 있었습니다. 즉, AI는 이미 배운 사실을 외우는 것과 새로운 문제를 푸는 것, 두 가지를 완전히 독립적으로 처리하고 있었던 겁니다.

수학 연산, AI에겐 ‘암기’에 가까웠다!

여기서 또 예상 밖의 결과가 나왔습니다. 수학 계산, 특히 간단한 산술(예: 2+2=4)은 추론 능력이 아니라 ‘암기 경로’를 사용하는 것으로 밝혀졌습니다. 실제로 암기 경로를 제거하자 수학 성능이 66%까지 곤두박질쳤지만, 논리적 사고 과제는 건재했습니다. 즉, AI는 단순 합이나 곱셈을 ‘암기장’에 적어두고 꺼내는 편이지, 인간처럼 계산을 논리적으로 수행하는 게 아니었던 셈입니다.

곡률 분석과 K-FAC: 신경망 분해의 기술적 진화

이번 연구는 ‘손실 지형(loss landscape)’이라는 개념을 적용해 신경망 내 정보의 민감성을 시각화했습니다. 곡률이 급한 부분은 조그만 변화에도 결과가 크게 요동치고, 평평한 부분은 별 영향이 없죠. 암기 컴포넌트는 특정 기억(예: 거장 대사, 역사적 인용구)에 대해 뾰족한 곡선을 그렸지만, 평균을 내면 평탄해졌습니다. 반대로 논리적 추론 경로는 다양한 입력에 꾸준히 활약하면서 안정적인 곡률을 유지했습니다.

연구진이 쓴 K-FAC라는 고급 분석 기술은 기존 암기 제거법들보다 더 강력하게 작동했습니다. 훈련 데이터 없이도 암기 정보를 효율적으로 삭제할 수 있었고, 흔하지 않은 정보(예: CEO 이름)일수록 더 많이 사라졌다는 점도 함께 확인됐습니다.

AI 안전성과 정보 관리, 앞으로의 큰 변화 예고

이 기술이 발전하면 앞으로 AI 업체는 저작권이 있는 데이터, 개인정보, 유해한 암기 정보만 골라서 깔끔하게 제거할 수 있는 길이 열립니다. 물론 신경망 속 정보는 복잡하고 얽혀 있어서 아직 완전 제거를 확신할 수는 없습니다. 게다가, 한 번 지웠던 정보도 추가 학습을 주면 다시 살아날 수 있습니다. 하지만 이는 AI 신경망의 구조적 특징을 이해하는 데 있어서 중요한 출발점이자, ‘AI 안전성 강화’라는 꿈을 현실로 만들 첫걸음입니다.

정리 및 전망: ‘진짜 추론하는 AI’로 한 걸음 더!

이번 연구가 변화시킨 핵심은 AI에게 ‘암기와 추론’이 똑같지 않다는 걸 명확하게 보여줬다는 점입니다. 미래엔 저작권, 프라이버시, 모델 성능 향상 등 다양한 분야에서 AI 신경망의 메모리 구조를 정밀하게 조작할 수 있는 길이 확대될 전망입니다.

아직 인간의 창의적 추론과 완전히 같지는 않지만, AI가 ‘단순 암기 머신’을 넘어서 사고와 문제 해결에 더 가까워지는 진화가 진행 중인 셈이죠. 우리도 이제 “AI가 암기한 거냐, 진짜 생각한 거냐?”라는 질문에 좀 더 깊이 고민할 수 있는 시대가 왔습니다.

참고

[1] Study finds AI models store memories and logic in different neural regions - Ars Technica