인공지능의 ‘망각’을 막다: 구글의 Nested Learning 혁신과 HOPE 아키텍처

인공지능(AI)은 날이 갈수록 똑똑해지고 있지만, 누구도 상상 못한 ‘치명적 망각’이라는 문제에 시달려왔습니다. Google은 이를 해결하기 위해 뇌과학에서 영감을 받은 ‘Nested Learning(중첩 학습)’을 제시했습니다. 이 글에서는 Nested Learning의 핵심 원리와 구글 HOPE 아키텍처가 어떻게 AI의 장기 기억, 지속적 성장, 그리고 AGI(범용 인공지능)로 가는 길을 열었는지 쉽고 재미있게 풀어봅니다.

치명적 망각: AI가 잊어버리는 이유와 한계

대규모 언어 모델(LLM)은 방대한 데이터로 훈련되지만, 실제로는 학습이 끝나면 지식이 고정되고, 새로운 정보는 기억하지 못합니다. 마치 시험 공부한 뒤, 시험지를 돌려준 순간부터 아무것도 떠오르지 않는 느낌과 비슷하죠. 기존 AI는 ‘프리트레이닝’ 지식만을 기억하거나, 당장 처리하는 컨텍스트 창 내 정보만 유지할 수 있습니다. 새로운 정보를 추가하면 이전 기억을 쉽게 덮어져 망각이 발생하며, 업데이트를 반복할수록 망각은 심각해집니다. 이는 AI가 인간을 닮은 ‘지속적 학습’을 할 수 없게 만드는, AGI로의 큰 장벽이었습니다.

Nested Learning: 뇌 속 기억의 비밀을 AI에 심다

Nested Learning(중첩 학습)은 뇌가 정보를 다루는 방식을 참고했습니다. 인간의 뇌는 빠른 회로로 현실을 처리하고, 느린 회로가 중요한 패턴을 장기 기억으로 정리합니다. 이를 AI에 적용하면, 모델의 각 구성 요소를 업데이트 빈도에 따라 그룹화하고, ‘기억의 층’을 만듭니다.

이 시스템에서는 옵티마이저와 학습 알고리즘을 ‘기억의 일부’로 취급합니다. 여러 모듈로 나뉜 ‘연속 기억 시스템(CMS)’은 각기 다른 속도로 업데이트되어 새로운 정보가 기존 지식을 침범하지 않게 만듭니다. 네트워크의 다른 영역이 필요한 때마다 빠르게 혹은 천천히 진화하며, 유연한 학습이 가능해집니다.

HOPE: 구글의 자기진화형 AI, 진짜 뇌처럼 배우다

Google은 Nested Learning의 실체를 증명하기 위한 ‘HOPE(Highly Optimized Process Engine)’ 아키텍처를 만들었습니다. HOPE에서는 ‘Titans’라는 장기 기억 모듈이 눈에 띕니다. 이 모듈은 AI가 예상 못한 깜짝 정보를 따로 저장하고, 다양한 형태의 메모리와 CMS 블록을 적극 활용합니다.

중첩된 여러 레이어가 각각 다른 속도로 작동하여, 일부는 사용자의 입력에 바로 반응하고, 일부는 오랫동안 중요 정보를 축적합니다. 심지어 학습 규칙 자체를 AI가 스스로 개선할 수 있어, ‘학습을 배우는’ 진정한 메타러닝까지 실현됩니다. HOPE는 더 이상 한 번 훈련하면 ‘멈춰있는’ AI가 아닙니다.

성능 검증: HOPE vs 기존 최신 모델

이 혁신적인 구조의 효과는 실제 성능 테스트에서 입증되었습니다. 구글은 13억 개 파라미터를 가진 모델을 1000억 토큰 데이터에 학습시켜 실험을 진행했습니다. 그 결과, HOPE는 Transformer++, RetNet, DeltaNet 등 최신 모델보다 손실은 더 낮고, 벤치마크 점수는 더 높았습니다.

특히 대량의 텍스트에서 극히 일부의 정보를 찾는 ‘바늘 찾기’ 같은 장기 컨텍스트 작업에서, HOPE는 기존의 트랜스포머와 현대 순환 신경망을 모두 앞섰습니다. 독립적 연구에서도 같은 결과가 재현되었죠.

AGI로 가는 길목, Nested Learning의 의미

구글의 Nested Learning은 단순한 아키텍처 개선이 아니라, AI의 ‘기억’과 ‘성장’의 방식을 근본적으로 뒤흔드는 패러다임 전환입니다. 글로벌 주요 AI 연구소들도 비슷한 망각 해법을 내고 있어, AGI로 향하는 경쟁은 더 치열해지고 있습니다.

이제 AI는 ‘얼마나 많은 지식을 갖고 있냐’가 아니라, ‘얼마나 잘 배우고 오래 기억하느냐’가 관건입니다. Nested Learning은 인간과 가까워질 수 있는 본질적 한 발을 내디뎠고, 앞으로 개인화, 적응형 학습, 본격적인 AGI 시대로의 전환을 빠르게 앞당길 것입니다.

정리 및 실용적 제언

AI 기술이 진짜 사람처럼 배우고, 기억하고, 성장하기 위한 길에 Nested Learning이 등장했습니다. 교육, 비즈니스, 로봇까지 이 방식의 확장은 무궁무진해질 수 있습니다. 앞으로 AI 도입 시, 얼마나 ‘기억을 오래 보존하며 스스로 진화하는지’에도 관심을 갖고 비교하는 것이 중요해질 것입니다.

참고

[1] Google's Nested Learning aims to stop LLMs from catastrophic forgetting - THE DECODER

[2] Minds architect Google's "Nested Learning" - ExecuteAI Software - ExecuteAI Software