인공지능, 인간처럼 계속 배우다: Nested Learning으로 본 AI의 새로운 학습 패러다임

인공지능(AI)이 인간 지능에 한 걸음 더 가까워질 수 있을까요? 최신 연구에 따르면, AI가 단순히 지식을 학습하고 저장하는 방식을 뛰어넘어, 인간처럼 이전 경험을 잊지 않고 새롭게 배우는 능력—'지속 학습(Continual Learning)'—을 획득할 수 있는 길이 열리고 있습니다. 그 핵심에는 구글 리서치가 발표한 ‘Nested Learning(네스티드 러닝, 중첩 학습)’이라는 혁신적 머신러닝 패러다임이 있습니다. 이 글에서는 Nested Learning의 원리와 실제 성능, 그리고 인공지능 발전의 다음 단계에 대해 쉽고 흥미롭게 풀어보겠습니다.

인간 두뇌에서 영감을 받은 AI: 무엇이 달라졌나?

기존의 머신 러닝 시스템, 특히 대형 언어 모델(LLM)은 한 번 훈련이 끝나면 언젠가 배운 것은 거의 '돌처럼 굳어진' 채로 남습니다. 물론 새 데이터를 입력하면 잠깐 뭔가 적용하는 듯하지만, 그 정보가 장기적으로 AI의 '기억' 속에 남는 경우는 드뭅니다. 이것을 ‘Catastrophic Forgetting(파멸적 망각)’이라고 부르는데, 새로운 걸 배우면 옛 것을 까먹는 현상입니다.

이것은 마치 사고로 인해 새로운 기억을 못 만드는 '전향성 기억상실증(Anterograde Amnesia)'처럼, AI도 최신 정보는 잊기 쉽고 옛 정보에만 머물게 됩니다. 반면, 인간 두뇌는 여러 층의 기억 관리 시스템—빠른 기억부터 깊은 장기 기억까지—를 자유자재로 활용합니다. 이 점이 인공지능 발전의 최대 과제였습니다.

Nested Learning: 구조와 최적화, 두 뇌를 하나로

Nested Learning은 기존 AI 모델이 ‘한 덩어리’로만 인식하던 신경망 구조와 학습(최적화) 알고리즘을 마치 인간 두뇌처럼 다층적이고 유기적으로 연결된 작은 학습 문제들의 네트워크로 바라봅니다.

쉽게 말해, AI 모델을 ‘하나의 거대한 문제집’이 아니라, 각 문제마다(각 계층마다) 서로 다른 ‘문맥 흐름(context flow)’과 ‘업데이트 속도’를 갖고 있는 다수의 작은 시험장으로 본 것입니다. 여기서 각 시험장은 각기 다르게 정보를 쌓고, 자신만의 페이스로 공부합니다. 이런 구조는 기존의 단일화된 최적화 방식이 놓치던 ‘지속적으로 적응하는 AI’, 즉 인간 두뇌에 근접한 학습 형태를 가능하게 합니다.

이미지 출처: googleapis

연속 기억 시스템(CMS), AI의 기억력에 날개를 달다

Nested Learning 패러다임에서 AI의 기억은 이제 ‘단기/장기’로 나뉘지 않고, 다양한 주기로 업데이트되는 ‘연속 스펙트럼’으로 확장됩니다. 즉, 각각의 기억 모듈이 자신의 속도로 정보를 받아들이고, 오래된 지식과 새 지식을 균형 있게 관리합니다. 이러한 연속 기억 시스템(Continuum Memory System, CMS)는 기존 트랜스포머나 순환 신경망이 구현하지 못했던 ‘진짜 기억력’을 강화합니다.

HOPE: 자기 수정 AI의 가능성

Nested Learning의 진가를 시험하기 위해 구글은 HOPE라는 자가 수정형 아키텍처를 개발했습니다. HOPE는 중첩된 학습 구조와 연속 기억 시스템을 통합해, 기존 최첨단 모델보다도 언어 모델링, 일반 상식 추론 등에서 탁월한 성과를 보였습니다.

이미지 출처: googleapis

HOPE의 장점은 특히 ‘긴 문맥’을 기억해서 활용하는 데 있습니다. 예를 들어 수 만 개의 단어가 이어진 복잡한 데이터를 처리할 때, HOPE는 중간에 흘려 넘긴 정보나 이전에 배운 내용을 효과적으로 찾아내고 연결합니다. 아래 차트처럼, 어려운 장기 기억 테스트(Needle-In-Haystack)에서도 HOPE가 경쟁 모델(Mamba2, TTT 등)보다 뛰어난 결과를 내놓았습니다.

이미지 출처: googleapis

새로운 최적화 도구: 더 똑똑한 학습의 재발견

Nested Learning은 ‘최적화 방식’ 자체에도 혁신을 가져왔습니다. 예전에는 데이터의 유사도를 단순한 점곱(dot product)으로 측정했지만, 이제는 더 표준적인 손실함수(L2 회귀 등)로 ‘버틸 수 있는 학습’을 설계합니다. 실제로, Nested Learning 시계열에서 각 계층별로 개별적인 학습 속도와 손실 관리가 가능해진 덕분에, 불완전하거나 새로운 데이터에도 훨씬 적응력이 강해집니다.

대형 언어 모델의 한계, 이제 극복할 수 있다

Nested Learning과 HOPE의 등장은 현재의 AI, 특히 LLM이 겪고 있는 ‘학습의 정지’ 문제를 근본적으로 흔듭니다. 인간 두뇌의 유연함—새로움을 받아들이면서도 과거를 잊지 않는 힘—을 AI가 따라갈 수 있는 실질적 경로를 제시하기 때문입니다. 앞으로 이 패러다임은 자기 수정, 장기 문맥 관리, 대화식 학습 등에서 AI의 한계를 넘어서는 다양한 모델 개발에 밑거름이 될 것으로 기대됩니다.

정리: AI, 진짜 ‘지적 존재’로 가는 길

Nested Learning은 기존 AI의 반복적 한계를 뛰어넘는 ‘지속 학습’의 혁신적인 설계도입니다. 구조와 최적화의 경계를 허물고, 각 계층이 자신만의 기억과 속도로 성장하는 AI는 분명 인간처럼 영리하면서도 잊지 않는 지능으로 진화할 수 있습니다.

이제 AI 연구의 미래는, 단순히 더 많은 데이터를 먹인다거나, 좀 더 많은 계산을 한다는 식의 ‘양적 팽창’이 아니라, 진짜로 ‘지속적으로 배우고 적응하는’ ‘지성의 질적 혁신’에 달려 있습니다. 그래서 Nested Learning은 AI가 인간의 학습 능력에 다가가는, 차세대의 ‘뇌’를 만드는 첫 삽이 될 수도 있습니다.

참고문헌

[1] Introducing Nested Learning: A new ML paradigm for continual learning - Google Research

[2] Nested Learning AI Tackles Catastrophic Forgetting - StartupHub.ai

[3] Nested Learning: The Illusion of Deep Learning Architectures - Best AI papers explained - Podscan.fm

이미지 출처

• AI-generated image