Titans와 MIRAS: AI 인공지능의 ‘장기 기억’ 시대를 여는 새로운 기술
AI가 인간처럼 긴 이야기나 복잡한 문서를 읽고 오래 기억할 수 있다면 얼마나 더 똑똑해질까요? 바로 그 꿈에 한 발짝 다가선 것이 Titans와 MIRAS라는 최신 인공지능 기술입니다. 오늘은 이 두 가지 연구가 어떻게 AI의 ‘장기 기억’을 혁신했는지 쉽고 재미있게 풀어보겠습니다.
시퀀스 모델의 한계와 새로운 도전: 왜 ‘장기 기억’이 어렵나?
AI가 언어를 이해할 때 가장 핵심적으로 사용하는 기술은 바로 ‘시퀀스 모델’입니다. 그 중에서도 최근 가장 핫한 방식은 ‘트랜스포머’(Transformer)인데요, 여러 문장이나 단어, 심지어 유전체 데이터처럼 길고 복잡한 정보를 처리할 때 아주 빠르고 정확합니다.
하지만 문제도 있습니다. 트랜스포머는 정보를 길게 늘어놓을수록 계산량이 폭증합니다. 그래서 정말 긴 문서나 과거 사건까지 모두 챙겨야 할 때는 ‘메모리 초과’로 어려움을 겪죠. 이 한계를 극복하려고 RNN(순환 신경망)이나 SSM(상태 공간 모델) 등 다양한 대안이 등장했지만, 이들은 보통 정보를 작은 덩어리로 압축해버려 풍부한 맥락을 놓치는 한계가 있었습니다.
Titans: AI의 ‘깊은 장기 기억’을 위한 새로운 설계
Titans는 이 문제를 푸는 새로운 해결책입니다. 기존 RNN이 갖고 있던 딱딱하고 작게 압축된 메모리 대신, 여러 층(딥러닝)을 겹친 ‘장기 기억 모듈’을 도입한 것이 가장 큰 특징입니다. 이미지로 보면 이렇게 세 단계로 나뉩니다:
이미지 출처: googleapis
이전까지는 짧은 대화, 간단한 문장처럼 ‘금방 잊어도 되는’ 정보를 처리하는 데 강점을 보였지만, Titans는 중요한 맥락이 오랜 시간 남도록 ‘깊은 신경망’에서 요약해 저장합니다. 이 덕분에 장문의 글이나 복잡한 의사결정 과정에서 AI가 맥락을 잊지 않고 끝까지 기억할 수 있게 되었죠.
놀라움 메트릭: AI도 깜짝 놀라면 오래 기억한다?
Titans의 또 한 가지 흥미로운 기능은 바로 ‘놀라움 메트릭’입니다. 사람도 예상치 못했던 일이나 신선한 정보는 더 오래 기억하죠? 마찬가지로 AI도 이전에 예측하지 못했던 이벤트(즉, 놀라운 정보)를 장기 기억에 저장할 확률을 높입니다.
예를 들어 회의록을 읽던 중 갑자기 ‘바나나 껍질이 미끄러졌다’는 엉뚱한 문장이 튀어나오면, Titans는 “이건 이상하다!”라고 감지하고 반드시 기억에 남깁니다. 반면 평범한 정보는 ‘금방 잊어도’ 괜찮다는 셈이죠. 이를 통해 정말 중요한 정보만 걸러 장기 기억하며, 정보 처리 속도도 빨라집니다.
MIRAS: 시퀀스 모델링의 이론적 통합 프레임워크
Titans가 실제 동작 방식이라면, MIRAS는 그 뒤에 깔린 ‘설계 철학’입니다. MIRAS에서는 AI가 정보를 어떻게 기억하고, 어떤 것을 잊어야 하는지, 그리고 이 과정 전체를 최적화하는 방법을 하나의 프레임워크로 정리했습니다.
여기서 핵심은 4가지입니다:
메모리 구조: 정보를 어디, 어떻게 저장할 것인가? (벡터, 행렬, 혹은 깊은 신경망 등)
주의 편향: 어떤 정보에 집중할 것인가?
보유 게이트: 무엇을 잊고 무엇을 남길지 결정하는 장치
메모리 알고리즘: 메모리를 업데이트하고 최적화하는 방식
이렇게 각 요소를 조합하면, RNN-트랜스포머의 장점뿐만 아니라 새로운 형태의 AI 모델을 이론적으로 설계할 수 있게 됩니다.
기존 방식의 틀(Cost: MSE)을 넘어: 독창적 손실 함수와 정규화
AI 모델 대부분은 평균 제곱 오차(MSE)라는 익숙한 수학 방식을 써서 정보를 관리합니다. 하지만 이 방식은 독특하거나 이상치에 약하고, 복잡한 구조를 담아내기 어려웠습니다.
MIRAS의 큰 혁신은 바로 이 틀을 깨고, 평면(Euclidean) 구조를 넘어 다양한 손실 함수와 정규화 방식, 그리고 ‘확률 지도’처럼 더 안정적인 메모리 업데이트 방법을 도입했다는 점입니다. 덕분에 ‘실수 한 번’으로 전체 모델이 혼란스럽게 흔들리는 일을 줄이고, 실전적으로 강인한 AI를 설계할 수 있습니다.
실험 결과와 타 모델과의 비교: 성능과 효율성 모두 잡았다
연구팀은 Titans와 MIRAS 기반 모델(YAAD, MONETA, MEMORA)을 최신 AI 모델인 GPT-4, Mamba-2, DeltaNet 등과 비교 평가했습니다. 그 결과는 놀랍습니다.
최신 벤치마크(BABILong 등)에서 Titans는 더 적은 파라미터(용량)만 사용하면서도, 긴 문서와 복잡한 맥락을 정확하게 기억했습니다. ‘깊은’ 메모리 구조가 단순한 구조보다 복잡한 정보를 더 오래, 더 정확히 기억하는 것도 분명하게 입증되었죠.
이미지 출처: googleapis
또 다른 실험에서는 Titans가 GPT-4 등 거대한 AI 모델보다도 긴 컨텍스트에서 훨씬 높은 정답률을 기록했습니다.
이미지 출처: googleapis
이렇게 Titans와 MIRAS는 AI가 장기 기억을 완전히 새 방식으로 구현하게 하면서, 효율성과 정확성 모두를 크게 끌어올렸습니다.
Titans와 MIRAS가 여는 AI의 미래: 더 똑똑한 기억, 더 깊은 이해
이번 기술은 단순히 ‘기존 모델보다 좀 나은 성능’이 아니라, AI 모델의 설계와 시퀀스 처리 구조 그 자체를 완전히 새롭게 바꾸는 전환점입니다. Titans와 MIRAS를 활용하면 AI가 정말 오랫동안 중요한 정보를 기억하고, 즉각적으로 그 기억을 업데이트할 수 있죠.
지금은 긴 문서를 이해하거나, 시간에 따라 변하는 쏟아지는 데이터(유전체, 시계열 등)를 처리할 때만 주로 쓰이지만 앞으로는 ‘자신만의 경험’을 기억하는 AI, 완전히 새로운 종류의 인공지능 개발에도 쓰일 수 있습니다.
시사점: AI 시대의 기억력, 얼마나 더 확장될까?
AI가 더 오래, 더 정확히 기억한다는 건 단순한 기술적 진보가 아닙니다. 예를 들어 이메일 클라이언트가 사용자의 습관을 직접 배우고, 스마트카가 실제 운전자 경험을 꾸준히 기억해 나가는 것―이 모두 AI의 ‘장기 기억’이 발전해야만 가능한 일입니다.
Titans와 MIRAS처럼 메모리 구조의 근본부터 바꾸는 연구는 앞으로 ‘사람처럼 기억하고 배울 수 있는’ 진짜 인공지능을 만드는 핵심 열쇠가 될 것입니다. 앞으로 이 기술이 다양한 분야와 일상 생활에 어떻게 접목될지 주목해봐야겠습니다!
참고
[1] Titans + MIRAS: Helping AI have long-term memory - Google Research
[2] Neural network (machine learning) - Wikipedia
[3] Transformer (deep learning) - Wikipedia
[4] Large language model - Wikipedia