오래 탐험하는 AI에게 필요한 것: 기억과 세계 모델

AI 생성 이미지

3D 환경을 돌아다니는 AI 에이전트에게 호기심은 성격이 아니라 학습 장치입니다. 보상이 드문 장기 과제에서는 유용한 행동을 배우기 전에, 먼저 충분히 탐색할 수 있어야 합니다.¹

호기심 기반 강화학습은 보통 에이전트가 예측한 세계와 실제 관측 사이의 차이를 내재 보상으로 사용합니다.¹ 예측이 틀릴수록 “새롭다”고 보고 더 탐색하게 만드는 방식입니다. 문제는 복잡한 포토리얼리스틱 환경에서 이 원리가 쉽게 흔들린다는 점입니다. 에이전트가 같은 구역을 반복해서 돌거나, 이미 본 상태를 잊고 다시 새 보상을 받을 수 있기 때문입니다.¹

중요한 것은 새로움보다 ‘기억된 새로움’입니다

이번 연구의 핵심은 호기심이 제대로 작동하려면 두 종류의 기억이 필요하다는 것입니다.¹

첫째는 계속 갱신되는 영속적 세계 모델입니다. 쉽게 말해, 에이전트가 지금까지 관측한 공간을 누적해 만든 세계의 기록입니다. 둘째는 에피소드 궤적 이력입니다. 이번 탐험에서 에이전트가 어디를 어떤 순서로 지나왔는지에 대한 맥락입니다.¹

이 둘이 함께 있어야 에이전트는 단순히 “낯설어 보이는 장면”과 “실제로 아직 탐색하지 않은 영역”을 구분할 수 있습니다. 같은 장소를 반복 방문하는 행동은 줄이고, 새로운 영역으로 이동하는 행동은 더 잘 선택할 수 있습니다.

왜 기존 호기심은 루프에 빠지는가

호기심 기반 탐색의 실패는 단순히 보상 설계가 약해서가 아닙니다. 논문은 그 원인을 공간적 지속성과 에피소드 맥락의 부족으로 설명합니다.¹

공간적 지속성이 없으면 에이전트는 자신이 본 세계를 안정적으로 축적하지 못합니다. 에피소드 맥락이 없으면 이번 탐험에서 이미 지나온 경로를 행동 판단에 충분히 반영하지 못합니다. 그 결과 복잡한 3D 환경에서는 지역 루프에 갇히거나, 익숙한 상태를 반복해서 새롭게 착각하는 문제가 생깁니다.¹

따라서 더 강한 호기심을 만드는 일은 단순히 보상을 키우는 문제가 아닙니다. 무엇을 봤는지, 어디를 지나왔는지, 어떤 공간이 아직 남아 있는지를 함께 유지하는 구조의 문제입니다.

영속적 세계 모델과 시퀀스 정책의 결합

이 연구는 온라인 3D 재구성을 영속적 세계 모델로 사용합니다.¹ 에이전트가 이동하면서 관측한 정보를 바탕으로 환경 표현을 계속 업데이트하는 방식입니다. 세계를 매 순간 새로 판단하는 것이 아니라, 탐험이 진행될수록 누적되는 모델로 다룹니다.

정책은 RGB 관측 시퀀스를 입력으로 받는 시퀀스 모델로 매개변수화됩니다.¹ 즉, 한 장면만 보고 다음 행동을 고르는 것이 아니라, 최근 관측의 흐름을 함께 사용합니다. 이 설계는 에이전트가 현재 장면을 이전 경험과 연결해 해석하도록 돕습니다.

AI 에이전트 설계에서 봐야 할 기준

이 연구가 주는 실용적인 교훈은 분명합니다. 장기 과제를 수행하는 에이전트에서는 “얼마나 똑똑한가”만큼 “무엇을 어떻게 기억하는가”가 중요합니다.

로봇, 게임 에이전트, 시뮬레이션 학습 시스템을 설계한다면 다음 질문을 확인해야 합니다.

• 에이전트가 이미 방문한 공간을 지속적으로 기록하는가?

• 이번 에피소드에서의 이동 경로와 관측 순서를 활용하는가?

• 내재 보상이 실제 미탐색 영역으로의 이동을 유도하는가?

• 같은 상태를 잊고 반복 보상으로 착각하는 구조는 아닌가?

결국 효과적인 탐색은 단순한 새로움 추구가 아닙니다. 에이전트가 누적된 세계 모델과 에피소드 기억을 바탕으로, 무엇이 정말 새로운지 판단할 수 있어야 합니다. 오래 탐험하는 AI에게 필요한 것은 더 많은 호기심이 아니라, 호기심을 지속시키는 기억 구조입니다.

¹Remember to be Curious: Episodic Context and Persistent Worlds for 3D Exploration