AI가 환경을 정확히 재현하는 능력과 그 안에서 사람이 어떻게 행동할지 예측하는 능력은 같은 문제가 아니다. 물체의 위치와 이동 가능성을 알아도, 특정 인물이 무엇을 봤고 어떤 목표를 가졌는지 놓치면 다음 행동을 잘못 판단할 수 있다. Mental World Modeling (MWM)이 중요한 이유는 세계 모델의 성능 경쟁에 새로운 예측 변수를 더하는 데 그치지 않고, AI가 누구의 관점에서 미래를 계산해야 하는지 묻기 때문이다.
세계 모델의 확장 방향이 달라지고 있다
세계 모델은 환경에 대한 내부 표현을 만들고 미래 상태를 예측해 의사결정을 지원하는 계산 모델이다.1 지금까지의 주요 접근은 대체로 환경을 얼마나 효과적으로 표현하고 생성하며 조작할 수 있는지에 초점을 맞춰 왔다.
표현형 세계 모델은 관측을 압축된 잠재 상태로 바꾸고 그 공간에서 전이 동역학을 학습한다.
비디오 생성형 세계 모델은 시간적으로 일관된 미래 관측을 합성한다.
3D 상호작용형 세계 모델은 공간 구조, 탐색 가능성, 편집 기능과 환경의 지속성을 중시한다.
이 접근들은 서로 구현 방식이 다르지만, 위치나 재질 같은 물리 속성을 토대로 다음 상태를 계산한다는 공통점이 있다. 이런 물리 세계 모델은 객체 파지나 경로 계획처럼 환경에 직접 작용하는 행동을 지원하는 데 적합하다.1
문제는 사회적 행위자의 선택이 객관적인 환경 상태만으로 결정되지 않는다는 점이다. 실제 상태와 행위자가 알고 있는 상태가 다를 수 있고, 같은 관측에서도 목표·주의·감정·규범·관계에 따라 선택이 달라질 수 있다. 따라서 사람의 행동을 다루는 세계 모델에는 물리적 가능성뿐 아니라 관점에 따른 선택 가능성을 표현하는 계층이 필요하다.
Mental World Modeling (MWM)은 무엇을 분리하는가
Mental World Modeling (MWM)은 결합 상태를 물리 세계 상태와 정신 세계 상태로 나눈다. 정신 상태에는 믿음, 주의, 목표, 의도, 감정, 규범과 사회적 관계 같은 변수가 포함된다.2
여기서 중요한 설계 원칙은 정신 변수를 단순한 부가 정보로 붙이는 것이 아니다. 먼저 목표 인물이 접근할 수 있는 부분 관측과 그로부터 추론할 수 있는 내용을 구성한 뒤, 해당 관점에서 행동을 모의한다. 이 구조는 다음 세 가지 상태를 구별하도록 요구한다.
환경에서 실제로 성립하는 상태
특정 인물이 관측할 수 있는 상태
그 인물이 관측을 바탕으로 믿거나 추론하는 상태
이 구분이 무너지면 AI는 행위자가 알 수 없는 정보를 이미 알고 있다고 가정할 수 있다. 반대로 정신 상태만 강조하고 물리적 제약을 약화하면 실제로 실행할 수 없는 행동을 유력한 선택으로 평가할 위험이 있다. Mental World Modeling (MWM)은 어느 한쪽을 대체하기보다 두 상태 공간을 함께 유지하려는 접근으로 이해하는 편이 적절하다.
실험 수치는 구조적 가설을 얼마나 뒷받침하는가
추가 훈련 없이 작동하는 모듈식 파이프라인 MENTIS는 이 접근을 구현한 사례다. 평가용 Menti-Bench는 텍스트 320개, 그림 이야기 100개, 음성·영상 클립 28개를 합친 총 448개의 의사결정 장면으로 구성됐다.2
8개 언어 모델의 평균 F1은 직접 응답 63.3, 자기 일관성 방식 77.9, 전체 MWM 파이프라인 87.9였다. 인간 점수는 98.5였다. 또한 정신 채널을 제거했을 때 평균 12.1점, 물리 채널을 제거했을 때 평균 16.5점 하락했다.2
이 결과에서 주목할 부분은 절대 점수보다 비교 방향이다. 추론 절차를 강화하는 것만으로도 직접 응답보다 성능이 높아졌지만, 물리 상태와 정신 상태를 함께 다루는 전체 파이프라인이 더 높은 점수를 기록했다. 두 채널을 각각 제거했을 때 모두 성능이 내려갔다는 점도 상호 보완이라는 설계 가설과 부합한다.
다만 이를 인간의 마음을 일반적으로 이해했다는 증거로 확대 해석해서는 안 된다. Menti-Bench의 구성과 F1 점수는 정해진 의사결정 장면에서의 성능을 보여주는 평가 기준이다. 인간 점수와의 격차 역시 구조 도입만으로 모든 관점 추론 문제가 해결되는 것은 아니라는 점을 남긴다.
도입 판단에서 봐야 할 세 가지 긴장 관계
1. 더 풍부한 상태와 더 어려운 추론
정신 변수를 포함하면 행동 차이를 설명할 수 있는 범위가 넓어진다. 동시에 믿음이나 의도처럼 직접 관측하기 어려운 상태를 어떻게 구성할 것인지가 새로운 문제가 된다. 상태 표현이 풍부하다는 사실만으로 그 상태가 정확하다고 보장되지는 않는다.
2. 모듈성과 오류 전파
MENTIS처럼 모듈식으로 구성하면 물리 상태와 정신 상태를 분리해 다룰 수 있다. 그러나 초기 부분 관측이 잘못 설정되면 이후의 정신 상태 추론과 행동 모의도 영향을 받을 수 있다. 실제 평가에서는 최종 정답률뿐 아니라 어느 단계에서 오류가 시작됐는지를 함께 살펴야 한다.
3. 추가 훈련이 없다는 장점과 검증 책임
추가 훈련 없이 작동한다는 특성은 기존 모델과 결합할 가능성을 보여준다. 하지만 이것이 새로운 장면과 형식에서도 같은 수준의 성능을 보장한다는 뜻은 아니다. 텍스트, 그림 이야기, 음성·영상처럼 관측 형태가 달라질 때 부분 관측과 정신 상태가 일관되게 구성되는지 별도로 확인해야 한다.
다음 단계에서 확인할 질문
Mental World Modeling (MWM)의 향후 가치는 단일 벤치마크 점수보다 다음 질문에 대한 답에서 더 분명해질 것이다.
실제 환경 상태와 행위자의 믿음이 충돌할 때 두 상태를 안정적으로 분리하는가
정신 상태에 대한 근거가 부족할 때 불확실성을 어떻게 다루는가
텍스트와 시청각 장면 사이에서 동일한 관점 추론 원칙이 유지되는가
물리 채널과 정신 채널의 오류를 각각 식별할 수 있는가
더 긴 상호작용에서도 목표, 믿음, 관계의 변화를 지속적으로 추적하는가
핵심은 세계 모델을 더 거대하게 만드는 데 있지 않다. 물리적 미래를 예측하는 모델과 행위자 관점의 미래를 예측하는 모델이 어떤 정보를 공유하고 어디에서 분리돼야 하는지를 명확히 설계하는 데 있다. Mental World Modeling (MWM)은 그 경계를 구체적인 상태 표현과 평가 문제로 전환했다는 점에서 주목할 만하다.
1Modeling the Mental World for Embodied AI: A Comprehensive Review
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.