멀티모달 모델은 이미지를 보고 답하지만, 실제 추론 과정은 긴 텍스트 설명에 지나치게 의존하는 경우가 많다. 처음 입력된 시각 정보는 문맥 앞쪽에 놓이고, 모델은 이후 텍스트 Chain-of-Thought(CoT)를 이어가며 점점 시각 증거와 멀어질 수 있다.
DMLR Framework의 핵심 문제의식은 여기에 있다. 더 긴 설명을 만들게 하는 대신, 모델 내부의 잠재공간에서 추론을 조정하고 필요한 순간에 시각 정보를 다시 연결하자는 것이다.1
DMLR은 무엇을 바꾸려 하는가
DMLR은 추론을 출력 텍스트의 길이 문제가 아니라, 내부 표현을 어떻게 업데이트하느냐의 문제로 본다. 공개 설명에 따르면 DMLR은 모델 가중치를 새로 학습하지 않고, 테스트타임에 latent think token을 만들며, 모델의 내부 confidence를 보상 신호로 사용해 이 토큰을 조정한다.1
쉽게 말하면 답을 길게 말하기 전에, 모델 내부에서 “생각 후보”를 잠재적으로 다듬는 방식이다. 사용자가 보는 것은 최종 응답이지만, 그 전에 모델은 잠재공간에서 더 신뢰할 만한 방향으로 추론 상태를 밀어간다.
이 접근은 도구 기반 시각 추론과도 다르다. 기존 방식 중에는 크롭, 주석, 스케치, 중간 다이어그램 같은 외부 보조 이미지를 만들고 이를 텍스트 CoT와 결합하는 흐름이 있다. 그러나 이런 방식은 사전 정의된 도구에 묶이고, 외부 호출 지연이 생기며, 생성된 보조 이미지의 품질이 불안정할 수 있다.2
DMLR이 겨냥하는 지점은 외부 도구를 더 많이 붙이는 것이 아니라, 모델 내부에서 시각 증거와 추론 상태를 더 효율적으로 연결하는 것이다.
핵심 아이디어: 필요한 시각 정보만 다시 주입하기
DMLR의 중요한 구성은 Dynamic Visual Injection이다. 현재 latent think token에 도움이 되는 이미지 패치를 골라 잠재 문맥에 넣는 방식이다.3 즉 모델이 모든 시각 토큰을 반복해서 읽는 것이 아니라, 추론에 필요한 순간에 관련 시각 영역을 다시 참조하도록 만든다.
이 차이는 작지 않다. 기존 시각 잠재 추론 방법들은 명시적 텍스트 CoT와 잠재 시각 토큰을 번갈아 생성하는 인터리브 설계를 주로 사용해 왔다.2 하지만 이 구조에서는 시각 잠재 단계 사이마다 텍스트 CoT 구간을 계속 생성해야 하므로 생성 비용을 줄이는 데 한계가 있다. 또한 텍스트 토큰과 잠재 시각 토큰이 긴 이질적 시퀀스 안에 함께 배치된다.2
UniVLR 분석에서도 이런 인터리브 설계의 후속 CoT 토큰이 보조 이미지에 대해 희소하고 분산된 어텐션을 보인다고 보고됐다.2 다시 말해 보조 시각 정보를 넣더라도, 긴 텍스트 추론 흐름 속에서 그 정보가 충분히 집중적으로 활용되지 않을 수 있다.
DMLR은 이 문제를 “계속 보기”가 아니라 “필요할 때 다시 보기”로 풀려는 접근에 가깝다. 명시적 설명을 늘리기보다, 잠재 표현과 선택적 시각 주입을 통해 추론 흐름을 더 짧고 밀도 있게 유지하려 한다.
더 똑똑한 CoT보다 더 적절한 증거 연결
DMLR이 주는 실용적 메시지는 분명하다. 멀티모달 추론에서 중요한 것은 생각을 얼마나 많이 출력하느냐가 아니라, 필요한 시각 증거를 언제 다시 연결하느냐다.
공개 설명에 따르면 DMLR은 여러 멀티모달 추론 벤치마크에서 CoT 기반 기준선보다 나은 성능을 보였고, 보통 3~5회의 잠재 최적화 단계로 수렴한다고 제시된다.3 이 주장이 시사하는 바는 단순하다. 긴 CoT를 계속 생성하지 않아도, 내부 추론 상태를 잘 조정하고 관련 시각 정보를 제때 주입하면 성능과 효율을 함께 노릴 수 있다는 것이다.
실무 관점에서는 이미지 기반 QA, 차트 해석, 수학 도형 문제처럼 시각 근거가 답을 좌우하는 작업에서 특히 의미가 있다. 모델을 새로 학습하기 어렵거나, 외부 도구 호출 비용과 지연을 줄이고 싶다면 DMLR식 테스트타임 최적화는 검토할 만한 방향이다.
DMLR을 어떻게 이해해야 할까
DMLR은 “모델에게 더 길게 설명하게 하는” 프레임워크가 아니다. 오히려 “모델 내부에서 더 잘 보고, 더 적게 말하게 하는” 방향에 가깝다.
멀티모달 에이전트와 Vision-Language Model의 경쟁력은 앞으로 긴 추론 로그 자체보다, perception과 reasoning을 잠재공간에서 얼마나 효율적으로 엮는가에 달릴 수 있다. DMLR Framework는 그 전환을 보여주는 사례다. 텍스트 CoT를 무조건 늘리는 대신, 필요한 시각 증거를 선별해 내부 추론에 다시 연결하는 방식이 멀티모달 추론의 중요한 설계 기준이 될 수 있다.
1Reasoning Within the Mind: Dynamic Multimodal Interleaving in Latent Space
2UniVLR: Unifying Text and Vision in Visual Latent Reasoning for Multimodal LLMs
3Reasoning Within the Mind: Dynamic Multimodal Interleaving in Latent Space project page
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.