마이크로소프트가 Phi-4-Reasoning-Vision-15B(일명 Phi-4-Vision-Reasoning)의 학습 과정을 공개했습니다. 핵심은 "작지만 멀티모달 추론을 제대로 한다"는 주장인데, 이게 중요한 이유는 성능만큼이나 비용·지연·전력 문제가 AI 도입의 진짜 병목이기 때문입니다.1
이번 글에서는 이 모델이 무엇이 다른지(그리고 우리가 어디에 써먹을 수 있는지)를 '학습 데이터', '생각(추론) 전략', '고해상도 시각 처리' 관점에서 풀어보겠습니다.
Phi-4-Reasoning-Vision-15B는 무엇이 달라졌나(멀티모달 추론 모델)
Phi-4-Reasoning-Vision-15B는 텍스트와 이미지를 함께 받아 수학·과학 문제 풀이부터 차트/문서 해석, 영수증 읽기, UI 화면에서 버튼 찾기 같은 작업까지 노리는 15B급 오픈 웨이트 멀티모달 모델입니다.2 여기서 포인트는 "대형 모델의 만능"이 아니라 "현장에서 돌릴 수 있는 멀티모달 추론"에 초점을 맞췄다는 점이에요.
비슷한 분야에서 오픈소스 VLM(비전-언어 모델)이 늘어나고 있지만, 문서/OCR, 에이전트(컴퓨터 사용), 과학적 시각 추론까지 한 방에 가져가려면 보통 모델 크기나 학습 비용이 급격히 커졌습니다. 그래서 '작은데 실무형'이라는 방향 자체가 시장 요구를 정확히 찌릅니다.3
1조 토큰 대신 2000억 토큰: 효율의 핵심은 "데이터 공장"이 아니라 "데이터 편집실"
가장 눈에 띄는 대목은 학습 데이터 규모입니다. Phi-4-Reasoning-Vision-15B는 멀티모달 기준 약 2000억 토큰으로 학습됐다고 알려졌습니다.2 경쟁 모델들이 1조 토큰 이상을 쓰는 흐름과 비교하면, 단순히 "덜 먹고도 잘한다"는 얘기라 파급이 큽니다.
그 비결을 한 문장으로 바꾸면 '대량 수집'이 아니라 '정밀 선별'입니다. 공개된 내용에 따르면 오픈 데이터셋을 필터링하고, 내부 고품질 데이터와 목적형 데이터 수급을 섞은 뒤, 샘플을 사람이 직접 확인해 소스별 처리를 결정하는 식으로 품질을 끌어올렸습니다.2 틀린 정답은 재생성하고, 문제는 못 살려도 이미지가 좋으면 캡션/VQA용으로 재활용하는 방식이죠.2
이 접근은 "모델 크기 경쟁"에 지친 팀에게 현실적인 메시지를 줍니다. 데이터가 곧 성능이라면, 앞으로의 경쟁은 토큰 수가 아니라 '정답률 높은 토큰'의 비율 싸움이 될 가능성이 큽니다.
멀티모달 체인오브쏘트의 함정: 캡션에 '생각'이 독이 되는 순간
요즘 추론 모델은 뭐든 길게 생각하면 좋아 보이지만, 이미지 캡션이나 OCR처럼 "보이는 걸 빠르게 말하면 되는" 작업에 긴 추론을 강제하면 오히려 느려지고 장황해지며 성능이 흔들릴 수 있습니다.2 즉, 멀티모달에서는 '추론의 과잉'이 비용 문제를 넘어 품질 문제로도 번집니다.
Phi-4-Reasoning-Vision-15B가 내세운 해법은 섞어 쓰기입니다. 학습 데이터의 일부(약 20%)에는 추론 과정을 포함하고, 나머지(약 80%)는 바로 답하게 태그를 달아 "생각할 때와 안 할 때"를 모델이 익히게 했습니다.2 사용자가 원하면 프롬프트로 생각 모드/즉답 모드를 강제로 지정하는 것도 가능하다고 합니다.2
이건 실무적으로 되게 큽니다. 예를 들어 고객센터에서 영수증을 읽어 금액만 뽑을 때는 즉답이 유리하고, 과학 그래프를 해석해 원인을 추론할 때는 단계적 사고가 이득이니까요. 멀티모달을 "항상 추론"으로 몰아가던 흐름에 브레이크를 건 셈입니다.
UI 스크린샷을 읽는 눈: 고해상도 시각 토큰 전략이 '에이전트' 성패를 가른다
컴퓨터를 조작하는 에이전트(웹/앱에서 버튼 누르고 입력하는 AI)를 만들 때 제일 먼저 터지는 문제가 있습니다. "버튼 글씨가 안 보인다"는 것, 그리고 "작은 요소 위치를 못 잡는다"는 것이죠. 그래서 고해상도 처리가 사실상 필수입니다.
Phi-4-Reasoning-Vision-15B는 SigLIP-2 계열 비전 인코더와 언어 모델을 중간 단계에서 결합하는 구조를 택했고, 특히 동적 해상도 처리 쪽을 실험해 고해상도 데이터에서 더 좋은 구성을 선택했다고 설명합니다.2 최대 3,600 비전 토큰 설정은 대략 720p급 입력을 염두에 둔 것으로 언급됩니다.2 이 정도면 '스크린샷 읽기'나 'UI 요소 찾기'에서 체감이 달라질 수밖에 없습니다.
참고로 VLM 업계 전반에서도 동적 해상도나 고해상도 텍스트 읽기(문서/OCR)가 2025~2026 경쟁 포인트로 굳어지고 있습니다.3 즉, Phi-4-Reasoning-Vision-15B의 설계는 유행을 따라간 게 아니라, 에이전트 시대의 병목을 정면으로 겨냥한 선택에 가깝습니다.
시사점
첫째, "작은 모델=타협"이라는 공식이 약해지고 있습니다. Phi 계열이 텍스트 영역에서 데이터 엔지니어링으로 '작지만 강한' 이미지를 만들었고4, 이번에는 그 전략을 멀티모달로 확장한 모양새입니다.1
둘째, 멀티모달에서 추론은 만능 버튼이 아닙니다. 빠른 인식 과제와 깊은 추론 과제를 분리해 운용하는 '혼합 사고'가 비용과 품질을 동시에 잡는 실전 해법이 될 가능성이 큽니다.2
셋째, 앞으로 팀이 할 일도 바뀝니다. 모델 파라미터를 키우기보다, "우리 업무에서 생각이 필요한 순간/불필요한 순간을 나누고", 그에 맞는 데이터와 평가를 설계하는 쪽이 ROI가 커질 수 있습니다. 멀티모달을 도입하려는 조직이라면, 파일럿 단계에서 캡션/OCR 같은 즉답 업무와 수학·과학·차트 해석 같은 추론 업무를 분리해 지연시간과 정확도를 따로 측정해보는 걸 권합니다.
참고
1Microsoft details Phi-4-Vision-Reasoning training for a compact multimodal reasoning model
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.