비디오 생성 인공지능(AI)은 시각적으로 정교한 영상을 제작하지만, 물리적 상식에 어긋나는 오류를 자주 노출합니다. 뜨거운 팬 위에서 버터가 녹지 않고 위로 솟구치거나, 단단한 블록이 벽을 그대로 통과하고, 천이 무게감 없이 허공을 부유하는 현상이 대표적입니다. 기존에는 이런 결함을 보완하기 위해 물리 시뮬레이션 수치를 직접 입력하거나 시각적 잠재 벡터를 수정하는 방식을 주로 시도해 왔습니다.
이러한 상황에서 2026년 9월, NVIDIA, MIT, University of Oxford 연구진은 물리적 언어 자체를 고도화하여 이 문제를 해결하는 Physis-Lang 프레임워크를 발표했습니다12. 연구진은 비디오 모델이 물리적 현실을 모사하지 못하는 근본 원인이 학습 데이터 캡션의 언어적 설명 부족에 있다고 분석했습니다. 시각적, 잠재적, 수치적 추가 신호 없이 원인, 상호작용, 지배 원리를 서술하는 텍스트 캡션을 체계적으로 정제하는 것만으로도 물리적 일관성을 확보할 수 있다는 접근입니다12. Physis-Lang을 결합한 오픈 비디오 모델 Cosmos 3는 주요 물리 벤치마크에서 Google의 Veo 3.1을 능가하는 성과를 기록했습니다13.
언어 자체를 물리적 표현으로 다루는 3단계 순환 구조
Physis-Lang의 핵심 아이디어는 언어를 단순한 장면 요약 도구가 아니라, 물리적 상태 변화를 정의하고 제어하는 공유 표현(shared representation)으로 다루는 것입니다2. 기존 비디오 데이터셋의 캡션은 대개 화면에 보이는 객체와 동작만을 표면적으로 기술합니다. 반면 Physis-Lang은 원인(cause), 지배 물리 원리(governing principle), 객체 간 상호작용(interaction), 시간적 진화(temporal evolution), 그리고 최종 효과(effect)를 캡션에 명시적으로 담아냅니다2. 예를 들어 버터가 녹는 장면에서는 열이 온도를 높이고, 고체에서 액체로 상변화가 일어나며, 중력에 의해 형태가 무너지면서 액체 웅덩이가 형성되는 인과 과정을 구조화된 텍스트로 표현합니다3.
이를 구현하기 위해 Physis-Lang은 세 가지 연결된 단계로 작동합니다23.
물리 언어 지침의 진화(Evolve guidelines): 캡셔너(captioner) 모델의 가중치를 동결한 상태에서, 물리-인식 크리틱(physics-aware critic)이 생성된 캡션에서 누락되거나 근거가 없는 물리적 주장을 식별합니다. 에이전트는 이 피드백을 활용해 공통 캡션 작성 지침을 지속적으로 정제합니다23.
취약 물리 현상 데이터의 회수(Retrieve missing physics): 모델이 물리 법칙을 제대로 표현하지 못한 실패 사례를 텍스트 물리 질의(physics query)로 변환합니다. 이후 언어 기반 검색을 통해 해당 물리 현상을 다루는 시각적으로 다양한 비디오를 찾아 데이터셋에 보충합니다23.
훈련 및 조건부 생성(Train and generate): 정제된 지침으로 훈련 비디오의 캡션을 다시 작성(recaptioning)하여 모델을 학습시킵니다. 추론 시점에는 사용자 프롬프트를 인과적 물리 설명으로 확장하고, 장면에 맞춘 부정적 묘사(negative description)를 함께 제공해 비현실적인 역학 생성을 억제합니다23.
연구팀은 캡션 정밀도를 평가하기 위해 246개의 검토된 비디오와 사람이 검증한 3,794개의 물리적 주장(비디오당 평균 15.4개)을 포함하는 PhysCapBench 벤치마크를 구축했습니다3. 9번에 걸친 지침 개선 반복 과정을 거치면서 PhysCapBench의 캡션 F1 점수는 초기 78.64에서 최종 87.82로 향상되었으며, 이는 Downstream 물리 상식 평가인 PhyGenBench 점수를 64.17에서 67.29로 끌어올렸습니다3.
주요 물리 벤치마크 평가: Cosmos 3와 Veo 3.1 비교
Physis-Lang 프레임워크의 효과는 비디오 생성의 물리적 타당성을 평가하는 4개 주요 벤치마크(PhyGenBench, Physics-IQ Verified, VideoPhy-2, PhyGround)에서 정량적으로 입증되었습니다2.
가장 눈에 띄는 대목은 Cosmos 3 Nano(16B) 모델과 최신 상용 모델인 Veo 3.1의 비교 결과입니다. 생성 영상의 물리적 상식 준수 여부를 측정하는 PhyGenBench에서 Physis-Lang을 적용한 Cosmos 3 Nano는 71.04점을 기록해 Veo 3.1의 65.63점을 앞섰습니다3. 고난도 물리 현상을 다루는 VideoPhy-2 Hard 서브셋 평가에서도 Cosmos 3 Nano가 62.36점으로 Veo 3.1의 58.43점보다 높은 성적을 거두었습니다3. 다만 전체 행동 중심 물리 상식을 평가하는 VideoPhy-2 All 벤치마크에서는 Veo 3.1에 근소하게 뒤처졌습니다3.
물리적 결과의 충실도를 정밀 검증하는 Physics-IQ Verified 벤치마크에서도 Physis-Lang 구성 모델들이 상위권을 차지했습니다3. Cosmos 3 Super(64B) 모델에 Physis-Lang을 결합한 구성은 48.2%를 기록했으며, 소형 모델인 Cosmos 3 Nano에 결합한 구성 또한 43.3%를 나타냈습니다3. 이는 Cosmos 3 Super 베이스라인(42.7%)이나 Seedance 2.5(42.4%)의 수치를 상회하는 결과입니다3.
| 모델 및 구성 | PhyGenBench (점) | VideoPhy-2 Hard (점) | Physics-IQ Verified (%) |
|---|---|---|---|
| Physis-Lang + Cosmos 3 Super | - | - | 48.2% |
| Physis-Lang + Cosmos 3 Nano | 71.04 | 62.36 | 43.3% |
| Cosmos 3 Super (베이스라인) | - | - | 42.7% |
| Seedance 2.5 | - | - | 42.4% |
| Veo 3.1 | 65.63 | 58.43 | - |
(참고: 원문 보고서 기준 미측정 항목은 하이픈 표기)3
Physis-Lang은 특정 백본에 국한되지 않는 범용성을 보여줍니다. Wan 2.1(14B, 평균 +7.05점), Cosmos 3 Edge(4B, +3.24점), Cosmos 3 Nano(16B, +6.22점), Cosmos 3 Super(64B, +5.02점) 등 다양한 규모의 모델에서 균일한 성능 향상을 이끌어냈습니다3. 특히 VideoPhy-2 Hard의 세부 영역별 이득을 보면 열적 과정(+8.00점), 화학적 반응(+8.00점), 파괴 역학(+7.45점), 연성체 운동(+7.41점), 의류 변형(+7.19점), 강체 운동(+6.06점)이 접촉 및 충돌(+3.45점)이나 탄성(+1.23점)보다 가파른 상승폭을 보였습니다3. 이는 온도, 재질의 상, 화학 조성처럼 단일 프레임 시각 정보로 파악하기 힘든 은닉 상태 변수(hidden state variables)를 명시적 인과 언어로 전달할 때 제어 효과가 극대화됨을 의미합니다.
추론 시점 적용성과 개발 상의 실질적 한계
Physis-Lang의 유용한 특성 중 하나는 모델 재훈련 없이 추론 레이어에만 적용할 수 있다는 점입니다. 연구팀이 모델 가중치를 완전히 고정한 상태에서 추론 시점에만 물리-인식 프롬프트 확장을 추가한 결과, 추가 학습 없이도 Cosmos 3의 PhyGenBench 점수가 5.62점 상승했습니다3. 이미 배포된 기존 비디오 생성 모델의 입력 텍스트 전처리 단계에 인과적 확장 모듈을 결합하는 것만으로도 물리 정합성을 개선할 수 있습니다.
그러나 연구 결과를 평가할 때 주의해야 할 현실적 한계점도 명확히 존재합니다.
절대적 평가 점수의 한계: 가장 뛰어난 성적을 낸 Cosmos 3 Super 구성의 Physics-IQ Verified 점수는 48.2%입니다3. 이는 여전히 과반의 물리적 결과 검증 항목에서 오류가 발생할 수 있음을 의미하며, 엄밀한 물리 시뮬레이터를 대체하는 수준은 아닙니다.
미검증 영역의 존재: 정량적 입증은 사전에 정의된 벤치마크 범위 내에서 이루어졌습니다. 긴 시간 지평(long-horizon)에서의 물리적 일관성 유지 여부나 학습에 포함되지 않은 새로운 복합 물리 현상에 대한 일반화 능력은 추가 검증이 필요한 과제입니다3.
코드 공개 상태: 현재 Physis-Lang의 공식 GitHub 저장소에는 논문과 연구 소개 웹사이트 링크만 제공되고 있으며, 모델 구현체나 평가 코드는 포함되어 있지 않습니다2. 동일한 파이프라인을 실무에 적용하려면 자체적인 엔지니어링 구축이 필요합니다.
도입을 검토하는 엔지니어를 위한 판단 기준
Physis-Lang 연구는 비디오 AI 개발자에게 시각 생성 모델의 물리적 한계를 극복하는 현실적인 접근법을 제시합니다. 모델 아키텍처를 전면 수정하거나 외부 시뮬레이터를 복잡하게 연동하지 않고도, 데이터 캡션과 추론 프롬프트에 물리적 인과 구조를 주입하는 것만으로 유의미한 성능 향상을 얻을 수 있습니다.
비디오 생성 파이프라인 개선을 추진한다면 다음 순서로 검토하는 것이 효율적입니다.
1단계 (추론 프롬프트 확장 도입): 보유한 백본 모델을 재학습하지 않고, 입력 프롬프트를 원인-원리-상호작용-결과 구조로 확장하는 LLM 전처리 모듈을 도입합니다. 모델 수정 없이 약 5점 안팎의 PhyGenBench 점수 개선 효과를 검증할 수 있습니다3.
2단계 (캡션 재작성 및 데이터 파인튜닝): 높은 물리 정밀도가 필요한 특정 서비스 영역에서는 기존 학습 영상의 캡션을 PhysCapBench 지침에 맞춰 재라벨링하고, 실패 케이스 중심의 회수(retrieval) 파이프라인을 구축해 파인튜닝을 진행합니다.
도입 전에는 서비스 대상 영상에서 열적 변화, 재질 변형 등 은닉 상태 변수가 중요한 비중을 차지하는지 확인해야 하며, 프롬프트 확장 모듈 추가에 따른 추론 지연 시간(latency) 증가가 서비스 허용 범위 내에 있는지 검증해야 합니다.
참고
2GitHub - Physis-Intelligence/Physis-Lang · GitHub
3NVIDIA's Physis-Lang Teaches Video AI Real Physics, Beats Google's Veo 3.1 | AlphaSignal
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.