Code-as-World: 영상을 편집 가능한 물리 세계로 바꾸다

AI가 만든 영상이 그럴듯하다고 해서 그 안의 물리까지 정확한 것은 아닙니다. 로봇이 물체를 잡고 옮기는 장면에서는 접촉 위치, 마찰, 관절 운동이 다음 상태를 결정합니다. 화면만 자연스러운 모델과 실제로 실행하고 검증할 수 있는 월드는 이 지점에서 갈립니다.

요약: Code-as-World는 실제 영상에서 편집 가능한 MuJoCo 장면 코드를 복원하고, 검증된 월드를 물리적 추론 학습에 활용하는 접근입니다.

픽셀 대신 실행 가능한 코드로 세계를 표현한다

영상 기반 월드 모델은 동역학을 내부의 잠재 상태로 처리합니다. 이 방식은 물체의 형상이나 접촉 상태가 달라지고 긴 동작에서 운동의 일관성이 깨져도, 문제를 명시적인 물리 규칙에 따라 검사하기 어렵습니다.¹

Code-as-World는 현실 장면을 실행 가능한 MuJoCo 코드로 복원해 이 한계를 다룹니다. 시뮬레이션 코드에는 물체, 관절, 접촉, 지형, 센서, 재질과 수치 설정을 명시할 수 있습니다. 실제 상호작용 영상을 시뮬레이션 장면으로 옮기려면 외형뿐 아니라 물체 상태, 물리 매개변수, 카메라와 운동 궤적도 함께 맞춰야 합니다.²

코드로 복원된 장면은 편집할 수 있습니다. 물체나 물리 조건을 수정한 뒤 같은 장면을 다시 실행해 결과가 어떻게 달라지는지 확인할 수 있습니다. 영상 편집이 보이는 결과를 바꾸는 일이라면, 코드 편집은 세계가 작동하는 조건을 바꾸는 일입니다.

생성보다 중요한 것은 검증과 수정이다

실행 가능한 코드를 얻었다고 해서 물리적으로 올바른 월드가 완성되는 것은 아닙니다. 렌더링 결과가 원본 영상과 비슷한지뿐 아니라, 접촉과 운동이 물리 제약을 만족하는지도 확인해야 합니다.

유사한 코드 기반 시뮬레이션 프레임워크인 ChronoAgentic은 이 과정을 여섯 단계로 구성합니다. 자연어 요청을 구조화된 장면 계획으로 바꾸고, 코드를 생성한 뒤 단계별로 실행합니다. 이어 렌더링 결과를 시각적으로 분석하고 시뮬레이션 궤적을 결정론적인 물리 검사로 검증하며, 목표와 제약을 충족할 때까지 프로그램을 반복해서 수정합니다.¹

이 과정에서는 계획서, 실행 프로그램, 로그, 물리 궤적, 렌더링 관측과 검토 보고서가 지속 가능한 산출물로 교환됩니다. 따라서 실패 원인을 추적하고 같은 조건을 재현하기가 쉬워집니다. 또한 작업별 학습이나 미세조정 없이 기술 라이브러리와 시뮬레이터 자료 검색을 활용합니다.¹

이 사례가 보여주는 핵심은 명확합니다. 코드 기반 월드의 가치는 최초 생성 결과가 아니라, 오류를 찾고 수정할 수 있는 검증 루프에서 나옵니다.

Code-as-World를 평가하는 세 가지 기준

Code-as-World와 같은 접근을 판단할 때는 다음 질문이 유용합니다.

1. 시각적 일치: 복원된 장면이 실제 영상의 물체, 배치와 움직임을 충분히 재현하는가?

2. 물리적 일관성: 접촉, 형상과 운동이 명시된 물리 조건을 만족하는가?

3. 편집 및 재실행 가능성: 장면 코드와 조건을 수정한 뒤 결과를 다시 실행하고 검증할 수 있는가?

세 기준 가운데 하나만 충족해서는 충분하지 않습니다. 시각적으로 닮았지만 물리가 틀릴 수 있고, 물리적으로 실행되더라도 실제 장면과 대응하지 않을 수 있습니다. 또한 수정과 재실행이 어렵다면 새로운 조건을 시험하는 월드로 활용하기 어렵습니다.

현실을 검사 가능한 모델로 바꾸는 접근

Code-as-World의 목적은 단순히 더 사실적인 영상을 만드는 것이 아닙니다. 현실의 상호작용을 편집하고 실행하며 검증할 수 있는 MuJoCo 장면 코드로 바꾸는 데 있습니다.

이렇게 검증된 월드는 물리적 추론을 학습하는 자료로 사용할 수 있습니다. 결국 Code-as-World가 제공하는 실질적인 가치는 현실 장면을 보기 좋은 결과물이 아니라, 조건을 바꾸고 결과를 확인할 수 있는 실행 모델로 전환한다는 데 있습니다.

¹ChronoAgentic: A Code-based Multi-Agent World Simulator for Physically Grounded Simulation Construction

²Agentic Real2Sim: Physics-based World Modeling with Vision-Language Agents