AI 모델은 대개 출력 단위로 학습됩니다. 언어 모델은 다음 단어를, 영상 모델은 다음 프레임을, 로봇 모델은 다음 행동을 예측합니다. Orca의 출발점은 다릅니다. “다음에 무엇을 출력할까?”보다 먼저 “현재 세계 상태가 어떤 상태로 바뀔까?”를 묻습니다.1
이 차이가 Orca를 단순한 멀티모달 모델이 아니라, 일반 세계 파운데이션 모델의 초기 구현체로 보게 만드는 핵심입니다.1
Orca의 핵심: 출력이 아니라 상태 전이
Orca가 학습하려는 것은 다음 토큰, 다음 프레임, 다음 행동 그 자체가 아닙니다. 핵심 목표는 Next-State Prediction, 즉 다음 상태 예측입니다.1
여기서 말하는 세계 상태는 장면 속 물체, 사건, 조건, 관계를 포함한 내부 표현입니다. Orca는 이미지와 언어 신호를 바탕으로 이 상태를 만들고, 현재 상태가 자연 변화, 사건 조건, 외부 개입에 따라 어떻게 다른 상태로 전이되는지를 모델링합니다.3
이 구조의 중요한 특징은 출력 모달리티를 중심에 두지 않는다는 점입니다. Orca는 먼저 통합된 세계 잠재공간을 학습한 뒤, 별도 readout 모듈을 통해 텍스트, 이미지, 로봇 행동을 출력합니다.12 텍스트용 모델, 이미지용 모델, 행동용 모델을 따로 최적화하기보다 하나의 내부 세계 표현에서 필요한 출력을 읽어내는 방식입니다.
두 학습 경로: 자연 변화와 의미 있는 변화
Orca의 학습은 크게 두 갈래로 설명할 수 있습니다.
첫째는 무의식 학습입니다. 이는 연속 비디오에서 조밀한 자연 상태 전이를 학습하는 과정입니다.1 명시적인 언어 주석이 없어도 물체가 이동하고, 가려지고, 떨어지고, 서로 상호작용하는 변화를 관찰하며 “세계가 시간에 따라 어떻게 변하는가”를 익힙니다.2
둘째는 의식 학습입니다. 이는 언어로 설명된 사건과 VQA 감독을 통해 희소하지만 의미 있는 상태 전이를 학습하는 과정입니다.1 단순히 장면이 물리적으로 변하는 것뿐 아니라, 어떤 사건이 일어났는지, 작업 의도가 무엇인지, 목표 상태가 무엇인지 같은 의미 조건을 상태 전이에 연결합니다.3
이 두 경로가 함께 필요한 이유는 분명합니다. 로봇이나 에이전트가 실제 환경에서 유용하려면 자연스러운 물리 변화만 알아서는 부족합니다. “무엇이 일어나는가”와 함께 “왜 그렇게 바뀌어야 하는가”도 이해해야 합니다.
어떻게 학습했고, 무엇을 보여줬나
Orca 학습에는 12만5천 시간의 비디오, 1억6천만 개의 이벤트 설명, 1,150만 개의 질의응답 쌍이 사용됐습니다.2 모델은 0.8B와 4B 파라미터 규모로 학습됐습니다.2
평가에서 Orca-4B는 MVBench, TemporalBench, 3DSRBench, SWITCH 평균 점수 51.8%를 기록했고, PRICE-V0.1 이미지 예측 벤치마크에서는 평균 59.8%를 기록했습니다.2
여기서 점수만큼 중요한 것은 평가의 관점입니다. Orca는 하나의 내부 세계 표현을 만든 뒤, 텍스트·이미지·행동을 각각의 출력 모듈로 읽어냅니다. 따라서 성능은 단순히 특정 출력기를 잘 만든 결과라기보다, 내부 상태 표현이 여러 과제에 얼마나 잘 전이되는지를 보는 지표에 가깝습니다.
로봇 관점에서 중요한 이유
로봇 학습의 큰 병목 중 하나는 행동 데이터입니다. 실제 로봇 궤적과 행동 라벨은 수집 비용이 높고, 환경이 조금만 달라져도 일반화가 어렵습니다.
Orca의 접근은 이 문제를 다른 순서로 봅니다. 먼저 대규모 비디오와 언어 신호로 세계가 어떻게 변하는지를 학습하고, 이후 필요한 출력 모듈을 붙여 행동을 읽어내는 방식입니다.23 즉, 로봇에게 처음부터 “어떤 행동을 할지”만 가르치기보다, “상태가 어떻게 바뀌어야 하는지”를 먼저 학습시키려는 시도입니다.
이 관점은 로봇 모델을 평가할 때도 유용합니다. 어떤 모델이 그럴듯한 행동을 바로 출력한다고 해서 반드시 세계를 이해한다고 볼 수는 없습니다. 반대로 상태 전이를 안정적으로 예측할 수 있다면, 텍스트 설명, 이미지 예측, 행동 생성은 같은 내부 표현 위에서 확장될 수 있습니다.
Orca에서 배울 수 있는 판단 기준
Orca의 결론은 “더 많은 출력 형식을 지원하는 모델”이 아닙니다. 핵심은 출력보다 앞선 내부 세계 상태입니다.
앞으로 세계 모델을 볼 때는 다음 질문이 중요해집니다.
이 모델은 단순히 다음 프레임이나 다음 행동을 맞히는가?
아니면 현재 상태가 어떤 조건에서 어떤 상태로 바뀌는지 모델링하는가?
텍스트, 이미지, 행동이 따로 학습된 결과인가?
아니면 하나의 내부 세계 표현에서 여러 출력이 읽혀 나오는가?
Orca는 아직 초기 구현체입니다. 하지만 방향은 분명합니다. 좋은 세계 모델은 결과를 그럴듯하게 생성하는 데서 멈추지 않고, 세계 상태의 변화 자체를 일관되게 이해해야 합니다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.