생성형 AI의 화두가 언어를 넘어 ‘세계 이해’로 이동하고 있다. Black Forest Labs가 공개한 FLUX 3는 이 흐름을 가장 극적으로 보여주는 사례다. 이미지, 비디오, 오디오를 각각 처리하는 기존 방식과 달리, 하나의 아키텍처에서 모든 것을 함께 학습하는 멀티모달 기반 모델이기 때문이다1. 단순한 기능 추가가 아니라, 모델을 설계하는 철학 자체가 바뀐 것이다.
세계를 하나의 표현으로 배운다는 것
FLUX 3의 핵심 전제는 단순하다. 현실은 애초에 여러 모달리티로 나뉘어 있지 않다는 것이다. 이미지는 특정 순간의 공간 정보를 담고, 비디오는 시간에 따른 움직임을, 오디오는 시각만으로 파악하기 어려운 물리적 인과관계를 전달한다. 각각은 동일한 현실을 서로 다른 센서로 투영한 결과일 뿐이다. 하나의 모달리티만 학습하면 그 투영만 잘하게 되지만, 동시에 학습하면 상황이 달라진다. 소리는 충격 순간과 정확히 일치해야 하고, 움직임은 질량 법칙을 따라야 한다는 상호 제약이 생기기 때문이다. 이 제약들이 FLUX 3가 더 풍부한 세계 표현을 배우도록 강제한다1.
이러한 구조를 가능하게 한 것이 Self-Flow 방식이다. 기존 Flow Matching은 생성 품질은 높지만 내부 표현이 약했고, 표현 학습에 특화된 방식은 생성을 잘 못했다. Self-Flow는 두 목표를 하나의 프레임워크로 정렬하여 생성 품질과 표현 품질을 동시에 높인다. 실제 연구 데이터에서도 Self-Flow는 기존 방식 대비 모달리티별 생성 오차를 낮추고, 미세 조정 후 로봇 작업 성공률을 높이는 결과를 보였다1.
비디오 생성과 로봇 제어는 같은 문제다
단일 가중치 세트로 비디오, 오디오, 행동 예측을 함께 제공할 수 있는 이유가 바로 여기에 있다1. 훈련 과정에서 행동 예측을 추가하자 비디오 생성 품질이 일시적으로 약 10% 하락했지만, 불과 3,500스텝 만에 완전히 회복하며 행동 예측 능력까지 갖추었다2. 이는 비디오 생성과 행동 예측이 별개의 능력이 아니라, 동일한 세계 모델을 공유한다는 증거로 해석된다.
결과물도 구체적이다. FLUX-mimic이라는 이름으로 mimic robotics와 협력해 만든 영상-행동 모델은 현재 Audi 생산 라인에서 실제 가동 중이다. FLUX 3의 비디오 예측 경로에서 추출한 중간 특징 위에 가벼운 행동 디코더를 올리는 구조인데, 백본을 완전히 얼려도 기존 시각-언어-행동 모델을 능가한다2. 미세 조정 시에는 최고 수준의 작업 성공률을 기록했다. 반응 속도 또한 NVIDIA RTX 5090 단일 GPU에서 80ms 미만, 엔드투엔드 시스템 기준 약 101ms로 인간의 시각 반응 속도와 비슷하다2. 덕분에 부드러운 케이블이나 실링 같은 비정형 소재를 다루는 작업처럼 기존 자동화로는 불가능했던 영역을 이 모델이 해결하고 있다.
한편 콘텐츠 생성 능력도 주목할 만하다. FLUX 3는 최대 20초 길이의 오디오가 포함된 비디오를 단일 생성할 수 있으며, 텍스트-비디오, 이미지-비디오, 비디오-비디오 변환과 다국어 대사 처리를 지원한다1. 초기 사용자 평가에서는 Runway Gen-4.5 대비 77%, Luma Ray 3.2 대비 93%의 선호도를 기록했다1.
하나의 세계 모델, 두 갈래의 응용
지금은 Early Access 단계지만, FLUX 3가 제시하는 방향은 분명하다. 콘텐츠 생성과 물리적 행동이란 두 응용이 하나의 세계 모델에서 갈라져 나온 가지임을 실제 제품으로 증명한 최초의 사례라는 점이다. 오픈 웨이트 버전 출시도 예고된 만큼, 이 접근법이 업계 표준으로 자리잡을지 지켜볼 시점이다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.