ByteDance가 Hugging Face에 공개한 Bernini는 비디오 생성·편집 모델이다. 텍스트로 영상을 만들거나 편집할 수 있고, 이미지나 참조 자료를 바탕으로 영상을 생성·수정하는 흐름도 지원한다.
하지만 Bernini를 볼 때 더 중요한 지점은 “무엇을 만들 수 있나”보다 “어떻게 만들도록 설계됐나”다. Bernini는 픽셀을 곧바로 생성하기보다, 먼저 영상의 의미를 계획한 뒤 이를 바탕으로 렌더링하는 구조를 택했다. 논문 제목도 이를 그대로 드러내는 Latent Semantic Planning for Video Diffusion이다.1
논문은 2026년 5월 22일 공개됐고, Bernini-R의 추론 코드와 모델 가중치는 2026년 6월 1일 오픈소스로 공개됐다.1
Bernini의 핵심: 먼저 계획하고, 그다음 렌더링한다
Bernini는 MLLM 기반 의미 플래너와 DiT 기반 렌더러를 결합한 통합 프레임워크다.1
역할은 분명하다.
MLLM 플래너는 텍스트, 이미지, 참조 입력을 이해하고 목표 의미 표현을 예측한다.
DiT 렌더러는 그 의미 계획을 조건으로 실제 픽셀을 합성한다.2
여기서 의미 표현은 플래너와 렌더러 사이의 인터페이스다.2 즉, 사용자의 의도와 참조 자료를 바로 픽셀로 바꾸는 대신, 모델 내부에서 이해 가능한 중간 계획으로 정리한 뒤 영상으로 풀어내는 방식이다.
Bernini 논문은 이 목표 의미 표현을 ViT 임베딩 공간에서 예측한다고 설명한다.2 쉽게 말하면, 모델이 시각 정보를 이해할 때 쓰는 내부 좌표계 안에서 먼저 “무엇이 있어야 하는지”를 계획하고, 이후 렌더러가 이를 실제 프레임으로 합성한다.
왜 이 구조가 중요한가
영상 생성에서 어려운 점은 단순히 그럴듯한 화면을 만드는 것이 아니다. 사용자는 보통 더 구체적인 것을 원한다.
텍스트 지시를 정확히 반영해야 한다.
참조 이미지나 자료의 특징을 유지해야 한다.
편집에서는 원본 영상의 디테일을 보존해야 한다.
여러 입력이 섞여도 무엇을 어디에 반영할지 구분해야 한다.
Bernini의 “의미 계획 → 픽셀 렌더링” 구조는 이 문제를 나눠서 다룬다. 먼저 플래너가 의도와 참조 정보를 의미 수준에서 정리하고, 렌더러가 그 계획을 바탕으로 영상을 만든다. 이 분리는 영상 생성과 편집을 같은 프레임워크 안에서 다루기 쉽게 만든다.
특히 편집 작업에서는 원본 디테일 보존이 중요하다. Bernini는 이를 위해 소스 VAE 특징을 추가로 사용한다.2 그래서 완전히 새로 그리는 생성보다, 원본의 질감과 일관성을 유지하면서 필요한 부분을 바꾸는 편집 흐름에 맞춰져 있다.
여러 입력을 다루기 위한 설계
Bernini는 텍스트-비디오 생성, 이미지 기반 비디오 생성, 비디오 편집, 참조 자료 기반 편집을 하나의 방향에서 다루려는 모델이다.3 이를 위해 여러 시각 입력을 처리하는 구조도 포함한다.
대표적인 요소가 Segment-Aware 3D Rotary Positional Embedding이다.2 이는 다양한 시각 입력을 구분하고, 시간과 공간 정보를 함께 다루기 위한 설계로 볼 수 있다. 영상 모델에서는 한 장의 이미지보다 입력 구조가 복잡하다. 참조 이미지, 원본 영상, 편집 대상, 시간축 정보가 함께 들어올 수 있기 때문이다.
Bernini가 흥미로운 이유는 바로 이 지점에 있다. 단일 기능을 따로따로 붙인 모델이라기보다, 생성과 편집에 필요한 입력들을 하나의 의미 계획 체계로 연결하려 한다.
공개 범위와 현실적인 관찰 포인트
Bernini를 평가할 때는 공개 범위를 구분해서 봐야 한다. 공개된 것은 Bernini-R의 추론 코드와 모델 가중치다.1 따라서 “논문 전체 구조”와 “현재 바로 실행 가능한 공개 자산”을 같은 것으로 보지 않는 것이 좋다.
실행 환경도 가볍게 볼 수는 없다. 공식 문서는 H100급 Hopper GPU를 권장하고, 영상 예시는 8GPU 실행을 안내한다.1 연구·실험용으로 의미가 크지만, 일반적인 로컬 환경에서 쉽게 다루는 모델이라고 보기는 어렵다.
그럼에도 Bernini가 주는 실용적인 판단 기준은 분명하다. 앞으로 비디오 생성 모델을 볼 때는 결과물의 화질만 볼 것이 아니라 다음 질문을 함께 봐야 한다.
사용자의 의도를 어떤 중간 표현으로 이해하는가?
텍스트, 이미지, 영상 같은 여러 입력을 어떻게 구분해 반영하는가?
편집 시 원본 디테일을 어떻게 보존하는가?
생성과 편집이 하나의 구조 안에서 연결되는가?
Bernini의 가치는 단순한 성능 비교보다 설계 방식에 있다. 영상 생성이 고도화될수록 핵심은 “픽셀을 얼마나 잘 그리나”에서 “의도와 참조를 얼마나 잘 계획하고 보존하나”로 이동한다. Bernini는 그 변화를 보여주는 좋은 사례다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.