핵심 요약
Gemini Omni는 텍스트, 이미지, 영상, 오디오를 함께 이해해 고품질 영상을 만들고 자연어 대화로 수정할 수 있는 Google의 생성형 AI 모델입니다.
첫 공개 모델인 Gemini Omni Flash는 영상 생성과 편집을 중심으로 시작하며, 이후 이미지·오디오 출력까지 확장될 예정입니다.
프롬프트 : A marble rolling fast on a chain reaction style track, continuous smooth shot.
Gemini Omni의 핵심 개념
Gemini Omni는 "무엇을 넣어도 영상으로 만들 수 있는" 멀티모달 생성 모델입니다.
텍스트 설명만 넣는 방식에 그치지 않고, 사진, 기존 영상, 음성, 음악 같은 여러 입력을 조합해 하나의 영상 결과물을 만듭니다.
예를 들어 캐릭터 이미지를 넣고, 다른 영상의 카메라 움직임을 참고시키고, 음악의 박자에 맞춰 스타일이 바뀌는 영상을 만들 수 있습니다.
대화하듯 영상을 편집한다
Gemini Omni의 중요한 특징은 영상 편집을 전문 툴의 버튼이나 타임라인이 아니라 자연어 명령으로 처리한다는 점입니다.
사용자가 "조명을 어둡게 해줘", "카메라를 어깨 뒤쪽 시점으로 바꿔줘", "조각상을 거품으로 만들어줘"처럼 말하면 모델이 기존 장면의 맥락을 유지하며 수정합니다.
특히 여러 번 이어지는 요청을 기억하는 점이 중요합니다. 첫 번째 수정, 두 번째 수정, 세 번째 수정이 서로 끊기지 않고 하나의 장면 위에 누적됩니다.
장면의 일관성을 유지하는 능력
영상 생성에서 어려운 문제는 "앞뒤가 맞는가"입니다.
캐릭터의 모습이 갑자기 바뀌거나, 물체의 위치가 이상해지거나, 물리 법칙이 깨지면 영상은 쉽게 어색해집니다.
Gemini Omni는 캐릭터, 장면, 물리적 움직임, 이전 편집 내용을 이어가도록 설계되었습니다. 그래서 단순히 예쁜 프레임을 만드는 것을 넘어, 영상 전체가 하나의 흐름처럼 보이게 만드는 데 초점을 둡니다.
현실 지식과 물리 이해를 결합한다
Gemini Omni는 영상이 그럴듯하게 보이도록 만드는 것뿐 아니라 "무엇이 자연스럽게 일어나야 하는지"를 추론합니다.
예를 들어 구슬이 트랙 위를 굴러가는 장면에서는 중력, 속도, 충돌, 운동 에너지 같은 요소가 중요합니다.
또 단백질 접힘을 클레이 애니메이션으로 설명하는 영상처럼, 과학적 개념을 시각적으로 풀어내는 데도 활용할 수 있습니다. 이는 단순한 영상 생성보다 교육용 설명 콘텐츠 제작에 가까운 능력입니다.
여러 입력을 하나의 결과물로 합친다
Gemini Omni는 입력 자료를 참고 자료처럼 사용합니다.
이미지는 캐릭터나 스타일의 기준이 되고, 영상은 움직임이나 카메라 구도의 기준이 되며, 오디오는 리듬이나 분위기의 기준이 될 수 있습니다.
예를 들어 손으로 식물을 만지는 영상을 바탕으로, 식물을 반투명한 생체 발광 구조로 바꾸고, 손이 닿는 순간마다 하프 소리가 나도록 만들 수 있습니다.
스케치와 사진을 출발점으로 삼는다
사용자는 완성된 영상 소재가 없어도 시작할 수 있습니다.
그림, 스케치, 캐릭터 이미지, 배경 사진 같은 간단한 자료를 넣고 원하는 움직임이나 분위기를 설명하면 됩니다.
예를 들어 낙서처럼 그린 움직임을 참고해 실제 촬영 영상처럼 보이게 만들거나, 특정 캐릭터 이미지에 다른 영상의 포즈와 동작을 입힐 수 있습니다.
스타일, 모션, 효과를 분리해 적용한다
Gemini Omni의 흥미로운 점은 영상 요소를 분리해서 다룰 수 있다는 것입니다.
한 영상에서 움직임만 가져오고, 다른 이미지에서 재질이나 스타일을 가져오며, 텍스트로 추가 효과를 설명할 수 있습니다.
이는 요리로 비유하면 재료, 조리법, 플레이팅을 따로 가져와 하나의 접시로 합치는 것과 비슷합니다. 움직임은 A에서, 분위기는 B에서, 캐릭터는 C에서 가져오는 식입니다.
디지털 아바타와 책임 있는 사용
Google은 Gemini Omni에서 사용자의 디지털 아바타 기능도 소개합니다.
사용자는 자신의 모습과 목소리를 바탕으로 자신처럼 보이고 들리는 영상을 만들 수 있습니다.
다만 타인의 음성이나 발화를 바꾸는 기능은 악용 가능성이 크기 때문에, Google은 이를 신중하게 테스트하고 책임 있는 방식으로 제공하겠다고 설명합니다.
SynthID 워터마크와 콘텐츠 검증
Gemini Omni로 만든 영상에는 눈에 잘 보이지 않는 SynthID 디지털 워터마크가 포함됩니다.
이는 해당 콘텐츠가 AI로 생성되었는지 확인할 수 있도록 돕는 장치입니다.
사용자는 Gemini 앱, Chrome의 Gemini, Google 검색 등을 통해 Gemini Omni 생성 여부를 확인할 수 있습니다. AI 영상이 많아질수록 "이 콘텐츠가 어떻게 만들어졌는가"를 추적하는 기능은 더 중요해집니다.
출시 범위와 이용 가능성
첫 모델인 Gemini Omni Flash는 Gemini 앱과 Google Flow에서 Google AI Plus, Pro, Ultra 구독자에게 제공됩니다.
YouTube Shorts와 YouTube Create App에서는 무료로 순차 제공될 예정입니다.
개발자와 기업 고객을 위한 API 제공도 이후 몇 주 안에 확대될 계획입니다.
인사이트
Gemini Omni의 핵심 변화는 영상 제작을 "편집 기술"에서 "의도 설명" 중심으로 바꾼다는 점입니다.
앞으로 중요한 능력은 복잡한 툴을 다루는 손기술만이 아니라, 원하는 장면을 정확히 설명하고 참고 자료를 잘 조합하는 기획력입니다.
실제로 활용하려면 프롬프트를 쓸 때 세 가지를 분명히 하는 것이 좋습니다. 무엇을 유지할지, 무엇을 바꿀지, 어떤 느낌이나 기준을 따를지를 구체적으로 말해야 합니다.
출처 및 참고 : Introducing Gemini Omni
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.