Gemini Embedding 2: 텍스트·이미지·영상·오디오를 한 벡터로 묶다

구글이 "서로 다른 미디어를 한 지도에 올리는" 멀티모달 임베딩 모델 Gemini Embedding 2를 공개하며 검색·RAG·분류 파이프라인을 크게 단순화할 길을 열었습니다¹. 핵심은 텍스트, 이미지, 비디오, 오디오, 문서를 단일 벡터 공간으로 통합해 "말로 찾고, 영상으로 답하고, 소리로 분류하는" 교차 검색을 더 자연스럽게 만든다는 점입니다.

멀티모달 임베딩이 왜 '파이프라인 킬러'인가

예전엔 사내 지식 검색을 만들 때도 "텍스트는 텍스트 모델, 이미지는 비전 모델, 오디오는 STT로 글로 바꿔서..."처럼 매체별로 부품을 덕지덕지 붙여야 했습니다. 문제는 이 과정이 길어질수록 지연시간이 늘고, 변환 과정에서 의미가 새기도 한다는 것. 예컨대 고객 통화(오디오)에서 '말투의 뉘앙스'는 텍스트 전사만으로는 놓치기 쉽죠.

Gemini Embedding 2는 이런 번역 단계를 줄이는 방향을 택합니다. 텍스트·이미지·영상·오디오·PDF를 같은 좌표계로 보내, 서로 다른 형식이라도 "의미가 비슷하면 가까이" 놓이게 합니다². 그래서 "이 제품 광고처럼 따뜻한 분위기의 영상" 같은 질의가 텍스트 태그에만 의존하지 않고도 성립합니다.

Gemini Embedding 2 스펙 한 번에 정리 (실무 기준)

실무에서 중요한 건 '멋진 소개'보다 "요청 1번에 어디까지 넣을 수 있나?"입니다. 공개된 프리뷰 기준으로 텍스트는 최대 8,192 토큰, 이미지는 요청당 최대 6장(PNG/JPEG), 비디오는 최대 120초(MP4/MOV), 오디오는 전사 없이 바로 입력, 문서는 PDF 최대 6페이지를 임베딩할 수 있습니다²³.

특히 눈에 띄는 건 인터리브드 입력입니다. "이미지 + 짧은 설명"처럼 여러 매체를 한 요청에 섞어 넣으면, 모델이 각각을 따로 처리해 나중에 합치는 게 아니라 '한 덩어리 의미'로 이해하도록 설계됐습니다². 현실 데이터가 원래 그렇잖아요. 스크린샷 한 장에도 캡션이 붙고, 영상엔 자막과 음성이 같이 흐르니까요.

3072차원부터 768까지: 저장비용과 성능을 동시에 잡는 법

임베딩을 운영해본 사람은 압니다. 비용은 모델 호출비보다 벡터 DB 저장·검색 비용에서 더 크게 터지기도 합니다. Gemini Embedding 2는 기본 3072차원 벡터를 쓰되, 필요하면 1536이나 768로 줄여도 성능 하락을 최소화하는 MRL(Matryoshka Representation Learning)을 적용했습니다². 쉽게 말해 "중요한 의미를 앞쪽 차원에 우선 포장"해 두는 방식입니다.

여기서 실전 팁이 하나 나옵니다. 대규모 서비스라면 768차원으로 1차 후보를 빠르게 뽑고, 상위 결과만 3072로 재랭킹하는 2단 구성을 고려할 만합니다. 검색 비용은 낮추고 체감 품질은 유지하는, 전형적인 '속도-정확도 타협'을 깔끔하게 설계할 수 있죠.

RAG·시맨틱 검색에서 무엇이 달라지나

RAG는 결국 "잘 찾아와서, 잘 먹이는" 게임입니다. 그런데 지식이 텍스트만 있는 회사는 드뭅니다. 계약서 PDF, 제품 데모 영상, 고객 통화, 장애 스크린샷이 섞여 있죠. Gemini Embedding 2의 단일 벡터 공간은 이 조각들을 한 인덱스에 담아 "텍스트 질문 → 관련 영상 클립"처럼 교차 모달 검색을 자연스럽게 만듭니다²⁴.

벤치마크에서도 텍스트·이미지·비디오 전반에서 상위권 성능을 강조하고, 특히 음성/오디오 쪽 강점을 전면에 내세웁니다²⁴. 오디오를 '텍스트로 바꾸는 우회로'가 아니라 '원어민처럼' 다루는 게 목표라는 신호로 읽힙니다.

시사점

Gemini Embedding 2의 메시지는 단순합니다. "데이터 형식이 달라도 의미는 하나의 지도에 올릴 수 있다." 이 변화는 멀티모달 RAG, 미디어 자산 검색, 고객센터 QA, 법무·컴플라이언스 증거 탐색처럼 '자료 형태가 뒤죽박죽인' 업무에서 체감이 큽니다.

도입을 고민한다면 이렇게 시작하는 게 안전합니다. 먼저 가장 고통이 큰 구간(예: 오디오 전사 파이프라인, 영상 태깅 인력)을 골라 임베딩 인덱스를 작게 만들어 보세요. 그리고 차원은 1536으로 시작해 품질-비용 균형을 잡은 뒤, 필요할 때 3072로 올리는 식으로 확장하는 편이 시행착오가 적습니다.

참고

¹Google unifies text, image, video, and audio in a single vector space with Gemini Embedding 2

²Gemini Embedding 2: Our first natively multimodal embedding model

³Google launches new multimodal Gemini Embedding 2 model

⁴Google's Gemini Embedding 2 arrives with native multimodal support to cut costs and speed up your enterprise data stack