NeoMME: 생성 없이 이미지와 텍스트를 검색하는 단일 인코더

이미지 검색 모델은 흔히 별도의 비전 인코더와 언어 모델을 연결한다. 그러나 검색이나 분류처럼 답변을 생성하지 않는 작업에도 이런 구성이 반드시 필요할까. H Company의 NeoMME는 이미지와 텍스트를 하나의 양방향 인코더에서 처리하는 방식으로 이 질문에 답한다.

이미지와 텍스트를 하나의 Transformer로 처리한다

NeoMME는 ‘니오미’(/ˈniː.oʊ.mi/)로 발음하며, 2억 6천만 및 8억 매개변수 모델로 구성된 다국어 멀티모달 인코더 제품군이다. 입력 전체를 양방향으로 살펴 표현을 만들며, 별도의 사전 학습 비전 타워나 문장을 순차적으로 생성하는 인과적 디코더를 사용하지 않는다.¹

이미지는 겹치지 않는 32×32 패치로 나뉜다. 각 패치는 소형 MLP로 투영된 뒤 다국어 텍스트 토큰과 동일한 Transformer에 입력된다. 텍스트 입력에는 분해형 토큰 임베딩이 사용된다. 핵심은 두 입력 유형이 별도의 처리 경로를 거치지 않고 하나의 인코더 안에서 표현된다는 점이다.¹

두 모델은 모두 최대 16,384토큰의 양방향 문맥을 지원한다. 이 문맥에는 표준 3840×2160 4K UHD 이미지가 최대 두 장까지 들어갈 수 있다. 이미지도 고정 크기로 강제하지 않고 종횡비와 크기를 유지한 채 동적 해상도로 처리한다. 따라서 세부 정보가 많은 문서는 그만큼 더 많은 이미지 패치로 표현할 수 있다.²

검색 품질만큼 인덱싱 비용이 중요하다

NeoMME의 가치는 모델 구조뿐 아니라 검색 시스템의 운영 지표에서 드러난다. 2억 6천만 매개변수 모델은 ViDoRe v3에서 0.523 nDCG@10을 기록했다.² 비교적 작은 인코더로도 멀티모달 문서 검색에 활용할 수 있음을 보여주는 결과다.

대규모 검색에서는 정확도와 함께 처리량 및 인덱스 크기를 봐야 한다. 2억 6천만 매개변수 모델은 단일 L40S에서 초당 51.3페이지의 인덱싱 처리량을 기록했다. 토큰 풀링과 비대칭 양자화를 적용한 인덱스는 255배 압축됐으며, 기준 검색 품질의 95% 이상을 유지했다.¹

이 수치는 모델을 평가할 때 다음 세 요소를 함께 확인해야 한다는 점을 보여준다.

• 검색 품질: 실제 벤치마크에서 충분한 순위 성능을 내는가

• 인덱싱 처리량: 새 문서를 필요한 속도로 추가할 수 있는가

• 인덱스 크기: 문서 수가 늘어날 때 저장 공간을 감당할 수 있는가

NeoMME에서 얻을 수 있는 설계 원칙

NeoMME가 보여주는 핵심은 구성 요소를 단순히 줄였다는 데 있지 않다. 생성이 필요 없는 검색·분류 작업이라면 비전 타워와 인과적 디코더를 결합한 생성형 구조가 과할 수 있다는 점을 제시한다.

문서 RAG나 대규모 이미지 검색 시스템을 설계할 때는 모델 크기나 정확도만 비교해서는 부족하다. 입력 해상도를 어떻게 보존하는지, 긴 문맥을 얼마나 지원하는지, 인덱싱 처리량과 저장 비용이 실제 운영 규모에 맞는지까지 함께 판단해야 한다.

요약: NeoMME는 이미지 패치와 다국어 텍스트 토큰을 하나의 양방향 Transformer에서 처리하며, 멀티모달 검색의 품질과 인덱싱 효율을 함께 고려한 인코더 제품군이다.

¹NeoMME: an efficient Multimodal-native and Multilingual Encoder

²NeoMME: A Single-Tower Multimodal-Native Multilingual Foundation Encoder for Efficient Fine-Tuning and Inference