NeoMME: 멀티모달 검색에서 구조적 단순성이 중요한 이유

멀티모달 모델의 효율은 파라미터 수나 벤치마크 점수만으로 판단하기 어렵다. 이미지와 텍스트를 연결하기 위해 얼마나 많은 구성 요소가 필요한지도 학습과 배포 비용을 좌우한다. NeoMME는 이 연결 구조를 단순화한 다국어·멀티모달 인코더 제품군이다.

하나의 Transformer로 이미지와 텍스트 처리

NeoMME는 2억 6천만 및 8억 파라미터 모델로 구성된다. 별도의 사전학습 비전 타워를 두지 않고, 단일 양방향 Transformer가 텍스트 토큰과 32×32 이미지 패치를 함께 처리한다. 두 모델의 컨텍스트 길이는 모두 16,384토큰이다.¹

기존 멀티모달 AI는 일반적으로 이미지 인식용 비전 인코더와 이미지 생성용 VAE를 별도로 사용한다.² 반면 NeoMME는 텍스트와 이미지 표현을 처음부터 하나의 인코더에서 처리한다. 핵심 차이는 단순히 모델 크기가 아니라, 모달리티를 연결하는 구조에 있다.

통합 구조를 어떻게 이해해야 하는가

NeoMME의 설계는 픽셀과 텍스트를 직접 처리하려는 통합 모델 흐름과 맞닿아 있다. NEO-unify는 사전학습된 비전 인코더와 VAE 없이 픽셀과 텍스트를 처리하며, 텍스트에는 자기회귀 교차 엔트로피를, 이미지에는 픽셀 플로 매칭을 적용한다.²

이 접근의 가능성과 한계는 이미지 복원 결과에서 함께 드러난다. 20억 파라미터 NEO-unify는 9만 단계 사전학습 후 MS COCO 2017 이미지 복원에서 PSNR 31.56과 SSIM 0.85를 기록했다. 비교 대상인 Flux VAE의 결과는 PSNR 32.65와 SSIM 0.91이었다.² 통합 구조가 별도 모듈을 없앨 수는 있지만, 그 자체로 모든 성능 우위를 보장하는 것은 아니다.

T5Gemma 2는 다른 선택을 보여준다. 이미지 처리를 위해 별도의 고효율 비전 인코더를 사용하면서, 인코더와 디코더의 단어 임베딩을 공유해 전체 파라미터 수를 줄인다. 또한 로컬·글로벌 어텐션을 교대로 적용해 최대 128K 토큰 컨텍스트를 지원하고, 기본적으로 140개 이상의 언어를 다룬다.³

따라서 통합 여부만으로 아키텍처를 평가해서는 안 된다. 실제 선택에서는 다음 기준을 함께 살펴야 한다.

• 별도 비전 인코더 없이 단순한 구성이 필요한가

• 긴 컨텍스트가 핵심 요구 사항인가

• 지원 언어 범위가 실제 데이터와 맞는가

• 검색 품질뿐 아니라 지연 시간과 메모리 사용량도 적절한가

검색 모델로서의 성능과 선택 기준

ViDoRe v3에서 NeoMME-Retriever-260M은 nDCG@10 0.523, 800M 모델은 0.556을 기록했다.¹ 더 큰 모델의 점수가 높지만, 이 차이만으로 배포 모델을 결정하기는 어렵다. 실제 환경에서는 동일한 문서와 이미지 데이터로 검색 품질, 처리 지연 시간, 메모리 요구량을 함께 측정해야 한다.

작은 모델은 비용과 응답 속도가 중요한 환경에서 먼저 검증할 수 있고, 800M 모델은 추가 자원을 투입할 만큼 검색 품질 향상이 있는지 비교하는 기준이 될 수 있다.

요약: NeoMME가 제공하는 실용적 가치

NeoMME의 핵심 가치는 최고 점수보다는 구조적 단순성에 있다. 하나의 양방향 Transformer로 텍스트 토큰과 이미지 패치를 처리하며, 2억 6천만 및 8억 파라미터 선택지를 제공한다. 모든 모델 체크포인트가 Apache 2.0으로 공개된 만큼, 다국어 문서·이미지 검색을 단계적으로 검증하려는 팀에 실용적인 출발점이 될 수 있다.¹

¹NeoMME: an efficient Multimodal-native and Multilingual Encoder

²NEO-unify: Building Native Multimodal Unified Models End to End

³T5Gemma 2: The next generation of encoder-decoder models