RAG 검색 파이프라인을 설계할 때 반복해서 마주치는 선택지가 있습니다. 빠르고 저렴한 검색을 우선할 것인가, 아니면 더 큰 인덱스 비용을 감수하고 정확도를 높일 것인가. Liquid AI의 LFM2.5 Retrievers는 이 선택을 두 모델로 나눠 제시합니다.
Liquid AI가 공개한 모델은 LFM2.5-Embedding-350M과 LFM2.5-ColBERT-350M입니다. 둘 다 약 3억5000만 파라미터 규모이며, 2025년 3월 공개된 LFM2.5-350M-Base를 기반으로 합니다.1 또한 LFM 계열에서 처음 공개된 양방향 모델입니다.1
LFM2.5 Retrievers는 무엇인가
LFM2.5 Retrievers의 핵심은 작은 규모의 다국어 검색 모델입니다. 지원 언어는 아랍어, 독일어, 영어, 스페인어, 프랑스어, 이탈리아어, 일본어, 한국어, 노르웨이어, 포르투갈어, 스웨덴어 등 11개입니다.1
단순히 여러 언어를 각각 검색하는 데 그치지 않습니다. 한 언어로 질문하고 다른 언어의 문서를 찾는 교차언어 검색도 학습 대상에 포함됐습니다.1 이 점은 글로벌 제품 카탈로그, FAQ 지식베이스, 고객 지원 문서처럼 짧은 텍스트가 여러 언어로 존재하는 환경에서 특히 중요합니다.1
두 모델의 실제 차이
LFM2.5 Retrievers는 dense bi-encoder 방식의 Embedding 모델과 ColBERT late-interaction 모델을 함께 제공합니다. 차이는 문서를 벡터로 표현하는 방식에서 시작됩니다.
LFM2.5-Embedding-350M은 문서 하나를 단일 벡터로 변환합니다.1 쿼리와 문서를 각각 벡터로 만든 뒤 가까운 항목을 찾는 방식이기 때문에 검색이 빠르고, 인덱스도 작고 저렴하게 유지하기 쉽습니다.1 대량 문서를 빠르게 훑어야 하는 경우에 먼저 검토할 만한 선택지입니다.
반면 LFM2.5-ColBERT-350M은 문서 전체를 하나의 벡터로 압축하지 않고, 각 토큰을 벡터로 변환합니다.1 쿼리와 문서를 단어 단위로 더 세밀하게 매칭하기 때문에 정확도와 일반화 성능에 유리합니다. 대신 저장해야 할 벡터가 많아져 인덱스 크기가 커집니다.1
정리하면 선택 기준은 명확합니다.
속도, 비용, 작은 인덱스가 중요하다면 LFM2.5-Embedding-350M
검색 품질과 세밀한 매칭이 더 중요하다면 LFM2.5-ColBERT-350M
왜 엣지 환경에서 주목할 만한가
Liquid AI는 LFM2.5 Retrievers를 엣지 기기에서의 다국어 검색에 맞춘 모델로 제시합니다.1 Hugging Face 모델 카드에서도 RAG 파이프라인의 검색 구성요소로 사용할 수 있으며, GGUF 버전도 제공된다고 설명합니다.2
검색 모델이 클라우드에만 의존하지 않을 수 있다면 활용 범위가 넓어집니다. 예를 들어 개인 파일, 이메일, 노트, 제품 문서처럼 로컬 또는 제한된 환경에서 검색해야 하는 데이터에 적용 가능성을 검토할 수 있습니다. 특히 한국어를 포함한 11개 언어 지원은 국내 서비스나 다국어 고객 지원 시스템에서도 실용적인 검토 포인트입니다.
적용할 때 먼저 봐야 할 것
LFM2.5 Retrievers의 의미는 “가장 큰 검색 모델”이 아니라 배포 가능한 크기에서 다국어 검색 품질과 비용의 균형을 선택하게 해주는 모델군이라는 데 있습니다.
도입을 검토한다면 모델 이름부터 고르기보다 다음 기준을 먼저 정리하는 편이 좋습니다.
검색 대상 문서가 짧은가, 긴가
단일 언어 검색인가, 교차언어 검색이 필요한가
인덱스 저장 비용을 얼마나 감당할 수 있는가
검색 속도와 정확도 중 어느 쪽이 더 중요한가
클라우드 중심인지, 엣지 또는 로컬 실행이 필요한지
이 기준이 정리되면 선택은 단순해집니다. 빠르고 저렴한 다국어 검색이 필요하면 Embedding 모델이 출발점입니다. 더 정밀한 매칭과 검색 품질이 우선이라면 ColBERT 모델을 검토할 이유가 있습니다.
참고
1LFM2.5 Retrievers: Bi-directional LFMs for Fast Multilingual Search
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.