Sentence Transformers로 더 빠른 Static Embedding Models 훈련

• 블로그 포스트는 최신 임베딩 모델을 사용하여 CPU에서 기존 모델보다 100배에서 400배 더 빠르게 실행되면서도 높은 품질을 유지하는 정적 임베딩 모델을 소개.
• 이 방법을 영어 검색용과 다국어 유사성을 위한 두 가지 효율적인 임베딩 모델에서 적용.
• 소개한 두 모델은 sentence-transformers/static-retrieval-mrl-en-v1 (영어 검색)과 sentence-transformers/static-similarity-mrl-multilingual-v1 (다국어 유사성).
• 이 모델들은 모든 mpnet-base-v2 및 multilingual-e5-small 등의 모델에 비해 100배에서 400배 빠르며, 다양한 벤치마크에서 최소 85%의 성능 도달.
• 두 모델, 상세한 트레이닝 전략, 두 개의 트레이닝 스크립트, 두 개의 훈련 및 평가 데이터를 제공.
• 모델 사용법은 기존 Sentence Transformers의 흐름과 동일.

주요 내용 요약:

• 임베딩이란 복잡한 객체(텍스트, 이미지, 오디오 등)의 수치적 표현으로, 응용 분야가 다양.
• 최신 임베딩 모델들은 변환 단계가 많고, 대규모 언어 모델이 자주 사용됨.
• 정적 임베딩 모델은 사전 계산된 토큰 임베딩을 사용하여 빠른 추론 제공.
• 대조 학습 손실 함수를 사용하여 더 효과적인 정적 임베딩 모델을 훈련.
• Matryoshka Representation Learning을 사용하여 더 작은 치수의 임베딩 벡터 제공.
• 모델은 Sentence Transformers 라이브러리를 사용하여 훈련.
• 영어 검색 및 다국어 유사성 모델의 트레이닝 데이터 선택 및 손실 함수 선택을 포함한 상세한 트레이닝 과정 설명.
• Consumer-level 하드웨어 (RTX 3090, i7-13700K, 32GB RAM)에서 모델 훈련 수행.
• 최종 훈련 스크립트 제공.