최근 NVIDIA가 "단일 GPU로, 하루 안에 도메인 특화 임베딩 모델을 만든다"는 레시피를 공개했습니다.1 의미는 단순합니다. RAG가 '그럴듯한데 틀린 답'으로 무너지는 순간, 원인은 종종 LLM이 아니라 "검색(임베딩)" 쪽에 있다는 거죠. 이 글에서는 임베딩의 기본 감각부터, 라벨 없이 데이터 만들기, 하드 네거티브로 성능 끌어올리기, 그리고 어떤 모델을 고를지까지 하루 안에 실행 가능한 관점으로 정리합니다.
도메인 특화 임베딩 모델이 필요한 순간(=RAG가 미끄러질 때)
임베딩은 문장을 숫자 벡터로 바꿔 "서로 얼마나 비슷한지"를 거리로 재는 기술입니다. 기계는 원문을 그대로 이해하지 못하니, 벡터 공간으로 옮겨서 유사도를 계산하는 방식이죠.2 문제는 범용 임베딩 모델이 인터넷 평균 점수는 높아도, 우리 회사 문서의 "미세한 차이"에는 약하다는 겁니다.
예를 들어 계약서에서 '해지'와 '해제', 제조 로그에서 '경보'와 '주의', 의료 문서에서 약물명 한 글자 차이 같은 것들요. 범용 모델은 대충 비슷하다고 묶어버리고, 그 결과 검색 Top-k가 살짝 틀어집니다. RAG는 그 위에 답을 짓기 때문에, 검색이 5%만 흔들려도 최종 답은 50% 흔들립니다.
라벨 없이 학습 데이터 만들기: "문서가 곧 교과서" 전략
도메인 특화 파인튜닝의 첫 허들은 항상 데이터입니다. (질문, 정답 문서) 쌍을 수천~수만 개 만들려면 라벨링 비용이 터지죠. 여기서 요즘 가장 현실적인 우회로가 "합성 데이터"입니다. LLM이 문서를 읽고, 그 문서에서 나올 법한 질문과 답을 자동 생성하게 만드는 방식이죠.1
포인트는 질문을 한 종류만 만들지 않는 겁니다. 단답형(사실 조회)만 잔뜩 만들면, 모델은 '쉬운 문제'만 잘 풀게 됩니다. 대신 여러 문단을 건너뛰어 연결해야 풀리는 멀티홉 질문(원인-결과, 조건-예외)을 섞어야 실제 업무 질의에 가까워집니다.1 이렇게 만들면 라벨 없이도 "우리 문서에서 진짜 자주 묻는 방식"을 대량 생산할 수 있습니다.
하드 네거티브 마이닝: 검색 성능을 올리는 진짜 스위치
임베딩 학습은 보통 "정답은 가깝게, 오답은 멀게" 만드는 대조학습(contrastive learning)입니다. 그런데 오답을 너무 쉬운 걸로만 주면(완전 엉뚱한 문서), 모델은 금방 배워서 성장통이 끝납니다. 실전에서 문제를 일으키는 건 "거의 맞아 보이는데 사실은 다른 문서"라는 근접 오답이거든요. 그래서 하드 네거티브(헷갈리는 오답)를 일부러 찾아 학습에 넣는 과정이 중요합니다.1
여기서 한 가지 함정은 "가짜 오답"입니다. 데이터에 라벨이 없거나 부정확하면, 사실은 맞는 문서가 오답으로 뽑히기도 합니다. 이런 노이즈가 쌓이면 임베딩은 오히려 나빠질 수 있다는 지적도 있어요.3 그래서 네거티브를 고를 때는 너무 정답에 가까운 후보를 제외하는 '안전장치(마진/필터)'가 유효합니다.1 요약하면, 하드 네거티브는 강력하지만, '잘못 뽑은 하드 네거티브'는 독이라는 겁니다.
모델 선택과 운영 팁: "범용 vs 도메인 vs 멀티기능"의 기준
모델 고를 때는 세 갈래로 생각하면 편합니다. 첫째, 의료처럼 이미 강한 도메인 모델이 있는 분야는 그걸 쓰는 게 빠릅니다. 실제로 의학 텍스트에 특화된 임베딩 모델은 범용 모델보다 의료 벤치마크에서 더 좋은 상관 성능을 보인 사례가 있습니다.4
둘째, 문서가 길고 언어가 섞이면(다국어 계약서, 글로벌 CS), 긴 컨텍스트·다국어에 강한 계열이 유리합니다. 긴 입력과 하이브리드 검색(밀집+희소)을 한 모델에서 다루는 유형도 있어, 운영 복잡도를 줄일 수 있습니다.4
셋째, 로컬에서 임베딩을 돌려야(보안/비용) 하는 팀은 "로컬 임베딩 서버"로 시작해 검증한 뒤, 성능이 부족할 때만 파인튜닝으로 들어가면 시행착오가 줄어듭니다.5 중요한 건 "우리 데이터에서 Recall@k가 오르는지"를 꼭 확인하는 겁니다. 임베딩은 멋진 말보다 지표가 진실입니다.
시사점
도메인 특화 임베딩 모델은 RAG의 '검색 엔진'을 우리 업무 언어로 재교육하는 작업입니다. 하루 안에 끝내려면, 문서로 합성 QA를 만들고, 멀티홉을 섞고, 하드 네거티브를 안전하게 고르고, 평가(Recall/NDCG)로 전후를 비교하는 루틴이 핵심입니다.1
실무 팁 하나만 남기면, "파인튜닝은 마지막 카드"로 두세요. 먼저 (1) 청킹/메타데이터/하이브리드 검색을 손보고, (2) 로컬 또는 범용 강모델로 기준선을 만든 뒤, (3) 그 기준선을 못 넘을 때 도메인 파인튜닝을 걸면 성공 확률이 훨씬 높습니다.
참고
1Build a Domain-Specific Embedding Model in Under a Day
2임베딩이란 무엇인가요? - 기계 학습에서의 임베딩 설명 - AWS
3How to train the best embedding model in the world
5LM Studio Text Embedding: Local Embeddings with Open-Source Models
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.