RAG에서 중요한 질문은 더 이상 “벡터 검색을 쓸까?”가 아닙니다. 이제는 “어떤 질문에 어떤 검색기를 쓸까?”가 더 중요합니다.
RAG는 LLM을 외부 지식 소스와 연결해 추가 학습 없이 답변 품질을 높이는 구조입니다.1 핵심 구성요소는 관련 문서를 찾는 retriever와, 그 문서를 바탕으로 답변을 생성하는 generator입니다.1 그런데 모든 질문이 같은 방식의 검색을 요구하지는 않습니다. 단순 사실 확인, 도메인 용어 검색, 긴 문서 기반 질의, 다단계 추론 질문은 필요한 검색 전략이 다릅니다.
이 지점에서 Retriever Portfolios가 등장합니다. 하나의 “최고 검색기”를 고르는 대신, 여러 후보 중에서 작고 다양한 검색기 묶음을 선택하자는 접근입니다.
Retriever Portfolios란 무엇인가
Retriever Portfolios는 후보 풀에서 소수의 다양한 retriever 조합을 선택하는 방법입니다.2 이름 그대로 검색기를 포트폴리오처럼 구성합니다. 주식 포트폴리오가 하나의 자산에 모든 기대를 걸지 않듯, RAG 검색도 하나의 retriever에만 의존하지 않도록 설계하는 것입니다.
일반적인 retriever는 사용자 질의와 저장 문서를 임베딩 모델로 고차원 dense vector로 변환한 뒤, 유사도 함수를 통해 관련 문서를 찾습니다.1 대규모 문서 검색에서는 전체 말뭉치와 완전 비교하기 어렵기 때문에 HNSW, IVF, ScaNN 같은 ANN 인덱싱을 사용해 높은 recall과 낮은 지연시간을 유지합니다.1
이 방식은 빠르고 확장성이 좋지만 한계도 있습니다. retriever는 질의 벡터와 문서 벡터를 독립적으로 비교하므로 중요한 문맥 관계를 놓칠 수 있습니다.1 그래서 RAG 시스템에서는 흔히 reranker를 함께 사용합니다. Reranker는 1차 검색 결과를 다시 정렬해 질의와 선택 텍스트의 의미적 정렬을 개선합니다.1 특히 cross-encoder나 LLM 기반 reranker는 질의-문서 쌍을 함께 인코딩해 관련성 추정을 높일 수 있습니다.1
다만 reranker를 붙인다고 모든 문제가 사라지는 것은 아닙니다. 더 정교한 정렬은 보통 비용과 지연시간을 늘립니다. 결국 RAG 설계는 검색 품질, 답변 품질, 비용, 속도 사이의 균형 문제로 이어집니다.
핵심은 “많이”가 아니라 “다르게”
Retriever Portfolios의 핵심은 검색기를 많이 붙이는 것이 아닙니다. 서로 다른 질문 유형을 잘 덮을 수 있는 작고 다양한 조합을 고르는 것입니다.
「Retriever Portfolios: A Principled Approach to Adaptive RAG」는 적응형 RAG를 위한 연구로, 후보 풀에서 다양한 retriever subset을 선택하는 방법을 제안합니다.2 이 접근은 단일 검색기에 전체 질의를 맡기는 대신, 질문에 따라 더 적합한 retriever 조합을 활용할 수 있게 합니다.
여기서 중요한 관점 전환이 있습니다. Adaptive RAG는 매번 복잡한 규칙을 손으로 추가하는 방식이 아니라, 사전에 평가된 검색기 조합을 기반으로 상황에 맞는 검색 경로를 선택하는 방향으로 발전할 수 있습니다. 즉, “가장 성능이 높은 retriever 하나”를 찾는 문제가 아니라 “서로 보완적인 retriever들을 어떻게 구성할 것인가”의 문제가 됩니다.
실무에서 무엇을 평가해야 하나
Retriever Portfolio를 적용하려면 먼저 질문 분포를 이해해야 합니다. 예를 들어 서비스에 들어오는 질문이 단순 FAQ 중심인지, 전문 용어가 많은지, 긴 문서 근거가 필요한지, 여러 문서를 연결해야 하는지를 구분해야 합니다.
그다음 후보 retriever를 구성하고 비교합니다. 이때 검색 성능만 보면 부족합니다. RAG의 최종 목표는 좋은 문서를 찾는 것에 그치지 않고, generator가 더 정확하고 유용한 답변을 만들도록 돕는 것입니다. 따라서 최소한 다음 기준을 함께 봐야 합니다.
검색 품질: 관련 문서를 얼마나 잘 찾는가
답변 품질: 최종 생성 답변이 실제로 좋아지는가
비용: 검색, reranking, 생성 단계의 비용이 감당 가능한가
지연시간: 사용자 경험을 해치지 않는가
다양성: 서로 다른 질문 유형을 보완적으로 처리하는가
이런 관점은 기존 RAG 평가 연구와도 맞닿아 있습니다. 한 연구는 3개 retriever와 3개 reranker의 조합, 총 9개 구성을 MRR, 비용, 지연시간 기준으로 평가했습니다.1 이는 RAG 성능을 단일 지표로 판단하기보다 품질과 효율의 trade-off로 봐야 한다는 점을 보여줍니다.
결론: 좋은 RAG는 조합에서 나온다
Retriever Portfolios가 주는 실무적 메시지는 명확합니다. 좋은 RAG는 “가장 강한 검색기 하나”에서만 나오지 않습니다. 질문 유형에 맞게 서로 다른 검색기를 조합하고, 그 조합을 평가와 최적화로 선택할 때 더 안정적인 성능을 기대할 수 있습니다.
따라서 RAG를 개선하려면 먼저 retriever 하나를 교체하는 방식에서 벗어나야 합니다. 질문 분포를 분석하고, 후보 검색기를 마련하고, 답변 품질·비용·지연시간을 함께 측정해야 합니다. Retriever Portfolios는 이 과정을 감이 아니라 체계적인 선택 문제로 다루게 해주는 접근입니다.
1Evaluating retriever reranker pairings in RAG based on quality and efficiency trade-offs
2Retriever Portfolios: A Principled Approach to Adaptive RAG
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.