컨텍스츄얼 검색 소개
- AI 모델이 특정 분야에서 유용성을 갖추려면 배경 지식에 접근할 필요가 있음.
- 고객 서비스 챗봇은 사용되는 비즈니스에 대한 지식이 필요하고, 법률 분석 봇은 과거 사례를 풍부하게 알아야 함.
- 개발자들은 AI 모델의 지식을 향상시키기 위해 보통 RAG(Retrieval-Augmented Generation)를 사용함.
- 전통적인 RAG 솔루션은 정보 인코딩 시 맥락을 제거하여 관련 정보를 적절히 검색하지 못하는 문제점이 있음.
- "맥락적 검색"이라는 방법 소개로 RAG 검색 단계를 크게 개선할 수 있음.
- 두 가지 서브 기술인 "맥락적 임베딩"과 "맥락적 BM25"를 이용하여 검색 실패율을 49% 줄일 수 있음; 재순위화를 포함하면 67%까지 감소.
- 작은 지식베이스에는 긴 프롬프트를 사용하는 것을 제안; 대규모 지식베이스에는 맥락적 검색이 더욱 효과적임.
- RAG는 큰 지식베이스를 조각으로 나눠 벡터 임베딩으로 변환, 의미적 유사성을 이용해 가장 관련 있는 조각을 찾음.
- BM25는 정확한 단어 매칭을 통해 임베딩 모델이 놓칠 수 있는 일치점을 보완함.
- Contextual Retrieval은 임베딩 및 BM25를 사용해 검색 정확성을 최적화하는 기술.
- 맥락적 검색은 문서의 전체적인 맥락을 활용해 조각별로 설명을 추가하고 검색 정확성을 높임.
- 운영비용 감소 및 속도 향상을 위해 프롬프트 캐싱을 활용할 수 있음.
- 다양한 도메인에서 실험하여 맥락적 임베딩과 BM25 조합으로 검색 실패율을 크게 낮출 수 있음을 확인함.
- 구현 시 문서 조각화 방식과 임베딩 모델 선택이 중요함.
- 재순위화와 결합하여 검색 정확성을 최대화할 수 있음.
- 재순위화는 추가적인 성능 향상을 제공하며, 비용과 지연 시간도 감소시킴.
- 다양한 테스트를 통해 Embeddings+BM25가 임베딩만보다 우수하고, 최상위 조각을 모델에 전달하는 것이 효과적임을 발견함.
- 개발자들에게 성능 향상을 위한 다양한 접근 방법을 실험하도록 권장함.
4anthropic.com링크 복사하기
AI 뉴스 요약은 뉴스의 내용을 AI가 요약(GPT-4 활용)한 것입니다. 따라서 틀린 내용을 포함할 수 있습니다. 뉴스의 자세한 내용을 확인하시려면 해당 뉴스 링크를 클릭해주세요.