cohere rerank 3 출시

tilnote2024-04-13 07:15

cohere 에서 rerank3를 출시했습니다. 리랭크는 특정 질문에 대한 여러 결과에 순위를 매겨주는 것을 말합니다. RAG 를 한 후 에 여러 결과가 나왔다면 여기에서 우선순위를 만들 때 활용할 수 있습니다.

rerank 3의 특징

4k 컨텍스트 길이 지원
이메일, 인보이스, JSON 문서, 코드 및 테이블과 같은 다양한 구조의 데이터 검색이 가능합니다.
100개 이상의 언어를 지원하여 다국어 검색 기능을 제공합니다.
높은 정밀도의 의미론적 재순위 지정을 통해 검색된 문서만을 생성 모델에 전달함으로써 응답 정확도를 높이고 지연 시간 및 비용을 절감합니다.
엘라스틱서치의 추론 API를 통해 Rerank 3를 사용할 수 있습니다.
새로운 Rerank 3 모델은 기업의 RAG 시스템에서 문서 검색 비용을 크게 절감하고, 시스템의 전반적인 정확도와 지연 시간을 유지하면서도 더 적은 문서만을 다루도록 지원합니다.
개발자 및 기업은 Cohere의 호스팅된 API 및 AWS Sagemaker를 통해 오늘부터 Rerank 3에 접근할 수 있습니다.

rerank 사용법

const cohere = new CohereClient({
    token: "<<apiKey>>",
});

(async () => {
  const rerank = await cohere.rerank({
      documents: [
          { text: "Carson City is the capital city of the American state of Nevada."},
          { text: "The Commonwealth of the Northern Mariana Islands is a group of islands in the Pacific Ocean. Its capital is Saipan."},
          { text: "Washington, D.C. (also known as simply Washington or D.C., and officially as the District of Columbia) is the capital of the United States. It is a federal district."},
          { text: "Capital punishment (the death penalty) has existed in the United States since beforethe United States was a country. As of 2017, capital punishment is legal in 30 of the 50 states."}
      ],
      query: "What is the capital of the United States?",
      topN: 3,
  });

  console.log(rerank);
})();

이렇게 간단하게 사용할 수 있습니다. multi lingual 도 가능해서 저는 서비스 만들 때 사용을 검토할 것 같습니다.

인공지능