Claude 100k 컨텍스트 윈도우 공개

Anthropic의 클로드에서 토큰 한계가 100,000인 모델을 소개했습니다.

기존의 9000에서 10만 토큰까지 늘린 것인데요. 이는 약 7만 5천 단어에 해당한다고 합니다. 아예 책이나 코드를 통째로 놓고 질문을 할 수 있을 정도라고 하네요. 예를 들어 위대한 개츠비 전체 텍스트가 72000 토큰이라고 합니다. 또 10만 토큰은 약 6시간의 오디오 분량이라고 하네요. 예를 들어 AssemblyAI는 긴 팟캐스트를 58,000개의 단어로 전사한 후 Claude를 사용하여 요약 및 Q&A를 수행하는 훌륭한 데모를 제공했다고 합니다.

api를 통해 활용할 수 있고 poe.com에서 유료 구독자에게 한 달에 100개의 메시지까지 사용할 수 있게 해놓았네요.

9000에서 10만까지가 갑자기 어떻게 가능한 것일까요?

이렇게 되면 벡터 기반의 검색과 비교해서 어느 정도 성능이 될지 궁금합니다.

전문은 anthropic의 홈페이지에서 확인할 수 있습니다. : Introducing 100K Context Windows