Anthropic가 Claude 3.7 Sonnet을 통해 처리량을 높이고 토큰 사용을 줄이기 위해 API를 업데이트했습니다.

제목: "Anthropic, Claude 3.7 Sonnet으로 API 업데이트하여 처리량 증가 및 토큰 사용 감소"

Anthropic API에 여러 업데이트를 적용하여 개발자가 처리량을 크게 늘리고 토큰 사용을 줄일 수 있도록 함

• 캐시 인식 속도 제한, 간편한 프롬프트 캐싱, 토큰 효율적인 도구 사용 포함

프롬프트 캐싱으로 처리량 증가

• 자주 접근하는 정보를 저장하여 API 호출 사이에 재사용할 수 있음
• 프롬프트 캐싱 개선으로 비용 최대 90% 절감, 지연 시간 최대 85% 감소 가능

캐시 인식 속도 제한

• 캐시 읽기 토큰이 ITPM 한도에 계산되지 않음
• 문서 분석 플랫폼, 코드 어시스턴트, 고객 지원 시스템에 적합

간편한 캐시 관리

• 자동으로 가장 긴 캐시된 프리픽스를 사용하여 수동 추적 필요 없음
• Anthropic API 및 Google Cloud’s Vertex AI에서 사용 가능

토큰 효율적인 도구 사용

• Claude가 사용자 정의 도구를 사용하여 작업 수행 가능
• 토큰 소비 최대 70% 감소

새로운 text_editor 도구 도입

• 문서 내 특정 부분 편집 가능
• 토큰 소비 및 지연 시간 감소, 정확성 증가
• Anthropic API, Amazon Bedrock, Google Cloud's Vertex AI에서 사용 가능

고객 사례: Cognition

• 코드베이스에 대한 더 많은 컨텍스트 제공, 비용 및 지연 시간 감소 효과

모든 Anthropic API 고객이 지금 바로 새로운 기능 사용 가능

• 최소한의 코드 변경으로 기능 구현 가능