Google가 최신 AI 모델 접근 비용을 절감하기 위해 '암묵적 캐싱'을 시작합니다.
- 구글은 Gemini API에 암시적 캐싱 기능을 도입해 최신 AI 모델 접근 비용을 절감하고자 한다고 발표함.
- 암시적 캐싱은 반복되는 컨텍스트를 Gemini API를 통해 모델에 전달하여 75% 비용 절감을 가능케 함.
- 이 기능은 Google의 Gemini 2.5 Pro 및 2.5 Flash 모델을 지원함.
- 고비용을 고려하면 개발자들에게 환영할 소식임.
- 이전의 명시적 캐싱은 개발자들이 가장 자주 사용하는 프롬프트를 정의해야 했고, 이는 많은 수작업을 요구했음.
- 암시적 캐싱은 자동으로 작동하며 반복 요청에 대한 캐싱을 통해 비용을 줄임.
- 2.5 Flash의 최소 프롬프트 토큰 수는 1,024이고, 2.5 Pro의 경우 2,048임.
- 구글은 반복되는 컨텍스트가 요청의 시작부분에 있어야 암시적 캐시 히트를 증가시킬 수 있다고 권장함.
- 구글은 새로운 암시적 캐싱 시스템이 약속된 자동 비용 절감을 제공할 것이라는 제3자 검증을 제공하지 않았음.
4techcrunch.com링크 복사하기
AI 뉴스 요약은 뉴스의 내용을 AI가 요약(GPT-4 활용)한 것입니다. 따라서 틀린 내용을 포함할 수 있습니다. 뉴스의 자세한 내용을 확인하시려면 해당 뉴스 링크를 클릭해주세요.