공개 노트

Fable 5.1의 66점은 max effort에서 나온 점수다

2026-09-02Views 51약 8분

Fable 5.1이 Artificial Analysis Intelligence Index에서 66점으로 1위를 했다. 이 점수는 최대 추론 설정에서 나온 값이다. 같은 모델을 API 기본값으로 돌리면 62점이고 작업당 비용은 2.6배 차이가 난다. 비용 25% 절감이라는 발표도 캐시 히트율이 높은 워크로드에만 해당한다.

무슨 일이 있었나

Anthropic이 2026년 9월 1일 Claude Fable 5.1과 Mythos 5.1을 공개했다. 두 모델은 같은 베이스 모델이고 안전장치와 접근 범위만 다르다. Fable 5.1은 앱, API, AWS, Google Cloud, Microsoft Foundry에서 바로 쓸 수 있다. Mythos 5.1은 사이버보안 검증 프로그램(CVP)과 생명과학 검증 프로그램(LSVP)을 통과한 조직만 접근한다.

공식 수치 중 상승 폭이 가장 큰 항목은 과학 연구용 터미널 작업이다. Terminal-Bench-Science 0.1에서 52.6%를 기록했고, Fable 5의 24.7%에서 두 배 넘게 올랐다(Anthropic, 2026). 코딩 쪽 Terminal-Bench 4.0은 55.8%로 Opus 5(52.3%)를 앞섰다. Humanity's Last Exam은 도구 없이 60.9%, 도구를 쓰면 65.0%다.

스펙은 컨텍스트 100만 토큰, 최대 출력 12만 8천 토큰, 지식 컷오프 2026년 6월이다(Claude Platform 문서, 2026).

66점은 어떤 설정에서 나온 점수인가

Artificial Analysis는 추론 강도(effort)를 나눠서 잰다. 1위를 만든 66점은 max effort 기준이다.

설정	Intelligence Index	작업당 비용
max effort	66	$3.76
high effort (API 기본값)	62	$1.43

여기서 비교 조건을 한 번 짚어야 한다. 리더보드에 올라 있는 Opus 5의 63점과 Fable 5의 62점도 모두 max effort 기준이다(Artificial Analysis, 2026). 즉 66, 63, 62는 최대 추론끼리의 비교다. Fable 5.1을 기본값인 high로 돌렸을 때의 62점은 그 표와 다른 조건에서 나온 숫자다. Artificial Analysis는 Opus 5와 Fable 5의 high effort 점수를 따로 공개하지 않았고, 그래서 기본 설정끼리의 순위 비교는 지금 불가능하다.

설정별로 확인되는 건 비용 쪽이다. 같은 모델을 max로 돌리면 작업당 $3.76, high면 $1.43으로 2.6배 차이가 난다. 1위라는 표현을 볼 때 그 점수가 어느 설정에서 나왔고 그때 얼마가 들었는지를 같이 봐야 한다.

Artificial Analysis 측정에서 이 모델의 첫 토큰까지 걸린 시간은 35.4초, 출력 속도는 초당 47.5 토큰이었다. 평가에서 notably slow로 분류됐다. 앱에서 답이 늦게 나오는 게 체감된다면 설정 탓일 가능성이 크다.

싸졌다는데 왜 작업당 비용은 올랐나

Anthropic은 일반 작업 약 25%, 복잡한 에이전트 워크플로우 최대 45% 비용이 준다고 발표했다. 근거는 캐시 읽기 가격 인하다. 백만 토큰당 $1에서 $0.25로 75% 내렸다. 입력 $10, 출력 $50은 그대로다.

Artificial Analysis는 여기에 반론을 냈다. 캐시 인하로 작업당 약 $1.40을 아끼는 건 맞지만 max effort에서 출력 토큰을 Fable 5 대비 약 1.7배 쓴다. 결과적으로 작업당 비용은 Fable 5보다 20% 더 비싸다(Artificial Analysis, 2026). Index 벤치마크를 한 번 완주하는 데 $8,523이 들었고 Fable 5 대비 56% 증가한 금액이다.

비교 대상을 Opus 5로 옮기면 격차가 더 벌어진다. Opus 5는 입력 $5, 출력 $25로 API 가격이 절반이고 max effort 작업당 실비용은 $2.34다.

절감이 실현되는 조건은 분명하다. 같은 문서나 코드베이스, 고정 지침을 반복해서 밀어넣는 작업이어야 한다. 캐시에 안 걸리는 일회성 질문을 많이 던지는 쪽이라면 출력 토큰만 늘어난다. Anthropic은 25%가 나오는 캐시 히트율 조건을 밝히지 않았다.

1위라는 건 Opus 5보다 낫다는 뜻인가

에이전트형 업무 평가에서는 두 모델이 사실상 붙어 있다.

평가	Fable 5.1	Opus 5
GDPval-AA v2 (Elo)	1853	1824
AA-Briefcase (Elo)	1694	1685

Artificial Analysis는 GDPval-AA v2의 29점 차이를 두고 신뢰구간이 겹쳐서 프런티어 우위로 보기 어렵다고 평가했다. AA-Briefcase는 사실상 동률로 분류했다. 결론은 기업 구매자가 당분간 두 모델을 서로 대체 가능한 것으로 봐야 한다는 쪽이다(Artificial Analysis, 2026).

벤치마크 표에서 3점 차이는 커 보인다. 통계적으로는 그렇지 않다는 게 측정한 쪽의 해석이다.

정확도 신기록에 딸려온 것

지식과 환각을 재는 AA-Omniscience에서 Fable 5.1은 정확도 67.2%로 역대 최고를 기록했다. Fable 5는 65.4%였다. 같이 오른 지표가 하나 더 있다. 문제 시도율이 93.4%로, Opus 5의 87.8%보다 높다(Artificial Analysis, 2026).

모르는 문제를 넘기는 대신 답을 시도하는 쪽으로 움직였다는 뜻이고 그만큼 환각도 늘었다. 사실 확인이 필요한 업무에서는 이 성향을 감안해야 한다. 출처를 요구하는 프롬프트의 가치가 이전보다 올라갔다.

앱에서 오늘 확인할 수 있는 변화

Claude Platform 문서에는 Fable 5 대비 프롬프트 작성이 달라지는 지점 여섯 가지가 명시돼 있다(Claude Platform 문서, 2026). API 문서지만 앱에서도 그대로 나타나는 성향이다.

첫째, 병렬 도구 호출이 줄었다. 한 번에 도구 하나를 부른다. 독립적인 작업이 여러 개면 한 턴에 다 요청하라고 문장에 넣어야 한다.

둘째, 긴 작업을 도는 동안 진행 상황 텍스트가 줄었다. 앱에서는 조용히 오래 돌아가는 것처럼 보인다. 처음에 한 줄, 중간에 주기적으로 업데이트해달라고 요청하면 된다.

셋째, 낮은 추론 강도에서는 검색을 덜 한다. 기억에서 답하는 빈도가 올라간다. 최신 정보가 필요한 질문이면 추론 강도를 올리거나 검색해서 확인하라고 명시해야 한다.

넷째, 문서를 요약할 때 인용을 안 붙인다. 어느 문단에서 나왔는지 표기하라고 형식을 지정해야 한다.

다섯째, 작은 수정에도 파일 전체를 다시 쓰는 경향이 있다. 해당 부분만 고치라고 강조하는 편이 낫다.

여섯째, 볼드와 헤더와 리스트 사용이 줄었다. Anthropic 연구원 Felix Rieseberg는 이전 모델들이 "글머리 기호와 굵은 텍스트에 지나치게 의존했다"고 설명했다. 표나 목록이 필요하면 형식을 직접 지정하는 쪽이 확실하다.

여기서 하나 걸리는 게 있다. Hacker News 스레드에서는 문체가 오히려 밀도 높고 장황해서 피로하다는 지적이 나왔다. 포맷팅 감소와 문장 밀도 증가가 같이 온 것으로 보인다. 커뮤니티 관찰이라 측정치는 아니다.

API를 직접 쓰는 경우라면 깨지는 항목이 세 가지 더 있다. tool_choice를 any나 tool로 지정하면 400 에러가 난다. thinking block이 모델에 묶여서 이전 모델은 5.1이 만든 것을 읽지 못한다. 이전 턴을 편집하거나 재정렬하면 thinking block이 무효화되므로 대화를 추가 전용으로 다뤄야 한다.

플랜별로 지금 쓸 수 있는 조건

Anthropic 헬프센터 기준(2026) 조건이 플랜마다 다르다.

플랜	사용	과금
Free	불가	-
Pro	가능	플랜 한도에 미포함. 별도 사용량 크레딧
Max	가능	주간 한도의 최대 50%까지 Fable에 사용
Team 표준석	가능	Pro와 동일
Team 프리미엄석	가능	Max와 동일

캐시 읽기 75% 인하는 API 가격이다. 구독으로 쓰는 사람에게는 직접적인 혜택이 아니다. Hacker News에서 나온 불만도 이 지점이었다. Pro 사용자가 Fable 5.1을 쓰려면 크레딧을 따로 태워야 한다.

같은 스레드에서 자주 나온 다른 불만은 보안 관련 요청이 Opus로 라우팅된다는 것이다. 인증 구현이나 네트워킹 작업에서 거부당했다는 보고가 있었다. Anthropic은 생물 분야 오탐 85%, 사이버보안 세션당 개입 60% 감소를 발표했는데 체감과는 차이가 있다. 침투 테스트와 익스플로잇 생성, 바이너리 취약점 스캔은 공식적으로 Opus로 넘긴다고 문서에 적혀 있다.

그래서 결론

지금 Fable 5.1로 갈아탈 이유가 분명한 경우는 좁다. 긴 문서나 대규모 코드베이스를 반복 입력하면서 캐시 히트율이 높은 작업, 그리고 과학 연구성 터미널 작업이다. Terminal-Bench-Science 두 배 상승은 다른 어떤 수치보다 폭이 크다.

일반적인 코딩과 지식 업무라면 Opus 5를 유지하는 쪽이 합리적이다. 에이전트 평가에서 통계적으로 붙어 있고 가격은 절반이다. 벤치마크 순위표만 보고 상위 모델로 옮기면 작업당 비용이 60% 올라간다.

앱으로 쓰는 사람에게 실제로 달라지는 건 점수보다 응답 성향이다. 포맷팅이 줄고 인용이 안 붙고 검색을 덜 한다. 이 세 가지는 프롬프트에 한 줄씩 넣으면 되돌릴 수 있다.

내가 틀릴 수 있는 지점

이 글은 공개 자료로만 썼다. 출시 다음 날 정리한 것이고 장시간 실사용 결과는 들어있지 않다. 앱과 Claude Code에서 며칠 돌려본 뒤 성향이 다르게 나오면 판단을 바꿀 생각이다.

검증하지 못한 수치도 있다. Artificial Analysis가 잴 Fable 5.1의 개별 벤치마크 점수(Humanity's Last Exam, Terminal-Bench v2.1, SciCode)는 해당 모델 페이지가 404로 열리지 않아 1차 확인에 실패했다. 국내 요약본에서 도는 개별 수치를 이 글에 옮기지 않은 이유다. Anthropic 공식 발표의 Terminal-Bench 4.0 55.8%와 Artificial Analysis가 쓰는 Terminal-Bench v2.1은 버전이 다른 벤치마크이므로 나란히 놓고 비교하면 안 된다.

Anthropic이 캐시 히트율 조건을 공개하거나, Artificial Analysis 모델 페이지가 복구되어 개별 점수가 확인되면 이 글을 수정한다.

출처

발행 2026-09-02 / 최종 수정 2026-09-02 작성: 틸노트. 자료 수집과 초안 작성에 Claude를 사용했고 수치는 1차 출처로 대조했다. 대조에 실패한 항목은 본문에 표시했다.