AI 성능을 평가할 때 정답률만으로는 부족합니다. 실제 업무에서 더 중요한 질문은 “이 답을 얼마나 믿고 자동화할 수 있는가”입니다. Fable Benchmark가 주목할 만한 이유도 여기에 있습니다.
최근 Fable 평가에서는 모델의 평균 명시 신뢰도가 0.85, 실제 통과율이 87%, Brier 점수가 0.117로 제시됐습니다.1 Brier 점수는 예측한 확률과 실제 결과의 차이를 보는 지표로, 낮을수록 모델의 자신감과 실제 성과가 잘 맞는다는 뜻입니다.
즉, Fable Benchmark의 핵심은 단순히 “성능이 높다”가 아니라, 모델이 자신의 성공 가능성을 얼마나 잘 가늠하는지에 있습니다.
Fable 5를 이해하는 기준: 강한 모델이자 통제된 모델
Claude Fable 5는 2026년 6월 9일 일반 사용이 허용된 첫 Mythos-class 모델로 출시됐습니다.2 Mythos-class는 Anthropic의 Opus 클래스보다 상위에 놓인 모델 등급으로 설명됩니다.2
다만 Fable 5를 단순히 더 강한 모델로만 보면 핵심을 놓치기 쉽습니다. Fable 5는 높은 성능과 함께 안전장치를 포함한 “통제된 모델”에 가깝습니다.
비교 대상은 Claude Mythos 5입니다. Mythos 5는 Fable 5와 동일한 기반 모델이지만 일부 안전장치가 해제된 버전이며, 초기에는 사이버 방어자와 인프라 제공자 소수에게만 제공됩니다.3 반대로 Fable 5는 일반 사용을 전제로 하되, 일부 사이버보안 관련 요청에서는 Claude Opus 4.8이 대신 응답하도록 설계됐습니다.3
이 구조는 Fable 5의 성격을 잘 보여줍니다. 모델 성능만 키우는 것이 아니라, 어떤 요청을 어느 수준까지 허용할지까지 함께 설계한 제품이라는 뜻입니다.
왜 ‘자기평가’가 실무에서 중요한가
Fable Benchmark에서 눈여겨볼 지점은 평균 명시 신뢰도 0.85와 실제 통과율 87%가 비교적 가깝게 나타났다는 점입니다.1 모델이 “이 정도 확률로 맞을 것 같다”고 말한 값과 실제 성공률이 비슷하다면, 그 신뢰도는 업무 흐름에 활용될 수 있습니다.
예를 들어 모델이 낮은 확신을 보인 작업에는 추가 검증 단계를 붙이고, 높은 확신을 보인 작업은 자동 처리에 더 가깝게 배치할 수 있습니다. 이렇게 되면 모델의 출력은 단순한 답변이 아니라, 라우팅과 검증 강도를 결정하는 신호가 됩니다.
물론 이 수치를 과도하게 일반화해서는 안 됩니다. 해당 평가에서는 문제 유출이나 오염 가능성도 언급됐습니다.1 따라서 Fable Benchmark 결과는 “모든 상황에서의 보편적 능력”이라기보다, 신뢰도 보정 능력을 평가할 때 봐야 할 중요한 사례로 읽는 편이 적절합니다.
도입할 때 봐야 할 세 가지
Fable 5를 실제로 도입한다면 정답률만 볼 것이 아니라 다음 세 가지를 함께 봐야 합니다.
첫째, 모델의 실제 수행 능력입니다. 기본적인 통과율이나 작업 성공률은 여전히 중요합니다.
둘째, 신뢰도 보정 능력입니다. 모델이 높은 확신을 보일 때 정말 더 자주 맞는지, 낮은 확신을 보일 때 실패 가능성이 실제로 커지는지 확인해야 합니다. Fable Benchmark가 던지는 가장 실용적인 질문도 바로 이것입니다.
셋째, 안전장치와 비용입니다. Fable 5의 안전장치는 평균적으로 세션의 5% 미만에서 작동하지만, 보수적으로 조정돼 무해한 요청도 일부 차단할 수 있습니다.3 또한 Fable 5와 Mythos 5의 가격은 입력 100만 토큰당 10달러, 출력 100만 토큰당 50달러로 제시됐으며, Anthropic은 이 가격이 Claude Mythos Preview의 절반 미만이라고 설명했습니다.3
비싼 모델일수록 “어디에 쓸 것인가”가 중요해집니다. 모든 작업에 같은 모델을 쓰기보다, 모델의 확신도와 위험도에 따라 자동 처리, 추가 검증, 사람 검토를 나누는 방식이 더 현실적입니다.
Fable Benchmark가 남기는 메시지
Fable Benchmark는 AI 평가의 초점이 정답률 중심에서 신뢰도 관리로 이동하고 있음을 보여줍니다. 앞으로의 좋은 AI 시스템은 단순히 답을 잘 내는 모델이 아니라, 자신이 언제 맞을 가능성이 높고 언제 틀릴 수 있는지를 함께 알려주는 모델을 중심으로 설계될 것입니다.
실무적으로는 명확합니다. 모델을 평가할 때 “얼마나 잘 맞히는가”와 함께 “자기 확신을 얼마나 믿을 수 있는가”를 반드시 봐야 합니다. Fable Benchmark의 가치는 바로 이 판단 기준을 전면에 끌어냈다는 데 있습니다.
1Fable Benchmark Demonstrates Strong Calibration for AI Self-Assessment
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.