Claude Fable 5 논란의 핵심은 “AI 연구를 막아야 하는가”가 아니다. 더 중요한 쟁점은 사용자가 최고 성능 모델을 쓰고 있다고 믿는 동안, 특정 프런티어 LLM 개발 요청에서 성능 제한이나 모델 전환이 보이지 않게 적용될 수 있었다는 점이다.
Anthropic은 이후 이 방식을 바꾸겠다고 밝혔다. Fable 5의 프런티어 LLM 개발 관련 안전장치를 사용자에게 보이도록 변경하고, 플래그된 요청은 Opus 4.8로 fallback되며, API에서는 거부 사유를 반환하겠다는 설명도 나왔다.1
이 변화는 단순한 제품 UX 수정이 아니다. Anthropic의 AI 연구 정책, 특히 Responsible Scaling Policy(RSP)가 실제 사용자 경험과 만나는 지점에서 무엇이 부족했는지를 보여준다.
RSP는 모델이 강해질수록 안전장치도 강화하겠다는 규칙이다
Anthropic의 Responsible Scaling Policy, 즉 RSP는 고도화된 AI 모델의 위험을 평가하고 그에 맞는 안전장치를 적용하기 위한 거버넌스 체계다. Anthropic은 RSP를 “비례적·반복적·수출 가능한” 위험 관리 방식으로 설명한다.2
RSP는 2023년 9월 19일 1.0 버전으로 처음 공개됐다. 이후 2026년 2월 24일 시행된 RSP 3.0에서 정책 전반이 다시 작성됐고, 배포된 모든 모델의 위험을 정량화한 Risk Report 공개가 포함됐다.2
즉 Anthropic의 기본 방향은 분명하다. 강한 모델을 개발하되, 위험을 측정하고 문서화하며 필요하면 배포 방식에 제약을 둔다. Fable 5의 프런티어 LLM 개발 관련 제한도 이 큰 흐름 안에서 이해할 수 있다.
문제는 안전장치 자체보다 ‘사용자가 알 수 있었는가’다
AI 모델이 위험한 요청을 거부하거나 더 안전한 경로로 처리하는 것은 이상한 일이 아니다. 특히 프런티어 LLM 개발, 사이버보안, 생물학처럼 오용 가능성이 큰 영역에서는 더 엄격한 통제가 필요할 수 있다.
Fable 5 역시 안전 정책의 대상이다. Anthropic은 Fable이 사이버보안과 생물학 영역에서 강력한 안전장치를 갖고 있으며, 플래그된 요청은 Opus 4.8로 자동 라우팅된다고 설명한다.3 또한 Fable 사용에는 안전 모니터링을 위한 30일 데이터 보관이 필요하다고 밝힌다.3
그러나 이번 논란에서 문제가 된 부분은 “제한이 있었는가”보다 “그 제한이 명확히 보였는가”다. 사용자가 Fable 5에 요청했다고 생각했는데 실제로는 다른 모델로 fallback되거나, 특정 연구 요청에서 성능이 제한되었다면 그 사실은 결과 해석에 직접 영향을 준다.
연구자에게 이는 단순한 불편이 아니다. 어떤 모델이 어떤 조건에서 응답했는지 알 수 없다면 결과를 재현하거나 비교하기 어렵다. 따라서 안전장치는 필요하지만, 그 안전장치가 모델 선택과 출력 품질에 영향을 준다면 사용자가 확인할 수 있어야 한다.
Anthropic 정책의 핵심은 ‘개입할 권한’과 ‘설명할 책임’의 균형이다
RSP는 Anthropic이 위험하다고 판단한 경우 강하게 개입할 수 있음을 전제로 한다. RSP 3.1은 AI R&D 역량 임계값의 의미를 “연구자 생산성 2배”가 아니라 “AI 역량 발전 속도 2배”로 명확히 했다.2 또한 Anthropic은 RSP상 필수 조치가 아니더라도 필요하다고 판단하면 AI 시스템 개발을 중단할 수 있다고 밝혔다.2
RSP 3.2에서는 Long-Term Benefit Trust(LTBT)가 Risk Report의 외부 검토를 요청할 수 있게 했고, Anthropic의 외부 검토자 선정에 대해 LTBT 승인 권한도 부여했다.2 RSP 3.3은 신규 화학·생물학 무기 생산 관련 임계값을 수정했다.2 Anthropic은 고도화된 모델의 오용을 막기 위해 ASL-3 배포 안전장치도 개발 중이라고 설명한다.2
이런 변화들은 Anthropic이 안전을 제품 외부의 선언이 아니라 운영 규칙으로 만들고 있음을 보여준다. 다만 운영 규칙이 실제 제품에서 작동할 때는 또 다른 기준이 필요하다. 사용자가 어떤 제한을 받는지, 언제 다른 모델로 전환되는지, 왜 요청이 거부되는지를 알 수 있어야 한다는 기준이다.
AI 연구 정책은 제품 화면에서도 작동해야 한다
이번 Claude Fable 5 논란은 AI 안전 정책의 실전 과제를 잘 보여준다. 정책 문서에 안전 기준이 있어도, 사용자가 실제로 마주하는 인터페이스에서 그 기준이 보이지 않으면 신뢰 문제가 생긴다.
좋은 AI 연구 정책은 위험한 요청을 막는 데서 끝나지 않는다. 다음과 같은 정보를 사용자에게 충분히 제공해야 한다.
요청이 어떤 정책에 의해 제한됐는지
응답이 원래 모델에서 나온 것인지, fallback 모델에서 나온 것인지
거부 또는 제한의 이유가 무엇인지
연구 결과를 해석할 때 고려해야 할 조건이 무엇인지
Anthropic이 Fable 5의 안전장치를 더 보이게 만들고, 플래그된 요청의 fallback과 API 거부 사유를 명확히 하겠다고 한 것은 이 방향에 가깝다.1
결론은 간단하다. AI 안전은 “무엇을 막을 것인가”만의 문제가 아니다. “사용자가 그 개입을 이해하고 검증할 수 있는가”까지 포함한다. Claude의 정책 변화는 안전과 투명성의 균형을 다시 맞추려는 신호로 볼 수 있다.
참고
1Anthropic Walks Back Policy That Could Have 'Sabotaged' AI Researchers Using Claude
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.