AI 챗봇을 평가할 때 흔히 정확도, 속도, 비용, 문맥 처리 능력을 먼저 봅니다. 하지만 실제 서비스에서는 또 다른 문제가 자주 드러납니다. 같은 정보를 제공하더라도 AI가 얼마나 조심스럽게 말하는지, 사용자의 요청을 어디까지 받아들이는지, 불확실성을 얼마나 솔직히 드러내는지에 따라 사용자 경험과 위험 수준이 달라집니다.
특히 조언, 갈등 해결, 의사결정 지원처럼 정답이 하나로 고정되지 않는 과제에서는 답변의 ‘내용’만큼이나 답변이 기대고 있는 판단 기준이 중요합니다. Anthropic의 Claude 가치 연구는 바로 이 지점을 다룹니다. 핵심은 Claude가 어떤 고정된 성격을 갖고 있다는 주장이 아니라, 실제 대화 속에서 어떤 가치 표현이 반복적으로 나타나는지를 측정하려는 시도입니다.1
왜 ‘가치’가 AI 평가 항목이 되는가
대규모 언어 모델은 단순한 검색 도구가 아닙니다. 사용자의 질문을 해석하고, 맥락을 정리하며, 때로는 무엇을 우선해야 하는지 암묵적으로 판단합니다. 예를 들어 사용자가 민감한 결정을 앞두고 조언을 구할 때, AI는 사용자의 선호를 존중할 수도 있고, 위험을 더 강하게 경고할 수도 있습니다. 둘 다 그 자체로 틀린 태도는 아니지만, 어느 쪽을 택하느냐에 따라 답변의 성격은 크게 달라집니다.
Anthropic은 Claude의 헌법이 지향할 가치를 상위 수준에서 제시하지만, Claude.ai에서 발생하는 모든 대화 상황과 그 안에서 드러날 수 있는 가치를 사전에 전부 예측하기는 어렵다고 설명합니다. 따라서 목표는 모든 상황별 규칙을 미리 적어두는 것이 아니라, Claude가 맥락에 맞게 적용할 수 있는 좋은 판단과 건전한 가치를 기르는 데 있다고 볼 수 있습니다.1
이 관점은 AI 거버넌스에도 중요합니다. 기업이나 공공기관이 AI를 도입할 때 “정답을 잘 맞히는가”만 묻는다면, 실제 운영 중 발생하는 미묘한 실패를 놓칠 수 있습니다. 사용자의 전제를 지나치게 수용하는지, 반대로 필요 이상으로 방어적인지, 설명이 충분한지, 불확실성을 숨기지 않는지 같은 문제가 모두 품질의 일부가 됩니다.
연구가 제공한 사실적 기준
Anthropic은 이번 연구에서 2026년 5월 2주 동안 수집한 익명화된 대화 309,815건을 분석했습니다. 표본은 Sonnet 4.6, Opus 4.6, Opus 4.7과 Claude.ai의 상위 20개 사용 언어에 걸쳐 균등하게 층화됐습니다. 연구진은 3,307개의 가치 용어를 339개의 상위 가치로 묶었습니다.1
이후 실제 대화에서 함께 나타나는 가치들을 기준으로 네 개의 축을 구성했습니다.1
Deference and Caution: 사용자의 선호를 존중하고 수용하는 태도와 책임 있는 안내·피해 감소 사이의 긴장
Warmth and Rigor: 긍정적 표현·격려와 정확성·투명성 사이의 긴장
Depth and Brevity: 뉘앙스·비판적 사고와 간결성·요청 준수 사이의 긴장
Candor and Execution: 솔직한 고지와 실행 중심의 응답 사이의 긴장
이 축들은 단순한 라벨이 아니라 숫자선처럼 해석됩니다. 즉 Claude의 답변이 어느 가치군에 더 기우는지를 관찰하기 위한 틀입니다. Anthropic은 수동 검토와 8개 언어로 번역된 대화 800건 테스트를 통해 방법을 검증했다고 밝혔습니다.1
중요한 것은 ‘어느 쪽이 항상 옳은가’가 아니다
이 연구를 읽을 때 주의할 점은 네 개 축을 우열의 기준으로 받아들이면 안 된다는 것입니다. 따뜻한 답변이 항상 좋은 것도 아니고, 엄격한 답변이 항상 더 안전한 것도 아닙니다. 간결한 답변은 생산성을 높일 수 있지만, 복잡한 사안에서는 필요한 맥락을 생략할 수 있습니다. 반대로 깊이 있는 설명은 신중한 판단에 도움이 되지만, 사용자가 단순한 실행을 원할 때는 부담이 될 수 있습니다.
예를 들어 고객 지원에서는 사용자를 안심시키는 표현이 중요할 수 있습니다. 그러나 위험이 큰 영역에서는 공감보다 한계 고지, 조건 설명, 신중한 안내가 더 중요해질 수 있습니다. 조직 내부의 업무 자동화에서도 마찬가지입니다. 어떤 팀은 빠른 실행을 원하고, 어떤 팀은 검토 가능한 근거와 불확실성 표시를 더 중시합니다.
따라서 AI의 가치 성향을 본다는 것은 모델을 도덕적으로 평가하자는 뜻이 아닙니다. 서비스 목적, 사용자 집단, 위험 수준에 맞는 답변 태도를 정의하고, 실제 모델이 그 기대에 맞게 작동하는지 점검하자는 의미에 가깝습니다.
다국어·다모델 환경에서 생기는 운영 과제
이번 연구가 특히 시사하는 부분은 AI 서비스가 하나의 언어, 하나의 모델, 하나의 사용 맥락으로만 운영되지 않는다는 점입니다. 같은 제품이라도 여러 언어로 제공될 수 있고, 비용이나 성능 요구에 따라 서로 다른 모델을 조합할 수 있습니다. 이때 기업은 모델별 벤치마크 점수뿐 아니라 답변 태도의 일관성도 확인해야 합니다.
문제는 가치 성향이 제품 정책과 직접 연결된다는 데 있습니다. 어떤 서비스가 “사용자의 결정을 존중하는 조력자”를 지향한다면 Deference 쪽의 특성이 중요할 수 있습니다. 반대로 안전이 핵심인 서비스라면 Caution이 충분히 드러나야 합니다. 교육용 제품이라면 Depth와 Rigor가 중요해질 수 있고, 반복 업무 자동화 도구라면 Brevity와 Execution이 더 높은 우선순위를 가질 수 있습니다.
즉 AI 도입 담당자는 다음과 같은 질문을 던져야 합니다.
우리 서비스에서 AI가 사용자의 요청을 어디까지 수용해야 하는가?
위험하거나 모호한 상황에서 어느 정도까지 제동을 걸어야 하는가?
답변은 짧고 실행 중심이어야 하는가, 아니면 판단 근거를 충분히 설명해야 하는가?
친근한 말투가 필요한가, 아니면 투명하고 검증 가능한 표현이 더 중요한가?
언어와 모델이 바뀌어도 같은 정책적 기준이 유지되는가?
이 질문들은 단순한 프롬프트 튜닝의 문제가 아닙니다. 제품 설계, 리스크 관리, 사용자 신뢰, 품질 보증이 만나는 지점입니다.
남는 한계와 해석상의 주의점
가치 축을 측정할 수 있다는 것은 유용하지만, 그것이 곧 완전한 해답이라는 뜻은 아닙니다. 실제 대화에서 드러난 표현을 분류하는 방식은 맥락 해석에 의존합니다. 또 어떤 가치가 함께 나타난다고 해서 그것이 모든 상황에서 같은 의미를 갖는다고 단정할 수도 없습니다.
더구나 AI의 가치 표현은 사용자 입력, 언어, 모델, 서비스 정책, 시스템 지시의 영향을 함께 받습니다. 따라서 특정 축에서 어느 방향으로 기운다는 관찰은 출발점이지 최종 결론이 아닙니다. 중요한 것은 이 프레임을 이용해 조직별 요구사항에 맞는 테스트를 설계하는 일입니다.
앞으로 봐야 할 것
이번 연구는 AI 평가의 초점을 넓히는 계기가 될 수 있습니다. 앞으로는 모델 성능표만이 아니라, 실제 사용 환경에서 어떤 가치 성향이 나타나는지에 대한 검증이 더 중요해질 가능성이 큽니다.
독자가 주목할 부분은 세 가지입니다.
첫째, AI 기업들이 가치 성향을 얼마나 투명하게 측정하고 공개할지입니다. 둘째, 다국어 서비스에서 언어별 답변 태도 차이를 어떻게 관리할지입니다. 셋째, 기업들이 자체 서비스 목적에 맞는 행동 테스트를 구축할지입니다.
결국 좋은 AI는 단지 더 많은 문제를 푸는 시스템이 아니라, 상황에 맞게 어떻게 말하고 어디서 멈춰야 하는지를 조절할 수 있는 시스템이어야 합니다. Anthropic의 Claude 가치 연구는 그 평가 기준을 구체화하려는 초기 시도로 볼 수 있습니다.1
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.