AI 챗봇 안전성 논의는 이제 “모델이 얼마나 똑똑한가”를 넘어섰습니다. 특히 미성년자가 자해, 성, 약물처럼 민감한 상황에서 챗봇을 사용할 때 서비스가 어디까지 거부하고, 어디서부터 도움을 제공해야 하는지가 핵심 쟁점이 됐습니다.
Meta의 내부 프로젝트 ‘Cannes’는 바로 이 문제를 겨냥한 안전 벤치마킹 사례였습니다. 다만 논란의 중심은 “안전성을 테스트했다”는 사실 자체가 아니라, 그 테스트가 어떤 방식으로 이뤄졌는가에 있습니다.
Cannes는 어떤 프로젝트였나
Meta의 계약업체 Covalen은 Cannes를 내부 문서에서 “포괄적 AI 안전 벤치마킹”으로 설명했습니다. 또 다른 문서에는 Cannes가 모델 비교와 컴플라이언스를 위한 핵심 데이터셋을 제공한다는 설명이 담겼습니다.1
프로젝트에 참여한 계약자들은 18세 미만 생년월일로 더미 계정을 만들고, ChatGPT, Gemini, Character.AI에 민감한 프롬프트를 보냈습니다. WIRED에 따르면 한 차례 테스트에서는 45,000개가 넘는 프롬프트가 전송됐습니다.1
테스트는 텍스트에만 그치지 않았습니다. 계약자들은 이미지도 함께 보냈고, 그중에는 알약, 칼, 올가미, 산부인과 시술 의학 도표 등이 포함됐습니다.1 많은 프롬프트는 챗봇의 안전 시스템이 거부해야 할 응답을 유도하도록 설계됐습니다.
즉 Cannes는 경쟁 챗봇이 고위험 상황에서 어떤 답을 내놓는지 확인하려는 대규모 안전성 테스트였습니다.
문제는 ‘무엇을 테스트했나’보다 ‘어떻게 테스트했나’다
경쟁 제품을 벤치마킹하는 일은 AI 업계에서 낯설지 않습니다. 모델 품질, 응답 성향, 안전장치의 강도를 비교하는 것은 제품 개발과 리스크 관리에 필요한 과정일 수 있습니다.
그러나 Cannes는 몇 가지 이유로 일반적인 벤치마킹보다 민감한 사례가 됐습니다.
첫째, 테스트는 미성년자로 가장한 계정을 통해 이뤄졌습니다. WIRED가 검토한 더미 계정 목록에는 이름, 이메일 주소, 비밀번호, 생년월일이 포함돼 있었습니다.1
둘째, 테스트 주제가 자해, 성, 약물처럼 고위험 영역에 집중됐습니다. 이는 챗봇 안전성 평가에서 중요한 주제이지만, 동시에 테스트 설계와 작업자 보호, 데이터 관리 기준이 더욱 엄격해야 하는 영역입니다.
셋째, 대상 서비스 제공자들이 사전에 이를 승인했는지 여부가 쟁점이 됐습니다. 보도에 따르면 테스트 대상 회사들은 이를 사전에 승인하지 않았다고 밝혔고, Character.AI는 약관 위반이라고 말했습니다.2
Meta는 Cannes를 책임 있는 안전 테스트로 설명했습니다. 또한 수집한 경쟁사 챗봇 응답을 자사 AI 모델 훈련에 사용하지 않았다고 밝혔습니다.1 하지만 “훈련에 쓰지 않았다”는 설명만으로 논란이 모두 해소되지는 않습니다. 경쟁사 응답 데이터는 모델 학습 외에도 제품 전략, 안전 정책, 리스크 평가, 규제 대응에 영향을 줄 수 있기 때문입니다.
Cannes가 남긴 실무적 질문
Cannes 사례는 AI 안전 테스트가 필요 없다는 결론으로 이어지지 않습니다. 오히려 반대입니다. 미성년자 보호와 고위험 프롬프트 대응은 실제 서비스에서 반드시 검증해야 할 영역입니다.
다만 안전 테스트가 정당성을 얻으려면 절차와 기준이 함께 제시돼야 합니다. 특히 다음 질문이 중요합니다.
테스트 대상 서비스의 동의나 고지 범위는 어디까지 필요한가
미성년자 가장 계정을 사용하는 테스트는 어떤 조건에서 허용될 수 있는가
민감한 프롬프트와 응답 데이터는 어떻게 저장, 접근, 폐기해야 하는가
고위험 콘텐츠를 반복적으로 다루는 작업자는 어떻게 보호할 것인가
테스트 결과는 내부 개선에만 쓸 것인가, 외부에 어떤 수준으로 공개할 것인가
이 질문들은 단순한 법무 검토가 아닙니다. AI 안전성을 평가하는 방식 자체가 기업 신뢰의 일부가 되고 있기 때문입니다.
결론: AI 안전은 기술만이 아니라 거버넌스의 문제다
Cannes 프로젝트가 보여준 핵심은 명확합니다. AI 안전성은 더 이상 모델 성능이나 필터링 기술만의 문제가 아닙니다. 어떤 데이터를 모으고, 어떤 방식으로 테스트하며, 그 과정에서 누구의 권리와 안전을 고려했는지가 함께 평가됩니다.
앞으로 AI 기업은 “우리 모델이 위험한 답변을 얼마나 잘 막는가”뿐 아니라 “그 안전성을 어떤 방식으로 검증했는가”도 설명해야 합니다. Cannes 논란은 안전 테스트 자체의 필요성을 부정하기보다, 안전을 검증하는 과정에도 안전과 책임의 기준이 필요하다는 점을 보여줍니다.
1Meta Contractors Posed as Teens to Prompt Rival Chatbots About Suicide, Sex, and Drugs
2Meta contractors posed as minors to probe ChatGPT, Gemini, and Character.AI
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.