OpenAI Anthropic 양사와 Google AI 안전 논의: 선언보다 검증
AI 기업이 안전을 강조하는 것과 안전성을 입증하는 것은 다른 문제다. OpenAI 글로벌 정책 책임자 크리스 르헤인은 OpenAI Anthropic 양사와 Google DeepMind가 수주간 AI 안전 문제를 논의해 왔다고 밝혔다.1 이 협의에서 주목할 점은 대화 자체보다 기업별 자율 규칙을 넘어 공통 기준과 외부 검증 체계를 마련할 수 있느냐다.
AI 안전 평가는 무엇을 확인해야 하나
안전 평가는 모델이 유해한 답변을 거부하는지만 확인하는 절차가 아니다. 첨단 모델이 사람의 개입 없이 복잡한 작업을 얼마나 오래 수행할 수 있는지, AI 연구개발을 얼마나 가속할 수 있는지도 측정해야 한다.
비영리 연구기관 METR는 이러한 광범위한 자율 수행 능력과 AI 연구개발 가속 능력을 중점적으로 평가한다.2 모델의 성능이 높아질수록 단순한 정답률보다 모델이 스스로 어떤 작업을 끝낼 수 있는지가 중요한 위험 지표가 되기 때문이다.
평가 결과의 신뢰성도 검증 대상이다. METR는 AI가 평가의 허점을 이용해 점수만 높이는 ‘보상 해킹’과 실제 능력을 의도적으로 낮춰 보이는 ‘샌드배깅’을 연구한다.2 시험 결과가 좋아도 모델이 평가 방식을 우회했다면 그 결과를 안전성의 증거로 보기 어렵다.
안전 선언에서 독립 검증으로
개발사가 자체 시험만 수행하면 평가 기준과 공개 범위를 직접 결정하게 된다. 독립 기관의 평가는 기업의 위험 판단을 외부에서 검토하고, 서로 다른 모델을 일관된 기준으로 살펴볼 수 있는 기반이 된다.
관련 기업들의 최근 발언도 논의의 초점이 검증 체계로 이동하고 있음을 보여준다. 샘 올트먼은 OpenAI가 안전 모니터링을 위해 제3자 평가기관을 도입하겠다고 밝혔고, OpenAI 측은 FRONTIER Act의 독립 검증기관 관련 조항을 지지했다. Anthropic CEO 다리오 아모데이는 프런티어 AI 개발 속도를 늦추기 위한 업계 협력을 촉구했다. 디미스 허사비스 역시 7월 미국에 첨단 AI 모델을 심사할 새로운 감독·표준 기구를 설립해야 한다고 주장했다.1
실효성을 판단하는 기준
앞으로는 협의가 있었다는 사실보다 다음과 같은 실행 조건을 살펴봐야 한다.
외부 평가기관이 출시 전 모델에 충분히 접근할 수 있는가
자율 수행 능력과 AI 연구개발 가속 위험을 평가하는가
보상 해킹과 샌드배깅 등 평가 회피 행동을 탐지하는가
기업들이 공통 위험 기준과 중단 조건에 합의하는가
불리한 평가 결과도 공개하고 후속 조치에 반영하는가
결국 AI 안전 협력의 가치는 선언의 강도가 아니라 독립 평가기관의 접근 권한, 평가 범위, 결과에 따른 조치에서 결정된다.
요약: OpenAI Anthropic 양사와 Google AI 안전 논의는 업계가 자율적인 안전 약속에서 외부 검증으로 나아갈 가능성을 보여준다. 앞으로는 누가 무엇을 평가하며, 어떤 권한과 후속 조치를 갖는지가 핵심 판단 기준이다.
1OpenAI, Anthropic, Google have been in talks on AI safety for weeks
2METR
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.