AI 거버넌스의 질문이 바뀌고 있습니다. 예전의 초점이 “모델을 어떻게 더 안전하게 학습시킬 것인가”였다면, 이제는 “안전하다고 믿은 모델이 예상 밖으로 행동할 때 어떻게 감지하고 멈출 것인가”로 이동하고 있습니다.
DeepMind의 최근 제안은 이 변화를 잘 보여줍니다. CEO 데미스 허사비스는 미국이 주도하는 AI 표준 기구 신설을 제안했습니다. 금융 규제기관 FINRA를 모델로 삼아 프런티어 모델 평가 프로토콜을 만들고, 초기에는 자발적 검토로 운영한 뒤 효과가 입증되면 미국 내 배포에 의무화하는 구상입니다.1
이 제안의 핵심은 모든 AI를 똑같이 규제하자는 데 있지 않습니다. 허사비스는 스타트업이나 학술 연구의 비프런티어 모델은 대상에서 제외된다고 밝혔습니다.1 규제의 초점은 사회적 영향과 위험이 큰 첨단 모델, 즉 프런티어 모델에 맞춰져 있습니다.
DeepMind식 거버넌스의 핵심: 정렬을 넘어 제어로
DeepMind의 접근을 이해하려면 ‘AI Control Roadmap’을 봐야 합니다. 이는 구글 내부 시스템에 배포되는 고급 AI 에이전트를 관리하기 위해 개발된 보안 프레임워크입니다.2
중요한 전제는 단순합니다. 모델 정렬은 필요하지만 완벽하다고 가정할 수 없다는 것입니다. 아무리 안전하게 학습된 모델이라도 실제 시스템 안에서 도구를 사용하고, 파일에 접근하고, 코드를 실행하고, 다른 서비스와 연결되면 예기치 못한 행동을 할 수 있습니다.
그래서 DeepMind는 방어 심층 접근을 택합니다. 샌드박싱, 엔드포인트 보안, 프롬프트 인젝션 저항성 같은 기존 보호장치 위에 시스템 수준의 감시와 차단 장치를 더합니다.2 모델 자체를 안전하게 만드는 것에 그치지 않고, 모델이 실제로 무엇을 하려는지 계속 관찰하고 필요하면 실행 전에 막겠다는 뜻입니다.
AI 에이전트를 ‘내부자 위협’처럼 다룬다
DeepMind의 관점에서 특히 중요한 변화는 AI 에이전트를 잠재적 ‘내부자 위협’으로 본다는 점입니다.2
내부자 위협은 이미 시스템 접근 권한을 가진 사람이 조직 안에서 문제를 일으키는 상황을 말합니다. AI 에이전트도 마찬가지입니다. 일정 수준의 권한을 가진 에이전트가 파일, 코드, 도구, 내부 시스템에 접근할 수 있다면 외부 공격자와는 다른 방식의 위험을 만들 수 있습니다.
이 위험을 다루기 위해 DeepMind는 MITRE ATT&CK 프레임워크를 기반으로 잠재적 공격을 전술과 기술 단위로 분해합니다.2 이는 막연히 “AI가 위험할 수 있다”고 말하는 대신, 어떤 행동이 위험 신호인지 테스트 가능한 항목으로 바꾸는 방식입니다.
예를 들어 거버넌스가 실질적으로 작동하려면 다음 질문에 답할 수 있어야 합니다.
에이전트가 어떤 도구와 데이터에 접근할 수 있는가
허용된 작업과 금지된 작업의 경계는 어디인가
위험 행동을 누가, 어떤 기준으로 감지하는가
감지 후 실행 차단까지 얼마나 빨리 이뤄지는가
이런 질문에 답하지 못하면 AI 거버넌스는 원칙 선언에 머물기 쉽습니다.
감시는 또 다른 AI가 맡지만, 기준은 시스템이 정한다
AI Control Roadmap에서 감시는 신뢰된 AI 시스템이 맡습니다. 이 감독 시스템은 작업 에이전트의 추론, 행동, 계획을 지속적으로 검토합니다. 유해 행동을 감지하면 해당 행동이 실행되기 전에 차단할 수 있습니다.2
여기서 중요한 점은 “AI가 AI를 감시한다”는 구호가 아닙니다. 핵심은 감시 대상과 차단 기준을 시스템 차원에서 설계한다는 데 있습니다. 어떤 행동을 위험으로 볼지, 어느 수준에서 경고할지, 언제 실행을 막을지 정해야 합니다.
DeepMind가 제시한 측정 지표도 이 방향과 맞닿아 있습니다. AI 제어 성능은 커버리지, 리콜, 대응 시간으로 평가됩니다.2
커버리지: 감시가 적용되는 행동과 영역이 얼마나 넓은가
리콜: 실제 위험 행동을 얼마나 놓치지 않고 잡아내는가
대응 시간: 위험을 감지한 뒤 얼마나 빨리 대응하는가
이는 좋은 거버넌스가 추상적 윤리 원칙만으로는 충분하지 않다는 점을 보여줍니다. 실제 운영 환경에서는 “얼마나 잘 막는가”를 측정할 수 있어야 합니다.
강한 모델에는 더 강한 통제가 필요하다
DeepMind는 모델의 탐지 회피 능력에 따라 탐지 수준을 D1부터 D4까지 나눕니다.2 이는 모델이 강해질수록 기존 감시 체계를 우회할 가능성도 커질 수 있다는 전제를 반영합니다.
이 구분의 실용적 의미는 분명합니다. 모든 모델에 같은 통제 장치를 적용하는 방식은 충분하지 않습니다. 위험이 낮은 모델과 프런티어 모델을 같은 기준으로 다루면 한쪽은 과도하게 막히고, 다른 한쪽은 충분히 통제되지 않을 수 있습니다.
허사비스가 제안한 표준 기구 역시 이 지점과 연결됩니다. 프런티어 모델 평가 프로토콜을 만들고, 처음에는 자발적으로 운영한 뒤 나중에 의무화할 수 있다는 구상은 “강한 모델일수록 더 체계적인 평가와 통제가 필요하다”는 판단에 기반합니다.1
기업이 배울 점: AI 안전은 운영 체계다
DeepMind식 거버넌스의 메시지는 명확합니다. AI 안전은 선언이 아니라 운영 체계입니다. 모델이 안전하다고 믿는 것만으로는 부족합니다. 실제 배포 환경에서 모델이 어떤 권한을 갖고, 어떤 행동을 하며, 위험 행동이 발생했을 때 어떻게 차단되는지까지 설계해야 합니다.
기업이 지금 점검해야 할 항목은 다음과 같습니다.
프런티어급 모델과 일반 모델을 구분하는 내부 기준
모델과 에이전트의 도구 접근 권한 관리
작업 로그와 행동 추적 체계
프롬프트 인젝션 등 기존 공격에 대한 방어 장치
위험 행동 감지 기준과 실행 전 차단 절차
제어 성능을 측정할 커버리지, 리콜, 대응 시간 지표
DeepMind 공동창업자 셰인 레그는 ‘최소 AGI’가 이르면 2028년에 가능하다고 봅니다.1 그 전망이 맞든 틀리든, 고급 AI 에이전트가 더 많은 권한을 갖고 실제 업무 시스템에 들어오는 흐름은 이미 시작됐습니다.
따라서 지금 필요한 것은 막연한 낙관이나 공포가 아닙니다. 모델을 믿되, 시스템은 의심하는 태도입니다. 불확실한 AI 시대를 낙관하려면, 그 낙관을 뒷받침할 브레이크를 먼저 설계해야 합니다.
1Google DeepMind chief Demis Hassabis calls for U.S. to spearhead AI standards body
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.