AI 에이전트는 단순한 챗봇이 아닙니다. 사이버 방어, 과학적 발견, 제품 개발처럼 복잡한 작업을 자율적으로 수행하는 시스템입니다.1 딥마인드는 이런 에이전트가 2030년까지 미국에서 2조9000억 달러의 경제적 가치를 만들 수 있다고 봅니다.1
그만큼 보안의 질문도 달라집니다. 이제 중요한 것은 “AI가 얼마나 똑똑한가?”만이 아닙니다. “AI가 권한을 가진 상태에서도 안전하게 통제될 수 있는가?”가 핵심입니다.
AI Control Roadmap은 무엇인가
Google DeepMind의 AI Control Roadmap은 구글 내부에 배포되는 고급 AI 시스템을 구축하고 관리하기 위한 보안 프레임워크입니다.1
핵심은 방어심층입니다. 모델을 안전하게 훈련하고 정렬하는 것만으로는 충분하지 않을 수 있으므로, 시스템 수준의 통제를 함께 설계하겠다는 접근입니다.1 즉, 모델이 의도와 다르게 행동할 가능성을 전제로 두고, 그 행동을 제한·탐지·대응하는 구조를 마련하는 것입니다.
딥마인드가 말하는 기본 보안 기반에는 샌드박싱, 엔드포인트 보안, 프롬프트 인젝션 저항성이 포함됩니다.1 쉽게 말해 AI가 작업할 수 있는 공간을 제한하고, 접근 가능한 기기와 데이터를 관리하며, 외부 지시에 의해 의도치 않게 조작되지 않도록 막는 장치들입니다.
AI 에이전트를 ‘내부자 위협’처럼 다룬다
로드맵에서 눈에 띄는 점은 내부 AI 에이전트를 잠재적으로 목표와 어긋날 수 있는 시스템으로 가정한다는 점입니다.1 이는 직원을 모두 의심한다는 뜻이 아니라, 권한을 가진 주체라면 누구든 접근 제어와 활동 기록, 대응 절차가 필요하다는 보안 원칙에 가깝습니다.
딥마인드는 이 접근을 사이버보안의 MITRE ATT&CK 프레임워크에 기반해 구성했습니다. 또한 탐지 수준을 D1~D4, 대응 수준을 R1~R3로 구분합니다.1
이 구분이 중요한 이유는 AI 에이전트의 위험이 단일한 형태가 아니기 때문입니다. 어떤 시스템은 단순한 로그 검토로 충분할 수 있지만, 더 강한 권한을 가진 에이전트라면 실시간 탐지와 즉각적인 차단이 필요할 수 있습니다. 결국 로드맵은 “모든 AI에 같은 보안 기준을 적용하자”가 아니라, 능력과 권한에 따라 통제 수준을 높이자는 제안에 가깝습니다.
실무자가 가져갈 기준: 권한, 로그, 중단 장치
딥마인드는 코딩 에이전트를 위한 비동기 모니터링 시스템 내부 프로토타입을 100만 개 작업에 적용했습니다.1 이는 AI 에이전트 보안이 추상적인 원칙에 머물지 않고, 실제 작업 단위의 감시와 통제로 이어지고 있음을 보여줍니다.
기업이나 제품팀이 여기서 배울 점은 명확합니다. AI 에이전트를 도입할 때는 모델 성능만 볼 것이 아니라 최소한 세 가지를 함께 설계해야 합니다.
권한 제한: 에이전트가 무엇을 할 수 있고, 무엇은 할 수 없는지 정한다.
활동 기록: 에이전트가 어떤 입력을 받고 어떤 행동을 했는지 추적한다.
중단 및 대응: 이상 행동이 감지되면 즉시 멈추거나 권한을 회수할 수 있어야 한다.
AI가 반드시 악의적으로 행동해야만 문제가 생기는 것은 아닙니다. 목표를 과도하게 수행하거나, 맥락을 잘못 이해하거나, 외부 지시에 흔들리는 것만으로도 피해가 발생할 수 있습니다. 그래서 에이전트 보안은 “나쁜 AI를 막는 일”이라기보다, 자율 실행 시스템을 안전하게 운영하는 일에 가깝습니다.
에이전트 보안은 시스템 문제다
딥마인드는 별도로 Three Layers of Agent Security라는 정책 문서도 공개했습니다.1 개별 에이전트만 볼 것이 아니라, 다중 에이전트 시스템과 더 넓은 생태계 차원의 보안까지 함께 고려해야 한다는 취지입니다.
결론은 단순합니다. AI 에이전트 시대의 보안은 좋은 모델을 고르는 일에서 끝나지 않습니다. 이제 AI를 제품 안의 자율 실행자로 보고, 권한·감시·대응을 함께 설계해야 합니다. DeepMind의 AI Control Roadmap은 그 전환을 보여주는 신호입니다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.