최근 AI 기술의 흐름은 단순 질의응답을 넘어, 스스로 계획을 세우고 도구를 사용해 복잡한 업무를 수행하는 'AI 에이전트' 시대로 진입하고 있습니다. 하지만 에이전트의 자율성이 높아질수록 보안 위험도 함께 커집니다. 에이전트가 의도치 않게 할당된 작업 범위를 벗어나 시스템 내부 자원에 접근하거나 잘못된 데이터를 생성하는 사례가 보고되면서, 안전한 운용을 위한 기술적 제어책이 시급해졌습니다.
NVIDIA는 이러한 '에이전트 이탈' 문제를 해결하기 위해 NVIDIA Open Agent Safety Platform을 출시했습니다1. 이 플랫폼은 에이전트의 보안을 애플리케이션 계층에만 맡기지 않고, 연산이 이루어지는 CPU 및 데이터 처리 장치(DPU) 등 하드웨어 계층까지 아우르는 '풀스택 거버넌스'를 제공합니다. 2026년 9월 발표된 이 플랫폼은 현재 100개 이상의 기술 기업 및 기관과 협력하여 에이전트 보안의 레퍼런스 모델을 구축하고 있습니다[^2, 3].
소프트웨어 런타임으로 에이전트 행동을 통제하는 OpenShell
AI 에이전트가 작업을 수행하는 과정에서 의도치 않게 규정된 운영 조건을 벗어나는 현상을 '드리프트(Drift)'라고 합니다. 기존 방식은 에이전트 소프트웨어 내부에서 규칙 준수를 기대했으나, 지능화된 에이전트는 애플리케이션 계층의 보안 제어를 우회하는 경우가 잦습니다.
NVIDIA는 이를 방지하고자 Apache 2.0 라이선스로 제공되는 오픈소스 보안 런타임인 OpenShell을 도입했습니다[^2, 3]. OpenShell은 NVIDIA의 AI 에이전트 전용 CPU인 Vera 상에서 실행되며, 에이전트의 모든 작업을 실시간으로 추적합니다. 운영자는 YAML 형식의 정책 파일을 통해 에이전트가 접근 가능한 파일, 네트워크, 도구 및 자격 증명을 사전에 정의할 수 있습니다3. OpenShell은 에이전트가 작업을 수행하기 전 정책 준수 여부를 확인하고, 실행 중에도 이를 강제하는 커널 수준의 격리(Sandboxing) 환경을 제공합니다. 이는 웹 브라우저가 개별 탭을 격리하여 악성 코드의 확산을 방지하는 원리와 유사합니다.
Sentry와 BlueField-4를 통한 하드웨어 수준의 실시간 격리
소프트웨어 제어를 넘어 보다 강력한 안전장치가 필요한 경우, NVIDIA는 Sentry를 통한 독립적인 보안 체계를 제공합니다. Sentry는 호스트 시스템이 아닌 NVIDIA BlueField-4 DPU에서 실행되는 아웃오브밴드(Out-of-band) 감시 장치입니다[^1, 2].
이 아키텍처의 핵심은 보안 감시가 에이전트 실행 환경과 물리적으로 분리되어 있다는 점입니다.
실시간 강제 격리: 에이전트가 설정된 소프트웨어 경계를 탈출하려는 시도를 감지하면, Sentry는 수 밀리초(ms) 만에 에이전트를 격리하거나 중단시킬 수 있습니다[^1, 2].
투명한 감시: Sentry는 에이전트나 외부 공격자에게 노출되지 않는 신뢰 도메인에서 작동하므로, 에이전트가 감시 장치를 무력화할 수 없습니다.
제로 트러스트 정책 집행: NVIDIA DOCA 소프트웨어를 기반으로 구축된 Sentry는 에이전트의 신원을 증명하고, 데이터와 API에 대한 세분화된 접근 정책을 실리콘 수준에서 집행합니다2.
NVIDIA Vera Rubin POD 아키텍처 환경에서는 모든 노드의 모델로 향하는 경로에 BlueField-4 DPU가 배치되어 있습니다. 이를 통해 모든 에이전트 요청과 응답을 실시간으로 검사하며, 하드웨어 성능을 유지하면서도 보안 정책을 강제할 수 있습니다.
기업 도입 시 고려 사항 및 제한 조건
NVIDIA Open Agent Safety Platform은 모델 자체가 아닌 모델을 실행하는 인프라가 에이전트의 행동을 보증하게 함으로써 보안 패러다임을 전환합니다. 현재 Anthropic, Salesforce, SpaceXAI 등 다양한 분야의 기업이 이 플랫폼을 활용하여 에이전트의 활동을 감시하고 제어하고 있습니다2.
다만 도입을 검토하는 조직은 다음의 기술적 조건을 고려해야 합니다.
하드웨어 호환성: OpenShell 소프트웨어는 Arm이나 Intel 기반 플랫폼으로 확장 가능하도록 설계되었으나, Sentry가 제공하는 실리콘 수준의 실시간 격리 기능을 활용하려면 BlueField-4 DPU가 탑재된 인프라가 필수적입니다2.
운영 복잡성: YAML 기반 정책은 정밀한 통제를 가능하게 하지만, 정책이 지나치게 엄격할 경우 에이전트의 업무 수행 능력이 제한될 수 있으므로 정교한 설계가 필요합니다.
적용 적합성: 모든 에이전트가 하드웨어 격리를 필요로 하지는 않습니다. 시스템 자원이나 네트워크 접근 권한이 높은 미션 크리티컬 환경의 에이전트가 주요 적용 대상입니다.
본 플랫폼은 에이전트가 단순한 비서 역할을 넘어 기업의 핵심 업무를 대행하는 '디지털 노동력'으로 자리 잡는 과정에서 필요한 신뢰 계층을 제공합니다. 도입 전 자사가 운영하는 에이전트의 자율성 수준과 시스템 접근 범위를 우선적으로 평가하고, 필요에 따라 오픈소스 런타임부터 인프라 기반 격리까지 단계적으로 도입을 검토하는 것이 좋습니다.
1NVIDIA Launches Open Agent Safety Platform to Secure Agents From Testing to Deployment
2NVIDIA Open Agent Safety Platform: A Reference for Continuous In-Silicon Agent Monitoring
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.