AI 에이전트가 검색과 요약을 넘어 이메일 발송, 데이터베이스 조회, 인프라 변경 같은 작업을 수행하기 시작하면 핵심 질문이 달라집니다. 이제 중요한 것은 “좋은 답을 하는가”만이 아니라 “이 행동을 실행해도 되는가”입니다.
Microsoft Agent Governance Toolkit, AGT는 이 문제를 다루기 위한 런타임 거버넌스 도구입니다. Microsoft Agent Framework가 에이전트 구축, 멀티 에이전트 워크플로, 오케스트레이션을 담당한다면, AGT는 정책 집행과 감사 추적을 담당합니다.1 즉, 에이전트를 만드는 계층과 에이전트의 행동을 통제하는 계층을 분리해 운영할 수 있게 합니다.
AGT의 핵심은 “응답”이 아니라 “행동”을 통제하는 것
에이전트 보안은 흔히 프롬프트나 모델 출력 필터링부터 떠올리기 쉽습니다. 하지만 AGT가 집중하는 지점은 그보다 뒤에 있습니다. Agent Framework는 모델 입출력 안전성 필터와 프롬프트 실드를 담당하고, AGT는 도구 호출과 리소스 접근 같은 에이전트 액션을 통제합니다.1
흐름은 단순합니다.
에이전트가 어떤 작업을 요청합니다.
실행 전에 정책 검사를 거칩니다.
정책에 따라 허용 또는 거부됩니다.
결과는 감사 로그에 남습니다.1
중요한 점은 에이전트가 도구를 직접 실행하지 않는다는 것입니다. 모든 작업은 실행 전에 거버넌스 계층을 통과합니다. 이 계층은 에이전트 신원, 신뢰 점수, 위험 등급, 요청 도구, 작업 유형, 민감도 수준 등을 확인해 실행 여부를 판단할 수 있습니다.
따라서 AGT의 접근은 “프롬프트에 금지 사항을 잘 적어두자”가 아닙니다. 위험한 행동이 실제 실행 경로에 들어가지 못하도록, 실행 직전에 정책 게이트를 두는 방식입니다.
정책 집행은 미들웨어 파이프라인에서 일어난다
AGT는 Agent Framework의 미들웨어 파이프라인에 연결되어 도구 호출, 리소스 접근, 에이전트 간 메시지를 실행 전에 평가합니다.1 Python에서는 GovernancePolicyMiddleware, CapabilityGuardMiddleware, RogueDetectionMiddleware, AuditTrailMiddleware 같은 형태로 붙일 수 있습니다.1 .NET 환경에서도 Agent Framework의 .Use() 미들웨어 표면을 통해 거버넌스 정책, 기능 제한, 감사 추적을 적용할 수 있습니다.1
이 구조의 장점은 거버넌스를 별도 문서나 운영 지침으로만 남기지 않는다는 데 있습니다. 정책이 실제 실행 경로 안에 들어갑니다. 예를 들어 다음과 같은 조건을 정책으로 다룰 수 있습니다.
어떤 도구를 호출할 수 있는가
어떤 패턴의 요청을 차단할 것인가
토큰이나 도구 호출 수를 어디까지 허용할 것인가
특정 작업에 사람 승인이 필요한가2
대출 승인, 환불, 처방, 인프라 변경처럼 결과의 영향이 큰 작업은 자동 실행보다 승인 절차가 더 적합할 수 있습니다. 반대로 조회나 요약처럼 위험이 낮은 작업은 더 가벼운 정책으로 처리할 수 있습니다.
감사 로그는 사후 설명 가능성을 만든다
에이전트가 실제 업무 시스템에 연결되면 “무엇이 실행됐는가”만큼 “왜 실행됐는가”도 중요해집니다. AGT는 어떤 요청이 있었고, 어떤 정책이 적용됐으며, 왜 허용 또는 거부됐는지를 남기는 감사 구조를 제공합니다.
Microsoft의 설명에 따르면 AGT는 같은 프로세스 안에서 거버넌스, 기능 샌드박싱, 이상 에이전트 탐지, Merkle 체인 감사 기능을 추가합니다.1 문서에서는 Decision BOM을 통해 의사결정 이력을 재구성하는 방식도 설명합니다.1
이는 운영팀과 보안팀에 실질적인 가치를 줍니다. 문제가 발생했을 때 “모델이 그렇게 답했다”에서 멈추지 않고, 어떤 신원으로 어떤 도구를 요청했고 어떤 정책 판단을 거쳤는지 추적할 수 있기 때문입니다.
모든 에이전트에 같은 통제를 걸 필요는 없다
AGT를 도입할 때 중요한 판단 기준은 위험도입니다. 내부 문서 요약 에이전트와 고객 데이터에 접근하는 업무 에이전트, 인프라를 변경할 수 있는 에이전트는 같은 수준의 통제를 받을 필요가 없습니다.
Microsoft의 에이전트 성숙도 모델도 에이전트의 목적, 중요도, 자율성 수준에 따라 분류하고, 감사·모니터링·승인 절차를 다르게 적용하라고 설명합니다.3
실무적으로는 작게 시작하는 편이 좋습니다.
파괴적 작업을 먼저 차단합니다.
허용 도구 목록을 정의합니다.
모든 도구 호출을 로그로 남깁니다.
민감 작업에는 승인 절차를 추가합니다.
이후 비용 한도, 이상 행동 탐지, 킬 스위치로 확장합니다.
이렇게 하면 처음부터 복잡한 거버넌스 체계를 만들지 않아도, 실행 경로의 핵심 위험부터 줄일 수 있습니다.
결론: 에이전트 운영의 출발점은 실행 통제다
AGT의 의미는 “안전한 에이전트 프레임워크 하나 더”가 아닙니다. 에이전트를 단순한 챗봇이 아니라 운영 시스템의 일부로 보고, 정책·신원·감사·운영 통제를 실행 경로에 넣는 접근입니다.
프로토타입 단계에서는 프롬프트와 모델 성능이 가장 크게 보일 수 있습니다. 하지만 실제 업무에 에이전트를 연결하는 순간, 더 중요한 질문은 “이 행동을 누가, 어떤 조건에서, 어떤 근거로 실행할 수 있는가”입니다.
Microsoft Agent Governance Toolkit은 그 질문에 답하기 위한 구조를 제공합니다. 에이전트를 믿는 대신, 실행 전에 검증하고, 필요하면 막고, 모든 결정을 추적하는 방식입니다.
참고
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.