보안의 기준이 '차단'에서 '신뢰'로 바뀐다
AI, 클라우드, API, SaaS, 파트너 연결이 늘수록 기업의 공격면도 넓어진다. 공격면이란 공격자가 접근할 수 있는 계정, 애플리케이션, 데이터 흐름, 외부 연동 지점을 뜻한다. 과거 보안은 사내망의 경계를 지키는 일이었다. 지금은 고객 데이터가 클라우드와 AI 도구, 협업 앱, 외부 파트너 시스템을 오가며 비즈니스를 움직인다. 따라서 보안은 기술 부서의 비용 항목이 아니라 고객과 시장이 기업을 신뢰하는 방식이 된다.
AI 사용 증가가 이 변화를 빠르게 밀어붙이고 있다. Zscaler는 3,400개 이상 애플리케이션 전반에서 AI/ML 활동이 전년 대비 83% 증가했고, 기술 분야는 202%, 교육 분야는 184% 늘었다고 보고했다1. 문제는 생산성만 늘어난 것이 아니라는 점이다. 승인되지 않은 AI 도구 사용, 즉 섀도 AI가 늘면 민감한 고객 정보, 소스코드, 계약 문서가 어디로 입력되는지 파악하기 어려워진다. 내장형 AI 기능이 SaaS 안에서 기본값으로 켜지는 경우도 많아 기존 보안 필터만으로는 충분하지 않다.
AI 생성 이미지
AI 생명주기 전체를 통제해야 한다
AI 보안은 모델을 배포한 뒤 모니터링하는 수준으로는 부족하다. 데이터 수집, 학습, 배포, 프롬프트 입력, 플러그인 호출, 에이전트 행동까지 전 과정을 봐야 한다. 예를 들어 고객지원 에이전트가 주문 시스템과 환불 시스템에 접근한다면, 그 에이전트는 하나의 업무 주체처럼 관리되어야 한다. 누가 실행했는지, 어떤 데이터를 읽었는지, 어떤 도구를 호출했는지 기록되어야 한다.
이때 필요한 원칙이 제로 트러스트다. 제로 트러스트는 "한 번 접속을 허용했으니 계속 믿는다"가 아니라, 사용자·기기·업무·데이터 접근을 계속 검증하는 방식이다. Microsoft는 이를 AI에 확장해 사용자, 워크로드, AI 에이전트의 신원과 행동을 지속적으로 확인하고, 모델·프롬프트·플러그인·데이터 접근 권한을 필요한 만큼만 허용해야 한다고 설명한다2. 특히 프롬프트 인젝션, 데이터 오염, 내부 이동 공격처럼 AI 특유의 위험을 전제로 설계해야 한다.
사고 후 대응보다 피해 확산 제한이 중요하다
차세대 보안 운영은 "침입을 완전히 막겠다"는 약속보다 "침입이 발생해도 핵심 피해를 제한하겠다"는 설계에 가깝다. 이를 위해 권한 최소화, 행위 기반 모니터링, 지속적 취약점 관리, 네트워크 분리, AI 기반 위협 탐지를 함께 운영해야 한다.
예를 들어 개발자가 코드 보조 AI를 사용할 때는 소스코드 유출 방지 정책이 적용되어야 한다. 고객 상담 AI가 개인정보를 조회할 때는 업무 목적과 권한이 맞는지 검증되어야 한다. 에이전트가 외부 도구를 호출할 때는 실행 범위와 결과를 로그로 남겨야 한다. 보안팀만의 과제가 아니다. 데이터 소유자, 제품 책임자, 법무·컴플라이언스 조직이 함께 접근 기준과 예외 처리 규칙을 정해야 한다.
디지털 출처가 새로운 신뢰 인프라가 된다
AI가 만든 문서, 이미지, 음성, 의사결정 결과가 업무 프로세스에 들어오면 "무엇이 진짜인가"라는 질문이 중요해진다. 디지털 출처는 콘텐츠가 누가, 언제, 어떤 시스템에서 생성되었고 이후 변조되었는지 확인하는 체계다. 이는 딥페이크 대응만을 위한 기술이 아니다. 보험 심사 결과, 공공 민원 답변, 의료 요약 기록, 금융 자문 보고서처럼 AI가 관여한 산출물을 고객과 규제기관이 신뢰하게 만드는 기반이다.
컨피덴셜 컴퓨팅과 프라이버시 보호 기술도 같은 맥락에 있다. 컨피덴셜 컴퓨팅은 데이터가 처리되는 중에도 외부에서 내용을 볼 수 없도록 보호하는 기술이다. 민감 데이터가 모델 학습, 추론, 협업 분석 과정에서 노출되지 않아야 금융, 보험, 공공, 의료처럼 규제가 강한 산업에서 AI를 지속적으로 확대할 수 있다.
경영진의 질문은 '무엇을 계속 지킬 것인가'다
사이버 복원력은 백업 서버나 가동률만의 문제가 아니다. Cloudflare는 복원력을 기술적 이중화가 아니라 공격이나 규제 조사 중에도 핵심 업무가 계속 작동하도록 만드는 사업 연속성의 문제로 설명한다3. 중요한 질문은 "모든 시스템을 즉시 복구할 수 있는가"가 아니다. "최소한 어떤 업무, 데이터, 고객 접점은 반드시 유지되어야 하는가"다.
경영진은 이를 '최소 실행 가능한 회사' 수준으로 정의해야 한다. 결제, 고객 인증, 주문 처리, 핵심 데이터 접근, 규제 보고처럼 멈추면 신뢰가 무너지는 기능을 먼저 정한다. 그다음 복구 목표, 외부 공급망 의존도, 고객 고지 기준, 규제 대응 절차를 함께 설계한다. 보안 투자의 성과도 단순 사고 건수가 아니라 고객 신뢰, 계약 유지, 브랜드 평판, 규제 대응력, 핵심 업무 지속성으로 측정해야 한다.
AI 시대의 보안은 더 많은 장비를 사는 일이 아니다. 기업이 데이터와 자동화를 활용하면서도 고객에게 "이 결과는 믿을 수 있다"고 설명할 수 있는 운영 체계를 만드는 일이다.
참고
1Zscaler 2026 AI Threat Report
3Cloudflare Cyber resilience strategies for business continuity
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.