돈 버는 에이전트형 AI 운영 스택: 인프라·데이터·보안으로 기업 성과 만드는 법

핵심 요약

• 에이전트형 AI의 수익 구조는 “사용자 수”보다 “업무 처리량”에 가깝습니다. Anthropic의 연환산 매출(run-rate revenue, 최근 매출 속도를 1년으로 환산한 지표) 은 2025년 말 90억 달러에서 2026년 4월 300억 달러(30 billion dollars) 로 급증했고, 연간 100만 달러 이상을 쓰는 기업 고객이 1,000곳을 넘었습니다. 이는 기업이 AI를 실험이 아니라 실제 업무 처리 엔진으로 쓰기 시작했다는 강한 신호입니다.¹³

• 기업 ROI는 모델 성능만으로 결정되지 않습니다. NVIDIA의 Vera Rubin NVL72는 “GPU를 많이 꽂은 서버”가 아니라 랙 전체를 하나의 AI 컴퓨터처럼 쓰는 구조를 보여줍니다. 업계 공개 자료 기준으로 72개 GPU, 36개 CPU, 최대 260TB/s NVLink 패브릭 대역폭이 핵심이며, 앞으로는 GPU 개수보다 지연 시간, 동시 처리, 메모리 대역폭, 작업당 비용이 더 중요해집니다.⁴⁵

• 데이터 품질과 지속 학습은 성능의 복리 효과를 만듭니다. Ultra-FineWeb, COBALT, 지속 학습 논의가 공통으로 말하는 것은 “더 많이”보다 더 정확하게 선별하고, 평가하고, 덜 잊게 운영하라는 점입니다. 여기에 더해 에이전트 시대에는 장기 메모리와 RAG 저장소(검색용 지식 저장소) 자체가 공격·오염 대상이 되므로, 데이터 품질은 곧 보안 문제이기도 합니다.⁶

• 스킬 재사용과 샌드박스 보안이 에이전트를 데모에서 운영 시스템으로 바꿉니다. OWASP의 에이전트형 애플리케이션 보안 프레임워크는 핵심 위험을 목표 하이재킹, 도구 오남용, 권한 남용, 메모리 오염으로 정리했습니다. 중요한 것은 “승인 버튼”보다 피해 확산 범위(blast radius)를 제한하는 실행 경계입니다. 컨테이너만으로는 부족하고, 고위험 작업은 네트워크 차단, 읽기 전용 파일시스템, 최소 권한, 필요 시 microVM(초경량 가상머신) 까지 고려해야 합니다.⁶⁷⁸

• 주목해야 할 사람은 **CTO/CIO, AI 제품 책임자, 플랫폼 엔지니어, 보안팀, 개발팀 리드, 기업교육 ...