기업이 돈 버는 에이전트 AI 구축법: 인프라·오케스트레이션·관측성·업무완료 지표 완전 가이드

핵심 요약

• 주요 발견사항

  • AI의 중심이 “질문에 답하는 모델”에서 “목표를 받아 여러 단계를 거쳐 일을 끝내는 에이전트 시스템”으로 이동하고 있습니다. Amazon은 2025년 이후 사내 여러 조직에서 수천 개의 에이전트가 구축됐다고 밝히며, 이제 평가는 모델 점수보다 도구 선택, 다단계 추론, 메모리 사용, 오류 복구, 업무완료율까지 봐야 한다고 설명합니다.¹

  • 경쟁의 핵심도 모델 단독 성능에서 인프라와 운영 체계로 이동했습니다. NVIDIA의 FY2Q25 데이터센터 매출은 263억 달러로 전년 대비 154% 증가했고, 전체 매출의 88%를 차지했습니다. AI 수익의 무게중심이 GPU, 네트워크, 서버, 데이터센터 운영으로 옮겨가고 있다는 뜻입니다.⁵

  • Google의 최신 흐름은 “에이전트가 실제 행동한다”는 방향을 분명히 보여줍니다. Gemini 3.5 Flash는 Terminal-Bench 2.1 76.2%, MCP Atlas 83.6%, CharXiv Reasoning 84.2%를 기록했고, 다른 프런티어급 모델 대비 출력 속도는 4배라고 발표됐습니다.⁸

  • Spark와 Antigravity 2.0은 에이전트가 이제 브라우저 안 챗봇이 아니라 클라우드에서 계속 실행되는 업무 주체가 되고 있음을 보여줍니다. Spark는 전용 Google Cloud VM에서 동작해 사용자가 자리를 비워도 작업을 이어가며, Antigravity 2.0은 병렬 서브에이전트와 예약 작업을 지원합니다.⁷

  • 따라서 기업의 핵심 KPI는 “AI를 얼마나 많이 썼는가”가 아니라 Task Completion Rate(업무완료율), Autonomous Completion Rate(무인 완료율), 재작업률, 정책 준수율, 업무당 비용이어야 합니다.¹²