돈 되는 AI의 조건: 에이전트와 피지컬 AI 운영 스택 완전 가이드

핵심 요약

• 이제 돈 되는 AI의 핵심은 모델 자체보다 운영 스택입니다.

  • 평가(Evaluation): 왜 실패했는지 추적할 수 있어야 합니다. LangSmith는 오프라인 평가(배포 전 테스트)와 온라인 평가(운영 중 실시간 점검), 사람 피드백 큐, CI/CD 연동까지 제공하며, ToolFailBench는 실패를 Tool-Skip, Result-Ignore, Output-Fabrication, Unnecessary-Tool-Use처럼 원인별로 나눠 봐야 한다는 흐름을 보여줍니다.¹²³

  • 거버넌스(Governance): 에이전트가 실제 행동하기 전에 허가와 감사를 거쳐야 합니다. Microsoft의 Agent Governance Toolkit(AGT)은 “이 행동이 허용되는가”, “어느 에이전트가 했는가”, “무슨 근거로 허용·차단됐는가”를 정책 엔진과 감사 로그로 다루는 방향을 제시합니다.⁴⁵

  • 월드 상태 인프라(World-State Infrastructure): 피지컬 AI는 그럴듯한 영상보다 현실 상태를 오래 일관되게 기억해야 합니다. NVIDIA는 Cosmos를 통해 월드 파운데이션 모델, 데이터 큐레이션, 평가, 사후학습까지 묶은 오픈 플랫폼을 내놓았고, 관련 논문은 피지컬 AI에겐 “자기 자신에 대한 디지털 트윈(정책 모델)”과 “세계에 대한 디지털 트윈(월드 모델)”이 함께 필요하다고 설명합니다.⁶⁷