챗봇을 넘어 수익을 만드는 기업용 AI 에이전트 스택 구축 가이드

핵심 요약

• 주요 발견사항: 이제 기업 AI의 핵심은 좋은 챗봇 1개가 아니라, 멀티모델 오케스트레이션(여러 모델을 상황별로 배치하는 계층), 보안 배포, 내부 운영 도구, 상태 저장과 감사 로그를 묶은 스택 전체입니다. 최근 Sakana AI의 Fugu / Fugu Ultra는 “더 큰 단일 모델” 대신 “더 잘 지휘하는 시스템”으로 frontier급 성능에 접근할 수 있다는 점을 보여줬고, Cloudflare는 임시 계정 + 동적 샌드박스 런타임으로 에이전트 실행 계층을 빠르게 바꾸고 있습니다.¹²⁵⁶

• 실용적 가치: 쉬운 업무는 저비용 모델, 어려운 업무는 고성능 모델로 보내면 LLM 비용을 30~60% 줄일 여지가 있습니다. 여기에 Cloudflare가 말하는 Code Mode(툴 호출 대신 코드를 직접 써서 실행하는 방식)를 쓰면 데이터 처리형 업무에서 토큰과 비용을 최대 80%까지 줄일 수 있다는 주장도 나옵니다.⁶

• 학습 가치: 지금 배워야 할 것은 프롬프트 몇 줄이 아니라 라우팅, 권한 관리, 에이전트 상태 저장, 도구 호출 로그, 평가와 관찰성(로그·지표·추적으로 운영 상태를 보는 능력)입니다. Sakana의 Trinity·Conductor 계열 접근처럼, 이제는 “프롬프트를 수작업으로 짜는 법”보다 시스템이 어떤 모델을 언제 부를지 학습시키는 법이 중요해지고 있습니다.²

• 누가 주목해야 하는가: CTO, AI 제품 책임자, 플랫폼 엔지니어, 보안팀, 사내 자동화 담당자, 개발팀 리더, 그리고 챗봇 PoC(개념검증) 이후 운영 단계로 넘어가려는 기업이 특히 주목해야 합니다. 실제로 삼성전자는 ChatGPT Enterprise를 국내 전 임직원과 R&D를 포함한 조직에 확대 적용하는 흐름으로 보도됐습니다.⁴