돈이 되는 에이전트형 AI: 평가·인프라·거버넌스로 바로 적용하는 자동화 전략

핵심 요약

• 주요 발견사항

  • 정답 맞히기형 평가에서 상호작용·탐색형 평가(ARC-AGI-3)로 무게중심이 이동했다. 미지의 규칙을 배우며 목표를 효율적으로 달성하는지를 측정하는 “행동 효율(Action Efficiency)” 점수 체계가 도입됐고, 공식 툴킷과 대회는 오픈소스 중심·재현가능성에 초점을 맞춘다. 프리뷰에서 최고 시스템은 12.58%에 그쳤고(인간 기준 100%), 프런티어 LLM 기반 에이전트는 1% 미만에 머물렀다. 효율적 탐색·상태 추적과 같은 에이전트 설계 품질이 ROI를 가른다²¹.

  • 웹 UI 자동화(MolmoWeb)는 DOM이 아닌 스크린샷 기반으로 사람처럼 클릭·입력·스크롤한다. 4B/8B의 소형 공개 모델과 데이터·평가 툴까지 함께 공개되어 실무 재현성이 높고, WebVoyager에서 78.2%(단일 시도)→94.7%(pass@4)까지 올라가는 등 테스트타임 스케일링으로 성공률을 끌어올릴 수 있다. 다만 작은 글씨 인식·드래그앤드롭·로그인/결제 미포함 등 현실적 한계가 명시됐다⁶⁵.

  • 오케스트레이션 CPU(Arm AGI)의 시대가 열린다. Arm은 회사 역사상 처음으로 데이터센터급 CPU 실리콘을 직접 출시했고, 136코어 AGI CPU로 에이전트 워크로드의 도구 호출·스케줄링·데이터 이동을 가속하는 “에이전트 클라우드의 실리콘 토대”를 표방한다. 초기 파트너로 메타가 거론되며, “GPU만 늘리면 된다”는 접근에 균열이 생겼다⁷⁸⁹.

  • 데이터 거버넌스가 곧 성장 가속기다. ARC-AGI-3의 오프라인 평가(대회 중 외부 API 금지)와 오픈소싱 요구, MolmoWeb의 공개 데이터·가드레일(로그인·결제 제외)은 기업 적용에서의 투명성과 규제 대응의 단서를 제공한다²⁶.