AI 에이전트가 “업무를 대신한다”는 기대는 커졌지만, 엔터프라이즈 IT에서는 기준이 훨씬 엄격합니다. 로그를 읽고, 서비스 간 의존성을 추적하고, 장애의 진짜 원인을 찾아야 합니다. 여기서 틀린 답은 단순한 오답이 아니라 운영 리스크가 됩니다.
ITBench-AA가 중요한 이유도 여기에 있습니다. 이 벤치마크는 최신 모델이 얼마나 똑똑한지를 묻기보다, 복잡한 IT 운영 환경에서 에이전트가 실제로 판단을 끝까지 수행할 수 있는지를 묻습니다.
ITBench-AA는 무엇을 평가하는가
ITBench-AA는 Artificial Analysis와 IBM Software Innovation Lab이 공개한 엔터프라이즈 IT 작업용 에이전트 벤치마크입니다. 첫 평가 영역은 SRE입니다. 에이전트는 Kubernetes 사고 스냅샷을 보고, 장애를 일으킨 독립적인 근본 원인 Kubernetes 엔티티를 찾아야 합니다.1
평가는 총 59개 작업으로 구성됩니다. 이 중 40개는 공개 작업이고, 19개는 비공개 신규 작업입니다. 각 작업은 최대 100턴까지 진행되며, 작업당 3회 반복 평가됩니다.1
결과는 냉정합니다. Claude Opus 4.7이 ITBench-AA SRE에서 47%를 기록했지만, 여전히 절반을 넘지 못했습니다.1 이는 최신 모델도 복잡한 IT 운영 판단에서는 아직 안정적인 자동화 수준에 도달하지 못했음을 보여줍니다.
왜 엔터프라이즈 IT 작업은 어려운가
기업 워크플로는 단순한 질의응답과 다릅니다. 동적이고 장시간 실행되며, 여러 API, 데이터베이스, 서비스가 얽혀 있습니다. 여기에 비즈니스 정책이나 규제 제약까지 포함되는 경우가 많습니다.2
SRE 작업도 마찬가지입니다. 장애 대응은 “관련 있어 보이는 정보”를 많이 찾는 일이 아니라, 제한된 증거 속에서 원인과 증상을 구분하는 일입니다. Kubernetes 환경에서는 한 문제가 여러 경고와 연쇄 증상을 만들 수 있기 때문에, 무엇이 진짜 원인인지 좁혀야 합니다.
이 지점에서 긴 컨텍스트만으로는 충분하지 않습니다. IBM은 에이전트가 엔터프라이즈 워크플로에서 효과적으로 작동하려면 확장된 모델 컨텍스트가 필요하다고 설명합니다. 하지만 동시에 긴 컨텍스트는 환각 증가와 토큰 소비 증가라는 비용을 만들 수 있습니다.2
즉, 더 많이 읽는다고 반드시 더 정확해지는 것은 아닙니다. 엔터프라이즈 IT에서는 많은 후보를 나열하는 능력보다, 불필요한 가능성을 제거하고 정확한 최소 원인에서 멈추는 능력이 중요합니다.
ITBench-AA가 보여주는 핵심 신호
ITBench-AA SRE의 과제는 단순히 “문제를 찾아라”가 아닙니다. 사고를 일으킨 최소한의 근본 원인 Kubernetes 엔티티를 식별해야 합니다.1 주변 증상이나 간접 원인을 함께 제출하면 좋은 답이 되기 어렵습니다.
이 점이 에이전트 평가에서 중요합니다. 일반적인 챗봇 환경에서는 그럴듯한 설명이 어느 정도 받아들여질 수 있습니다. 하지만 운영 환경에서는 원인 후보를 과하게 제출하는 것이 오히려 문제를 키울 수 있습니다. 잘못된 조치는 장애 복구를 늦추고, 정상 구성 요소를 건드리게 만들 수 있기 때문입니다.
따라서 ITBench-AA의 의미는 “AI가 엔터프라이즈 IT를 못한다”가 아닙니다. 더 정확히는, 엔터프라이즈 IT 에이전트에는 모델 성능만으로 설명되지 않는 설계 문제가 있다는 뜻입니다.
관전 포인트는 모델보다 에이전트 설계다
IBM은 이 문제를 풀 단서로 “에이전트 로직”을 제시합니다. 에이전트 로직은 에이전트 하네스 내부의 에이전틱 계층에서 동작하는 소프트웨어 프리미티브입니다. 예로는 지식 그래프, 알고리즘, 프로그램 분석 라이브러리가 있습니다.2
핵심은 LLM에 더 많은 컨텍스트를 밀어 넣는 것이 아닙니다. 에이전트 로직은 LLM을 엔터프라이즈 워크플로 방향으로 의도적으로 유도하고, 탐색해야 할 컨텍스트 공간을 줄이는 역할을 합니다.2 IBM은 이런 접근이 더 높은 성능과 비용 효율을 유도하는 경향이 있다고 설명합니다.2
이는 ITBench-AA를 해석할 때 중요한 기준이 됩니다. 앞으로의 성능 차이는 단순히 어떤 모델을 쓰느냐보다 다음 요소에서 갈릴 가능성이 큽니다.
어떤 하네스에서 에이전트가 실행되는가
어떤 도구와 지식 구조를 사용하는가
컨텍스트를 어떻게 선별하고 줄이는가
증상과 근본 원인을 어떻게 구분하는가
오답 비용과 false positive를 어떻게 관리하는가
기업이 얻어야 할 실용적 교훈
ITBench-AA는 엔터프라이즈 AI 도입에 대한 현실적인 점검표를 제공합니다. 미션 크리티컬한 소프트웨어 제공 생명주기 작업에 에이전트를 적용하려면, 데모에서의 응답 품질만 봐서는 부족합니다.2
도입을 검토한다면 작은 운영 작업부터 자체 벤치마크를 만드는 것이 좋습니다. 단순 정답률뿐 아니라 다음 지표를 함께 봐야 합니다.
작업당 턴 수
토큰 비용
근본 원인 식별 정확도
불필요한 후보 제출 비율
false positive
사람이 개입해야 하는 지점
ITBench-AA가 보여준 결론은 명확합니다. 엔터프라이즈 에이전트의 경쟁력은 말솜씨가 아니라, 복잡한 증거 속에서 정확히 조사하고 정확한 지점에서 멈추는 능력에 있습니다. 앞으로의 핵심은 더 큰 모델만이 아니라, 모델을 업무 맥락에 맞게 제어하는 에이전트 설계입니다.
1ITBench-AA: Frontier Models Score Below 50% on the First Benchmark for Agentic Enterprise IT Tasks
2Beyond LLMs: Why Scalable Enterprise AI Adoption Depends on Agent Logic
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.