기업용 보이스 에이전트의 성패는 더 이상 “말을 얼마나 자연스럽게 하느냐”만으로 판단하기 어렵습니다. 실제 업무에서는 사용자를 인증하고, 권한을 확인하며, 정책상 처리할 수 없는 요청은 정확히 거절해야 합니다.
EVA-Bench Data 2.0은 바로 이 지점을 평가하기 위한 벤치마크입니다. ServiceNow-AI가 공개한 이 데이터셋은 항공 고객지원, 기업 IT 서비스, 의료 HR 서비스라는 3개 엔터프라이즈 도메인으로 확장됐고, 121개 도구와 213개 평가 시나리오를 포함합니다.1
자연스러운 대화보다 중요한 것: 업무 조건을 지키는가
EVA-Bench Data 2.0의 핵심은 통화 품질 평가가 아니라 업무 수행 능력 평가입니다. 이번 버전의 시나리오 수는 이전보다 약 4배 늘었고, 전체적으로 35개 이상의 워크플로를 다룹니다.1
중요한 변화는 양보다 평가 방식에 있습니다. EVA-Bench Data 2.0은 보이스 에이전트를 인증, 권한, 정책, 처리 불가능한 요청 같은 제약 조건 안에서 테스트하도록 설계됐습니다.2 따라서 “친절하게 답했는가”보다 “해도 되는 일을 정확한 절차로 처리했는가”가 더 중요한 기준이 됩니다.
기업 환경에서는 이 차이가 큽니다. 사용자의 요청을 잘 이해했더라도 인증 전에 정보를 제공하면 실패입니다. 권한이 없는 작업을 실행하거나, 정책상 불가능한 요청을 우회해 처리해도 마찬가지입니다. 보이스 에이전트는 대화형 인터페이스이지만, 실제로는 업무 시스템의 일부로 검증돼야 합니다.
3개 도메인이 드러내는 실제 업무의 복잡성
EVA-Bench Data 2.0은 세 도메인에 걸쳐 시나리오를 구성합니다. Airline CSM은 50개, Enterprise ITSM은 80개, Healthcare HRSD는 83개 시나리오를 담고 있습니다.1
이 구성이 의미 있는 이유는 도메인마다 에이전트가 실패하는 방식이 다르기 때문입니다. 항공 고객지원에서는 변경 예약, 확인 코드, 항공 상담 흐름이 주요 압박 지점입니다. 사용자의 의도를 파악하는 것뿐 아니라 예약 변경 절차와 확인 정보를 정확히 다뤄야 합니다.
Enterprise ITSM에서는 티켓, 장애, 접근 권한, 기업 IT 프로세스가 핵심입니다.2 여기서는 단순 응답보다 절차 준수와 권한 판단이 더 중요해집니다. 특히 접근 권한과 관련된 요청은 잘못 처리될 경우 보안 문제로 이어질 수 있습니다.
Healthcare HRSD 역시 일반적인 질의응답만으로는 평가하기 어려운 영역입니다. HR 서비스는 정책, 자격, 내부 절차가 얽혀 있기 때문에 에이전트가 무엇을 답할 수 있고 무엇을 처리해서는 안 되는지 구분해야 합니다.
개발팀이 봐야 할 것은 데모가 아니라 실패 조건
EVA-Bench Data 2.0은 Hugging Face에서 공개되어 있습니다.2 개발팀이 이를 활용할 때의 가치는 “우리 에이전트가 좋은 답변을 하는가”보다 “복잡한 업무 조건에서도 안전하게 멈추고, 거절하고, 이어갈 수 있는가”를 점검하는 데 있습니다.
실제로 확인해야 할 질문은 구체적입니다.
인증이 끝나기 전에는 민감한 작업을 멈추는가
권한이 없는 요청을 정확히 거절하는가
정책상 불가능한 요청을 우회하지 않는가
여러 요청이 섞였을 때 올바른 순서로 처리하는가
필요한 도구를 적절히 호출하고, 실패 시 복구 흐름을 따르는가
도메인별 절차와 용어를 일관되게 적용하는가
이런 항목은 데모 영상에서는 잘 드러나지 않습니다. 데모는 보통 성공 경로를 보여주지만, 실제 기업 업무에서는 예외와 경계 조건이 더 중요합니다.
EVA-Bench Data 2.0이 주는 실용적 기준
EVA-Bench Data 2.0의 의미는 단순한 새 순위표에 있지 않습니다. 보이스 에이전트를 “그럴듯하게 말하는 인터페이스”에서 “맡길 수 있는 업무 시스템”으로 옮기려면 무엇을 검증해야 하는지 보여주는 기준에 가깝습니다.
기업이 보이스 에이전트를 도입하거나 평가할 때는 자연스러운 응답, 낮은 지연시간, 음성 인식 품질만 볼 것이 아니라 인증, 권한, 정책, 도구 호출, 예외 처리까지 함께 봐야 합니다. EVA-Bench Data 2.0은 그 판단을 더 현실적인 업무 흐름 위에서 하도록 돕는 데이터셋입니다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.