AI 생성 이미지
AI 에이전트 평가는 단발성 정답 맞히기에서 장기 업무 수행 능력으로 이동하고 있습니다. SalesBench가 중요한 이유도 여기에 있습니다. 영업을 “좋은 문장 한 번 생성하기”가 아니라, 시간·도구·상태 관리·상대 반응이 얽힌 장기 과제로 보기 때문입니다.
SalesBench는 무엇을 평가하나
SalesBench는 AI가 생명보험 영업 전화를 수행하는 시뮬레이션 평가입니다. 판매자 에이전트는 리드를 확인하고, 고객에게 전화하고, CRM을 갱신하고, 필요하면 기억 도구에 정보를 저장합니다.1
핵심은 설득력 있는 한 문장이 아닙니다. 에이전트가 누구에게 먼저 연락할지, 언제 다시 전화할지, 이전 통화 내용을 어떻게 이어갈지, 도구를 적절히 사용할지를 봅니다. 즉 SalesBench는 “대화를 잘하는가”보다 “영업 파이프라인을 끝까지 운영할 수 있는가”를 묻습니다.
평가 방식도 이 관점을 따릅니다. SalesBench는 100개의 구매자 페르소나를 두고, 제한된 시간 안에 에이전트가 최대한 많은 거래를 성사시키도록 설계됐습니다.1 점수는 성사된 매출을 기준으로 산정됩니다. 이 벤치마크에서 2B 모델이 학습되었다는 점도, 장기 영업 수행 능력을 비교·개선하려는 시도로 볼 수 있습니다.
왜 장기 영업 평가가 필요한가
실제 영업은 한 번의 통화로 끝나지 않습니다. 고객은 망설이고, 거절하고, 예산을 묻고, 신뢰를 확인합니다. 어떤 고객에게는 후속 연락이 필요하고, 어떤 고객에게는 더 이상 연락하지 않는 판단이 필요합니다.
그래서 영업 에이전트 평가는 단순한 응답 품질만으로는 부족합니다. 중요한 것은 다음과 같은 운영 능력입니다.
리드 우선순위를 정하는가
이전 대화 맥락을 유지하는가
CRM과 기억 도구를 일관되게 사용하는가
콜백과 후속 조치를 놓치지 않는가
매출을 만들면서도 부적절한 행동을 피하는가
SalesBench Prime 구현체도 같은 방향을 보여줍니다. 한 에피소드에 약 100개 리드와 시간 예산이 주어지고, 에이전트는 CRM 검색, 통화, 견적, 콜백 예약 같은 도구를 사용합니다.2 보상은 MRR 매출을 중심으로 전환율, 예산 활용, 위반 행동 등을 함께 반영합니다.2
기업 입장에서는 이 차이가 중요합니다. 데모에서 자연스럽게 말하는 에이전트와 실제로 여러 고객을 상대하며 파이프라인을 관리하는 에이전트는 다릅니다. SalesBench는 후자에 가까운 능력을 보려는 평가입니다.
함께 봐야 할 기준: TenaciousBench
SalesBench가 통화 기반 장기 영업 수행을 본다면, TenaciousBench v0.1은 LLM 기반 B2B 아웃바운드 영업 에이전트를 평가합니다. 이 벤치마크는 220개 평가 태스크로 구성되며 MIT 라이선스로 공개됐습니다.3
TenaciousBench는 τ²-Bench, GAIA, HELM이 충분히 다루지 못한 10개 영업 실패 차원을 측정한다고 설명합니다.3 여기에는 다음과 같은 항목이 포함됩니다.
ICP 타기팅 정확도
신뢰도 인식 문구
신호 기반 개인화
브랜드 안전 톤
환각 회피
CTA 행동
경쟁사 갭 추론
가격 규율
다중 턴 반론 처리
스레드 지속 일관성3
이 항목들은 SalesBench를 이해하는 데도 도움이 됩니다. 좋은 영업 AI는 단순히 말을 많이 하거나 적극적으로 밀어붙이는 시스템이 아닙니다. 예를 들어 TenaciousBench의 ICP 타기팅 정확도 항목은 ICP 신뢰도가 0.62 미만일 때 에이전트가 발화를 삼가는지 확인합니다.3 신호 기반 개인화 항목은 이메일이 실제 채용 또는 투자 데이터를 참조하는지 평가합니다.3 브랜드 안전 톤 항목은 거만한 표현과 검증 불가능한 보장을 금지합니다.3
결국 영업 AI 평가는 성사율만으로 끝나지 않습니다. 잘못된 타기팅, 환각, 무리한 가격 약속, 브랜드 리스크까지 함께 봐야 실제 업무에 가까운 평가가 됩니다.
실무적으로 무엇을 봐야 하나
AI 영업 에이전트를 검토한다면 데모 문구보다 평가 설계를 먼저 봐야 합니다. 특히 다음 질문이 중요합니다.
단발 대화가 아니라 장기 과제로 평가하는가
CRM, 통화, 견적, 콜백 같은 도구 사용이 포함되는가
이전 대화와 고객 상태를 일관되게 관리하는가
점수가 실제 매출 또는 성사 결과와 연결되는가
환각, 과장, 부적절한 톤, 가격 위반 같은 리스크를 함께 측정하는가
SalesBench의 의미는 “AI가 영업 전화를 할 수 있는가”라는 질문을 더 구체적으로 바꾼 데 있습니다. 이제 핵심 질문은 “말을 잘하는가”가 아니라 “시간과 상태를 관리하며 신뢰를 잃지 않고 매출을 만들 수 있는가”입니다.
1SALESBENCH Testing Adaptive Social Intelligence in Extended Goal-Oriented Interactions
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.