AI 생성 이미지
의료 AI를 평가할 때 “의학 지식을 알고 있는가”만으로는 충분하지 않습니다. 실제 의료 운영 업무는 지식 문제풀이가 아니라, 규정 확인, 보험 기준 적용, 문서 작성, 역할 간 인계, 환자나 심사자와의 반복 대화가 얽힌 긴 절차에 가깝습니다.
CHI-Bench는 이 차이를 정면으로 다루는 벤치마크입니다. 정식 명칭은 Clinical Healthcare In-situ Benchmark이며, 미국 의료 워크플로 전반에서 AI 에이전트가 실제 업무를 끝까지 수행할 수 있는지를 평가합니다. 논문은 2026년 5월 15일 arXiv v1으로 처음 공개됐고, 5월 19일 v2가 등록됐습니다.1
CHI-Bench가 보려는 것은 “정답”이 아니라 “업무 수행력”입니다
CHI-Bench의 평가 관점은 세 가지로 요약됩니다. 정책 밀도, 다중 역할 구성, 다자간 상호작용입니다.1
정책 밀도는 의료, 보험, 운영 규칙 라이브러리에 근거해 판단해야 하는 조건을 뜻합니다.
다중 역할 구성은 하나의 작업 안에서 에이전트가 여러 담당자 역할을 수행하고, 역할 간 인계까지 처리해야 하는 구조를 말합니다.
다자간 상호작용은 동료 간 검토나 환자 연락처럼 중간 단계가 여러 차례의 대화로 이어지는 상황을 포함합니다.1
즉 CHI-Bench는 단일 질문에 답하는 능력보다, 규칙이 많은 환경에서 절차를 이해하고, 필요한 도구를 사용하며, 여러 이해관계자 사이의 흐름을 유지하는 능력을 봅니다.
평가 대상 업무도 이 방향에 맞춰 설계되어 있습니다. CHI-Bench는 Provider Prior Authorization, Payer Utilization Management, Population Health Care Management 시뮬레이터를 포함합니다.1 모두 의료 현장에서 규정, 문서, 판단, 커뮤니케이션이 함께 작동하는 영역입니다.
왜 이 벤치마크가 중요한가
CHI-Bench의 핵심은 긴 업무 흐름을 평가한다는 점입니다. 각 시험은 60~80개의 에이전트 단계와 4~6개의 임상 단계로 구성됩니다. 에이전트는 임상 케이스를 받은 뒤, 도구를 호출하고, 역할별 산출물을 작성하며, 최종 상태까지 업무를 진행해야 합니다.1
이를 위해 CHI-Bench는 단순한 질의응답 환경이 아니라 업무 환경 자체를 시뮬레이션합니다. 20개의 의료 앱을 고충실도로 구현하고, 87개의 MCP 도구를 통해 앱 기능을 에이전트에 노출합니다.1 또한 1,290개 이상의 문서로 구성된 managed-care operations handbook skill을 사용해, 에이전트가 정책과 운영 규칙을 참조해야 하는 상황을 만듭니다.1
이 구조는 실제 기업 업무 자동화에도 중요한 시사점을 줍니다. 많은 조직의 업무는 한 번의 답변으로 끝나지 않습니다. 규칙을 찾고, 예외를 판단하고, 중간 결과를 남기고, 다른 역할로 넘기고, 다시 확인하는 과정이 반복됩니다. CHI-Bench는 바로 그 지점을 평가 대상으로 끌어올립니다.
현재 에이전트의 한계도 분명히 드러납니다
CHI-Bench 논문은 30개의 에이전트 하네스·모델 구성으로 실험을 수행했습니다.1 결과는 낙관적이기보다 신중하게 읽어야 합니다. 최고 성능도 전체 pass@1 기준 28.0%였고, strict pass^3 기준으로는 20%를 넘은 에이전트가 없었습니다. 모든 작업을 한 세션에서 수행하는 조건에서는 성능이 3.8%까지 떨어졌습니다.1
이 결과가 말하는 바는 단순합니다. 최신 AI 에이전트가 개별 단계에서는 그럴듯하게 작동하더라도, 정책이 촘촘하고 단계가 긴 실제 업무를 안정적으로 끝내는 것은 여전히 어렵습니다. 특히 역할 전환, 정책 적용, 중간 대화, 산출물 검증이 누적될수록 실패 가능성이 커집니다.
CHI-Bench에서 배울 수 있는 평가 기준
CHI-Bench는 의료 전용 벤치마크이지만, 그 메시지는 의료를 넘어섭니다. 규칙이 많고, 여러 부서나 역할이 얽히며, 실수 비용이 큰 업무라면 비슷한 방식의 평가가 필요합니다.
AI 에이전트를 도입할 때는 단순 정답률만 볼 것이 아니라 다음을 따로 확인해야 합니다.
정책 문서를 찾아 올바르게 적용하는가
여러 역할을 구분하고 인계를 유지하는가
중간 단계의 대화를 맥락 있게 이어가는가
도구 호출 결과를 업무 산출물로 정확히 반영하는가
전체 워크플로를 끝까지 안정적으로 완료하는가
CHI-Bench의 실용적 가치는 여기에 있습니다. “모델이 똑똑한가”보다 “복잡한 업무를 끝까지 믿고 맡길 수 있는가”라는 질문을 던지게 합니다.
CHI-Bench는 Apache 2.0 라이선스로 공개되어 있습니다.2 의료 AI를 직접 만들지 않더라도, 긴 절차와 높은 정책 밀도를 가진 업무 자동화를 평가하는 기준선으로 참고할 만합니다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.