AI 생성 이미지
헬스케어 AI를 평가할 때 핵심 질문은 더 이상 “의학 지식을 얼마나 많이 아는가”에 그치지 않습니다. 실제 운영 업무를 끝까지 수행할 수 있는가, 그리고 그 수행 과정을 검증할 수 있는가가 더 중요해지고 있습니다.
ActAVAai의 CHI-Bench는 이 지점을 겨냥한 헬스케어 AI 검증 벤치마크입니다. 단순한 정답률 경쟁이 아니라, 긴 절차와 여러 도구가 얽힌 의료 운영 업무에서 AI 에이전트가 얼마나 신뢰할 수 있게 작동하는지를 보려는 시도입니다.
CHI-Bench가 보려는 것
CHI-Bench는 사전승인, 이용관리, 케어관리 같은 미국 헬스케어 운영 업무를 다룹니다. 총 75개 작업, 3개 도메인으로 구성되어 있으며, 에이전트는 여러 의료 앱과 정책 문서를 사용해 긴 절차를 수행해야 합니다.1
이런 구성은 일반적인 질의응답 벤치마크와 다릅니다. 모델이 의학 개념을 설명하는지보다, 실제 업무 흐름 안에서 필요한 정보를 찾고, 판단하고, 다음 행동으로 이어갈 수 있는지를 봅니다.
공개된 결과도 그 차이를 보여줍니다. 현재 최고 에이전트의 pass@1은 28.0%이고, 엔드투엔드 사전승인 자동화는 0%로 제시되어 있습니다.1 이는 헬스케어 AI가 지식 평가에서는 발전했더라도, 실제 운영 업무를 안정적으로 자동화하기까지는 아직 큰 간격이 있음을 보여줍니다.
중요한 변화는 ‘점수 제출 방식’에 있다
ActAVAai 리더보드 설계에서 특히 주목할 부분은 제출 방식입니다. 이 리더보드는 벤치마크 결과를 ZIP 업로드나 웹 폼이 아니라 GitHub PR로 받도록 설계되어 있습니다.2
제출물도 단순한 점수 파일이 아닙니다. manifest, trial별 verifier evidence, 압축된 trajectory를 Git의 일반 파일로 저장하는 구조입니다.2 즉, 결과만 올리는 것이 아니라 그 결과가 어떻게 만들어졌는지 확인할 수 있는 증거를 함께 남기도록 한 것입니다.
이 방식의 장점은 명확합니다. 리뷰어는 PR diff를 통해 제출 내용과 변경 사항을 확인할 수 있습니다. 점수만 보는 리더보드보다 검토 가능성이 높고, 제출 과정 자체가 기록으로 남습니다. 헬스케어 AI 검증에서 중요한 것은 높은 점수만이 아니라, 그 점수를 설명하고 추적할 수 있는 구조입니다.
자동 검증은 돕지만, 최종 판단을 대체하지 않는다
리더보드 CI는 PR마다 스키마 검증과 무결성 검증을 자동 실행하도록 설계되어 있습니다.2 이는 제출 형식 오류나 기본적인 일관성 문제를 줄이는 데 유용합니다.
다만 v1 설계에서는 CI가 제출물을 다시 채점하지 않습니다. 제출된 증거를 신뢰하는 “trust-the-evidence” 모델을 사용하며, 사람의 리뷰와 병합은 계속 필요합니다.2
따라서 이 구조는 완전 자동 심판이 아닙니다. 대신 제출 형식, 증거, 재현성 정보를 표준화해 검토 비용을 낮추는 방식에 가깝습니다. 특히 헬스케어처럼 리스크가 큰 영역에서는 모든 것을 자동화하기보다, 자동 검증과 사람의 검토가 함께 작동하는 구조가 현실적입니다.
데이터 중심 리더보드라는 점도 중요하다
ActAVAai 리더보드 저장소는 HTML 리더보드를 직접 렌더링하지 않고, actava.ai/benchmarks가 results.csv를 읽어 화면에 보여주는 데이터 전용 저장소로 설계되어 있습니다.2
이 설계는 리더보드를 하나의 웹페이지가 아니라 검증 가능한 데이터 흐름으로 보게 만듭니다. 또한 첫 벤치마크는 chi-bench v1이지만, 이후 swe-bench나 agent-bench 같은 다른 벤치마크로 확장할 수 있도록 설계되어 있습니다.2
제출 도구의 흐름도 이 방향과 맞닿아 있습니다. chi-bench 생산자 저장소는 cb submission prepare 명령으로 제출 패킷을 만들고, 리더보드 소비자 저장소는 scripts/submit.py로 로컬 검증과 PR 생성을 돕도록 설계되어 있습니다.2 또한 리더보드 도구는 submission.json의 dataset.name을 읽어 제출 패킷이 어떤 벤치마크에 속하는지 자동 감지합니다.2
헬스케어 AI 벤치마크를 볼 때의 기준
ActAVAai의 시도에서 얻을 수 있는 실무적 기준은 단순합니다. 앞으로 헬스케어 AI 벤치마크를 볼 때는 점수만 확인해서는 부족합니다.
다음 질문을 함께 봐야 합니다.
작업이 실제 헬스케어 운영 업무를 얼마나 닮았는가
단일 답변이 아니라 긴 절차 수행 능력을 평가하는가
제출 결과에 증거와 trajectory가 남는가
검증 절차가 공개적이고 리뷰 가능한가
자동 검증과 사람의 검토가 어떻게 결합되어 있는가
ActAVAai의 CHI-Bench와 리더보드 설계는 헬스케어 AI 평가의 초점을 “누가 더 높은 점수를 냈는가”에서 “그 점수를 믿을 수 있는가”로 옮기고 있습니다. 실제 의료 환경에 가까운 AI를 만들려면, 벤치마크 역시 더 추적 가능하고 검토 가능한 방식으로 발전해야 합니다.
1The world's first long-horizon healthcare benchmark for AI agents.
2chi-bench/docs/superpowers/specs/2026-05-12-leaderboard-design.md
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.