AI 생성 이미지
AI 시스템 평가의 난이도는 모델이 더 똑똑해져서만 높아진 것이 아닙니다. 더 큰 변화는 AI가 답변 생성기에서 행동하는 시스템으로 이동하고 있다는 점입니다. 사용자의 요청을 해석하고, 도구를 호출하고, 웹이나 운영체제 환경을 오가며, 여러 단계의 결정을 누적하는 시스템이라면 평가는 단순히 “마지막 답이 맞았는가”로 끝나기 어렵습니다.1
이 지점에서 인터랙티브 평가는 현대 AI 테스트의 핵심 쟁점이 됩니다. 특히 도구 사용 에이전트, 웹·OS 벤치마크, 다중 에이전트 시스템, 신뢰성 평가처럼 실행 과정 자체가 결과의 일부가 되는 영역에서는 기존 벤치마크 관성만으로 충분한 설명력을 갖기 어렵습니다.
문제는 ‘어려운 벤치마크’가 아니라 ‘다른 종류의 증거’다
전통적인 응답 중심 벤치마크는 대체로 입력과 출력의 경계를 명확히 둡니다. 고정된 문제를 제시하고, 모델이 생성한 하나의 응답을 분리해 채점하며, 그 결과를 성능 판단의 근거로 삼는 방식입니다. 이런 구조는 여전히 유용합니다. 지식 질의, 코드 조각 생성, 정답이 비교적 분명한 과제에서는 평가 비용과 비교 가능성 측면에서 강점이 있습니다.
하지만 인터랙티브 AI에서는 평가 증거의 단위가 달라집니다. 한 번의 응답이 아니라, 관찰·행동·도구 호출·환경 반응·재시도·중단 같은 사건들이 시간 순서대로 쌓인 궤적이 평가 대상이 됩니다. 같은 최종 상태에 도달했더라도 어떤 경로를 거쳤는지에 따라 신뢰성 평가는 달라질 수 있습니다. 반대로 최종 목표 달성에는 실패했더라도, 위험을 감지하고 더 큰 손상을 피하는 방식으로 행동했다면 그 과정은 중요한 평가 신호가 됩니다.
따라서 인터랙티브 평가는 단순히 기존 에이전트 벤치마크 목록에 하나를 더하는 문제가 아닙니다. 논문 Interactive Evaluation Requires a Design Science는 이 영역을 독립적인 평가 패러다임으로 다뤄야 한다고 주장합니다.2 제목이 “Paper Calls For Design Science In Interactive AI Evaluation”로 소개된 것도 이 문제의식과 맞닿아 있습니다.
평가자는 무엇을 ‘성공’이라고 부를 것인가
인터랙티브 평가에서 가장 까다로운 부분은 로그를 얼마나 많이 남기느냐가 아닙니다. 어떤 로그를 증거로 삼고, 그 증거를 어떤 판단으로 연결할 것인지가 더 중요합니다. 해당 논문은 평가를 증거에서 판단으로 이어지는 자율적 매핑으로 정의합니다.2 이는 평가가 단순 측정이 아니라 설계 행위라는 뜻입니다.
예를 들어 에이전트가 웹 환경에서 작업을 수행한다고 할 때, 평가자는 다음과 같은 선택을 해야 합니다.
최종 완료 여부만 볼 것인가, 중간 행동의 안전성과 효율성도 볼 것인가
실패 후 복구 시도를 긍정적 신호로 볼 것인가, 추가 비용으로 볼 것인가
환경 변화에 대응한 계획 수정은 어떻게 기록하고 해석할 것인가
개별 모델 응답이 아니라 전체 시스템 수준의 안정성을 어떻게 판단할 것인가
논문은 인터랙티브 평가 절차가 과정, 복구 가능성, 조정, 견고성, 시스템 수준 성능을 평가해야 한다고 봅니다.2 이는 AI 평가의 질문을 바꿉니다. “정답률이 얼마인가”에서 “이 시스템은 실제 상호작용 속에서 믿고 맡길 수 있는가”로 이동하는 것입니다.
Design Science가 필요한 이유
여기서 말하는 Design Science는 평가 방법을 임시방편으로 만들지 말고, 설계 원칙과 보고 기준을 갖춘 연구 대상으로 보자는 접근입니다. 인터랙티브 환경에서는 평가자가 만든 과제 구조, 관찰 가능한 상태, 허용된 행동, 중단 조건, 채점 기준이 모두 결과에 영향을 줄 수 있습니다. 이 요소들이 불투명하면 점수는 있어도 해석은 불안정해집니다.
논문은 인터랙티브 평가를 설명하기 위한 2축 분류 체계를 제안하고, 설계 원칙과 보고 표준을 도출합니다.2 이 제안의 실용적 의미는 분명합니다. 앞으로 에이전트 평가 결과를 비교하려면 단순 성능 숫자뿐 아니라 평가 환경이 어떻게 구성됐는지, 어떤 궤적이 기록됐는지, 판단 규칙이 무엇이었는지까지 함께 봐야 합니다.
또 하나 중요한 지적은 오래된 평가 문제가 사라지는 것이 아니라 궤적 수준에서 다시 나타난다는 점입니다.2 기존 평가에서 정답 기준, 데이터 편향, 채점 일관성이 문제였다면, 인터랙티브 평가에서는 행동 경로의 해석, 부분 실패의 처리, 환경과 평가자의 개입 효과가 새로운 형태의 쟁점이 됩니다. 평가가 더 동적이 될수록 오히려 평가 설계의 책임은 커집니다.
산업 현장에는 어떤 의미가 있나
기업이나 개발팀 입장에서 이 논의는 학술적 분류 이상의 의미를 갖습니다. 에이전트를 실제 제품에 넣는 순간, 사용자는 모델의 답변만 보는 것이 아니라 시스템의 행동 결과를 경험합니다. 도구를 잘못 호출하거나, 불필요한 단계를 반복하거나, 실패를 인식하지 못하고 계속 진행하는 문제는 단순 정확도 지표로는 잘 드러나지 않을 수 있습니다.
따라서 인터랙티브 AI 평가를 도입하려는 조직은 벤치마크 점수보다 먼저 다음을 점검해야 합니다.
평가 단위: 최종 출력만 평가하는지, 상호작용 궤적 전체를 평가하는지
판단 기준: 성공률 외에 복구, 조정, 견고성, 시스템 수준 성능을 반영하는지
환경 설계: 웹, OS, 도구 호출, 다중 에이전트 상호작용처럼 실제 사용 조건과 관련된 요소가 어떻게 구성됐는지
보고 가능성: 다른 평가와 비교할 수 있을 만큼 절차와 기준이 명확히 공개되는지
신뢰성 해석: 점수가 실제 배포 환경의 위험과 안정성을 얼마나 설명하는지
이런 점검 없이 “에이전트 벤치마크에서 높은 점수”만 강조하면, 평가 결과가 제품 신뢰성을 과대 대표할 위험이 있습니다.
앞으로 봐야 할 것
인터랙티브 AI 평가는 앞으로 더 많은 벤치마크가 등장하는 방향으로만 발전하지는 않을 것입니다. 중요한 경쟁력은 어떤 상호작용을 만들고, 무엇을 기록하며, 어떤 근거로 판단하고, 그 결과를 어떻게 보고하느냐에 있습니다.
독자는 관련 연구와 도구를 볼 때 논문 자체뿐 아니라 공개 저장소도 함께 확인할 필요가 있습니다. 논문 링크는 arXiv에 공개되어 있으며,2 관련 깃허브 저장소도 제공되어 있습니다.3 앞으로 주목할 부분은 이 제안들이 실제 웹·OS 벤치마크, 도구 사용 에이전트, 다중 에이전트 시스템 평가에서 얼마나 일관된 보고 관행으로 자리 잡는지입니다.
결국 인터랙티브 AI 평가의 핵심은 더 복잡한 시험지를 만드는 것이 아닙니다. 행동하는 AI에 대해 어떤 증거를 모아야 신뢰할 만한 판단에 도달할 수 있는지, 그 판단 과정을 어떻게 설계하고 공유할 것인지가 핵심입니다.
1Agentic AI Evaluation | Brookings
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.