연구 에이전트가 그럴듯한 답을 내놓는 것과 조사를 완결하는 것은 다르다. 시장 분석을 예로 들면, 몇 가지 사례를 제시하는 데 그치지 않고 조건에 맞는 대상을 폭넓게 찾아야 한다. 각 대상에는 다시 확인할 수 있는 근거도 붙어야 한다.
Perplexity가 공개한 WANDR는 이러한 능력을 측정하는 오픈 벤치마크이자 평가 도구다. 증거 중심 과제 500개를 통해 경쟁사 조사, 실사, 문헌 검토처럼 대규모 정보 수집이 필요한 연구 작업을 평가한다.1
넓게 찾고, 깊게 증명한다
WANDR가 평가하는 연구 능력은 두 축으로 나뉜다.
광범위 연구(Wide): 주어진 조건을 충족하는 개체를 최대한 많이 발견하는 능력
심층 연구(Deep): 발견한 각 개체가 요구 사항을 충족한다는 증거를 확보하는 능력
예를 들어 조건에 맞는 기업 50곳과 기업별 임직원 2명, 그리고 각 인물의 소속을 입증할 자료를 요구할 수 있다. 일부 기업만 정확하게 조사하거나, 근거 없이 목록만 늘려서는 충분하지 않다. 발견 범위와 항목별 증거를 모두 갖춰야 한다.
이 점에서 WANDR는 장문 보고서의 정확성·완전성·객관성을 평가하는 DRACO와 역할이 다르다. DRACO가 보고서 자체의 품질에 초점을 맞춘다면, 그 자매 벤치마크인 WANDR는 조건에 맞는 개체 집합을 얼마나 빠짐없이 구성하고 각각을 증명하는지 평가한다.1
평가의 핵심은 ‘재검증 가능성’
WANDR는 에이전트가 제출한 URL을 다시 불러와 근거를 확인한다. 페이지가 유효한지, 제시한 인용문이 실제로 존재하는지, 그 내용이 주장을 충분히 뒷받침하는지를 검증한다.
점수는 부분적인 성공과 완전한 성공을 구분한다.
Soft 점수는 일부 조건을 충족한 항목에도 부분 점수를 부여한다.
Hard 점수는 필요한 하위 정보와 증거를 모두 충족해야 인정한다.
Perplexity Search as Code는 soft F1 0.363, hard F1 0.133을 기록했다.1 두 점수의 차이는 일부 유효한 대상을 찾는 것보다, 대규모 결과를 빠짐없이 구성하고 모든 항목에 검증 가능한 증거를 붙이는 일이 훨씬 어렵다는 점을 보여준다.
실무에서는 무엇을 평가해야 하나
연구 에이전트를 도입할 때 답변의 문장력이나 몇 가지 인상적인 사례만 봐서는 안 된다. 최소한 다음 세 가지를 함께 확인해야 한다.
탐색 범위: 조건에 맞는 대상을 얼마나 폭넓게 찾았는가
항목 완성도: 각 대상에 필요한 세부 정보를 모두 채웠는가
근거 적합성: 출처와 인용문이 실제 주장을 뒷받침하는가
WANDR의 가치는 새로운 순위표를 제공하는 데만 있지 않다. 반복 검색과 교차 검증이 필요한 업무에서는 “무엇을 찾았는가”와 함께 “얼마나 빠짐없이 찾았고, 결과를 다시 검증할 수 있는가”를 측정해야 한다는 실용적인 평가 기준을 제시한다.
참고
1WANDR Benchmark: Evaluating Research Agents That Must Search Wide and Deep
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.