AI 에이전트용 검색 서비스를 고를 때 가장 위험한 접근은 공개 점수 하나를 제품 성능 전체로 받아들이는 것이다. 검색 결과의 품질은 모델뿐 아니라 탐색 가능한 페이지, 문서 가져오기 기능, 도구 호출 한도, 채점 방식에 따라 달라진다. 따라서 Search Index의 의미도 순위보다 ‘어떤 조건에서 무엇을 측정했는가’에서 찾아야 한다.
에이전트 검색은 링크 검색과 다른 문제다
에이전트가 처리해야 하는 질문은 한 번의 키워드 검색으로 끝나지 않을 수 있다. 여러 페이지를 이동하며 단서를 모으거나, 서로 떨어진 정보를 연결하고, 전문 분야의 최신 지식을 확인해야 하는 경우가 있기 때문이다.
관련 평가 세트는 이러한 난도를 서로 다른 방식으로 드러낸다.
BrowseComp는 웹에서 찾기 어려운 복합 정보를 지속적으로 탐색해야 하는 1,266개 문항으로 구성된다.
WebWalkerQA는 첫 검색 결과에 바로 나타나지 않는 정보를 찾기 위해 연결된 웹페이지를 탐색하는 능력을 평가한다.
Humanity's Last Exam은 수십 개 분야의 전문가가 작성한 최전선 지식 문항을 포함한다.2
이런 과제에서 중요한 것은 검색 결과의 관련성만이 아니다. 필요한 문서를 실제로 가져올 수 있는지, 여러 단계의 탐색을 이어갈 수 있는지, 수집한 근거를 최종 답변으로 정리할 수 있는지가 함께 작동한다. 검색 API 비교를 일반 웹 검색엔진의 품질 비교와 동일하게 보기 어려운 이유다.
먼저 확인해야 할 것은 평가 조건이다
Parallel의 멀티홉 평가에서는 GPT-5.4 에이전트에 최대 20회의 도구 호출이 허용됐다. 또한 Parallel·Exa·Tavily에는 검색과 웹 문서 가져오기 도구가 제공됐지만, Brave와 SerpAPI에는 검색 도구만 사용됐다. 답변 채점에는 제품군별 프롬프트를 적용한 GPT-5.4 LLM 심판이 활용됐다.2
이 조건들은 결과 해석에 직접적인 맥락을 제공한다. 검색과 문서 가져오기를 모두 사용할 수 있는 구성은 검색만 가능한 구성과 에이전트가 접근할 수 있는 정보 범위가 다르다. 최대 호출 횟수 역시 복합 질문을 얼마나 오래 추적할 수 있는지에 영향을 줄 수 있다. 여기에 제품군별 프롬프트와 LLM 기반 채점까지 포함되므로, 근소한 점수 차이를 서비스 자체의 절대적 우위로 단정하기는 어렵다.
공정한 비교를 위해서는 최소한 다음 조건을 맞춰 볼 필요가 있다.
동일한 에이전트 모델과 시스템 프롬프트
동일한 검색 및 문서 가져오기 권한
동일한 도구 호출 한도와 종료 조건
동일한 답변 형식과 채점 기준
실패·재시도까지 포함한 작업 단위 비용과 지연 시간
Search Index 수치가 보여주는 범위
Search Index는 DeepSearchQA 900문항, BrowseComp 200문항, AA-Omniscience 600문항을 동일 가중치로 결합한다. 전체 BrowseComp가 1,266문항이라는 점을 고려하면, Search Index에 포함된 200문항의 구성과 대표성을 함께 살펴볼 필요가 있다.12
이 평가에서 검색 기능이 없는 GPT-5.6 Luna는 33점이었고, 검색 API를 사용한 구성은 65~75점을 기록했다. 검색 품질 점수는 Parallel 75점, Exa 74점, Firecrawl 73점이었다.1
가장 분명한 신호는 검색 연결 여부에 따른 점수 범위의 차이다. 반면 상위 서비스 사이의 차이는 상대적으로 작기 때문에, 공개 결과만으로 실제 업무에서의 우열까지 확정하기보다는 후보군을 좁히는 자료로 활용하는 편이 적절하다. 특히 세 평가 세트를 동일 가중치로 합산하는 방식이 자사 업무의 질문 분포와 일치하는지도 별도로 확인해야 한다.
단가보다 ‘완료된 작업’의 경제성을 봐야 한다
에이전트 검색의 비용은 API 요청 한 번의 가격으로 끝나지 않는다. 정답을 만들 때까지 몇 번 검색하는지, 문서를 얼마나 가져오는지, 실패 후 재시도가 발생하는지에 따라 전체 비용이 달라진다.
공개 결과에서는 Parallel Search advanced의 작업당 총비용이 0.084달러로 Basic의 0.11달러보다 낮았다. 속도 측정에서도 Parallel Search turbo는 쿼리당 0.51초, Basic은 1.03초였다.1
이 수치는 상위 등급이나 특정 모드의 명칭만으로 비용과 속도를 예측해서는 안 된다는 점을 시사한다. 다만 작업당 비용과 쿼리당 응답 시간은 서로 다른 단위다. 실제 사용자 경험을 판단하려면 개별 쿼리 속도뿐 아니라 최종 답변까지 필요한 호출 수와 전체 소요 시간을 함께 측정해야 한다.
도입 전에 확인할 질문
Search Index를 실무에 활용하려면 공개 순위를 그대로 구매 목록으로 옮기기보다 다음 질문에 답해야 한다.
자사 질문은 단일 사실 확인, 멀티홉 탐색, 전문 지식 조사 가운데 어디에 가까운가?
검색 결과뿐 아니라 웹 문서 본문을 안정적으로 가져와야 하는가?
허용 가능한 도구 호출 횟수와 전체 지연 시간은 얼마인가?
동일 질문을 반복했을 때 성공률과 비용 변동은 어느 정도인가?
LLM 심판의 평가와 사람 검토 결과가 일치하는가?
벤치마크의 동일 가중치가 실제 업무 중요도와 맞는가?
앞으로 볼 핵심은 단순한 1위 교체가 아니다. 동일한 도구 조건에서 결과가 재현되는지, 평가 문항 구성이 공개 점수를 얼마나 좌우하는지, 품질·비용·전체 지연 시간 사이의 균형이 실제 에이전트 환경에서도 유지되는지를 지켜봐야 한다. Search Index는 유용한 출발점이지만, 최종 판단 기준은 자사 업무를 안정적으로 완료하는 데 드는 총자원이어야 한다.
1New benchmark ranks search APIs for AI agents on quality, cost, and speed
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.