Iris-mini와 Iris-pro: 검색 에이전트 성능을 가르는 컨텍스트 관리

검색 에이전트는 검색창에 질문을 한 번 입력하는 모델이 아니다. 검색어를 정하고, 결과를 읽고, 추가 탐색 여부와 답변 시점을 판단하는 시스템이다. Iris-mini와 Iris-pro는 이 과정을 공개 가중치 모델로 구현한 검색 에이전트다.¹

두 모델을 평가할 때는 전체 매개변수 규모뿐 아니라 실제 활성 매개변수, 컨텍스트 관리 방식, 벤치마크별 평가 조건을 함께 봐야 한다.

전체 규모와 실제 활성 매개변수는 다르다

Iris-mini는 Qwen3.6-35B-A3B 기반으로, 전체 350억 개 매개변수 중 추론 시 30억 개를 활성화한다. Iris-pro는 Qwen3.5-397B-A17B 기반이며, 전체 3,970억 개 가운데 170억 개를 활성화한다. 두 모델 모두 25만 6,000토큰 컨텍스트 창을 지원한다.¹

따라서 모델의 전체 규모만으로 실제 계산 비용을 판단해서는 안 된다. 활성 매개변수 수와 함께 검색 횟수, 생성 길이, 실행 환경을 고려해야 한다. 특히 검색 에이전트는 여러 차례 도구를 호출하므로 모델 추론 외의 비용도 커질 수 있다.

긴 검색에서는 컨텍스트 관리가 성능을 좌우한다

검색이 길어질수록 검색 결과와 도구 사용 기록이 컨텍스트를 차지한다. Iris는 컨텍스트가 임계점을 넘으면 도구 사용 기록을 버리고 원래 질문에서 다시 시작하는 discard-all 방식을 사용한다.¹

이 전략이 Iris-mini의 성능에 미친 영향은 다음과 같다.

모델을 교체하지 않고도 컨텍스트 관리 방식에 따라 결과가 크게 달라진다. 검색 에이전트의 점수는 기반 모델만의 성능이 아니라 검색 도구, 탐색 절차, 기록 관리 전략이 결합된 시스템 성능으로 해석해야 한다.

같은 discard-all 설정에서 Iris-pro의 점수는 다음과 같다.¹

단, DeepSearchQA는 F1으로 평가됐고 나머지 세 벤치마크는 정확도를 사용했다. Humanity's Last Exam 평가에는 텍스트 전용 하위 집합이 쓰였다.¹ 평가 지표와 데이터 범위가 다르므로 네 점수를 단순 평균하거나 다른 결과와 조건 없이 비교해서는 안 된다.

공개 모델을 검토할 때 확인할 기준

Iris-mini와 Iris-pro의 가중치는 Hugging Face에 공개됐으며, 에이전트 실행 및 평가 코드는 GitHub에서 확인할 수 있다.¹ 다만 데이터 구축과 학습 파이프라인은 공개 예정으로 안내돼 있으므로, 현재 공개 범위만으로 전체 과정을 재현할 수 있는지는 별도로 확인해야 한다.

실제 도입이나 비교 평가에서는 다음 항목을 우선 점검할 필요가 있다.

• 전체 매개변수보다 추론 시 활성화되는 매개변수는 얼마나 되는가

• 동일한 검색 도구와 컨텍스트 제한을 적용했는가

• 컨텍스트 관리 전략이 점수에 어떤 영향을 미쳤는가

• 벤치마크별 지표와 평가 데이터 범위가 같은가

• 검색 횟수와 생성 길이를 포함한 실행 비용을 감당할 수 있는가

• 공개된 가중치와 코드만으로 필요한 수준의 재현이 가능한가

요약: Iris-mini가 보여주는 평가 원칙

Iris-mini와 Iris-pro의 결과는 검색 에이전트에서 모델 규모만큼이나 긴 탐색을 이어가고 정리하는 방식이 중요하다는 점을 보여준다. 최고 점수만 비교하기보다 활성 매개변수, 컨텍스트 관리, 도구 설정, 평가 지표와 실행 비용을 함께 살펴야 실질적인 성능과 도입 가능성을 판단할 수 있다.

¹GitHub - AllSpark-Research/Iris: Climbing to the Search Frontier. · GitHub