AI 검색 에이전트가 널리 쓰이기 시작하면, 사용자가 기대하는 가치는 단순한 정답률이 아닙니다. 더 중요한 것은 “모델이 실제로 근거를 찾아 판단했는가”입니다. 특히 최신 정보, 덜 알려진 사건, 세부 출처가 필요한 질문에서는 그럴듯한 답변보다 검증 가능한 탐색 과정이 핵심이 됩니다.
이 지점에서 주목해야 할 개념이 intrinsic knowledge dependence(IKD)입니다. IKD는 검색 도구가 제공되더라도 에이전트가 외부 증거보다 모델 내부에 저장된 사전 지식에 의존하는 현상을 뜻합니다.1 다시 말해 검색창을 열어 두었다고 해서 반드시 검색 중심으로 추론한다는 보장은 없습니다.
검색 기능이 있다고 해서 ‘검색형 사고’를 하는 것은 아니다
대규모 언어모델은 학습 과정에서 광범위한 정보를 흡수합니다. 이 장점은 일반 질문에 빠르게 답할 때 유용하지만, 검색 에이전트 평가에서는 착시를 만들 수 있습니다. 모델이 답을 알고 있거나 비슷한 패턴을 기억하고 있다면, 검색 도구는 새로운 정보를 발견하는 수단이 아니라 이미 떠올린 답을 확인하는 장치가 될 수 있습니다.
이 차이는 제품 관점에서도 중요합니다. 사용자가 AI 검색에 기대하는 것은 보통 세 가지입니다.
최신이거나 잘 알려지지 않은 정보를 찾는 능력
답변을 뒷받침하는 외부 근거를 제시하는 능력
초기 추정이 틀렸을 때 검색 결과를 바탕으로 수정하는 능력
IKD가 강하면 이 세 가지가 약해질 수 있습니다. 모델은 답을 빠르게 내놓을 수 있지만, 그 답이 실제 탐색의 산물인지 내부 기억의 재생산인지는 별개의 문제입니다.
정적 벤치마크가 놓칠 수 있는 것
기존 검색 벤치마크는 모델과 에이전트의 능력을 비교하는 데 유용하지만, 한 가지 구조적 한계를 가질 수 있습니다. 시간이 지나며 평가 문항과 관련된 사실이 모델의 기존 지식 범위 안으로 들어오면, 벤치마크는 ‘증거 기반 발견’과 ‘기억 기반 검증’을 구분하기 어려워집니다.
이 때문에 높은 점수는 두 가지 가능성을 동시에 포함합니다. 하나는 에이전트가 웹에서 단서를 찾아 논리적으로 답에 도달했다는 해석입니다. 다른 하나는 모델이 이미 알고 있던 내용을 검색으로 포장했거나 확인했다는 해석입니다. 사용자 입장에서 두 결과는 같아 보일 수 있지만, 시스템 신뢰성 측면에서는 전혀 다릅니다.
예를 들어 기업 업무, 리서치, 법률·정책 검토, 시장 모니터링처럼 근거와 최신성이 중요한 영역에서는 “맞는 말을 한 것처럼 보이는가”보다 “어떤 증거에서 결론이 나왔는가”가 더 중요합니다. IKD는 바로 이 간극을 드러내는 진단 개념입니다.
LiveBrowseComp가 제기한 평가 방식의 전환
LiveBrowseComp 논문은 IKD를 진단하기 위해 BrowseComp에서 세 가지 진단법을 사용했습니다.1 핵심 문제의식은 검색 에이전트가 실제로 검색하는지, 아니면 내부 지식을 바탕으로 검증 중심 행동을 하는지를 가려내는 데 있습니다.
관련 연구에서 하얼빈공업대학과 샤오홍슈 연구진은 AI 검색 에이전트의 IKD를 분석했습니다. 연구진은 총 11개 모델을 검색·브라우징 도구 없이 테스트했고, MiniMax M2.5는 인터넷 접근 없이 BrowseComp 과제의 44.5%를 해결했습니다.1 Kimi K2.6은 중국어 BrowseComp-ZH 변형에서 62%를 기록했습니다.1
이 수치가 시사하는 바는 단순히 특정 모델이 강하다는 것이 아닙니다. 검색 벤치마크의 일부 문제는 외부 탐색 없이도 풀릴 수 있으며, 따라서 점수만으로 검색 능력을 판단하면 과대평가가 발생할 수 있다는 점입니다.
LiveBrowseComp는 이러한 혼동을 줄이기 위해 모델의 기존 지식 범위를 벗어난 심층 검색 능력을 평가하도록 설계됐습니다.1 문항은 생성 전 90일 이내의 사실이 필요한 335개의 사람이 작성한 질문으로 구성됐고, 6개의 지속적으로 갱신되는 출처에서 수집됐습니다.1 또한 전 세계적으로 널리 알려진 사건을 제외하도록 필터링했습니다.1
검색 질의의 출처가 중요한 이유
IKD는 최종 답변에서만 나타나지 않습니다. 검색 과정의 첫 단계인 질의 생성에서도 드러날 수 있습니다.
LiveBrowseComp 분석에 따르면 에이전트 검색 질의의 절반 이상은 검색 결과 단서가 아니라 내부적으로 생성한 가설에서 나왔습니다.1 이는 에이전트가 “증거를 따라가는” 방식이 아니라 “내가 떠올린 가능성을 확인하는” 방식으로 움직일 수 있음을 보여줍니다.
이 차이는 작지 않습니다. 내부 가설이 맞을 때는 검색이 효율적으로 보일 수 있습니다. 그러나 가설이 틀리면 검색 과정 전체가 잘못된 방향으로 흘러갈 수 있습니다. 더구나 모델이 자신이 만든 가설에 맞는 단서만 찾는다면, 검색 도구는 오류를 줄이는 장치가 아니라 확신을 강화하는 장치가 될 위험이 있습니다.
논문은 답을 뒷받침하는 증거를 제거했을 때, 도구 접근이 있는 에이전트가 폐쇄형 기준선보다 낮은 성능을 보였다고 보고했습니다.1 이는 검색 도구 자체가 성능을 보장하지 않는다는 점을 잘 보여줍니다. 중요한 것은 도구 보유 여부가 아니라, 도구를 어떤 탐색 전략으로 사용하는가입니다.
제품과 평가에서 달라져야 할 기준
IKD 논의는 AI 검색 에이전트 평가 기준을 바꾸도록 요구합니다. 이제는 단순 정답률 외에 다음과 같은 질문이 필요합니다.
검색 질의가 외부 단서에서 발전했는가, 내부 추정에서 출발했는가?
답변의 핵심 주장마다 확인 가능한 근거가 있는가?
검색 결과가 초기 답변과 충돌할 때 결론을 수정하는가?
최신·비주류·세부 정보가 필요한 질문에서도 안정적으로 탐색하는가?
검색 도구가 답변 생성 전에 실질적으로 사용됐는가, 사후 장식처럼 붙었는가?
이런 기준은 개발자에게도 부담을 줍니다. 검색 에이전트를 더 신뢰할 수 있게 만들려면 단순히 더 강한 모델을 붙이는 것만으로는 부족합니다. 질의 생성, 근거 선택, 반증 탐색, 답변 수정 같은 절차적 능력을 함께 설계해야 합니다.
반대로 사용자와 도입 기업 입장에서는 평가 체크리스트가 분명해집니다. 데모에서 빠르게 정답을 말하는 시스템보다, 불확실성을 드러내고 근거를 따라가며 필요하면 결론을 바꾸는 시스템이 더 가치 있을 수 있습니다.
앞으로 볼 것
IKD는 AI 검색의 약점을 지적하는 개념이지만, 동시에 개선 방향도 제시합니다. 앞으로 중요한 관찰 지점은 세 가지입니다.
첫째, 검색 에이전트 평가가 정답률 중심에서 과정 중심으로 이동하는지입니다. 둘째, 벤치마크가 모델의 기존 지식과 실제 탐색 능력을 더 명확히 분리할 수 있는지입니다. 셋째, 실제 제품이 검색 결과를 단순 인용하는 수준을 넘어 증거 기반으로 답을 수정하는 능력을 갖추는지입니다.
AI 검색의 핵심 질문은 “답을 맞혔는가”에서 끝나지 않습니다. 더 중요한 질문은 “그 답을 어떻게 알게 됐는가”입니다. IKD는 바로 그 차이를 보게 만드는 렌즈입니다.
1LiveBrowseComp: Are Search Agents Searching, or Just Verifying What They Already Know?
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.