기업용 AI에서 어려운 지점은 모델 성능만이 아닙니다. 실제 업무 질문의 답은 여러 문서, 시스템, 부서 데이터에 흩어져 있는 경우가 많습니다. 일반 RAG는 질문과 가까운 문서를 검색해 답을 만들지만, 복잡한 질문에서는 “어디를 찾아야 하는가”, “검색 결과가 충분한가”, “다시 찾아야 하는가”까지 판단해야 합니다.
Gemini Enterprise Agent Platform의 Agentic RAG은 이 문제를 겨냥합니다. Gemini Enterprise Agent Platform은 기업 데이터에 기반한 에이전트를 구축, 확장, 거버넌스, 최적화하기 위한 엔터프라이즈 플랫폼입니다.1 그 위에서 Agentic RAG은 검색을 단발성 호출이 아니라 계획, 선택, 검증, 종합의 흐름으로 다룹니다.
Agentic RAG의 핵심은 검색을 계획하는 것이다
Agentic RAG은 단순히 더 많은 문서를 검색하는 방식이 아닙니다. Cross-Corpus Retrieval에서는 오케스트레이터, Planner Agent, Query Rewriter, Search Fanout Agent, Sufficient Context Agent, Synthesis Agent 등이 함께 동작하며 검색 과정을 나눠 처리합니다.2
가장 중요한 변화는 코퍼스 선택입니다. 시스템은 모든 저장소를 무작정 검색하지 않고, 각 RAG 코퍼스의 설명을 바탕으로 질문에 맞는 검색 대상을 고릅니다.2 따라서 코퍼스 설명은 단순한 메타데이터가 아니라 검색 품질을 좌우하는 운영 요소가 됩니다.
이 구조는 기업 환경에 특히 맞습니다. 재무 문서, 고객지원 로그, 제품 문서처럼 데이터가 분리되어 있어도 질문에 따라 어느 데이터 영역을 탐색할지 먼저 판단할 수 있기 때문입니다. 즉, Agentic RAG의 출발점은 “무엇을 검색할까”가 아니라 “어디에서, 어떤 방식으로 검색해야 할까”입니다.
검색 결과가 충분한지도 판단한다
Agentic RAG의 또 다른 차이는 검색 후 바로 답하지 않는다는 점입니다. 검색된 문맥이 답변에 충분한지 점검하고, 부족하면 다시 검색 루프를 실행할 수 있습니다.2 이 과정은 복잡한 업무 질문에서 중요합니다. 처음 검색된 문서가 관련은 있어도, 실제 답변에 필요한 근거를 모두 포함하지 않을 수 있기 때문입니다.
Google은 이 접근이 표준 RAG보다 factuality 데이터셋 정확도를 최대 34% 높였다고 밝혔습니다.3 FramesQA 실험에는 824개 쿼리와 2,676개 PDF 문서가 사용됐고, cross-corpus 설정에서는 시스템이 4개 코퍼스 중 검색 대상을 선택해 질문의 90.1%를 정답 처리했습니다.3
다만 Agentic RAG이 모든 상황에서 더 나은 선택이라는 뜻은 아닙니다. 별도 연구에서도 질의 분해와 자기점검은 도메인에 따라 효과가 다르며, 지연시간 비용이 커질 수 있다고 지적합니다.4 판단 루프가 늘어나는 만큼 정확도뿐 아니라 비용과 응답 속도도 함께 평가해야 합니다.
플랫폼 관점에서 봐야 하는 이유
Agentic RAG은 검색 알고리즘만의 문제가 아닙니다. 기업에서 실제로 쓰려면 에이전트 개발, 배포, 상태 관리, 메모리, 보안, 모니터링까지 함께 운영해야 합니다. Gemini Enterprise Agent Platform은 이를 위한 여러 구성 요소를 제공합니다.
예를 들어 Agent Development Kit은 복잡한 AI 에이전트 구축과 배포를 일반 소프트웨어 개발처럼 수행하도록 설계된 모듈형 모델 비종속 프레임워크입니다.1 Agent Studio는 복잡한 멀티 에이전트 추론 루프를 설계하기 위한 로우코드 캔버스를 제공하고, Skill Registry는 에이전트 스킬을 관리하고 검색하기 위한 보안형 비공개 저지연 저장소입니다.1
검색과 문맥 연결 측면에서는 RAG Engine과 Vector Search가 중요합니다. RAG Engine은 비공개 데이터를 LLM에 안전하게 연결해 관련성 높은 문맥 정보를 제공하고 환각을 줄이는 데 사용되며, Vector Search는 저장과 검색을 결합한 확장형 AI 네이티브 검색 엔진입니다.1
운영 단계에서는 Managed Agents API, Agent Platform Sessions, Agent Platform Memory Bank, Agent Gateway 같은 요소가 연결됩니다. Managed Agents API는 완전 관리형 샌드박스 안에서 자율 에이전트를 만들기 위한 설정 기반 REST 우선 API이고, Sessions는 멀티턴 상호작용을 위한 대화 세션과 상태를 관리합니다.1 Memory Bank는 에이전트가 문맥을 유지하도록 장기 메모리를 저장하고 검색하며, Agent Gateway는 에이전트 트래픽의 라우팅, 보안, 모니터링을 중앙화합니다.1
이런 구성은 Agentic RAG을 “검색 기능”이 아니라 “운영 가능한 에이전트 흐름”으로 보게 만듭니다.
언제 Agentic RAG을 검토할 것인가
간단한 FAQ나 단일 문서 검색에는 일반 RAG가 더 빠르고 비용 효율적일 수 있습니다. 반대로 여러 저장소를 오가야 하거나, 질문이 여러 조건을 포함하거나, 답변 근거의 정확성이 중요한 업무라면 Agentic RAG을 검토할 만합니다.
실무에서 먼저 확인할 기준은 세 가지입니다.
코퍼스 설명을 안정적으로 관리할 수 있는가
Cross-Corpus Retrieval에서는 코퍼스 설명을 바탕으로 검색 대상을 고르므로, 설명 품질이 곧 검색 품질에 영향을 줍니다.재검색과 검증에 따른 지연시간을 감당할 수 있는가
Agentic RAG은 판단 루프를 포함하므로 단순 RAG보다 응답 시간이 길어질 수 있습니다.자체 평가 데이터셋으로 개선을 검증할 수 있는가
공개 실험 결과가 유용한 참고점이 될 수는 있지만, 실제 효과는 조직의 문서 구조와 질문 유형에 따라 달라집니다.
Agentic RAG의 의미는 단순히 “더 똑똑한 검색”이 아닙니다. 검색할 위치를 고르고, 문맥의 충분성을 판단하고, 필요하면 다시 찾고, 근거를 종합하는 과정을 하나의 운영 가능한 흐름으로 만든다는 데 있습니다. 기업용 AI에서 중요한 질문은 이제 “검색했는가”가 아니라 “충분히 판단하며 검색했는가”에 가까워지고 있습니다.
1Gemini Enterprise Agent Platform | Google Cloud Documentation
3Unlocking dependable responses with Gemini Enterprise Agent Platform's Agentic RAG
4Agent-Orchestrated Adaptive RAG: A Comparative Study on Structured and Multi-Hop Retrieval
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.