RAG 애플리케이션의 핵심 과제는 단순히 “검색 결과를 가져오는 것”이 아닙니다. 실제 업무에서는 에이전트가 필요한 문서를 찾고, 열어 보고, 특정 표현을 확인한 뒤, 그 근거를 바탕으로 답해야 합니다.
LlamaIndex의 legal-kb는 이 흐름을 보여주는 공개 레퍼런스 앱입니다. 법률 문서를 프로젝트 단위 지식베이스로 만들고, 에이전트가 그 안을 파일시스템처럼 탐색하며 답하도록 설계됐습니다.1
LlamaIndex가 맡는 역할
LlamaIndex OSS는 에이전트형 애플리케이션을 만들기 위한 오픈소스 프레임워크입니다.2 더 구체적으로는 LLM 애플리케이션을 위한 데이터 프레임워크에 가깝습니다. API, PDF, 문서, SQL 같은 기존 데이터 소스와 형식을 가져오고, 이를 LLM이 사용하기 쉬운 인덱스나 그래프 형태로 구조화합니다.2
이후 사용자의 질의가 들어오면 관련 컨텍스트를 검색해 LLM에 넘기고, 지식이 보강된 출력을 만들 수 있게 합니다.2 결국 LlamaIndex의 목적은 “LLM이 조직이나 도메인의 데이터를 더 잘 활용하게 만드는 것”입니다.
개발 방식도 두 층으로 나뉩니다. 고수준 API는 데이터 수집과 질의를 몇 줄 코드로 빠르게 시작할 수 있도록 설계됐고, 저수준 API는 데이터 커넥터, 인덱스, 리트리버, 쿼리 엔진, 리랭킹 모듈을 세밀하게 조정할 수 있게 합니다.2 Python에서는 기본 패키지인 llama-index 또는 코어 패키지인 llama-index-core로 개발을 시작할 수 있습니다.2
legal-kb는 무엇을 보여주나
legal-kb는 LlamaIndex의 Index v2 기반 문서 지식베이스에 파일시스템 방식의 접근을 제공하는 레퍼런스 앱입니다.1 사용자는 프로젝트를 만들고 법률 문서를 업로드한 뒤, 채팅 에이전트를 통해 해당 지식베이스와 상호작용합니다.
핵심은 검색을 하나의 query 호출로 끝내지 않는다는 점입니다. legal-kb는 에이전트가 사용할 수 있는 다음 도구들을 제공합니다.1
retrieve: 하이브리드 의미 검색find: 파일 또는 문서 찾기read: 문서 읽기grep: 문서 전체에서 특정 표현 검색
이 조합은 개발자가 로컬 디렉터리에서 find, cat, grep을 사용해 자료를 확인하는 방식과 비슷합니다. 에이전트도 먼저 관련 문서를 찾고, 필요한 파일을 열고, 특정 문구를 확인한 뒤 답변을 구성할 수 있습니다.
법률 문서처럼 길고 복잡하며 표현 하나가 중요한 영역에서는 이런 구조가 특히 유용합니다. 단순 의미 검색만으로는 관련 문서를 찾을 수는 있어도, 정확한 조항이나 문구를 확인하는 과정이 부족할 수 있기 때문입니다.
중요한 것은 스택보다 설계 방식
legal-kb의 기술 스택에는 TanStack Start, AI SDK 6, Prisma, WorkOS가 포함됩니다.1 실전형 웹 애플리케이션을 만들기 위한 구성이라는 점에서 참고할 만합니다.
하지만 더 중요한 관찰 포인트는 특정 프레임워크가 아니라 도구의 역할 분리입니다. 문서 기반 AI를 만든다면 “벡터 검색을 붙였는가”보다 다음 질문이 더 중요합니다.
에이전트가 관련 문서를 넓게 찾을 수 있는가?
찾은 문서를 실제로 열어 볼 수 있는가?
특정 문구나 조항을 정확히 확인할 수 있는가?
답변의 근거가 되는 문서 탐색 과정이 충분한가?
retrieve, find, read, grep의 구분은 이런 질문에 대한 하나의 설계 예시입니다. 검색은 시작점일 뿐이고, 신뢰할 수 있는 답변은 탐색과 확인 과정을 거쳐야 합니다.
문서 기반 AI에 적용할 수 있는 교훈
legal-kb는 완성 제품이라기보다 참고할 만한 청사진에 가깝습니다. 특히 법률, 계약, 정책, 기술 문서처럼 정확한 근거 확인이 중요한 도메인에서 배울 점이 많습니다.
문서 기반 AI를 설계할 때는 먼저 에이전트가 어떤 방식으로 자료를 다뤄야 하는지 정의해야 합니다. 단순히 “검색해서 답한다”가 아니라, “찾고, 읽고, 확인하고, 근거를 제시한다”는 흐름을 만들어야 합니다.
그 관점에서 legal-kb의 가치는 명확합니다. RAG를 하나의 검색 기능이 아니라, 에이전트가 지식베이스를 탐색하는 작업 환경으로 바라보게 해줍니다.
참고
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.