LLM은 왜 내 문서를 모를까?

LLM이 아는 것과 모르는 것

LLM은 많은 질문에 답할 수 있습니다. 역사, 프로그래밍, 글쓰기, 비즈니스 개념처럼 공개된 자료에서 자주 다뤄진 지식에는 특히 강합니다. 하지만 이것은 어디까지나 모델이 학습 과정에서 접한 일반 지식에 가깝습니다.

반대로 내 노트, 회사 내부 문서, 최근 회의록, 고객지원 매뉴얼, 아직 공개되지 않은 책 원고는 모델이 기본적으로 알 수 없습니다. 모델에게 "지난주 회의에서 결정한 배포 일정이 뭐야?"라고 물어도, 그 회의록을 보여주지 않았다면 답할 근거가 없습니다.

여기서 중요한 구분이 생깁니다. LLM의 지식은 모델 안에 들어 있는 지식이고, 내 문서는 모델 밖에 있는 지식입니다. RAG는 이 둘 사이의 간극을 메우는 방법입니다.

컨텍스트 윈도우가 길어져도 충분하지 않은 이유

LLM에는 한 번에 입력할 수 있는 분량이 정해져 있습니다. 이것을 컨텍스트 윈도우라고 합니다. 최근 모델은 더 긴 글을 넣을 수 있게 되었지만, 그렇다고 모든 문서를 매번 통째로 넣는 방식이 좋은 해법은 아닙니다.

첫째, 비용이 커집니다. 질문 하나에 수백 페이지 문서를 매번 함께 넣으면 토큰 사용량이 급격히 늘어납니다. 둘째, 느립니다. 입력이 길수록 처리 시간이 늘어납니다. 셋째, 정확도가 항상 좋아지지도 않습니다. 너무 많은 정보가 한꺼번에 들어오면 모델이 중요한 부분을 놓치거나, 관련 없는 내용을 근거처럼 사용할 수 있습니다.

따라서 필요한 것은 "모든 문서를 넣는 것"이 아니라 "질문에 필요한 부분만 찾아 넣는 것"입니다. 이 생각이 RAG의 출발점입니다.

Fine-tuning과 RAG는 역할이 다르다

LLM을 내 목적에 맞게 바꾸는 방법으로 Fine-tuning을 떠올릴 수 있습니다. Fine-tuning은 모델을 추가 학습시켜 말투, 형식, 업무 방식, 특정한 판단 패턴을 익히게 하는 데 유용합니다. 예를 들어 고객 응대 문체를 일정하게 만들거나, 특정 포맷으로 답변하게 하는 데 적합합니다.

하지만 Fine-tuning은 계속 바뀌는 문서 지식을 넣는 데는 적합하지 않은 경우가 많습니다. 회사 정책, 상품 가격, 프로젝트 문서, 개인 노트는 자주 바뀝니다. 이런 정보를 모델에 매번 다시 학습시키는 것은 비용도 크고 관리도 어렵습니다.

RAG는 모델 자체를 바꾸기보다, 답변할 때 외부 문서를 검색해 참고하게 만듭니다. 즉 Fine-tuning이 "모델이 어떻게 말하고 행동할지"를 조정하는 방법이라면, RAG는 "모델이 무엇을 근거로 답할지"를 연결하는 방법입니다.

RAG가 필요한 대표 사례

회사 내부 문서 챗봇을 생각해 봅시다. 직원이 복지 규정, 보안 정책, 개발 가이드, 온보딩 문서를 자연어로 질문하면 AI가 관련 문서를 찾아 답합니다. 이때 답변에는 어느 문서를 참고했는지도 함께 보여주는 것이 좋습니다.

개인 노트 검색에도 RAG가 잘 맞습니다. 몇 년 동안 쌓아 둔 메모, 독서 기록, 아이디어 노트에서 "내가 예전에 생산성에 대해 정리한 생각은 뭐였지?"라고 물으면 관련 노트를 찾아 요약해 줄 수 있습니다.

책 기반 Q&A도 좋은 예입니다. 책 한 권을 AI 지식베이스로 만들면 독자는 "이 책에서 말하는 좋은 청킹 전략은 뭐야?"처럼 질문할 수 있습니다. 고객지원 지식베이스에서도 마찬가지입니다. 상담원이나 고객이 오류 메시지, 환불 정책, 사용법을 물으면 관련 도움말을 근거로 답변할 수 있습니다.

이 사례들의 공통점은 분명합니다. 답은 모델의 일반 지식이 아니라, 특정 문서 안에 있습니다.

문서 기반 AI의 기본 구조

문서 기반 AI는 대략 다음 흐름으로 움직입니다.

1. 문서 저장소에 원문을 모읍니다.

2. 문서를 작은 조각으로 나누고 검색하기 좋은 형태로 저장합니다.

3. 사용자가 질문하면 검색기가 관련 문서 조각을 찾습니다.

4. 찾은 내용을 프롬프트에 넣어 LLM에 전달합니다.

5. LLM은 주어진 근거를 바탕으로 답변합니다.

6. 답변과 함께 참고한 문서 출처를 보여줍니다.

이 구조에서 핵심은 LLM이 혼자 기억해서 답하는 것이 아니라, 검색된 근거를 읽고 답하게 만든다는 점입니다. 그래서 RAG는 단순한 검색 기능도 아니고, 단순한 챗봇도 아닙니다. 문서를 수집하고, 나누고, 찾고, 답변에 연결하고, 출처를 보여주는 전체 설계입니다.

RAG를 잘 만들려면 먼저 이 사실을 받아들여야 합니다. LLM은 똑똑하지만 내 문서를 저절로 알지는 못합니다. 좋은 문서 기반 AI는 모델의 능력에만 기대지 않고, 필요한 지식을 정확히 찾아 건네주는 시스템에서 시작됩니다.