RAG로 사내 지식과 Qwen 연결하기

Qwen에 필요한 것은 '기억'보다 '검색'이다

Qwen은 강력한 언어 모델이지만 우리 회사의 최신 정책, 내부 위키, 고객별 계약 조건을 기본적으로 알고 있지는 않다. 이때 모델을 다시 학습시키는 대신, 답변 직전에 관련 문서를 찾아 Qwen에게 함께 제공하는 방식이 RAG다. Alibaba Cloud도 RAG를 지식 저장소나 벡터 데이터베이스, 검색기, LLM 생성기를 연결하는 구조로 설명한다.¹

파인튜닝은 모델의 말투, 출력 형식, 업무 처리 패턴을 바꾸는 데 가깝다. 반면 RAG는 자주 바뀌는 지식, 출처가 중요한 지식, 권한에 따라 보여줄 내용이 달라지는 지식을 연결하는 데 적합하다. 사내 규정집이 매달 바뀐다면 파인튜닝보다 RAG가 먼저다.

AI 생성 이미지

인덱싱 파이프라인 만들기

RAG의 첫 단계는 문서를 검색 가능한 형태로 바꾸는 것이다. 흐름은 단순하다.

1. 문서 수집: 사내 위키, PDF, 제품 매뉴얼, 고객지원 문서, 정책 문서를 모은다.

2. 청킹: 문서를 문장, 문단, 조항, 절차 단위로 나눈다. 한 청크에는 가능한 한 하나의 주제만 담는다.

3. 메타데이터 부착: 문서 ID, 제목, 버전, 작성일, 부서, 권한, URL, 페이지를 함께 저장한다.

4. 임베딩 생성: 각 청크의 의미를 숫자 벡터로 변환한다.

5. 벡터 데이터베이스 저장: 원문, 임베딩, 메타데이터를 함께 저장한다.

LlamaIndex를 사용하면 SentenceSplitter로 문서를 나누고, Hugging Face 기반 Qwen 모델과 임베딩 모델을 설정해 인덱스를 만들 수 있다. Qwen 공식 문서의 예제도 Qwen Instruct 모델과 문장 분할기를 연결하는 방식을 보여준다.²

질문이 들어왔을 때의 처리 흐름

사용자 질문이 들어오면 무조건 검색부터 하지 않는다. "휴가 규정 알려줘"처럼 내부 문서가 필요한 질문은 검색한다. "이 문장을 더 공손하게 바꿔줘"처럼 문서가 필요 없는 질문은 바로 Qwen에게 맡긴다.

검색이 필요한 경우에는 질문을 임베딩으로 바꾸고, 벡터 데이터베이스에서 의미가 가까운 청크를 찾는다. 이때 권한, 문서 상태, 버전, 작성일로 먼저 필터링해야 한다. 퇴사자용 문서, 폐기된 정책, 사용자가 볼 수 없는 문서가 검색되면 답변 품질보다 보안 문제가 먼저 생긴다.

if need_retrieval(question):
    chunks = search(question, filter={"status": "active", "acl": user.role})
    if chunks.top_score < threshold:
        context = ""
    else:
        context = build_context(chunks)

Qwen-Agent를 쓰면 더 높은 수준에서 파일과 도구를 연결할 수 있다. Assistant를 만들 때 files 인자로 PDF 같은 문서를 넘기고, DashScope의 Qwen 모델이나 OpenAI 호환 로컬 서버를 설정해 대화형 문서 질의응답을 구성할 수 있다.³

답변은 근거 안에서만 만들게 한다

검색된 문서를 Qwen에게 넘겼다고 해서 문제가 끝나는 것은 아니다. 프롬프트에 규칙을 명확히 넣어야 한다.

제공된 참고 문서 안에서만 답하세요.
근거가 부족하면 추측하지 말고 "문서에서 확인할 수 없습니다"라고 답하세요.
답변 끝에 사용한 문서 ID, 문서명, 위치를 표시하세요.

이 규칙은 환각을 줄이는 가장 기본적인 장치다. 좋은 RAG 답변은 그럴듯한 문장이 아니라 검증 가능한 문장이다. 예를 들어 "육아휴직 신청은 최소 30일 전 제출해야 합니다"라고 답했다면, 함께 "HR-2026-04, 인사규정 v3.2, 12쪽" 같은 출처가 있어야 한다.

검색하지 않는 것도 품질 관리다

RAG는 검색 결과가 좋을 때만 도움이 된다. 질문과 지식베이스의 관련성이 낮은데 억지로 문서를 붙이면 Qwen은 엉뚱한 근거를 바탕으로 답할 수 있다. Context Awareness Gate 연구는 검색이 실제로 유익한지 먼저 판단하고, 유사도가 낮으면 RAG를 사용하지 않는 방식을 제안한다.⁴

실무에서는 복잡한 통계 모델이 아니어도 시작할 수 있다. 검색 점수가 임계값보다 낮으면 "관련 문서를 찾지 못했습니다"라고 답하게 한다. 상위 검색 결과가 서로 다른 버전의 문서라면 최신 승인 문서만 남긴다. 같은 내용이 중복되면 하나만 사용한다. 접근 권한이 없는 문서는 검색 단계에서 제거한다.

Qwen을 업무용 도구로 만드는 핵심은 모델을 더 많이 믿는 것이 아니다. 필요한 문서만 찾고, 권한에 맞게 걸러내고, 근거 안에서만 답하게 만드는 것이다. 이 구조가 갖춰지면 Qwen은 일반 챗봇이 아니라 사내 지식을 안전하게 사용하는 업무 파트너가 된다.

참고

¹Retrieval-Augmented Generation (RAG) - Alibaba Cloud

²LlamaIndex - Qwen

³Qwen-Agent GitHub

⁴Context Awareness Gate For Retrieval Augmented Generation