RAG 사용해 보기 (실습)
내 소스를 기반으로 대답하는 챗봇 만들기
이제 실제로 RAG를 구현하고 사용해 보겠습니다. 이 RAG를 활용해서 우리는 LLM이 외부 소스를 바탕으로 대답을 하는 시스템을 만들 수 있습니다. 챗봇이 외부 지식을 바탕으로 확장을 할 수 있습니다.
LangChain 활용하기
랭체인이란? 랭체인은 LLM과 관련된 다양한 기능들을 편리하게 가져다가 사용할 수 있도록 만들어 놓은 프레임워크입니다. 주로 다음과 같은 일들이 가능합니다.
다양한 LLM 모델을 사용할 수 있다.
다양한 문서를 로드하고 Retrieval을 사용할 수 있다.
여러 Agents를 구현하고 사용할 수 있다.
물론 직접 LLM을 사용하거나 retrieval을 구현해도 됩니다. 하지만 이번에는 리트리벌의 개념을 간단하게 체험해 보기 위해서 랭체인을 활용해 실습해 봅시다.
실습 노트북
Google Colaboratory
코드가 담긴 노트북입니다. 노트북을 복사해서 사용하세요. 파일에서 Drive에 사본 저장을 누르면 됩니다.
복사 후 여러분의 openai api 키 값을 입력해 주세요. https://platform.openai.com/api-keys
이 키는 api를 사용할 수 있는 키이기 때문에 외부에 노출되어서는 안됩니다.
소스가 될 PDF 다운로드 받기
우리는 PDF를 로드하고 이를 바탕으로 질문하겠습니다. 만약 여러분의 PDF 파일이 없다면 공개된 자료인 KAIST 미래전략 PDF 를 다운받아 실습을 진행해 주세요. PDF 파일은 docs 폴더를 만든 후 해당 폴더에 저장해 주세요.
이미지 설명 : 구글 콜랩의 좌측에서 폴더 모양을 누른 후 docs 폴더를 만듭니다. 그 후 카이스트 미래전략 2024 본문 1부 1장과 2장을 다운로드 받아 업로드하세요.
참고로 langchain은 다양한 문서 출처로부터 내용을 가져올 수 있습니다. (유튜브, 웹페이지, 노션 등 다양한 소스에서 가져올 수 있습니다.)
