LLM 친화적 웹 문서: llms.txt 소개

LLM이 웹사이트 정보에 접근할 때 발생하는 문제

대규모 언어 모델은 웹사이트의 방대한 정보를 다루기 어렵습니다. HTML 페이지는 광고, 내비게이션, 자바스크립트 등 복잡한 요소들이 섞여 있어서, 이를 단순한 텍스트로 변환해도 정보 손실이 많고 정확하지 않습니다. 특히 개발 환경이나 API 문서처럼 빠르고 압축된 정보가 필요한 곳에서 이 문제가 두드러집니다.

llms.txt 파일의 제안과 목적

웹사이트 루트에 /llms.txt라는 마크다운 파일을 추가하자는 제안입니다. 이 파일은 LLM이 쉽게 읽고 처리할 수 있게, 핵심 정보, 안내, 그리고 자세한 설명으로 연결되는 링크를 정리합니다. 사람과 LLM 모두에게 분명히 읽히지만, 고정된 구조라 프로그래밍적으로도 쉽게 다룰 수 있습니다.

마크다운(.md) 버전 제공 방식

중요한 웹페이지는 같은 URL에 .md를 붙여서(예: page.html → page.html.md) 마크다운 텍스트 버전을 제공할 수 있습니다. 이렇게 하면 LLM은 필요한 정보를 광고나 불필요한 요소 없이 집중적으로 읽을 수 있습니다.

llms.txt의 파일 구조와 작성 방법

llms.txt는 다음과 같은 형식을 따라야 합니다:

맨 위에 사이트나 프로젝트명을 H1으로 작성
프로젝트 짧은 요약을 인용문으로 제시
추가 설명을 자유롭게, 단 제목(H1/H2)은 사용하지 않음
H2로 구분된 섹션마다 관련 링크(마크다운 하이퍼링크)와 요약 설명
Optional 섹션에는 부가 정보 링크를 넣어 짧은 맥락 선택 시 건너뛸 수 있게 함

실제 예시는 다음과 같습니다:

# 프로젝트명
> 짧은 프로젝트 소개

설명, 사용법, 주의사항 등 자유롭게

## 핵심 문서
- [빠른시작 가이드](https://example.com/docs/quickstart.md): 핵심 기능 빠르게 익히기

## 예제
- [할 일 목록 앱 만들기](https://example.com/examples/todo.md): 대표적인 실전 예제

## Optional
- [심화 설명](https://example.com/docs/deep.md): 필요시만 참고

기존 웹 표준과의 차이점 및 보완

/sitemap.xml은 모든 인덱싱 가능한 페이지를 나열하지만, LLM에 적합한 마크다운 링크 제공이나 외부사이트 링크 등은 포함되지 않습니다.
/robots.txt처럼 접근 정책을 명시하지만, llms.txt는 문서의 맥락 파악 및 유저 요청 시 활용에 중점을 둡니다.
llms.txt는 사이트의 구조적 데이터 마크업 위치도 안내 가능해 LLM의 정보 해석에 도움을 줍니다.

다양한 활용 사례

llms.txt는 소프트웨어 프로젝트 문서, 회사 개요, 법률 해설, 개인 웹사이트나 이커머스 설명, 학교·대학교 코스 안내 등 여러 분야에서 적용할 수 있습니다.

통합 도구 및 플러그인 안내

llms.txt를 쉽게 활용할 수 있는 오픈소스 도구와 플러그인이 있습니다:

llms_txt2ctx: 커맨드라인 및 Python 모듈로 llms.txt를 LLM용 텍스트로 변환
VitePress, Docusaurus, Drupal 등에서 자동 생성 및 지원 플러그인 제공
PHP, JavaScript용 구현 예시와 라이브러리
다양한 디렉토리(예: llmstxt.site)에서 공개된 llms.txt 파일 목록 확인 가능

작성시 유의점 및 추천 방법

문장은 간결하고 명확하게, 설명에는 필수 정보만 포함하세요.
링크에는 간략한 설명을 덧붙여 맥락을 줍니다.
모호한 용어나 풀이되지 않은 전문 용어는 피합니다.
llms.txt를 실제로 변환하여 여러 LLM이 내용을 잘 이해하는지 테스트하세요.

커뮤니티와 개선 방향

llms.txt 표준은 지속적으로 의견을 받고 있습니다. 깃허브 저장소에서 문서 관리와 개선 토론이 이루어지고, 디스코드 채널에서 개발자∙사용자들이 경험과 팁을 공유할 수 있습니다.

출처 및 참고 : The /llms.txt file – llms-txt