PyTorch – Torchchat: LLMs과 어디서든 채팅하기

torchchat 소개

• torchchat는 대형 언어 모델(LLM)을 원활하게 실행할 수 있는 코드베이스.
• Python, C/C++ 애플리케이션(데스크톱/서버), iOS 및 Android에서 실행 가능.

기능

• PyTorch/Python을 통한 모델 실행
  • 채팅
  • 텍스트 생성
  • 브라우저에서 채팅 실행
• 파이썬 없이 데스크톱/서버에서 모델 실행
  • AOT Inductor 사용
  • C++ 러너로 실행
• 모바일에서 모델 실행
  • iOS와 Android에 배포 및 실행

모델 평가

• Llama 3, Llama 2, Stories, Mistral 등 인기 있는 LLM과의 명령줄 상호작용 지원
• 다양한 하드웨어 및 OS 지원

데이터 타입 및 양자화

• 여러 데이터 타입 (float32, float16, bfloat16) 지원
• 다양한 양자화 스킴과 실행 모드 지원 (Eager, Compile, AOT Inductor, ExecuTorch)

설치 방법

• Python 3.10 필요
• 코드 클론, 가상 환경 설정, 의존성 설치 등 단계 필요

명령어

• chat: CLI를 통한 채팅
• generate: 프롬프트를 입력해 응답 생성
• browser: 브라우저에서 모델과 상호작용
• export: 모델 아티팩트를 AOT Inductor로 내보내기
• download, list, remove, where: 모델 관리
• server: 로컬 REST 서버 시작
• eval: 모델 평가

운영 모드

• PyTorch에서 모델 실행 (Eager, Compile)
• AOT Inductor를 통해 모델 컴파일 및 최적화
• C++ 러너를 통한 실행

모바일 실행

• ExecuTorch 설치 및 설정
• 모델 아티팩트 생성 및 로드
• iOS와 Android에서 배포 및 실행

평가 기능

• lm_eval 라이브러리를 사용하여 다양한 작업에서 모델 정확도 평가
• 예제 명령어 제공

지원 모델

• Meta Llama 3.1, Llama 2, CodeLlama, Mistral 등 다양한 모델 지원.
• 각 모델에 대해 alias 제공하여 사용 용이성 개선

디자인 원칙

• 사용성을 중시한 PyTorch 네이티브 설계
• 이해하기 쉽고 확장 가능하도록 설계
• 높은 정확도를 보장하는 잘 테스트된 컴포넌트 제공

커뮤니티 기여

• 커뮤니티의 기여를 소중히 여기며, 다양한 기여자들에 대한 감사 표시

문제 해결

• 인증서 문제, 접근 제한 문제 등 다양한 오류 해결 방법 안내

라이센스

• BSD 3 라이센스 하에 공개, 일부 코드는 MIT 및 Apache 라이센스 적용