NVIDIA ChatRTX - 로컬에서 동작하는 NVIDIA의 무료 챗봇

NVIDIA가 ChatRTX라는 사용자 맞춤형 챗봇을 공개했습니다. 최소 8GB의 VRAM을 가진 RTX 30 또는 40 시리즈의 GPU가 있으면 로컬에서 돌릴 수 있습니다. 포함된 모델은 구글의 Gemma, ChatGLM3 (중국어 가능), 사진 검색을 위한 OpenAI의 CLIP 모델입니다. 또한 위스퍼 모델을 활용해서 음성으로 질문할 수 있습니다.

이 챗봇을 활용하면 문서, 메모, 사진 등 사용자의 콘텐츠를 RAG(검색 증강 생성), TensorRT-LLM 및 RTX 가속을 활용하여 맞춤형 챗봇을 활용할 수 있습니다. 모든 작업은 사용자의 Windows RTX PC 또는 워크스테이션에서 로컬로 실행됩니다.

ChatRTX는 다양한 파일 형식을 지원하며, 텍스트, PDF, doc/docx, jpeg, gif, png 파일 등을 애플리케이션에 지정된 폴더에 포함시키면 몇 초 만에 해당 파일을 라이브러리에 로드할 수 있습니다.

ChatRTX를 사용하기 위한 시스템 요구사항은 다음과 같습니다:

• 운영 체제: Windows 11

• GPU: 최소 8GB의 VRAM을 가진 NVIDIA GeForce™ RTX 30 또는 40 시리즈 GPU 또는 NVIDIA RTX™ Ampere 또는 Ada 세대 GPU

• RAM: 16GB 이상

• 하드 드라이브 여유 공간: 36GB

8GB VRAM이상의 RTX 그래픽 카드를 가지신 분들은 좋을것 같습니다!