Vicuna : llama를 사용자 대화로 파인튜닝한 오픈 소스 챗봇

비쿠냐

• 라마를 파인튜닝한 13B 모델.

• ShareGPT의 70K 공개된 데이터로 학습함.

• GPT-3로 평가했을 때 ChatGPT, 바드의 90% 성능을 달성함.

• Vicuna-13B를 트레이닝할 때 300달러가 들어감.

• 트레이닝 코드와 실행 코드를 공개함. : GitHub - lm-sys/FastChat: The release repo for "Vicuna: An Open Chatbot Impressing GPT-4"

• 온라인 데모로 사용해 볼 수 있음. 비쿠냐 온라인 데모 : FastChat

비투냐가 뭔가 해서 찾아봤더니 낙타과의 동물이라고 한다.

GPU로 돌리면 28GB (경량화 시 18GB) 정도가 필요하다. CPU로 돌리면 60GB의 CPU 메모리가 필요하다고 한다.

훈련을 시킬 때는 80GB A100 8대로 가능하다고 한다.

온라인 데모를 사용해 봤다. 한글은 데이터가 없어서 그런지 좀 어색하다.

llama를 chatgpt의 사용자 대화로 파인튜닝한 모델인 셈이다.

출처 : Vicuna: An Open-Source Chatbot Impressing GPT-4 with 90%* ChatGPT Quality