Vicuna : llama를 사용자 대화로 파인튜닝한 오픈 소스 챗봇
비쿠냐
라마를 파인튜닝한 13B 모델.
ShareGPT의 70K 공개된 데이터로 학습함.
GPT-3로 평가했을 때 ChatGPT, 바드의 90% 성능을 달성함.
Vicuna-13B를 트레이닝할 때 300달러가 들어감.
트레이닝 코드와 실행 코드를 공개함. : GitHub - lm-sys/FastChat: The release repo for "Vicuna: An Open Chatbot Impressing GPT-4"
온라인 데모로 사용해 볼 수 있음. 비쿠냐 온라인 데모 : FastChat
비투냐가 뭔가 해서 찾아봤더니 낙타과의 동물이라고 한다.
GPU로 돌리면 28GB (경량화 시 18GB) 정도가 필요하다. CPU로 돌리면 60GB의 CPU 메모리가 필요하다고 한다.
훈련을 시킬 때는 80GB A100 8대로 가능하다고 한다.
온라인 데모를 사용해 봤다. 한글은 데이터가 없어서 그런지 좀 어색하다.
llama를 chatgpt의 사용자 대화로 파인튜닝한 모델인 셈이다.
출처 : Vicuna: An Open-Source Chatbot Impressing GPT-4 with 90%* ChatGPT Quality
공유하기
조회수 : 6652