LLaMa를 활용해서 자신의 컴퓨터에 GPT를 돌리고 있는 사람들
llama는 메타의 gpt-3와 같은 Large Language Model(LLM) 입니다. 메타에서 상업용이 아닌 연구 목적으로 신청을 받아 일부 사람들에게 오픈했습니다. 그런데 어떤 사용자가 토렌트에 llama의 모델을 올리고 메타에 llama guthub에 pull request를 날려버렸습니다. 이제는 많은 사람들이 llama의 모델을 다운로드 받고 활용할 수 있게 되었습니다. 메타에서 의도했든 아니든 gpt 공개의 장을 열어버린 것입니다.
LLM에는 두 가지 길이 있다고 생각하는데 하나는 일부 기업이 gpt와 같은 기본 모델을 개발하고 통제하는 길이고 하나는 LLM이 오픈소스화 되어 사용자들이 자신의 컴퓨터에 다운로드 받고 chatgpt와 같은 서비스를 개발하는 길입니다.
그런데 LLM의 모델은 높은 하드웨어 사양을 요구합니다. 굉장히 높은 그래픽카드 메모리가 필요합니다. 반면에 라마는 비교적 경량화 모델입니다. 그리고 메타의 주장에 따르면 LLaMa 13B는 GPT-3의 성능과 비슷하다고 합니다.
그래서 사람들이 LLaMa를 자신의 PC에서 돌릴 수 있는 방법을 공유하고 있습니다. whispher.cpp를 만든 Georgi Gerganov는 4-bit quantization (경량 딥러닝을 위한 기법) 를 활용해 맥이나 PC에서 라마를 돌릴 수 있는 방법을 공유했습니다.
GitHub - ggerganov/llama.cpp: Port of Facebook's LLaMA model in C/C++
구글 colab에서도 4bit quantization을 통해 돌릴 수 있는 방법을 공유하는 사람들도 있습니다.
pc에 설치하기 쉽게 만들어 놓은 패키지도 있습니다. 이름이 달라이입니다. (달라이 라마...)
이렇게 GPT가 공유되면 악용을 하려는 사람들도 생길 수 있다고 합니다. 스팸이나 사기나 혐오 발언, 가짜 뉴스 등 의도와는 다르게 사용될 수 도 있습니다. 일부 기업이 모델을 통제하면 이런 일들이 좀 더 적어지겠죠. 하지만 오픈소스화가 되면 이런 일들을 예방할 수 있는 방법들도 함께 개발되어 안전하게 사람들이 GPT를 활용할 수 있었으면 좋겠습니다.
참고 : Large language models are having their Stable Diffusion moment
