karpathy의 llama2.c - llama2를 처음부터 훈련시키고 추론하기

Llama2 아키텍처에 맞게 파이토치로 처음부터 훈련시킬 수 있는 모델이다. 가중치는 바이너리 파일로 내보낼 수 있다. 이 가중치는 500줄 짜리 C 코드로 inference를 할 수 있다. (run.c 파일) Llama 모델을 직접 로드해서 사용할 수 있게 만들고 있다고 한다. 안드레아 카르파티가 주말 프로젝트로 만들었다.

GitHub - karpathy/llama2.c: Inference Llama 2 in one file of pure C