llama2를 파인 튜닝 하고 있는 사람들

해커 뉴스에서 llama2를 파인 튜닝하고 있는 사례를 읽었다.

Fine-tune your own Llama 2 to replace GPT-3.5/4 | Hacker News

파인 튜닝은 나의 질문 + 대답 세트로 모델을 추가적으로 조정하는 것이다.

파인튜닝을 하는데 최소 50개의 예제에서 가능하다면 1000개 이상의 예제가 있으면 좋다고 한다.

저자가 주장하는 것은 파인튜닝한 Llama 7B 모델 GPT-3.5보다 50배 이상 저렴하다는 것이다.

물론 라마 7B와 GPT-3.5(165B)의 비교는 말이 안되기는 하지만 파인튜닝된 GPT 모델의 경우는 저렴하지 않기 때문에 라마를 파인튜닝해서 사용하는 사례가 늘어날 것 같기는 하다.

라마가 한국어와 같은 다국어 데이터셋을 가지고 있지 않아서 아쉬운데 국내에서는 누군가 라마를 한국어 데이터셋에 접목하려는 시도가 있지는 않을까 예측해 본다.

국내에서 만약 한국어가 중요하지 않은 경우는 라마나 파인튜닝된 작은 모델을 사용하는 사례도 있을 것 같다.