OpenAI GPT-3.5 Turbo 파인튜닝 API 기능 출시

OpenAI에서 드디어 GPT-3.5 Turbo의 파인튜닝 API를 공개했습니다. 기존에는 GPT-3 기본 모델만 가능했었습니다. (ada, babbage, curie)

얼리 어답터들은 파인튜닝을 통해 조종 가능성, 포맷의 일관된 출력, 맞춤화된 톤 등을 달성할 수 있었다고 합니다. 또 프롬프트를 많이 절약한 사례도 있었다고 하네요.

파인튜닝은 데이터셋 준비, 파인튜닝, 파인튜닝된 모델 사용의 순서로 이루어 집니다.

데이터 준비에 있어서는 채팅 형식으로 데이터를 제공할 수 가 있네요.

{
  "messages": [
    { "role": "system", "content": "You are an assistant that occasionally misspells words" },
    { "role": "user", "content": "Tell me a story." },
    { "role": "assistant", "content": "One day a student went to schoool." }
  ]
}

파인튜닝할 때는 다음과 같이 모델명을 명시해서 훈련을 시킬 수 있습니다.

curl https://api.openai.com/v1/fine_tuning/jobs 
-H "Content-Type: application/json" 
-H "Authorization: Bearer $OPENAI_API_KEY" 
-d '
  "training_file": "TRAINING_FILE_ID",
  "model": "gpt-3.5-turbo-0613",
}'

gpt-3.5-turbo-0613이 보이네요!

그 후에는 파인튜닝된 모델을 사용하면 됩니다. 비용은 다음과 같습니다.

Training: $0.008 / 1K Tokens
Usage input: $0.012 / 1K Tokens
Usage output: $0.016 / 1K Tokens

기본의 GPT-3.5 Turbo 모델과 비교해 보면 아직은 비용이 많이 나가는 편이네요.

GPT-3.5 Turbo 4K context	
Usage input: $0.0015 / 1K tokens	
Usage output: $0.002 / 1K tokens

8배 정도 차이 나네요. 회사에 따라 저렴하다고 생각하는 경우도 있으니 필요성에 따라서 판단하시면 될 것 같습니다.

그 외에 기본 모델은 지원 중단되지만 babbage-002 와 davinci-002 는 대체재로 가능하다고 합니다.

아마 프롬프트 엔지니어링이나 RAG를 사용한 후 정말 더 최적화시키고 싶을 때 파인튜닝을 사용하지 않을까 싶습니다. 파인튜닝 자체가 데이터 준비도 그렇고 리소스가 많이 들어가는 일이니깐요.

그래도 약속대로 파인튜닝 모델을 개선하는 중입니다. GPT-4의 파인튜닝은 가을쯤에야 공개된다고 합니다.

참고 : GPT-3.5 Turbo fine-tuning and API updates (OpenAI 공식 블로그)

파인튜닝 기술 가이드 : OpenAI Platform