모델 저장, 병합, 내보내기

먼저 실행 환경을 정한다

파인튜닝이 끝났다고 모델이 바로 서비스에 들어가는 것은 아니다. 학습 결과를 어떤 형태로 저장할지 먼저 정해야 한다. 실험을 계속할 목적이면 LoRA 어댑터만 저장하는 편이 좋다. 파일이 작고 버전 관리가 쉽다. 반대로 별도 어댑터 로딩 없이 서버에서 바로 추론하려면 베이스 모델과 LoRA를 합친 병합 모델이 편하다.

Unsloth는 학습한 모델을 작은 LoRA 어댑터로 저장하거나 Hugging Face Hub로 올리는 흐름을 지원한다. 또한 vLLM 같은 서빙 환경을 위해 16-bit 병합 모델로 저장할 수 있다.¹

model.save_pretrained_merged(
    "model",
    tokenizer,
    save_method="merged_16bit",
)

model.push_to_hub_merged(
    "hf/model",
    tokenizer,
    save_method="merged_16bit",
    token="...",
)

핵심은 단순하다. LoRA 어댑터는 가볍지만 실행할 때 같은 베이스 모델이 필요하다. 병합 모델은 무겁지만 배포가 단순하다.

AI 생성 이미지

로컬 앱에는 GGUF가 실용적이다

llama.cpp, LM Studio, Ollama 계열에서 실행하려면 GGUF로 내보내는 경우가 많다. Unsloth는 다음처럼 로컬 디렉터리에 GGUF를 저장하거나 Hub에 올릴 수 있다.²

model.save_pretrained_gguf(
    "directory",
    tokenizer,
    quantization_method="q4_k_m",
)

model.push_to_hub_gguf(
    "hf_username/directory",
    tokenizer,
    quantization_method="q8_0",
)

양자화는 모델을 더 작게 만드는 압축 방식에 가깝다. f16은 품질 보존에 유리하지만 파일이 크고 메모리를 많이 쓴다. q8_0은 변환이 빠르고 품질 손실이 비교적 적지만 여전히 리소스를 꽤 쓴다. q4_k_m은 크기와 품질의 균형이 좋아 로컬 배포에서 자주 선택된다. 더 작은 파일이 필요하면 낮은 비트 양자화를 고를 수 있지만, 답변 품질과 반복 현상을 반드시 다시 확인해야 한다.

Ollama로 가져갈 때는 GGUF와 템플릿을 함께 본다

Ollama에서 실행할 모델도 보통 먼저 GGUF로 변환한다. 빠른 실습에는 Q8_0, 더 작은 로컬 배포에는 q4_k_m이 현실적인 선택이다. Unsloth는 Ollama용 Modelfile을 만들 수 있으며, 이 파일에는 학습 때 사용한 채팅 템플릿 같은 실행 설정이 포함된다.³

Ollama에서 결과가 갑자기 이상해지면 모델 자체보다 템플릿을 먼저 의심해야 한다. 학습 때 사용한 chat template, EOS 토큰, 시작 토큰이 실행 환경과 다르면 답변이 반복되거나 깨질 수 있다. 따라서 GGUF 변환 후에는 학습 때 쓰던 평가 프롬프트를 그대로 다시 실행해 본다.

vLLM에는 16-bit 병합 모델을 준비한다

고성능 API 서버로 옮길 때는 GGUF보다 Hugging Face 형식의 16-bit 병합 모델이 일반적이다. Unsloth 문서도 vLLM용으로는 16-bit 저장 경로를 안내하며, 4-bit 병합은 특별한 목적이 아니라면 신중하게 다루라고 설명한다.⁴

vLLM 배포 전에는 모델 경로, 토크나이저 파일, GPU 메모리 요구량을 확인한다. NVIDIA GPU에서는 일반 vLLM 실행 조건을 맞추고, AMD 환경에서는 ROCm Docker 이미지 같은 별도 조건을 검토해야 한다. 저장이 끝난 뒤의 마지막 확인은 항상 같다. 새 런타임에서 같은 프롬프트, 같은 생성 설정으로 응답 품질이 유지되는지 비교한다.

참고

¹Unsloth Integration · Hugging Face

²Saving to GGUF | Unsloth Documentation

³Saving models to Ollama | Unsloth Documentation

⁴vLLM Deployment & Inference Guide