Qwen3 및 Qwen3-MoE 모델의 훈련과 미세 조정 실전 가이드

Qwen3와 Qwen3-MoE의 특징 및 주요 지원 사항

Qwen3와 Qwen3-MoE는 오픈 소스 대규모 언어 모델로, 최신 분산 훈련 프레임워크인 ms-swift와 결합되어 고속 학습을 지원합니다. 변환기(transformers) 기반 방식 대비 MoE 모델은 약 10배 빠른 훈련이 가능합니다.

모델 미세 조정(SFT) 환경 준비와 샘플 명령어

Qwen3-8B 모델의 미세 조정을 시작하기 위해 필요한 기본 쉘 명령은 다음과 같이 구성됩니다. 이 과정을 위해 Python 패키지 설치와 Git 레포지토리 clone이 필요합니다.

git clone https://github.com/modelscope/ms-swift.git
cd ms-swift
pip install -e .
pip install liger-kernel transformers -U

무료 A10 GPU 리소스를 활용하여 간단하게 SFT를 시도할 수 있습니다.

사용자 정의 데이터셋 포맷 예시

훈련에 사용할 데이터셋은 다음과 같은 JSON 형식을 갖추면 됩니다. 필요에 따라 "system" 필드는 넣거나 생략할 수 있습니다.

{
  "messages": [
    {"role": "user", "content": "Where is the capital of Zhejiang?"},
    {"role": "assistant", "content": "<think>\nxxx\n</think>\n\nThe capital of Zhejiang is Hangzhou."}
  ]
}

더 많은 데이터셋 예시는 공식 문서를 참조하세요.

GRPO 방식 훈련 및 보상 함수 활용

GRPO(Generative Reward Preference Optimization)는 Qwen3-8B 등에서 응답의 정확도를 직접 보상으로 활용하는 방법으로, 보상 함수를 통한 미세 조정이 가능하며 SFT와 비슷한 데이터 구조를 요구합니다. 예를 들어 아래와 같은 샘플이 사용됩니다.

{
  "messages": [
    {"role": "system", "content": "You are a useful and harmless math calculator"},
    {"role": "user", "content": "What is 1 + 1?"},
    {"role": "assistant", "content": "It equals 2"}
  ]
}

정확도 기반 보상을 위해 math_verify 등의 패키지 설치가 필요합니다.

Megatron 기반 병렬 처리 기술과 대규모 모델 지원

ms-swift는 Megatron의 다양한 병렬 처리 기술(데이터, 텐서, 파이프라인, 전문가 등)을 활용해 Qwen3 및 MoE 모델 등의 대규모 사전학습·미세조정에 최적화되어 있습니다. 여러 종류의 모델(Qwen2.5, Llama3, DeepSeek-R1 등)을 지원하며, 8노드 이상의 대형 클러스터도 쉽게 사용할 수 있습니다.

효과적인 대규모 모델 학습을 위한 병렬 처리 및 리소스 설정

Qwen3-235B-A22B 같은 초대형 모델 SFT 시, 효율적인 병렬 구조 설정(tensor, expert, pipeline 병렬)과 GPU 메모리 계산이 필수입니다. 예시로 H100 80GB GPU 사용 시, 각 병렬 처리 방식에 따라 최소 GPU 수와 배치 크기, 병렬 설정 값이 달라지며, 실제 설정은 데이터 크기 및 요구 성능에 따라 조정해야 합니다.

모델 훈련 중 발생할 수 있는 이슈와 실전 팁

매우 작은 learning rate와 큰 배치 크기를 사용할 경우, 훈련 도중 grad norm이 일찍 포화(saturate)되면서 loss가 0이 되는 현상이 발생할 수 있습니다. 이러한 상황에서는 학습률 스케줄링이나 batch 크기 조정 등의 튜닝이 필요하며, 커뮤니티에서 다양한 경험과 해법을 공유하고 있습니다.

Qwen3 MoE 학습 방법론