파인튜닝은 언제 필요한가
파인튜닝은 Qwen에게 새로운 최신 정보를 외우게 하는 작업이 아니다. 우리 회사의 말투, 보고서 형식, 상담 응대 방식, 코드 리뷰 기준처럼 반복되는 업무 패턴을 모델의 응답 습관으로 만드는 작업에 가깝다. Alibaba Cloud Model Studio도 지도 미세조정의 목적을 도메인 지식, 톤, 커뮤니케이션 스타일, 모델의 역할 인식 같은 시나리오 특화 특성에 맞추는 것으로 설명한다.1
따라서 먼저 물어야 할 질문은 간단하다. "이 문제는 지식이 부족해서 생기는가, 아니면 답변 방식이 일정하지 않아서 생기는가?" 최신 정책, 상품 가격, 사내 규정처럼 자주 바뀌는 정보가 문제라면 RAG가 우선이다. 출처를 보여줘야 하는 답변도 RAG가 더 안전하다. 반대로 같은 문서를 줘도 답변 톤이 들쭉날쭉하거나, 매번 긴 시스템 프롬프트를 넣어야 겨우 원하는 형식이 나온다면 파인튜닝을 검토할 만하다.
AI 생성 이미지
SFT 데이터는 실제 대화처럼 만든다
Qwen의 SFT, 즉 지도 미세조정 데이터는 보통 .jsonl 파일로 준비한다. 한 줄이 하나의 학습 샘플이고, 필수 필드인 messages 안에 system, user, assistant 역할을 가진 대화 턴을 순서대로 넣는다.2
{"type":"chatml","source":"self-made","messages":[{"role":"system","content":"너는 B2B 고객지원 담당자다. 정중하고 간결하게 답한다."},{"role":"user","content":"환불 정책을 문의한 고객에게 답장해줘. 주문일은 5월 3일이고, 사용 이력은 없다."},{"role":"assistant","content":"안녕하세요. 확인해 주신 조건상 사용 이력이 없고 주문일로부터 환불 가능 기간 내에 해당한다면 환불 접수가 가능합니다. 주문번호를 알려주시면 절차를 안내드리겠습니다."}]}여기서 중요한 것은 형식보다 품질이다. 실제 사용자가 묻는 방식, 답변에 필요한 맥락, 우리가 원하는 정답 흐름이 함께 들어가야 한다. type, source 같은 메타데이터를 추가하면 자체 제작 데이터, 공개 데이터, 변환 데이터를 구분하기 쉽다. 학습 전에는 중복 샘플, 틀린 답, 서로 다른 말투, 개인정보, 저작권 위험이 있는 데이터를 제거해야 한다. 잘못된 데이터는 한 번의 오류가 아니라 모델의 습관이 된다.
LoRA와 QLoRA로 작게 실험한다
전체 파라미터를 모두 업데이트하는 파인튜닝은 비용과 GPU 메모리 부담이 크다. 그래서 실무에서는 LoRA를 먼저 고려한다. LoRA는 원본 Qwen 가중치 대부분을 그대로 두고, 작은 어댑터만 학습한다. 모델 전체를 다시 만드는 대신 업무용 보조 회로를 붙이는 방식이라고 이해하면 쉽다.
QLoRA는 여기서 한 걸음 더 나아가 기반 모델을 낮은 비트로 양자화해 메모리를 줄이고, 그 위에서 LoRA 학습을 수행한다. 제한된 GPU 환경에서 여러 데이터셋과 설정을 빠르게 비교해야 할 때 유리하다. Qwen SFT 예제도 전체 파인튜닝, LoRA, Q-LoRA 방식을 구분해 실행할 수 있도록 --use_lora, --q_lora 옵션을 제공한다.2
설정값보다 검증 질문이 중요하다
학습률, 배치 크기, 에폭 수, 최대 시퀀스 길이, 검증 데이터 비율은 모두 결과에 영향을 준다. 학습률이 너무 크면 말투와 지식이 불안정해지고, 에폭이 너무 많으면 학습 데이터 문장을 외워 버릴 수 있다. 최대 시퀀스 길이가 짧으면 긴 업무 맥락이 잘려 나간다. 검증 데이터를 따로 두지 않으면 좋아진 것처럼 보이는 결과가 실제 업무에서는 무너질 수 있다.
그러나 손실 값만 보고 판단해서는 안 된다. 별도의 검증 프롬프트로 정확성, 말투, 형식 준수, 환각 억제 여부를 확인해야 한다. 예를 들어 고객지원 모델이라면 "보상 약속을 해도 되는가", "모르는 정책을 추측하지 않는가", "항상 정중하지만 불필요하게 길지 않은가"를 봐야 한다.
배포 전에는 롤백까지 준비한다
파인튜닝의 기대 효과는 분명하다. 특정 산업 업무에서 성능이 좋아지고, 응답 스타일이 안정되며, 반복 프롬프트가 줄어 지연 시간이 낮아질 수 있다. 일부 환각도 줄어들 수 있다.1 하지만 파인튜닝은 강한 도구다. 오답, 편향, 민감정보가 데이터에 섞이면 모델은 그것을 자신 있게 반복한다.
따라서 배포 전에는 안전성, 개인정보, 저작권 검토를 거쳐야 한다. 모델 버전, 데이터 버전, 학습 설정, 평가 결과를 함께 기록하고 언제든 이전 버전으로 되돌릴 수 있어야 한다. 좋은 파인튜닝은 한 번에 완성되는 이벤트가 아니다. 작은 데이터로 시작해 평가하고, 실패 사례를 모아 다시 다듬는 반복 과정이다.
참고
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.