최근 Unsloth가 Qwen3.5 파인튜닝 문서를 정리해 공개하면서, "큰 돈 들이지 않고도" 로컬에서 모델을 업무용으로 다듬는 흐름이 더 빨라졌습니다1. 이 글에서는 Qwen3.5 fine-tuning guide를 기반으로, 어떤 모델을 고르고(9B vs 397B), 어떤 방식으로(LoRA/QLoRA), 무엇을 준비해(데이터/평가/배포) 시행착오를 줄일지 2000자 내외로 정리합니다.
Qwen3.5 파인튜닝, 왜 지금이 기회일까?
Qwen3.5의 매력은 "작은 모델인데도 똑똑하다"는 점입니다. 예를 들어 Qwen3.5-9B는 훨씬 큰 모델들과 겨뤄도 벤치마크에서 경쟁력 있는 결과가 나오며, 로컬·온디바이스 활용에 유리한 포지션을 잡았습니다2. 즉, 회사 용어를 제대로 쓰는 상담봇, 규정에 맞는 문서 요약기, 특정 양식의 보고서 작성처럼 "우리 조직의 말투와 지식"이 필요한 순간에 파인튜닝 가치가 커집니다.
반대로 397B급 플래그십은 멀티모달 에이전트(이미지+언어)까지 넓게 커버하고, 엔드포인트/API로 빨리 테스트할 수 있는 장점이 있습니다3. 결론은 간단합니다. 빠르게 붙여서 검증하려면 호스팅(엔드포인트), 데이터 주권과 비용 최적화를 원하면 9B~급 로컬 파인튜닝이 현실적입니다.
LoRA·QLoRA로 "한 대의 GPU"에서 끝내는 법
풀 파인튜닝은 비용이 크고 운영도 까다롭습니다. 그래서 실무에서는 LoRA가 기본기가 됐습니다. 기존 가중치는 고정하고, 층마다 작은 어댑터만 학습시키는 방식이라 학습해야 할 파라미터가 극적으로 줄어듭니다. 더 나아가 QLoRA는 4비트 양자화된 모델 위에 LoRA를 얹어 학습해, 9B급은 16GB VRAM 전후에서도 시도 가능하다고 알려져 있습니다4.
프레임워크 선택은 "내가 어디서 막힐지"로 고르면 편합니다. 처음이면 Unsloth처럼 속도/메모리를 아끼며 적은 코드로 시작하는 쪽이 마음이 편하고4, 설정 파일로 재현 가능한 실험을 굴리고 싶다면 Axolotl, 이후 선호도 학습(DPO/RLHF)까지 갈 계획이면 TRL 계열을 염두에 두면 됩니다. 중요한 건 도구가 아니라, 같은 데이터로 "재학습→평가→개선" 루프를 빨리 도는 생산성입니다.
학습 데이터 준비: '몇 개'보다 '어떤 품질'이 먼저
파인튜닝은 하이퍼파라미터보다 데이터가 성능을 좌우합니다. 추천 포맷은 instruction 형태(JSONL)로, system/user/assistant 역할이 분리된 구조가 관리하기 쉽습니다4. 여기서 핵심은 두 가지입니다.
첫째, 정답(assistant)이 틀리면 모델은 틀린 걸 "충실히" 배웁니다. 도메인 데이터는 반드시 현업 검수를 넣고, 애매한 항목은 과감히 제외하는 편이 낫습니다.
둘째, 다양성이 없으면 실전에서 무너집니다. 같은 패턴을 1,000개 쌓는 것보다, 실제 고객 질문의 변형(말투, 조건, 예외, 금지사항)을 넓게 덮는 500개가 더 강합니다. 실무 감각으로는 "500개로 시작해서, 평가로 부족한 구멍만 채우는 방식"이 가장 빠릅니다4. 톤만 바꾸고 싶으면 수백 개 규모로도 효과를 보는 경우가 많습니다4.
평가·배포까지가 진짜 파인튜닝(그리고 병합이라는 치트키)
학습이 끝나면 감으로 "좋아진 것 같다"에서 멈추기 쉽습니다. 그래서 A/B 테스트가 필요합니다. 같은 테스트 셋(최소 100문항)을 일반 모델과 파인튜닝 모델에 동시에 물어보고, 정확성·관련성·도메인 용어·톤을 축으로 점수화하면 개선이 숫자로 보입니다4. 생성형은 자동 점수(BLEU/ROUGE/BERTScore)도 참고는 되지만, 최종 판정은 사람 평가가 안전합니다4.
배포는 목적에 따라 갈립니다. 간단히 내부에서 쓰려면 GGUF로 변환해 Ollama에 올리는 흐름이 빠르고, 동시 요청이 많다면 vLLM처럼 서빙 최적화가 된 선택지가 유리합니다4. 운영 비용을 줄이려면 GPTQ/AWQ 같은 추론 양자화도 같이 검토할 만합니다4.
그리고 재미있는 고급기술이 '모델 병합'입니다. 예를 들어 "법률 문서에 강한 어댑터"와 "극존칭 톤에 강한 어댑터"를 합쳐 한 모델처럼 쓰는 식이죠. TIES/DARE 같은 방법과 mergekit 도구로 비교적 쉽게 시도할 수 있어, 팀별 어댑터를 모아 '통합 사내 모델'을 만드는 전략도 가능합니다4.
시사점
Qwen3.5 파인튜닝은 더 이상 연구실 전유물이 아니라, "작게 시작해 빨리 검증하는" 제품 개발 루틴에 가깝습니다. 9B급은 QLoRA로 단일 GPU에서도 현실적인 출발점이 되고4, 대규모 멀티모달이 필요하면 엔드포인트로 먼저 검증한 뒤 확장하는 선택지가 있습니다3.
오늘 할 일은 거창하지 않습니다. 우리 업무에서 반복되는 질문 100개를 모으고, 정답을 '현업이 납득하는 문장'으로 고쳐 쓰는 것부터 시작하세요. 파인튜닝 성패는 결국, 그 100개의 품질에서 갈립니다.
참고
2Alibaba's small, open source Qwen3.5-9B beats OpenAI's gpt-oss-120B and can run on standard laptops
3Develop Native Multimodal Agents with Qwen3.5 VLM Using NVIDIA GPU-Accelerated Endpoints
4Qwen3.5-9B Fine-Tuning Guide: Customizing AI for Industry-Specific Applications
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.