Unsloth를 이해하기 전에 알아야 할 것들

프롬프트로 충분한 일과 그렇지 않은 일

LLM 활용은 보통 프롬프트에서 시작합니다. "표로 정리해 줘", "친절한 상담원처럼 답해 줘", "JSON 형식으로 출력해 줘"처럼 한 번의 요청 안에서 답변 방식을 조정하는 일은 프롬프트만으로도 충분한 경우가 많습니다. 일회성 요약, 간단한 역할 부여, 출력 형식 조정은 먼저 프롬프트로 해결해야 합니다.

하지만 같은 규칙을 계속 지켜야 한다면 이야기가 달라집니다. 예를 들어 고객지원 답변의 말투, 사내 문서에 맞춘 표현, 상품 문의 분류 기준, 반복되는 업무 절차를 모델이 안정적으로 따라야 한다면 프롬프트만으로는 흔들릴 수 있습니다. 이때 파인튜닝을 검토합니다. 파인튜닝은 모델을 무조건 더 똑똑하게 만드는 작업이 아니라, 원하는 응답 습관을 모델에 더 깊게 반영하는 작업입니다.

AI 생성 이미지

전체 파인튜닝, LoRA, QLoRA

전체 파인튜닝은 모델의 많은 가중치를 직접 업데이트합니다. 조정 범위가 크지만 GPU 메모리, 학습 시간, 저장 공간이 많이 필요합니다. 대형 모델일수록 개인 PC나 작은 팀이 감당하기 어렵습니다.

LoRA는 접근이 다릅니다. 원본 모델은 대부분 고정하고, 작은 어댑터만 추가로 학습합니다. 어댑터는 모델의 행동을 바꾸는 얇은 보정층이라고 이해하면 됩니다. 그래서 전체 파인튜닝보다 비용이 낮고, 여러 실험 버전을 관리하기 쉽습니다.

QLoRA는 여기서 한 걸음 더 나아갑니다. 기반 모델을 4비트 같은 낮은 정밀도로 불러와 GPU 메모리 사용량을 줄이고, 그 위에서 LoRA 어댑터를 학습합니다. 제한된 VRAM에서 7B, 8B급 모델을 다뤄야 하는 실습에서는 QLoRA가 현실적인 출발점이 됩니다.

Unsloth가 해결하려는 문제

오픈 모델을 직접 학습하려고 하면 세 가지 벽을 만납니다. 설치가 복잡하고, 학습이 느리며, GPU 메모리가 부족합니다. Unsloth는 이 문제를 줄이는 데 초점을 둔 도구입니다. 핵심은 로컬 환경에서 더 빠르고 적은 메모리로 모델을 학습하고 실행하는 것입니다.

Unsloth는 코드 수준의 최적화와 커스텀 커널을 활용해 일반적인 파인튜닝 흐름의 부담을 낮춥니다. 여기서 커널은 GPU가 실제 계산을 수행하는 작은 실행 단위입니다. 같은 학습이라도 계산을 더 효율적으로 배치하면 속도와 메모리 사용량이 달라집니다.

중요한 점은 Unsloth가 데이터 품질 문제를 자동으로 해결해 주지는 않는다는 것입니다. 나쁜 데이터로 학습하면 빠르게 나쁜 모델을 만들 뿐입니다. Unsloth의 역할은 좋은 데이터와 적절한 설정이 있을 때 실험을 더 빠르고 가볍게 반복하게 해 주는 것입니다.

코드 중심의 Unsloth Core

Unsloth Core는 Python 코드로 모델을 불러오고 LoRA 또는 QLoRA 학습을 실행하는 방식입니다. 실험을 자동화하거나, 학습 설정을 세밀하게 바꾸거나, 서버 환경에 붙여 쓰려면 Core가 적합합니다. 앞으로 이 책에서 다룰 모델 로드, 데이터셋 준비, 학습 실행, 어댑터 저장도 Core 흐름을 기준으로 이해할 수 있습니다.

Core 방식은 개발자에게 자유도가 높습니다. 대신 CUDA, PyTorch, Transformers 같은 의존성도 함께 이해해야 합니다. 처음에는 복잡해 보이지만, 한 번 환경을 잡아 두면 반복 실험과 재현성이 좋아집니다.

UI 중심의 Unsloth Studio

Unsloth Studio는 웹 UI에서 로컬 모델 실행과 학습을 지원하는 베타 도구입니다. 공식 README는 Studio를 "로컬에서 모델을 실행하고 학습하는" 새 웹 UI로 설명하며, Windows, Linux, macOS, WSL 환경을 지원한다고 안내합니다.¹

Studio는 텍스트 모델만 다루는 도구가 아닙니다. 공식 설명에 따르면 텍스트, 오디오, 임베딩, 비전 모델을 다룰 수 있고, GGUF, LoRA 어댑터, safetensors 모델을 검색·다운로드·실행할 수 있습니다. 학습 후에는 GGUF나 16비트 safetensors 같은 형식으로 내보내는 흐름도 제공합니다.¹

따라서 선택 기준은 분명합니다. 학습 파이프라인을 코드로 제어하고 싶다면 Unsloth Core가 좋습니다. 설치와 명령어보다 화면에서 모델을 실행하고 데이터셋을 만들고 결과를 비교하는 흐름이 필요하다면 Studio가 편합니다. 이 책에서는 두 방식을 모두 다루지만, 먼저 큰 그림은 하나입니다. Unsloth는 오픈 모델을 내 환경에서 더 현실적으로 학습하고 실행하기 위한 도구입니다.

참고

¹Unsloth GitHub README