loss는 출발점일 뿐입니다
파인튜닝이 끝나면 가장 먼저 보게 되는 값은 loss입니다. loss가 낮아졌다면 모델이 학습 데이터의 패턴을 더 잘 맞추고 있다는 뜻입니다. 하지만 이것만으로 "좋은 모델"이라고 말할 수는 없습니다.
예를 들어 고객 상담 챗봇을 만들었는데 loss는 낮지만 답변이 장황하거나, 회사 정책에 없는 내용을 만들어 낸다면 실제 서비스에는 쓰기 어렵습니다. 반대로 loss 개선 폭은 작아도 원하는 형식으로 안정적으로 답하고 위험한 추측을 줄였다면 더 쓸모 있는 모델일 수 있습니다.
평가는 숫자와 실제 응답을 함께 봐야 합니다. 핵심 질문은 하나입니다. "이 모델이 내가 쓰려는 상황에서 이전보다 나아졌는가?"
같은 질문으로 비교 세트 만들기
가장 먼저 할 일은 평가 세트를 따로 만드는 것입니다. 학습에 사용하지 않은 프롬프트를 30~100개 정도 준비합니다. 너무 많을 필요는 없지만, 실제 사용 상황을 골고루 담아야 합니다.
평가 세트에는 다음 유형을 섞는 것이 좋습니다.
자주 들어오는 일반 질문
반드시 정답이 정해진 질문
형식을 지켜야 하는 질문
모르면 모른다고 해야 하는 질문
길이, 말투, 역할이 중요한 질문
일부러 애매하게 만든 질문
비교할 때는 학습 전 모델과 파인튜닝 모델에 같은 프롬프트를 넣습니다. 생성 설정도 같게 맞춥니다. temperature, max_new_tokens, top_p가 다르면 모델 차이인지 설정 차이인지 알기 어렵습니다.
간단한 기록표는 다음처럼 만들 수 있습니다.
| 항목 | base 모델 | fine-tuned 모델 | 판정 |
|---|---|---|---|
| 정책 질문 답변 | 일부 추측 | 문서 기준 답변 | 개선 |
| JSON 형식 출력 | 따옴표 오류 | 정상 JSON | 개선 |
| 모르는 질문 | 답을 지어냄 | 확인 불가라고 응답 | 개선 |
평가 기준을 먼저 정합니다
좋은 평가는 기준이 분명해야 합니다. 응답을 보고 그때그때 느낌으로 판단하면 모델을 고치기 어렵습니다. 최소한 다음 기준은 정해 두는 것이 좋습니다.
정확성은 답이 사실과 맞는지 보는 기준입니다. 사내 문서, 제품 설명, 법률·의료처럼 근거가 중요한 영역에서는 가장 중요합니다.
일관성은 비슷한 질문에 비슷한 답을 하는지 보는 기준입니다. 한 번은 존댓말, 한 번은 반말을 쓰거나, 같은 정책을 다르게 설명하면 신뢰가 떨어집니다.
형식 준수는 지시한 출력 구조를 지키는지 확인하는 기준입니다. JSON, Markdown 표, 짧은 bullet, 특정 필드명처럼 프로그램이 후처리해야 하는 결과라면 특히 중요합니다.
환각 감소는 모르는 내용을 만들어 내지 않는지 보는 기준입니다. 좋은 모델은 모든 질문에 억지로 답하는 모델이 아니라, 답할 수 없는 질문을 구분하는 모델입니다.
응답 스타일은 말투, 길이, 친절함, 브랜드 톤을 뜻합니다. 도메인 챗봇에서는 정답만큼이나 사용자가 받아들이기 쉬운 표현이 중요합니다.
자동 평가와 사람 평가를 같이 씁니다
자동 평가는 빠릅니다. 정답이 정해진 문제라면 정확도, 키워드 포함 여부, JSON 파싱 성공률, 금지어 포함 여부 같은 지표를 코드로 확인할 수 있습니다. 예를 들어 100개 질문 중 92개가 정상 JSON으로 파싱되면 형식 준수율은 92%입니다.
하지만 자동 평가는 말투의 자연스러움이나 답변의 실용성을 완전히 판단하지 못합니다. 그래서 사람 평가가 필요합니다. 모든 샘플을 볼 필요는 없습니다. 대표 샘플 20~30개만 골라도 모델의 성격이 보입니다.
실용적인 절차는 다음과 같습니다.
평가 세트를 고정합니다.
base 모델과 fine-tuned 모델의 답변을 같은 설정으로 생성합니다.
자동 평가로 형식 오류, 금지 표현, 정답 일치율을 먼저 확인합니다.
사람이 나란히 읽으며 더 나은 답변을 고릅니다.
실패 사례를 모아 다음 데이터셋에 반영합니다.
이때 중요한 것은 실패를 숨기지 않는 것입니다. 실패한 질문은 다음 학습 데이터의 가장 좋은 재료입니다.
두 모델을 나란히 보는 워크플로우
모델 비교는 가능하면 나란히 보는 방식이 좋습니다. 왼쪽에는 학습 전 모델, 오른쪽에는 파인튜닝 모델의 답변을 둡니다. 질문, 생성 설정, 평가 메모를 함께 기록하면 변화가 분명해집니다.
Unsloth Studio의 Model Arena도 이런 흐름을 지원합니다. 공식 사이트에 따르면 Studio에서는 base 모델과 fine-tuned 모델처럼 서로 다른 두 모델을 불러와 채팅하며 출력을 비교할 수 있고, GGUF나 Safetensors 모델 실행도 지원합니다.1 코드로 평가하든 Studio를 쓰든 핵심은 같습니다. 같은 입력을 넣고, 같은 기준으로, 차이를 기록해야 합니다.
최종 판단은 단순합니다. 파인튜닝 모델이 더 정확한가? 더 일관적인가? 형식을 더 잘 지키는가? 모르는 내용을 덜 지어내는가? 사용자가 원하는 말투에 가까운가?
이 질문에 답할 수 있어야 학습이 끝난 것입니다. 모델 저장과 배포는 그다음 단계입니다.
참고
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.