지시 튜닝은 '자료 추가'가 아니다
실무형 LLM에서 중요한 것은 지식을 많이 외우는 능력만이 아니다. 사용자의 요청을 읽고, 조건을 해석하고, 원하는 형식으로 답하는 능력이 더 중요할 때가 많다. 지시 튜닝은 이 능력을 높이기 위한 지도 파인튜닝이다. 데이터는 보통 지시문, 선택적 컨텍스트, 기대 응답으로 구성된다.1
예를 들어 계약서 요약 모델을 만든다면 계약서 원문만 계속 학습시키는 것으로는 부족하다. '핵심 조항을 표로 정리하라', '위험 조항만 세 가지로 요약하라', '모르면 추정하지 말라' 같은 요청과 그에 맞는 답변 쌍이 필요하다. 모델은 이 예시를 통해 무엇을 해야 하는지, 어떤 말투와 구조를 따라야 하는지 배운다.
역할과 템플릿을 일관되게 유지하기
대화형 데이터는 시스템 메시지, 사용자 메시지, 어시스턴트 메시지를 구분해야 한다. 시스템 메시지는 모델의 기본 행동 규칙이다. 사용자 메시지는 개별 요청이다. 어시스턴트 메시지는 기대 응답이다. 이 역할이 섞이면 모델은 어떤 지시를 우선해야 하는지 헷갈린다.
특히 학습 때 사용한 채팅 템플릿과 추론 때 사용하는 템플릿은 같아야 한다. 어떤 모델은 Alpaca 형식, 어떤 모델은 ChatML 또는 자체 채팅 형식을 쓴다. 학습 데이터와 실제 입력 형식이 달라지면 모델은 역할 경계를 제대로 읽지 못할 수 있다.2
좋은 학습 예시는 충돌을 줄인다. 시스템 지침이 '한국어로 답하라'고 하는데 사용자 지시가 '영어로만 답하라'고 하면, 기대 응답은 어떤 지시를 우선하는지 보여주어야 한다. 이런 예시가 쌓여야 모델의 행동이 예측 가능해진다.
형식 제약은 예시로 가르친다
JSON, 표, 보고서, 코드, 단계별 절차처럼 형식이 중요한 작업은 단순히 좋은 답변 몇 개로는 부족하다. 필드명, 순서, 빈값 처리, 금지 표현, 예외 상황까지 포함한 예시가 필요하다.
예를 들어 JSON 응답을 원한다면 모든 예시에서 같은 키를 쓰고, 설명 문장을 JSON 밖에 붙이지 않도록 해야 한다. 정보가 없을 때는 빈 문자열을 쓸지, null을 쓸지, 추가 질문을 할지 정해야 한다. 표를 원한다면 열 이름과 정렬 순서를 고정한다. 보고서를 원한다면 요약, 근거, 한계, 다음 조치 같은 섹션을 반복해서 보여준다.
핵심은 모델에게 '정답의 내용'뿐 아니라 '정답의 모양'을 학습시키는 것이다.
안전한 지시 수행도 데이터로 만든다
거절, 불확실성 표현, 추가 정보 요청, 근거 제시는 정책 문구만으로 안정적으로 생기지 않는다. 실제 요청과 응답 쌍으로 학습시켜야 한다.
위험한 요청에는 구체적인 실행 방법을 제공하지 않고, 가능한 안전한 대안을 안내한다. 모호한 요청에는 바로 답하지 말고 필요한 정보를 묻는다. 근거가 부족한 질문에는 '확인할 수 없다'고 말하고 추정과 사실을 구분한다. 이런 패턴이 데이터에 들어 있어야 모델은 애매한 상황에서도 일관되게 행동한다.
양보다 품질, 손실보다 평가
지시 튜닝에서는 데이터 양보다 명확성과 다양성이 더 직접적인 영향을 준다. 중복된 지시문, 서로 모순되는 답변, 낮은 품질의 장문 응답은 오히려 모델을 흐리게 만든다. 데이터가 늘어날수록 정제 기준도 강해져야 한다.3
성능도 학습 손실만으로 판단하면 안 된다. 별도의 평가 세트를 만들고 보지 못한 지시문에 대한 일반화, 출력 형식 준수율, 사용자 의도 충족도, 안전한 거절 여부를 확인해야 한다. 실무에서는 작은 평가셋으로 시작해 실패 유형을 기록하고, 그 실패를 다시 학습 예시에 반영하는 반복이 가장 효과적이다.
참고
1Instruction Tuning for Large Language Models: A Survey
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.