LFM2.5-350M GRPO: 작은 모델의 구조화 출력 성능을 높이는 법

작은 언어 모델도 JSON이나 YAML 같은 구조화 출력을 안정적으로 생성할 수 있을까? LFM2.5-350M GRPO는 모델 크기를 키우는 대신, 검증 가능한 보상과 짧은 미세조정으로 형식 준수 행동을 개선한 사례다.

온디바이스 모델에 구조 준수 능력을 더하다

LFM2.5-350M은 온디바이스 배포를 목표로 설계된 3억 5천만 파라미터의 텍스트 전용 모델이다. 10개의 이중 게이트 합성곱 블록과 6개의 GQA 블록을 결합한 16층 하이브리드 구조를 사용하며, 최대 32,768토큰의 컨텍스트를 지원한다.¹ 1GB 미만 메모리에서 실행할 수 있고, 데이터 추출·구조화 출력·도구 사용과 같은 작업에 권장된다.¹

이러한 작업에서는 문법적으로 유효한 JSON을 만드는 것만으로 충분하지 않다. 필드 이름과 자료형, 항목 수, 중첩 구조 등 요청된 스키마를 정확히 따라야 한다. IFStruct는 모델이 유효한 구조화 출력을 생성하고 다양한 스키마 요구사항을 준수하는지 측정하는 생성형 벤치마크다.²

GRPO 이후 무엇이 달라졌나

기본 LFM2.5-350M은 IFStruct 평가 샘플 2,000개 중 452개를 통과해 22.6%의 통과율을 기록했다. 약 500개 샘플로 100단계의 GRPO 미세조정을 거친 뒤에는 통과율이 29.7%로 상승했다.³ 절대 기준으로 7.1%포인트, 기존 성능 대비 약 31% 개선된 결과다.

GRPO는 하나의 프롬프트에서 여러 출력을 생성한 뒤, 보상이 높은 출력의 방향을 강화하는 방식이다. 이번 학습에서는 프롬프트 그룹마다 8개의 출력을 생성했다. 또한 전체 모델을 다시 학습하는 대신 LoRA를 적용해 약 600만 개의 파라미터만 조정했다. 이는 전체 모델의 약 1.66%다.³

핵심은 새로운 지식을 대규모로 주입한 것이 아니라, 자동으로 판정할 수 있는 규칙을 이용해 원하는 출력 행동을 집중적으로 강화했다는 점이다. 비교적 적은 데이터와 짧은 학습으로도 구조 준수율을 높일 수 있었던 배경이다.

실제 적용 전에 확인할 기준

이 결과를 모델의 지식이나 전반적인 추론 능력이 향상됐다는 의미로 해석해서는 안 된다. IFStruct는 답변 내용의 사실성보다 출력 구조와 스키마 준수 여부를 평가한다.²

따라서 실제 서비스에 적용할 때는 다음 항목을 분리해 검증하는 편이 좋다.

• 출력이 요구된 JSON·YAML 또는 함수 호출 형식을 따르는가

• 필수 필드가 누락되지 않았는가

• 각 값의 자료형과 허용 범위가 올바른가

• 구조뿐 아니라 값의 내용도 정확한가

구조 검증 결과를 보상으로 사용하는 것은 효과적인 출발점이지만, 업무 정확도를 확보하려면 값의 정확성이나 누락 여부를 검사하는 보상도 함께 설계해야 한다.

요약: LFM2.5-350M GRPO는 작은 모델의 구조화 출력 약점을 모델 확장보다 명확한 검증 규칙과 집중적인 미세조정으로 보완할 수 있음을 보여준다. 반복적인 JSON 생성, 데이터 추출, 함수 호출처럼 결과를 자동 판정할 수 있는 업무에서 특히 실용적인 접근이다.

¹LiquidAI/LFM2.5-350M · Hugging Face

²IFStruct: Measuring structured-output compliance

³Fine-tuning a 350M Model for Better Structured Outputs in 100 GRPO Steps