ThinkingCap-Qwen3.8-27B: 정확도는 유지하면서 추론 토큰을 줄이는 접근
추론 모델이 답을 내기 전 생성하는 사고 토큰이 많아질수록 응답 시간과 운영 비용도 커질 수 있다. BottleCap AI가 Qwen3.8-27B를 미세 조정해 출시한 ThinkingCap-Qwen3.8-27B는 불필요한 추론을 줄이는 데 초점을 맞춘 ThinkingCap 시리즈의 두 번째 모델이다.1
평균 37.2% 절감, 정확도는 0.86%p 하락
ThinkingCap-Qwen3.8-27B는 12개 벤치마크에서 기본 모델보다 사고 토큰을 평균 37.2% 적게 사용했다. 같은 비교에서 매크로 정확도는 86.65%에서 85.79%로 0.86%p 낮아졌다.2
다만 평균값만으로 실제 효과를 판단해서는 안 된다. 매크로 정확도는 각 벤치마크를 같은 비중으로 계산하지만, 실제 서비스의 비용과 성능은 업무별 요청량과 토큰 길이에 따라 달라지기 때문이다.
벤치마크별 사고 토큰 감소율도 10.7%에서 65.5%까지 큰 차이를 보였다. 12개 중 9개에서는 평균 사고 토큰이 30% 이상 감소했다.2
MMMLU: 1,656개에서 571개로 65.5% 감소
MMLU-Pro: 3,725개에서 1,591개로 57.3% 감소
IFBench: 7,961개에서 4,266개로 46.4% 감소
Terminal-Bench 2.1: 72,871개에서 65,092개로 10.7% 감소1
짧은 추론이 반드시 낮은 정확도를 뜻하지는 않는다
일부 벤치마크에서는 사고 토큰이 크게 줄어도 정확도가 거의 유지되거나 오히려 높아졌다.
IFBench는 사고 토큰을 46.4% 줄이면서 정확도 차이가 -0.04%p에 그쳤다. LiveCodeBench v6에서는 평균 사고 토큰이 20.3% 감소한 동시에 정확도가 0.07%p 상승했다. 장문 컨텍스트 평가인 AA-LCR에서도 사고 토큰은 38.6% 줄고 정확도는 2.25%p 높아졌다.2
반면 모든 과제에서 같은 결과가 나온 것은 아니다. Terminal-Bench 2.1의 토큰 절감률은 10.7%에 그쳤고, AIME 2026 정확도는 3.85%p 하락했다.2 따라서 긴 다단계 추론이 필요한 수학이나 에이전트 작업에서는 전체 평균보다 해당 업무와 가까운 평가 결과를 우선해야 한다.
비교 조건과 도입 판단 기준
평가는 ThinkingCap-Qwen3.8-27B와 기본 모델에 동일한 샘플링 설정을 적용해 진행됐다. 사고 강도 역시 채팅 템플릿의 기본값인 xhigh로 맞췄다.1 이는 서로 다른 디코딩 옵션이 아니라 같은 조건에서 두 모델의 토큰 사용량과 정확도를 비교했다는 의미다.
실제 도입 전에는 다음 항목을 자체 데이터로 확인하는 것이 좋다.
정확도: 평균 점수가 아니라 핵심 업무별 성공률을 비교한다.
사고 토큰: 요청당 평균뿐 아니라 긴 응답의 분포도 확인한다.
지연 시간: 토큰 감소가 실제 응답 시간 개선으로 이어지는지 측정한다.
운영 비용: 업무별 요청량과 전체 토큰 사용량을 반영한다.
배포 구성: 실제 사용할 빌드와 서빙 환경에서 다시 평가한다.
ThinkingCap-Qwen3.8-27B는 vLLM과 SGLang에서 사용할 수 있으며 FP8, NVFP4, GGUF, MLX 빌드로 제공된다.1 배포 형식에 따라 결과가 달라질 수 있으므로 운영에 사용할 구성으로 정확도와 토큰 사용량을 검증해야 한다.
요약: ThinkingCap-Qwen3.8-27B의 핵심 가치는 최고 정확도를 경신하는 데 있지 않다. 매크로 정확도가 0.86%p 낮아지는 대신 사고 토큰을 평균 37.2% 줄였다는 점이 중요하다. 도입 여부는 전체 평균보다 자사 업무의 정확도, 지연 시간, 총 토큰 비용을 함께 측정해 판단해야 한다.
1bottlecapai/ThinkingCap-Qwen3.8-27B · Hugging Face
2ThinkingCap-Qwen3.8-27B: the same answers, 37% less thinking
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.