오픈 웨이트 진영에 새로운 강자가 등장했다. Thinking Machines Lab이 공개한 Inkling-Small은 총 276B, 활성 12B 파라미터 규모의 멀티모달 MoE 모델이다1. 플래그십 모델 Inkling(총 975B, 활성 41B)의 1/4 크기2로 태어났지만, 추론과 에이전틱 코딩 벤치마크에서는 오히려 앞서는 성적표를 받으며 주목받고 있다. 지식 커버리지를 일부 양보하는 대신, ‘작고 강한’ 실용 노선을 분명히 선택한 모델이다.
무엇이 Inkling-Small인가
Inkling-Small은 42개 레이어의 디코더 전용 트랜스포머로, 희소 MoE 피드포워드 백본을 갖췄다. 각 토큰은 256개 전문가 중 6개와 항상 활성화되는 공유 전문가 2개에 라우팅되며, 어텐션은 지역(Local)·전역(Global) 레이어를 섞은 하이브리드 방식으로 구성된다5. 이미지·오디오·텍스트를 별도 인코더 없이 공유 히든 스페이스에서 처리하는 점도 특징이다. 이미지는 계층적 패치 인코더로, 오디오는 dMel 스펙트로그램을 이산 토큰으로 변환해 경량 임베딩 레이어로 투영한다5. 최대 100만 토큰 컨텍스트 윈도우와 가변적 사고 노력(variable thinking effort) 설정을 지원하며1, NVIDIA GB300 NVL72 시스템에서 훈련되었다.
그래서 무엇이 달라졌는가: 추론과 코딩에서 플래그십을 넘다
Inkling-Small의 핵심 반전은 플래그십을 능가하는 추론 성능이다. HLE(Humanity’s Last Exam) 텍스트 전용 평가에서 31.6%를 기록하여 Inkling(29.7%)을 앞질렀고, 사고 예산을 최소에서 최대까지 조절한 테스트-타임 컴퓨트 곡선에서도 Inkling-Small이 항상 Inkling 위에 위치한다1. SWE-Bench Verified 80.2%, GPQA Diamond 89.5%, CritPt 8.3%로 각각 Inkling을 상회한다4.
비결은 사후 훈련 전략에 있다. Inkling-Small은 사전 훈련을 마친 뒤, Inkling을 교사 모델로 삼은 온폴리시 증류(on-policy distillation) 체크포인트에서 출발해 에이전틱 코딩 강화학습(RL)을 2주간 추가로 진행했다1. 큰 모델의 지식을 작은 모델에 증류하고, 실제 환경 피드백으로 보강한 접근이다. 동급 파라미터대와 비교해도 Artificial Analysis 종합 지표 40점으로 DeepSeek V4 Flash(13B 활성)와 동점, MiniMax-M2.7(10B 활성)보다 2점 높다3. 참고로 Inkling은 41점이다.
물론 장점만 있는 것은 아니다. 사실성과 지식 커버리지에서는 Inkling이 여전히 우위를 유지한다. SimpleQA Verified에서 Inkling-Small은 20.6%에 그쳐 Inkling(43.9%)과 격차가 크다4. 지식 기반 질문보다는 추론·코딩에 특화된 프로필로 이해하는 것이 정확하다.
어떻게 활용할 것인가: 단일 GPU로 실행하는 276B 모델
실용성을 한 단계 끌어올린 지점은 배포 옵션이다. Inkling-Small은 Apache 2.0 라이선스로 공개되어 상업적 활용에 제약이 없으며5, BF16, MXFP8, NVFP4 수치 형식을 지원한다5. BF16 체크포인트는 약 600GB VRAM(예: NVIDIA H200 8기)을 요구하지만, NVFP4 양자화 체크포인트는 180GB로 줄어든다. 특히 NVFP4 버전은 NVIDIA B300 GPU 단 1기에서 실행된다1. 싱글 GPU로 276B 모델을 구동할 수 있다는 사실은 개인 개발자나 스타트업에 상당한 의미를 갖는다. 추론·코딩·멀티모달 처리에 충분한 성능을 내면서 진입 장벽을 크게 낮췄기 때문이다.
Inkling-Small은 거대 모델이 아니면 접근할 수 없던 영역을 실용적인 크기로 옮겨온 선택지다. 지식 중심 응답의 정확성이 중요하다면 플래그십이 여전히 적합하지만, 추론과 에이전틱 코딩에 한정된 워크로드라면 Inkling-Small이 더 효율적인 답이 될 수 있다.
1Introducing Inkling-Small - Thinking Machines Lab
2Introducing Inkling-Small - Thinking Machines Lab (파라미터 비교표)
3Inkling Small lands within a point of Inkling on the Artificial Analysis Intelligence Index
4Inkling-Small Model Card - Thinking Machines Lab
5Inkling-Small Model Card - Thinking Machines Lab (Architecture type, License)
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.