AI 모델의 크기 경쟁은 한동안 ‘더 크게, 더 많이’라는 방향으로 치달았다. 파라미터 수를 늘리고 데이터셋을 키우는 것이 곧 성능 향상이라는 공식이 당연하게 받아들여졌다. 그런데 Thinking Machines는 이 흐름과 정반대의 선택을 했다. 기존 모델보다 훨씬 작으면서도 더 나은 성능을 내는 Inkling Small을 내놓은 것이다.
핵심은 단순하다. 몸집을 키우지 않아도 학습 방식을 바꾸면 더 효율적인 모델을 만들 수 있다는 것. 그리고 이것이 Inkling Small을 지금 주목해야 하는 이유다.
크기는 4분의 1, 성능은 그 이상
Inkling Small은 Mixture-of-Experts(MoE) 트랜스포머로, 전체 파라미터는 2,760억 개지만 실제 추론에 쓰는 활성 파라미터는 120억 개에 불과하다1. 기존 Inkling의 총 파라미터 9,750억 개, 활성 파라미터 410억 개와 비교하면 크기는 약 4분의 1로 줄었다1.
MoE는 모델 내부에 여러 ‘전문가’를 두고 입력에 따라 필요한 전문가만 골라 쓰는 구조다. 덕분에 파라미터 총량은 커 보여도 실제 연산량은 훨씬 적다. 여기까지는 구조의 문제다. 더 흥미로운 지점은 학습 방식에서 드러난다.
Inkling Small은 먼저 만들어진 Inkling을 교사 모델로 삼아 온-폴리시 증류(on-policy distillation)를 진행했다. 이후 2주간 에이전트 코딩 강화 학습을 지속적으로 확장했고1, 이 과정이 성능을 한 단계 끌어올렸다. 그 결과 Humanity’s Last Exam에서 31.6%를 기록하며 Inkling(29.7%)을 넘어섰고, SWE-Bench Verified에서는 80%를 돌파했다1. 크기를 줄였는데도 추론과 에이전트 코딩 벤치마크에서 더 큰 모델을 능가한 셈이다.
성능을 이해하는 새로운 기준: 토큰 효율과 멀티모달
벤치마크 점수 하나만으로는 모델의 실용성을 판단하기 어렵다. 같은 점수를 내더라도 토큰을 얼마나 많이 쓰는지, 즉 비용과 지연 시간이 얼마나 발생하는지가 실제 활용에서는 더 중요하다.
Inkling Small은 ‘가변적 사고 노력(variable thinking effort)’ 기능을 갖췄다1. 사용자가 추론에 쓸 연산량을 직접 조절할 수 있어, 작업 난이도에 따라 비용과 성능을 유연하게 조율할 수 있다. 최대 100만 토큰의 컨텍스트 윈도우도 지원한다1.
효율성 측면에서 이 모델이 보여주는 곡선은 인상적이다. 동급 오픈 웨이트 모델들과 비교했을 때 더 적은 출력 토큰으로 더 높은 성능에 도달하는 파레토 최적선 근처에 위치하며1, 특히 에이전트 도구 사용과 추론 벤치마크에서 그 차이가 두드러진다.
멀티모달 처리도 실용성을 뒷받침하는 요소다. Inkling Small은 텍스트뿐 아니라 음성과 이미지에 대한 네이티브 추론을 지원하며, 인코더 없는 구조로 모달리티를 직접 처리한다1. 음성은 dMel 스펙트로그램으로, 이미지는 40x40 픽셀 패치로 변환해 경량 임베딩 레이어를 통과시킨다2. 별도의 무거운 인코더를 두지 않아 모델 구조가 단순하고 효율적이다.
더 작은 모델이 주는 교훈
Inkling Small은 Apache 2.0 라이선스로 전체 가중치가 공개되며, Thinking Machines의 파인튜닝 플랫폼 Tinker에서 바로 커스터마이징할 수 있다1. 상업적 활용에 제약이 없다는 점 역시 실용성을 높이는 대목이다.
이 모델이 보여주는 방향성은 분명하다. 더 이상 ‘더 큰 모델 = 더 좋은 모델’이라는 공식은 통하지 않는다. 효율적인 아키텍처 설계, 교사 모델을 활용한 증류, 집중적인 강화 학습이라는 세 가지 요소의 조합으로 작은 모델도 큰 모델을 뛰어넘을 수 있다. 앞으로 모델을 평가할 때는 점수뿐 아니라 ‘얼마나 적은 자원으로 이 성능을 냈는지’를 함께 봐야 하는 이유다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.