AI 모델 경쟁은 오랫동안 더 많은 파라미터, 더 많은 데이터, 더 큰 연산 자원을 향해 움직였습니다. HRM-Text가 눈길을 끄는 이유는 이 흐름과 다른 질문을 던지기 때문입니다. 모델을 무조건 키우는 대신, 출력 전에 내부에서 더 많이 추론하도록 만들면 어떨까?
HRM-Text는 Sapient Intelligence가 공개한 약 10억 파라미터 규모의 추론 언어 모델입니다. FLAN, SYNTH, Platypus 데이터셋의 약 400억 구조화 토큰으로 학습됐으며, 회사는 비교 대상 시스템보다 최대 1000분의 1 수준의 데이터로 경쟁력 있는 결과를 냈다고 설명합니다.1
HRM-Text의 핵심: 출력보다 먼저 내부 추론
일반적인 트랜스포머 기반 언어 모델은 입력을 받은 뒤 여러 층을 한 번 통과하며 다음 토큰을 예측합니다. HRM-Text는 이와 달리 표준적인 단일 순전파 스택만 사용하지 않습니다. 두 개의 스택이 연속 잠재공간에서 중첩 순환하며, 답을 생성하기 전에 내부 추론 단계를 수행하도록 설계됐습니다.1
즉, HRM-Text는 긴 추론 문장을 밖으로 계속 생성하는 방식보다, 모델 내부의 잠재공간에서 먼저 계산하고 정리한 뒤 답을 내는 접근에 가깝습니다. 이 구조는 추론과 언어 생성을 분리하려는 시도로 볼 수 있습니다.
구체적으로 각 forward pass에는 8개의 내부 순환 단계가 포함됩니다. 이 단계는 2개의 고수준 업데이트와 6개의 저수준 업데이트로 구성됩니다.1 중요한 점은 모델 크기를 계속 늘리는 대신, 토큰당 계산량을 늘려 더 깊은 추론 과정을 만들려 한다는 것입니다.
왜 데이터 효율이 중요한가
HRM-Text가 강조하는 또 다른 차이는 학습 방식입니다. 현재 많은 LLM은 다음 토큰 예측을 중심으로 학습됩니다. 반면 HRM-Text는 수학, 논리, 일반 지식의 구조화 과제에서 유사성과 패턴을 직접 학습하도록 구성된 과제 완료형 학습 접근을 채택했다고 설명됩니다.1
이 차이는 단순한 학습 데이터 형식의 문제가 아닙니다. 많은 텍스트를 보고 말의 흐름을 예측하는 능력보다, 문제의 구조를 파악하고 풀어내는 능력에 더 직접적으로 초점을 맞춘다는 뜻입니다. 그래서 HRM-Text의 주장은 “작은 모델도 충분하다”가 아니라, 무엇을 학습시키고 내부에서 어떻게 계산하게 하느냐가 중요하다는 쪽에 가깝습니다.
공개된 설명에 따르면 HRM-Text의 전체 학습은 약 1,000달러 비용으로 하루 안에 완료될 수 있다고 소개됐습니다.1 이 수치가 의미하는 바도 단순한 비용 절감에 그치지 않습니다. 모델 개발의 경쟁력이 데이터와 GPU 규모에만 묶이지 않을 가능성을 보여준다는 점에서 중요합니다.
지금은 대체재보다 새로운 판단 기준
공개된 성능 수치도 참고할 만합니다. HRM-Text는 MATH 56.2%, ARC-Challenge 81.9%, DROP 82.2%, MMLU 60.7%를 기록했다고 소개됐습니다.2 또한 int4 양자화 기준 약 0.6GiB 규모로, 온디바이스 실행 가능성도 강조됩니다.2
다만 이 결과를 곧바로 “거대 LLM의 대체재”로 해석하기는 이릅니다. Sapient의 자체 설명에서도 HRM-Text는 후처리 없는 proof-of-concept 모델로 제시됩니다.2 따라서 현재의 의미는 특정 제품을 당장 대체한다기보다, “성능 향상은 규모 확장만으로 가능한가?”라는 질문에 대한 실험적 반례에 있습니다.
HRM-Text가 주는 실용적인 교훈은 분명합니다. 앞으로 AI 모델을 평가할 때는 파라미터 수나 학습 토큰 수만 볼 것이 아니라, 내부 계산 구조, 학습 목표, 추론 방식, 배포 비용을 함께 봐야 합니다. 작은 모델이 중요한 이유는 단지 저렴해서가 아닙니다. 더 적은 자원으로도 다른 방식의 추론 구조를 설계할 수 있다는 가능성을 보여주기 때문입니다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.