AI 생성 이미지
HRM-Text가 흥미로운 이유는 “작은 모델도 어디까지 갈 수 있나”라는 질문을 다시 던지기 때문입니다. Sapient Intelligence와 MIT가 발표한 HRM-Text는 HRM 아키텍처 기반의 10억 파라미터급 텍스트 생성 모델입니다.1
이 모델의 핵심은 파라미터를 계속 키우는 데 있지 않습니다. HRM은 고수준 모듈과 저수준 모듈이 같은 입력을 반복적으로 처리하는 계층적 순환 구조를 사용합니다. 쉽게 말해, 답을 바로 생성하기보다 내부에서 여러 단계의 계산을 거치도록 설계한 모델입니다.2
HRM-Text가 던지는 질문: 더 큰 모델이 항상 답인가
HRM-Text 1B는 40B 토큰으로 학습됐고, 공개된 성능 수치로는 MMLU 60.7%, GSM8K 84.5%를 기록했습니다.1 이 결과를 “최고 성능 모델을 이겼다”는 식으로 읽으면 핵심을 놓치기 쉽습니다.
더 중요한 메시지는 효율입니다. HRM-Text 저장소는 이 접근이 기존 대비 130~600배 적은 컴퓨트와 150~900배 적은 데이터로 파운데이션 모델을 사전학습하는 것을 목표로 한다고 설명합니다.1 즉 HRM-Text의 가치는 절대 성능만이 아니라, 제한된 규모에서 얼마나 깊은 계산을 끌어낼 수 있는지에 있습니다.
비용 추정도 이 관점을 뒷받침합니다. 저장소 기준으로 HRM-Text XL 1B 실행은 H100 GPU 16개와 2개 노드에서 약 46시간이 걸리며, H100 시간당 2달러를 가정하면 약 1,472달러로 추정됩니다.1 HRM-Text L 0.6B 기준 실행은 H100 GPU 8개에서 약 50시간, 추정 비용 약 800달러입니다.1
구조가 모델의 경쟁력이 된다
HRM-Text 프레임워크는 계층적 순환 아키텍처, PrefixLM 시퀀스 패킹, FlashAttention 3, PyTorch FSDP2를 사용합니다.1 여기서 중요한 포인트는 “구조가 성능의 일부”라는 점입니다.
PrefixLM은 입력 구간을 충분히 활용하면서 출력 구간은 순차적으로 생성하도록 학습하는 방식입니다. 여기에 반복적 추론 구조가 결합되면서, HRM-Text는 단순한 다음 토큰 예측 모델이라기보다 내부 계산 경로를 더 적극적으로 활용하는 방향을 지향합니다.
다만 HRM-Text를 완성형 챗봇으로 이해해서는 안 됩니다. Hugging Face 모델 카드에 따르면 HRM-Text-1B는 사전정렬(pre-alignment) 체크포인트이며, 멀티턴 대화, instruction tuning, RLHF를 거치지 않았습니다.2 실제 서비스형 어시스턴트로 쓰려면 SFT나 RL 같은 후속 정렬 과정이 필요합니다.
적용할 때 확인해야 할 기준
HRM-Text는 “작은 모델 + 반복 추론 + 구조화된 학습” 조합이 의미 있는 성능을 낼 수 있음을 보여줍니다. 특히 수학, 추론, 구조화된 태스크처럼 내부 계산 깊이가 중요한 영역에서 관찰할 가치가 큽니다.
동시에 현실적인 제약도 있습니다. HRM-Text의 어텐션 경로는 FlashAttention 3에 의존하므로 Hopper급 GPU가 예상 학습 대상입니다.1 따라서 누구나 노트북에서 쉽게 재현할 수 있는 모델이라기보다는, 기존 대규모 사전학습보다 낮은 예산으로 실험 가능한 연구 플랫폼에 가깝습니다.
HRM-Text에서 배울 점은 분명합니다. 다음 경쟁은 단순히 모델을 더 크게 만드는 일이 아닐 수 있습니다. 같은 파라미터 안에서 얼마나 깊게 계산하게 만들 것인가가 새로운 설계 축이 되고 있습니다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.