AI 모델 경쟁은 더 이상 “얼마나 똑똑한가”만으로 설명되지 않습니다. 실제 제품에서는 답변 품질만큼이나 얼마나 빨리 생성되는지, 그리고 그 속도가 추가 비용을 정당화하는지가 중요해졌습니다.
샤오미 MiMo 팀과 TileRT가 공개한 MiMo-V2.5-Pro-UltraSpeed는 이 변화에 맞춘 사례입니다. 샤오미는 1조 파라미터급 MiMo-V2.5-Pro를 단일 8-GPU 범용 노드에서 초당 1000개 이상 토큰으로 디코딩했다고 밝혔습니다.1 핵심은 “새로운 대형 모델”이라기보다, 큰 모델을 더 빠르게 쓰기 위한 고속 서빙 모드라는 점입니다.
UltraSpeed는 모델이 아니라 서빙 방식이다
MiMo-V2.5-Pro는 1.02T 총 파라미터와 42B 활성 파라미터를 가진 MoE 모델입니다.2 MoE는 여러 전문가 네트워크 중 일부만 활성화해, 큰 모델 용량을 유지하면서 실제 계산량을 줄이는 구조입니다.
UltraSpeed는 이 MiMo-V2.5-Pro를 더 빠르게 생성하도록 제공하는 API형 서빙 옵션입니다. 샤오미는 UltraSpeed API가 MiMo-V2.5-Pro 대비 약 10배의 생성 속도를 제공하며, 한정 프로모션 요금은 3배라고 설명했습니다.1
따라서 평가는 단순히 “토큰당 가격이 비싼가”에서 끝나지 않습니다. 같은 시간에 더 많은 후보 답안을 생성하거나, 코딩 에이전트의 대기 시간을 줄이거나, 사용자 인터랙션을 더 빠르게 만들 수 있다면 비용 대비 효용은 달라질 수 있습니다.
1000 TPS가 중요한 이유
초당 1000토큰은 단순히 답변이 빨라진다는 뜻을 넘어섭니다. 긴 코드 생성, 다중 후보 생성, 반복적인 에이전트 작업처럼 생성 시간이 병목이 되는 업무에서는 제품 설계 자체가 달라질 수 있습니다.
예를 들어 응답이 느리면 사용자는 한 번의 긴 결과를 기다려야 합니다. 반대로 생성 속도가 충분히 빠르면 여러 초안을 비교하거나, 중간 결과를 빠르게 수정하거나, 에이전트가 더 많은 시도를 하도록 설계할 수 있습니다. 즉 UltraSpeed의 가치는 모델 성능표보다 지연 시간과 처리량이 실제 워크플로를 어떻게 바꾸는가에서 판단해야 합니다.
기술적으로는 MoE Expert에 FP4 양자화를 적용해 메모리 부담을 낮추고, DFlash라는 추측 디코딩으로 여러 토큰을 예측·검증합니다.1 추측 디코딩은 초안 생성 과정을 활용해 큰 모델이 여러 토큰을 한 번에 확인하도록 만드는 방식입니다. 여기에 TileRT의 저지연 커널과 실행 엔진이 결합됐습니다.1
주목할 부분은 이 결과가 특수 가속기 전용 시연이 아니라, 단일 8-GPU 범용 노드에서 모델과 시스템을 함께 최적화해 달성됐다는 점입니다.
이용 조건: 제한적 API 체험
MiMo-V2.5-Pro-UltraSpeed는 API 전용으로 제공되며 Token Plan은 지원하지 않습니다.1 현재는 누구나 즉시 쓰는 정식 공개 서비스라기보다, 제한된 체험과 승인 절차가 있는 형태에 가깝습니다.
체험 기간은 2026년 6월 9일부터 6월 23일 23시 59분까지이며, 기준 시간대는 베이징 시간 UTC+8입니다.1 API 신청은 platform.xiaomimimo.com/ultraspeed에서 받습니다. 다만 신청 제출이 승인을 보장하지는 않으며, 샤오미는 실제 비즈니스 수요가 있는 기업과 전문 개발자를 우선한다고 밝혔습니다.1
승인된 사용자는 2주 공개 기간 안에서 ultraspeed.xiaomimimo.com을 통해 무료 Chat 체험도 사용할 수 있습니다.1
도입 판단 기준은 속도와 비용의 균형이다
MiMo-V2.5-Pro-UltraSpeed가 보여주는 메시지는 명확합니다. 대형 모델의 경쟁력은 모델 크기나 벤치마크 점수만으로 결정되지 않습니다. 실제 서비스에서는 응답 지연 시간, 처리량, 가격, 그리고 단위 시간당 얻을 수 있는 결과 품질을 함께 봐야 합니다.
특히 UltraSpeed처럼 더 빠르지만 더 비싼 옵션은 다음 질문으로 평가하는 것이 실용적입니다.
사용자가 체감하는 대기 시간이 실제로 줄어드는가?
더 빠른 생성 속도가 더 많은 후보 생성이나 자동화 품질 향상으로 이어지는가?
3배 가격이 약 10배 생성 속도에서 충분히 상쇄되는 업무인가?
API 전용 제공 방식과 승인 절차가 현재 제품 일정에 맞는가?
결국 MiMo-V2.5-Pro-UltraSpeed는 “더 큰 모델”의 발표가 아니라, 큰 모델을 실시간에 가깝게 쓰기 위한 서빙 최적화 사례입니다. 앞으로 LLM 도입 판단은 모델 성능표를 넘어, 실제 제품 안에서 속도와 비용이 어떤 가치를 만드는지까지 확장될 것입니다.
1MiMo-V2.5-Pro-UltraSpeed: Pushing 1T-Parameter Model Generation Speed to 1000 TPS
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.