텐센트가 33개 언어를 스마트폰에서 오프라인으로 번역할 수 있는 초경량 모델 Hy-MT1.5-1.8B-1.25bit를 공개했다. 모델 크기는 440MB, 안드로이드 데모도 함께 나왔고, 핵심은 "작다"가 아니라 "이제 이 정도면 폰 안에서 실용적으로 돈다"는 점이다.12
이 뉴스가 지금 중요한 이유는, 번역처럼 자주 쓰이고 지연에 민감한 작업에서는 더 큰 클라우드 모델이 항상 더 좋은 답이 아닐 수 있다는 신호이기 때문이다. 연결이 불안정하고, 개인정보가 민감하고, 비용 통제가 필요한 순간에는 "충분히 좋은 온디바이스 AI"가 더 강한 선택이 된다.
진짜 포인트는 모델명이 아니라 오프라인 AI의 복귀다
확인된 사실부터 보자. 이 모델은 원래 FP16 기준 3.3GB 수준인 1.8B 번역 모델을 1.25비트 양자화로 440MB까지 줄였다. 33개 언어, 5개 방언·소수 언어, 1,056개 번역 방향을 지원한다고 공개됐다.23 텐센트는 모바일 CPU용 STQ 커널을 붙여 일반적인 스마트폰에서도 돌아가도록 만들었다고 설명한다.2
여기서 중요한 해석은 성능 숫자보다 "추론 위치"가 바뀌고 있다는 점이다. 번역은 질문 한 번 던지고 길게 사고하는 작업이 아니라, 짧은 텍스트를 빠르게 자주 처리하는 일에 가깝다. 이런 워크로드는 서버 왕복 지연, 네트워크 불안정, API 비용, 데이터 외부 전송 같은 클라우드의 약점이 그대로 드러난다.
실무적으로는 이 차이가 크다. 해외 여행에서는 음영 지역, 비행기, 지하철에서 바로 체감된다. 기업 단말기에서는 메일, 계약서, 고객 메시지를 외부 API로 보내지 않아도 된다. 학교나 현장 조직에서는 와이파이 품질에 관계없이 동일한 경험을 줄 수 있다. "정확도 1~2점 차이"보다 "항상 된다"가 더 중요한 환경이 분명히 있다.
440MB가 더 높은 정확도보다 가치 있을 때
이 모델이 모든 상황에서 클라우드를 이긴다는 뜻은 아니다. 긴 문맥, 전문 도메인, 희귀 언어, 복잡한 표현 보존이 필요한 문서 번역에서는 여전히 대형 클라우드 시스템이 유리할 가능성이 높다. 게다가 "구글 번역보다 낫다" 같은 비교는 공개 벤치마크와 특정 조건에 기반한 주장으로 봐야지, 모든 실제 사용 장면에 그대로 일반화하면 곤란하다.24
하지만 선택 기준을 바꾸면 얘기가 달라진다.
여행자라면 중요한 것은 최고 점수가 아니라 무신호 상태에서 바로 뜨는지다. 보안팀이라면 번역 품질보다 데이터가 기기 밖으로 나가지 않는 구조가 더 중요할 수 있다. 필드 엔지니어, 영업 조직, 공공 현장이라면 네트워크가 끊겨도 동작하는 신뢰성이 더 비싸다.
그래서 더 나은 질문은 "구글 번역보다 좋은가?"가 아니다. 실제로는 다음이 더 중요하다. 첫 실행 시간은 어떤가, 메모리 점유는 감당 가능한가, 오프라인에서 일관되게 동작하는가, 실패할 때 엉뚱한 번역을 내는가 아니면 보수적으로 무너지는가, 내 언어쌍과 내 문서 유형에서 충분한가. 온디바이스 AI는 이제 벤치마크 경쟁이 아니라 운영 조건의 경쟁으로 들어가고 있다.
1.25비트 압축이 번역 밖으로 번질 가능성
기술적으로 확인된 핵심은 Sherry라는 1.25비트 양자화 방식이다. 텐센트 설명에 따르면 4개 가중치 중 3개는 1비트 부호값으로 두고, 1개는 0으로 처리하는 3:4 미세 희소화 방식이다. 그래서 4개 가중치를 5비트에 담아 실효 1.25비트 폭을 만든다.2 여기에 모바일 SIMD 정렬을 고려한 커널을 붙였다.
이게 왜 중요할까. 모델 압축은 오래된 주제지만, 실제 제품에서 의미가 있으려면 "작아졌다"만으로는 부족하다. 하드웨어 친화적이어야 하고, 품질 저하가 예측 가능해야 하며, 특정 작업에서 충분히 쓸 만해야 한다. 번역은 출력 형식이 비교적 명확하고, 태스크가 좁고, 품질 평가도 비교적 쉬워서 이런 압축의 첫 수혜자가 되기 좋다.
반대로 모든 AI가 바로 같은 길을 가기는 어렵다. 장문 추론, 복잡한 도구 사용, 자유도가 큰 생성 작업은 극단적 압축에서 손실이 더 크게 드러날 수 있다. 즉, 다음 물결은 "모든 모델의 초소형화"보다는 번역, 음성 보조, OCR 후처리, 분류, 짧은 요약처럼 과업이 좁고 반복적인 영역에서 먼저 올 가능성이 높다.
결국 이 모델이 던지는 질문은 하나다. 더 큰 모델을 빌려 쓰는 것이 정말 최선인가, 아니면 충분히 좋은 모델을 내 손안에 두는 쪽이 더 나은가. 여행자, 보안 민감 조직, 현장 운영 팀, 엣지 제품을 만드는 개발자라면 이제 이 질문을 다시 해야 한다. 앞으로 봐야 할 신호도 분명하다. 모델 크기보다 시작 속도, 메모리 요구량, 오프라인 강건성, 그리고 압축 후에도 남는 품질의 종류다.
참고
1Tencent's 440 MB AI model translates 33 languages offline on your phone
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.