AI 모델 경쟁의 기준이 바뀌고 있습니다. 이제 핵심 질문은 “파라미터가 몇 개인가”에 그치지 않습니다. 실제 추론에서 얼마나 많은 자원을 쓰는지, 긴 작업을 얼마나 안정적으로 처리하는지, 제품 환경에 적용하기 쉬운지가 더 중요해지고 있습니다.
Tencent Hy3는 이 변화를 잘 보여주는 모델입니다. Hy3는 Tencent Hy 팀이 개발한 총 2,950억 파라미터 규모의 Mixture-of-Experts(MoE) 모델입니다.1 전체 규모는 크지만, 한 번의 추론에서 활성화되는 파라미터는 210억 개이며 여기에 추가 MTP 레이어 38억 개 파라미터가 사용됩니다.1
즉 Hy3의 핵심은 “얼마나 큰가”보다 “필요할 때 얼마나 효율적으로 쓰는가”에 있습니다.
전체 파라미터와 활성 파라미터를 나눠 봐야 하는 이유
MoE 모델을 볼 때는 총 파라미터 수만 보면 안 됩니다. MoE는 여러 전문가 모듈을 두고, 매번 모든 파라미터를 쓰는 대신 필요한 일부를 활성화하는 구조입니다. 그래서 총 파라미터 수는 모델의 잠재적 용량을 보여주고, 활성 파라미터 수는 실제 추론 비용을 이해하는 데 더 직접적인 기준이 됩니다.
Hy3는 이 구분을 분명히 보여줍니다. 총 2,950억 파라미터라는 대형 모델이지만, 실제 실행 시 활성화되는 기본 파라미터는 210억 개입니다.1 이는 대형 모델의 표현력을 확보하면서도 추론 비용을 관리하려는 설계로 볼 수 있습니다.
세부 구조도 이 방향을 뒷받침합니다. Hy3는 MTP 레이어를 제외하고 80개 레이어를 갖고, MTP 레이어는 1개입니다.1 어텐션 헤드는 64개이며, GQA 구조에서 KV 헤드 8개와 헤드 차원 128을 사용합니다.1 히든 사이즈는 4096, 인터미디어트 사이즈는 13312, 어휘 크기는 120832입니다.1
정리하면 Hy3는 작은 모델이 아닙니다. 다만 큰 전체 용량을 두고도 실제 추론에서는 일부만 활성화해 비용 효율을 높이도록 설계된 모델입니다.
제품 피드백을 반영한 실용형 모델
Hy3에서 주목할 또 하나의 지점은 개발 과정입니다. Tencent는 4월 말 Hy3 Preview를 출시한 뒤 50개 이상의 제품 피드백을 반영했다고 설명합니다.1 이후 사후학습 데이터의 품질과 다양성을 높이고, 강화학습 규모도 확대했습니다.1
이 점은 에이전트 모델을 평가할 때 중요합니다. 에이전트 환경에서는 단순히 답변을 잘 생성하는 것만으로 충분하지 않습니다. 사용자의 의도를 긴 흐름에서 유지하고, 작업 지시를 안정적으로 따르며, 코딩·문서 작업·업무 자동화처럼 실제 생산성 작업에서 일관되게 동작해야 합니다.
Tencent는 Hy3가 코딩, 오피스 업무, 금융 모델링, 프론트엔드 디자인, 게임 개발 같은 생산성 작업에서 개선됐다고 밝힙니다.1 이는 Hy3가 벤치마크용 모델이라기보다 실제 제품 적용을 염두에 둔 모델이라는 점을 보여줍니다.
긴 컨텍스트는 어디에 유용한가
Hy3는 최대 256,000토큰의 컨텍스트 길이를 처리합니다.1 긴 컨텍스트는 단순히 “더 긴 글을 넣을 수 있다”는 의미를 넘어섭니다.
예를 들어 긴 문서 묶음을 함께 분석하거나, 여러 단계의 작업 지시를 유지하거나, 에이전트가 이전 결정과 현재 목표를 함께 참고해야 할 때 컨텍스트 길이는 실용성을 크게 좌우합니다. 특히 기업 환경에서는 문서, 코드, 정책, 대화 이력처럼 한 번에 고려해야 할 정보가 많기 때문에 긴 컨텍스트 지원은 중요한 판단 기준이 됩니다.
다만 긴 컨텍스트를 지원한다는 사실만으로 충분하지는 않습니다. 실제 선택 단계에서는 긴 입력에서의 응답 품질, 비용, 지연 시간, 작업 안정성을 함께 확인해야 합니다.
오픈소스 공개가 주는 의미
Hy3는 Apache 2.0 라이선스로 공개됐으며 Hugging Face, ModelScope, GitHub에서 제공됩니다.1 상업적 활용에 비교적 유리한 라이선스로 공개됐다는 점은 기업과 개발자에게 실질적인 의미가 있습니다.
오픈 모델을 평가할 때는 성능표만 볼 것이 아니라 다음 기준을 함께 봐야 합니다.
실제 추론 시 활성 파라미터 규모
긴 컨텍스트 처리 품질
제품 작업에서의 안정성
배포와 운영 비용
라이선스와 상업적 활용 가능성
Hy3의 의미는 “Tencent가 또 하나의 대형 모델을 출시했다”는 데 있지 않습니다. 더 중요한 점은 큰 총량, 제한된 활성량, 제품 피드백 기반 개선, 긴 컨텍스트, 오픈 라이선스를 결합한 실용형 MoE 모델이 등장했다는 것입니다.
앞으로 모델을 고를 때는 총 파라미터 수보다 실제 작업당 비용과 안정성을 먼저 봐야 합니다. Hy3는 그런 평가 기준이 점점 더 중요해지고 있음을 보여주는 사례입니다.
참고
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.