메이투안은 6월 30일 LongCat-2.0을 발표했고, 외부 오픈소스로 공개할 계획이라고 밝혔다.1 LongCat-2.0은 총 1.6조 개 파라미터를 가진 Mixture-of-Experts(MoE) 모델이다. 다만 이 모델을 볼 때 중요한 지점은 단순한 총 파라미터 수가 아니다. MoE는 모든 파라미터를 매번 계산하지 않고, 토큰마다 필요한 전문가 일부만 활성화한다.
LongCat-2.0도 토큰별 활성 파라미터 수가 330억~560억 개 사이에서 동적으로 바뀌며, 평균적으로 약 480억 개를 사용한다.1 즉 “얼마나 큰가”보다 “큰 모델을 얼마나 효율적으로 실행하는가”가 핵심이다.
긴 컨텍스트는 에이전트 워크플로를 바꾼다
LongCat-2.0은 LongCat Sparse Attention을 기반으로 기본 100만 토큰 컨텍스트를 지원한다.2 이는 긴 문서를 한 번에 넣을 수 있다는 의미를 넘어선다. 코드 에이전트 관점에서는 저장소 전체, 문서, 이슈, 실행 로그처럼 서로 떨어져 있는 정보를 한 맥락에서 다룰 수 있다는 점이 더 중요하다.
문제는 긴 컨텍스트가 곧바로 높은 계산 비용으로 이어질 수 있다는 것이다. LongCat Sparse Attention은 모든 토큰을 동일하게 처리하지 않고 중요한 토큰을 선별하며, 여러 층에서 인덱싱 비용을 분산하고, coarse-to-fine 방식으로 후보를 좁힌다.2 긴 입력을 다루되 계산량 증가를 통제하려는 설계다.
따라서 1M 컨텍스트는 단순한 스펙 경쟁이 아니라, 실제 에이전트가 더 넓은 작업 환경을 안정적으로 참조할 수 있는지를 가르는 기능으로 봐야 한다.
희소 계산과 대체 인프라가 함께 등장했다
LongCat-2.0의 또 다른 특징은 학습과 추론이 중국산 연산 클러스터에서 end-to-end로 진행됐다는 점이다. LongCat 팀은 2023년부터 중국산 AI 연산 인프라 실험을 시작했고, 3년 동안 1천 카드 규모에서 5만 카드 규모 클러스터로 확장했다고 설명했다.1 LongCat-2.0은 이 5만 카드 규모의 중국산 연산 클러스터에서 전체 학습과 추론을 완료한 모델로 소개됐다.1
이는 단순히 “어떤 하드웨어를 썼다”는 뉴스가 아니다. 대규모 모델 학습과 서빙이 특정 GPU 생태계에만 의존하지 않을 가능성을 보여주는 사례다. 물론 이런 전환은 모델 구조만으로 해결되지 않는다. 연산자 최적화, 통신 안정성, 장애 복구, 분산 학습 운영 같은 시스템 기술이 함께 뒷받침돼야 한다.
데이터와 학습 규모를 함께 봐야 한다
공식 기술 글은 LongCat-2.0의 사전학습 데이터가 30조 토큰을 넘으며, 중국어·영어·다국어·코드 데이터를 포함한다고 설명했다.1 공개 저장소는 사전학습 규모를 35조 토큰 이상, 학습량을 수백만 accelerator-day 규모로 소개한다.2
이 수치는 LongCat-2.0을 평가할 때 벤치마크 점수만 보면 부족하다는 뜻이기도 하다. 총 파라미터 수, 활성 파라미터 수, 컨텍스트 길이, 데이터 구성, 학습 인프라가 함께 맞물려야 실제 활용 가능성을 판단할 수 있다.
개발자와 조직이 확인할 기준은 명확하다.
1M 컨텍스트가 실제 코드·문서·로그 기반 워크플로에서 안정적으로 작동하는가
오픈소스 공개 범위와 라이선스가 실사용에 충분한가
GPU·NPU 등 서빙 경로가 조직의 기존 인프라와 맞는가
긴 컨텍스트와 MoE 구조가 비용 대비 충분한 성능 이점을 제공하는가
LongCat-2.0의 의미는 “가장 큰 모델”이라는 데 있지 않다. 긴 컨텍스트, 희소 계산, 대체 하드웨어 기반 학습·추론이 하나의 제품형 모델 안에서 결합됐다는 점에 있다. 앞으로 비슷한 모델을 평가할 때도 숫자의 크기보다, 그 숫자가 실제 워크플로와 인프라에서 실행 가능한지부터 봐야 한다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.