Mellum2: 큰 모델보다 빠른 코딩 부품에 가까운 LLM

AI 코딩 도구에서 중요한 것은 “가장 큰 모델”만이 아닙니다. IDE 자동완성, 코드 수정 제안, 에이전트의 중간 판단처럼 자주 호출되는 작업에서는 응답 지연과 비용이 사용자 경험을 좌우합니다. JetBrains의 Mellum2는 이 지점을 겨냥한 12B 오픈웨이트 Mixture-of-Experts(MoE) 모델입니다.¹

Mellum2는 무엇을 목표로 하나

Mellum2는 소프트웨어 엔지니어링에 특화된 범용 언어 모델입니다. 이전 Mellum이 코드 완성 중심의 4B dense 모델이었다면, Mellum2는 코드 생성·편집, 디버깅, 다단계 추론, 도구 사용, 함수 호출, 에이전트형 코딩, 대화형 프로그래밍 지원까지 범위를 넓혔습니다.¹

따라서 Mellum2를 볼 때 핵심 질문은 “프런티어 모델을 대체할 수 있는가?”가 아닙니다. 더 실용적인 질문은 “개발 워크플로에서 반복적으로 호출되는 작업을 충분히 빠르고 저렴하게 처리할 수 있는가?”입니다.

12B지만 토큰마다 12B를 쓰지는 않는다

Mellum2의 중심 설계는 MoE 구조입니다. 전체 파라미터 수는 12B지만, 각 토큰을 처리할 때는 그중 2.5B만 활성화합니다.¹ 구체적으로는 64개 expert 중 토큰마다 8개 expert를 선택해 사용합니다.¹

이 구조의 의도는 명확합니다. 모델의 전체 표현력은 키우되, 매번 모든 파라미터를 계산하지 않아 추론 비용을 낮추는 것입니다. AI 코딩 도구처럼 짧은 요청이 자주 발생하는 환경에서는 이런 특성이 특히 중요합니다.

아키텍처는 추론 효율을 전제로 설계됐다

Mellum2의 기술적 선택도 “실제로 자주 돌릴 수 있는가”에 맞춰져 있습니다. 4개의 KV head를 사용하는 Grouped-Query Attention을 채택했고, 네 개 레이어 중 세 개 레이어에는 Sliding Window Attention을 적용했습니다.¹ 이는 긴 문맥 처리와 추론 비용 사이의 균형을 고려한 설계로 볼 수 있습니다.

또 하나의 특징은 단일 Multi-Token Prediction head입니다. 이 head는 보조 사전학습 목표로 쓰이는 동시에, speculative decoding을 위한 내장 draft model 역할도 합니다.¹ 즉, 별도 초소형 draft model을 붙이는 방식이 아니라 모델 내부에 빠른 생성 경로를 마련한 셈입니다.

보고서에 따르면 이러한 아키텍처 선택은 일반 GPU에서의 추론 효율성을 제약 조건으로 두고 ablation을 통해 검증됐습니다.¹ Mellum2가 “큰 모델”보다 “개발 AI 시스템에 넣기 쉬운 부품”처럼 보이는 이유가 여기에 있습니다.

학습도 소프트웨어 엔지니어링에 맞춰졌다

Mellum2는 자연어와 코드 데이터로 처음부터 학습됐으며, 사전학습 규모는 약 10.6조 토큰입니다.¹ 학습 커리큘럼은 3단계로 구성됐고, 데이터 혼합은 다양한 웹 데이터에서 선별된 코드·수학 콘텐츠로 점진적으로 이동합니다.¹

이 방향은 Mellum2의 용도를 분명하게 만듭니다. 단순한 범용 지식 모델이라기보다, 개발자가 실제로 마주치는 코드 이해, 편집, 추론, 도구 사용에 무게를 둔 모델입니다. 학습에는 Muon 옵티마이저와 FP8 하이브리드 정밀도도 사용됐습니다.¹

어디에 쓰면 가치가 큰가

Mellum2는 Apache 2.0 라이선스로 공개됐습니다.¹ 내부 코드나 사내 개발 환경을 외부 API에 그대로 보내기 어려운 팀이라면, 직접 운영 가능성을 검토할 수 있다는 점도 중요합니다.

실제 활용 관점에서는 다음과 같은 반복 작업에 잘 맞습니다.

• IDE 자동완성 및 코드 수정 제안

• 코드 요약과 RAG용 중간 요약

• 에이전트형 코딩에서 하위 작업 처리

• 함수 호출과 도구 사용을 포함한 개발 보조

• 디버깅 과정의 중간 추론

결론적으로 Mellum2는 프런티어 모델을 전면 대체하기 위한 모델이라기보다, 개발 AI 시스템 안에서 자주 호출되는 작업을 빠르게 처리하기 위한 코딩 특화 부품에 가깝습니다. 코딩 AI의 경쟁력은 이제 “어떤 큰 모델 하나를 쓸 것인가”보다 “어떤 작업을 어떤 모델에 맡길 것인가”에 달려 있습니다.

¹[2605.31268] Mellum2 Technical Report