AI 코딩 도구를 만들 때 항상 가장 큰 모델이 필요한 것은 아닙니다. 실제 제품에서는 성능만큼이나 지연 시간, 비용, 배포 통제, 반복 호출 비용이 중요합니다. Mellum2는 이 문제를 겨냥한 오픈웨이트 12B MoE 언어 모델입니다.
핵심은 “12B 모델”이라는 숫자보다, 필요한 순간에 일부 용량만 활성화하는 구조입니다. 이 관점에서 보면 Mellum2는 거대한 범용 모델의 축소판이라기보다, 소프트웨어 엔지니어링 워크플로에 넣기 쉬운 특화 부품에 가깝습니다.
12B지만 매번 12B를 쓰지 않는다
Mellum2는 12B 파라미터 규모의 MoE 언어 모델입니다. MoE는 여러 “전문가” 중 일부만 선택해 사용하는 구조입니다. Mellum2는 토큰마다 2.5B 파라미터만 활성화합니다.1
구체적으로는 64개 전문가 중 8개를 사용합니다.1 전체 모델 용량은 유지하되, 추론 시 실제 계산량을 줄이려는 설계입니다. 따라서 Mellum2를 이해할 때는 “얼마나 큰가”보다 “호출할 때 얼마나 가볍게 쓸 수 있는가”가 더 중요한 판단 기준입니다.
이런 구조는 코딩 도구에 특히 의미가 있습니다. 코드 완성, 편집, 리뷰, 에이전트 루프처럼 모델을 짧고 자주 호출하는 작업에서는 한 번의 최고 성능보다 누적 비용과 응답성이 사용자 경험을 좌우하기 때문입니다.
코드 완성 모델에서 소프트웨어 엔지니어링 모델로
이전 Mellum은 코드 완성 중심의 4B dense 모델이었습니다. Mellum2는 그 후속 모델이지만 범위가 더 넓습니다.1
Mellum2가 겨냥하는 작업은 코드 생성, 코드 편집, 디버깅, 다단계 추론, 도구 사용, 함수 호출, 에이전트형 코딩, 대화형 프로그래밍 지원까지 포함합니다.1 즉 IDE의 자동완성만 담당하는 모델이 아니라, 개발자가 코드를 이해하고 고치고 실행 계획을 세우는 과정 전반에 들어갈 수 있는 모델을 지향합니다.
학습 측면에서도 이 방향이 드러납니다. Mellum2는 약 11T 토큰으로 사전 학습됐고, 이후 SFT와 RLVR 단계가 이어졌습니다.1 RLVR은 검증 가능한 보상을 이용해 모델을 후속 학습하는 방식입니다. 코딩, 수학, 도구 사용처럼 결과를 비교적 명확히 검증할 수 있는 작업과 잘 맞습니다.
공개 체크포인트가 주는 실용적 의미
Mellum2는 base, SFT, RL 계열 체크포인트와 기술 보고서가 공개됐습니다.1 Hugging Face에도 Mellum2-12B-A2.5B-Instruct 체크포인트가 공개되어 있습니다.2
이 공개의 의미는 단순히 “새 코딩 모델이 하나 더 나왔다”가 아닙니다. 개발자는 모델을 직접 호스팅하거나, 내부 코드와 데이터가 외부로 나가지 않는 환경에서 실험할 수 있습니다. 라이선스도 Apache 2.0입니다.1
따라서 Mellum2를 볼 때 핵심 질문은 벤치마크 순위 하나로 끝나지 않습니다. 더 실용적인 질문은 다음에 가깝습니다.
우리 시스템에서 반복 호출되는 코딩 작업을 충분히 낮은 비용으로 처리할 수 있는가?
응답 시간이 중요한 IDE, 에이전트, 코드 리뷰 흐름에 넣을 수 있는가?
내부 코드와 데이터를 통제해야 하는 환경에서 직접 운영할 수 있는가?
큰 범용 모델을 매번 호출하지 않고, 특화 모델로 라우팅할 수 있는가?
Mellum2의 가치는 이 지점에 있습니다. 모든 작업을 하나의 초대형 모델에 맡기는 대신, 소프트웨어 엔지니어링에 맞춘 오픈웨이트 MoE 모델을 필요한 위치에 배치하는 선택지입니다. 개발 AI 시스템을 만든다면 Mellum2는 “가장 큰 모델인가”보다 “반복되는 코딩 작업을 얼마나 현실적인 비용과 지연 시간으로 처리할 수 있는가”라는 기준으로 평가할 만합니다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.