AI 제품을 만드는 입장에서 가장 답답한 지점은 모델이 "너무 크다"는 사실만이 아닙니다. 더 정확히는 필요한 능력만 골라 쓰기 어렵다는 점입니다. 코드 생성이 핵심인 서비스에도 법률 문서, 일반 상식, 수학, 잡다한 언어 능력이 함께 포장된 거대한 모델을 올려야 하는 경우가 많습니다.
최근 공개된 EMO는 이 문제를 정면으로 겨냥합니다. Allen Institute for AI 쪽 소개에 따르면 EMO는 1B active, 14B total 규모의 MoE 모델로, 전체 전문가 중 일부만 남겨도 성능 저하를 작게 유지하도록 사전학습된 모델입니다1. 중요한 점은 "더 빠른 MoE"라기보다, AI 능력을 더 작은 배포 단위로 나눌 수 있는 가능성을 보여준다는 데 있습니다.
문제는 모델 크기가 아니라 '능력의 포장 방식'이다
MoE, 즉 Mixture of Experts는 이미 낯선 구조가 아닙니다. 여러 전문가 네트워크를 두고 입력마다 일부 전문가만 활성화해 계산량을 줄이는 방식입니다. 예컨대 Mixtral 8x7B처럼 전체 파라미터는 크지만 토큰당 일부 전문가만 쓰는 구조가 대표적입니다. NVIDIA의 설명처럼 이런 sparse MoE는 모델 용량을 키우면서도 토큰당 계산량을 제한하는 장점이 있습니다2.
하지만 여기에는 자주 오해되는 지점이 있습니다. "일부 전문가만 활성화된다"는 말이 곧 "그 전문가만 떼어내 독립적으로 쓸 수 있다"는 뜻은 아닙니다.
기존 MoE에서는 한 문장 안에서도 토큰마다 다른 전문가를 부릅니다. 어떤 전문가는 구두점이나 전치사 같은 낮은 수준의 패턴에 반응하고, 어떤 전문가는 특정 표현에 자주 쓰일 수 있습니다. 그래서 코드 작업만 한다고 해서 코드 전문가 몇 개만 남겨 안정적으로 돌릴 수 있는 구조가 자동으로 생기지는 않습니다.
실무적으로 이는 큰 차이입니다. 일반 MoE는 추론 연산을 줄일 수는 있어도, 배포 메모리·도메인별 가격 책정·감사 가능한 능력 분리까지 곧장 해결해주지는 못합니다.
EMO의 핵심은 토큰이 아니라 문서 단위의 일관성이다
EMO가 바꾼 부분은 라우팅의 단위입니다. 일반 MoE가 각 토큰을 비교적 독립적으로 전문가에게 보내는 데 비해, EMO는 같은 문서 안의 토큰들이 공유된 전문가 풀 안에서 선택하도록 제약합니다. 전제는 단순합니다. 한 문서 안의 토큰들은 대체로 같은 도메인에 속한다는 것입니다.
이 방식은 사람이 "이건 수학, 이건 코드, 이건 바이오"라고 라벨을 붙이지 않아도 됩니다. 문서 경계만 약한 신호로 사용해, 비슷한 문서들이 비슷한 전문가 묶음을 쓰도록 유도합니다. 논문은 이 제약을 통해 EMO의 전문가들이 표면적 문법보다 수학·코드 같은 의미적 도메인 수준으로 더 잘 묶인다고 보고합니다3.
수치도 흥미롭습니다. EMO는 1조 토큰으로 사전학습됐고, 전체 전문가의 25%만 유지했을 때 약 1%p, 12.5%만 유지했을 때 약 3%p의 절대 성능 하락을 보였다고 보고됩니다. 반면 같은 구조의 표준 MoE는 같은 조건에서 크게 무너졌습니다3.
다만 이 결과를 "이제 전문가를 마음대로 플러그인처럼 꽂으면 된다"로 읽으면 과합니다. 확인된 것은 특정 규모와 벤치마크에서 선택적 전문가 사용이 훨씬 견고해졌다는 점입니다. 해석은 그 다음입니다. EMO는 MoE 내부 구조를 인프라 최적화 장치에서 제품 설계 단위로 끌어올릴 수 있는 후보를 보여준 것입니다.
모듈형 전문가가 실제 제품을 바꿀 수 있는 지점
만약 EMO식 모듈성이 더 큰 모델과 다양한 업무에서도 반복된다면, 제품 설계는 꽤 달라질 수 있습니다.
코드 중심 IDE 보조 도구는 전체 범용 모델 대신 코드 관련 전문가 묶음을 우선 배포할 수 있습니다. 사내 문서 검색·요약 시스템은 법무, 재무, 기술 문서에 맞는 전문가 조합을 구성할 수 있습니다. 민감 데이터 처리에서는 어떤 전문가 묶음이 특정 도메인 입력을 주로 처리하는지 관찰해 감사 단위를 더 작게 만들 수도 있습니다.
가격 모델도 바뀔 수 있습니다. 지금은 대체로 모델 호출량, 토큰 수, 지연 시간 기준으로 과금합니다. 하지만 전문가 묶음이 안정적으로 벤치마크되고 교체 가능해지면 "코드 전문가 팩", "수학 추론 팩", "사내 문서 팩" 같은 능력 기반 과금도 상상할 수 있습니다.
물론 반론도 분명합니다. 모듈성이 강해질수록 전체 모델의 유연성이 떨어질 수 있고, 전문가 선택을 위한 검증 데이터가 필요합니다. 또한 전문가를 줄여도 공통 레이어, 라우터, 서빙 프레임워크 비용은 남습니다. MoE는 로드 밸런싱과 통신 비용 문제도 안고 있으며, 기존 연구와 실무 글들이 반복해서 지적하듯 특정 전문가 쏠림은 학습 안정성과 서빙 효율을 동시에 흔들 수 있습니다2.
지금 봐야 할 질문: 전문가는 부품이 될까, 내부 구현으로 남을까
EMO를 평가할 때 핵심 질문은 하나입니다. 전문가가 정말 제품 단위의 "부품"이 될 수 있는가, 아니면 여전히 모델 제공자 내부의 최적화 기법으로 남을 것인가.
판단 기준은 세 가지입니다.
첫째, 전문가 부분집합이 도메인별로 반복 가능하게 선택되는가. 둘째, 그 부분집합의 성능을 독립적으로 벤치마크할 수 있는가. 셋째, 여러 전문가 묶음을 합성했을 때 예측 불가능한 간섭이 줄어드는가.
사전학습 트랜스포머 안에서 기능적 모듈성이 나타난다는 관찰은 이전 연구에서도 보고된 바 있습니다4. EMO의 차별점은 그 현상을 분석 대상으로만 두지 않고, 처음부터 배포 가능한 구조로 유도하려 한다는 데 있습니다.
따라서 지금 당장 모든 팀이 EMO류 모델로 갈아탈 이유는 없습니다. 하지만 온프레미스 배포, 도메인별 비용 최적화, 규제 산업의 감사 가능성, 여러 전문 능력을 조합하는 엔터프라이즈 AI를 고민하는 팀이라면 이 흐름을 봐야 합니다. 앞으로의 경쟁은 "누가 더 큰 하나의 두뇌를 만들었는가"뿐 아니라, "그 두뇌를 얼마나 잘 나눠 팔고, 검증하고, 배치할 수 있는가"로 옮겨갈 수 있습니다.
참고
1EMO: Pretraining mixture of experts for emergent modularity
2LLM 아키텍처에 Mixture of Experts(MoE)를 활용하기
3[2605.06663] EMO: Pretraining Mixture of Experts for Emergent Modularity
4Emergent Modularity in Pre-trained Transformers - ACL Anthology
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.