MiniMax-Music3: 긴 곡의 구조와 음향을 함께 설계하는 방식
AI 음악 생성에서 어려운 문제는 짧은 구간의 음질보다 곡 전체의 일관성이다. 도입부의 분위기와 보컬 정체성이 후렴까지 이어지고, 구간별 악기 구성이 자연스럽게 변해야 하나의 완성된 곡처럼 들린다.
MiniMax가 공개한 오픈 웨이트 텍스트-투-뮤직 모델 MiniMax-Music3는 장기 구조와 세부 음향을 나눠 처리함으로써 이 문제에 접근한다. 섹션 태그가 포함된 가사와 구조화된 캡션을 입력받아 단일 패스로 최대 5분 길이의 곡을 생성하며, 결과는 32kHz·16비트 스테레오 WAV로 출력된다.1
가사와 편곡 정보를 구조화해 입력한다
가사에는 [Verse], [Chorus], [Bridge] 같은 태그를 사용해 곡의 진행 순서를 지정한다. 별도의 구조화된 캡션에는 장르, BPM, 조성, 감정 변화, 보컬 성향, 악기 구성과 구간별 편곡을 기술할 수 있다.1
이 방식은 “록 음악으로 만들어줘” 같은 단일 지시보다 구체적이다. 예를 들어 후렴에서 드럼을 강조하거나 브리지에서 악기 수를 줄이는 등 시간에 따른 변화를 요청할 수 있다. 다만 이러한 입력은 생성 방향을 유도하는 조건이며, 템포·조성·악기 구성을 항상 정확하게 보장하는 것은 아니다.1
장기 구조와 프레임별 음향을 분담한다
MiniMax-Music3의 계층형 자기회귀 구조는 80억 파라미터 Global LLM과 6억 파라미터 Local LLM으로 구성된다.1
음악은 총 8개 층의 잔차 벡터 양자화(RVQ) 코드로 표현된다. Global LLM은 각 프레임의 첫 번째 RVQ 코드북을 예측하며, 곡의 장기적인 의미와 구조 변화를 모델링한다. 이 의미 코드북은 16,384개 항목으로 구성된다.1
Local LLM은 같은 프레임에서 나머지 7개 코드북을 예측한다. 각 코드북은 1,024개 항목으로 구성되며, 악기 질감과 같은 잔여 음향 세부를 복원하는 역할을 한다.1
토크나이저 학습도 이러한 역할 분담에 맞춰 진행된다. 먼저 의미 코드북을 최적화한 뒤, 8개 코드북 전체를 공동 학습해 구조적 표현과 세부 음향을 연결한다.1
파형 합성에는 연속적인 은닉 상태를 활용한다
최종 파형을 만들 때는 예측한 이산 토큰만 디코딩하지 않는다. Global LLM과 Local LLM의 최종 은닉 상태를 결합해 24억 파라미터 Flow Matching 모듈과 1억2,300만 파라미터 Flow-VAE 디코더에 전달한다.1
이 연속적인 은닉 상태에는 토큰만으로 표현하기 어려운 발음, 악기 질감, 시간적 연속성에 필요한 음향 정보가 담긴다. 즉, 상위 모델은 곡의 흐름을 정하고 하위 모델은 세부 소리를 채우며, 별도의 합성 스택이 이를 실제 파형으로 변환한다.1
실제 평가는 생성 길이보다 통제력이 중요하다
MiniMax-Music3는 ComfyUI와 Diffusers 등을 통해 로컬에서 실행할 수 있다. CUDA가 필요하고 현재 스트리밍 생성은 지원하지 않으며, 곡이 길어질수록 생성 시간과 메모리 부담도 커진다.12
결과를 비교할 때는 최대 5분 생성 여부만 볼 것이 아니라 다음 항목을 확인해야 한다.
보컬의 음색과 정체성이 곡 전체에서 유지되는가
반복되는 후렴의 멜로디와 리듬이 안정적인가
섹션 태그에 맞춰 구간이 자연스럽게 전환되는가
캡션에 지정한 편곡 변화가 실제로 반영되는가
긴 구간에서도 가사 발음과 악기 질감이 무너지지 않는가
요약
MiniMax-Music3의 핵심은 단순히 긴 오디오를 생성하는 데 있지 않다. 곡의 장기 구조와 프레임별 음향을 분리해 모델링하고, 구조화된 입력으로 완성곡의 흐름을 더 구체적으로 유도하려는 접근에 의미가 있다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.