음악을 MIDI로 바꾸는 기술은 익숙하지만, 실제 음원을 다루는 순간 난도가 크게 올라갑니다. 피아노 독주처럼 소리가 분리된 경우와 달리, 상업 음원은 보컬, 드럼, 베이스, 기타, 키보드가 한 믹스 안에 겹쳐 있고 이펙트까지 더해져 있습니다.
MuScriptor는 바로 이 문제를 겨냥합니다. Kyutai와 Mirelo가 공개한 오픈 웨이트 decoder-only Transformer로, 실제 음악 믹스를 입력받아 다중 악기를 MIDI로 전사하는 모델입니다.1 논문은 2026년 7월 9일 arXiv에 제출됐으며, 분류는 Sound(cs.SD)와 Machine Learning(cs.LG)입니다.1
MuScriptor가 바꾸려는 대상: 분리된 음원이 아니라 전체 믹스
MuScriptor의 핵심은 “풀 믹스 전사”입니다. WAV나 MP3 같은 완성된 음악 파일을 입력으로 받아, 그 안에 들어 있는 여러 악기의 연주 정보를 MIDI로 변환하는 것이 목표입니다.2
출력도 단순한 하나의 MIDI 파일에 그치지 않습니다. Mirelo의 오디오-to-MIDI 도구는 전체 믹스를 입력으로 받고, 결과를 악기별로 분리된 MIDI 트랙 형태로 제공합니다.2 즉 사용자는 베이스 라인, 드럼 패턴, 키보드 코드처럼 편집 가능한 단위로 음악을 다시 다룰 수 있습니다.
이 점이 중요합니다. MuScriptor는 “음원을 분석한다”는 추상적인 기능보다, 실제 작업자가 쓸 수 있는 형태의 결과물—악기별 MIDI—를 지향합니다.
기술보다 먼저 봐야 할 것은 데이터 전략이다
다중 악기 전사가 어려운 이유는 모델 구조만으로 설명되지 않습니다. 합성 MIDI 데이터는 대량으로 만들 수 있지만, 실제 녹음의 질감, 믹싱, 연주 편차, 악기 겹침을 충분히 반영하기 어렵습니다. 그래서 합성 데이터에서 잘 작동하는 모델도 실제 노래에서는 음을 놓치거나 존재하지 않는 음을 만들어낼 수 있습니다.
MuScriptor는 이 간극을 줄이기 위해 145만 개의 합성 MIDI로 사전학습하고, 17만 개의 실제 녹음으로 미세조정한 뒤, 300개 고품질 전사 데이터로 강화학습 후처리를 거칩니다.3 Kyutai는 실제 데이터 미세조정이 여러 지표를 약 20포인트 끌어올렸다고 설명합니다.3
여기서 얻을 수 있는 실용적인 판단 기준은 분명합니다. 음악 전사 모델을 볼 때는 모델 크기나 구조만 볼 것이 아니라, 실제 녹음 데이터가 얼마나 반영됐는지 확인해야 합니다. 풀 믹스 전사에서는 “그럴듯한 MIDI”보다 “실제 음원에서 버티는 데이터”가 성능을 가릅니다.
사용자가 전사 범위를 조절할 수 있다는 점
MuScriptor는 악기 존재 여부를 조건으로 줄 수 있습니다.1 예를 들어 곡 전체에서 피아노와 드럼만 전사하도록 지정하는 식입니다.
이 기능은 단순한 옵션이 아닙니다. 다중 악기 전사에서는 모델이 악기를 잘못 식별하거나, 곡의 구간마다 악기명이 흔들릴 수 있습니다. 사용자가 “어떤 악기를 찾을지”를 알려주면 결과 범위를 좁히고 불필요한 추정을 줄일 수 있습니다. 실제 편곡이나 카피 작업에서는 이런 조건화가 결과를 검토하는 시간을 줄이는 데 도움이 됩니다.
벤치마크는 긍정적이지만, 완성된 악보 생성기는 아니다
Kyutai는 자체 테스트셋에서 MuScriptor가 YourMT3+보다 Onset F1, Frame F1, Offset F1 등 주요 지표에서 앞섰다고 공개했습니다.3 이는 풀 믹스 기반 다중 악기 전사에서 MuScriptor가 경쟁력 있는 성능을 보였다는 의미입니다.
다만 한계도 남아 있습니다. 예를 들어 같은 악기의 같은 음이 겹치는 상황을 표현하지 못하는 문제가 언급됩니다.3 따라서 MuScriptor를 “완성된 악보를 자동 생성하는 도구”로 보기보다는, 풀 믹스를 편집 가능한 MIDI 초안으로 바꾸는 강력한 출발점으로 보는 편이 정확합니다.
MuScriptor를 어떻게 이해하고 활용할 것인가
MuScriptor의 의미는 “AI가 음악을 더 잘 듣는다”는 말보다 구체적입니다. 완성된 음악 믹스를 악기별 MIDI 트랙으로 바꾸는 오픈 웨이트 기반 모델이 등장했다는 점이 핵심입니다.
음악가에게는 카피, 편곡, 리믹스, 연습 자료 제작의 출발점이 될 수 있습니다. 연구자에게는 실제 음악 믹스를 대상으로 한 다중 악기 전사 모델을 실험하고 비교할 수 있는 기반이 됩니다.
결국 MuScriptor가 보여주는 방향은 명확합니다. 음악 AI의 다음 과제는 깨끗하게 분리된 입력을 처리하는 것이 아니라, 우리가 실제로 듣는 복잡한 믹스를 얼마나 편집 가능한 형태로 되돌릴 수 있느냐입니다.
1[2607.08168] MuScriptor: An Open Model for Multi-Instrument Music Transcription
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.