Stable Audio 3는 Stability AI가 공개한 오디오 생성·편집 모델 제품군입니다. 악기 음악과 사운드 효과 생성을 겨냥한 잠재 확산 모델이며, small, medium, large 세 가지 크기로 구성됩니다.1 이 중 small과 medium은 오픈 가중치로 공개됐습니다.
중요한 변화는 단순히 “프롬프트로 음악을 만든다”는 데 있지 않습니다. Stable Audio 3는 원하는 길이의 오디오를 만들고, 기존 오디오의 일부를 고치며, 짧은 녹음을 이어 만드는 제작 흐름까지 염두에 둔 모델입니다. 즉 결과물 하나보다 반복 가능한 오디오 워크플로가 핵심입니다.
원하는 길이로 만드는 오디오 생성
Stable Audio 3는 가변 길이 오디오 생성을 지원합니다.1 짧은 효과음이 필요한데 매번 긴 트랙 전체를 생성할 필요가 없다는 뜻입니다.
이 기능은 실무에서 특히 중요합니다. 게임 효과음, 영상 전환음, 루프 샘플처럼 짧은 소리를 자주 만들고 비교해야 하는 작업에서는 불필요한 생성 시간을 줄이는 것만으로도 생산성이 올라갑니다.
반대로 더 긴 결과물도 다룰 수 있습니다. Stable Audio 3는 몇 분 길이의 오디오 생성도 지원합니다.1 GitHub 문서 기준으로 small은 최대 120초, medium은 최대 380초까지 다루도록 정리돼 있습니다.2
다시 만들지 않고 필요한 부분만 고친다
Stable Audio 3의 또 다른 핵심은 인페인팅입니다.1 인페인팅은 오디오 전체를 새로 생성하는 대신 특정 구간만 다시 만들어 바꾸는 방식입니다.
예를 들어 드럼 필인 몇 초만 바꾸거나, 마음에 드는 짧은 녹음 뒤에 이어질 구간을 생성할 수 있습니다. 이 기능은 생성 모델을 “한 번에 완성본을 뽑는 도구”가 아니라 “제작 과정 중간에 끼워 넣는 편집 도구”로 바꿉니다.
음악 제작이나 영상 사운드 작업에서는 처음부터 완벽한 결과를 얻기보다, 마음에 드는 부분을 남기고 부족한 부분만 수정하는 일이 더 현실적입니다. Stable Audio 3의 인페인팅은 바로 그 반복 작업에 맞춰져 있습니다.
SAME 오토인코더가 효율을 만든다
Stable Audio 3의 잠재 확산 모델은 semantic-acoustic autoencoder 위에서 동작합니다.1 쉽게 말해, 오디오를 압축된 잠재 공간으로 옮긴 뒤 그 공간에서 생성하고 다시 오디오로 복원하는 구조입니다.
이 오토인코더는 확산 기반 생성을 더 효율적으로 만들면서도 오디오 충실도를 보존하도록 설계됐습니다.1 여기에 적대적 사후 학습을 적용해 추론 단계를 줄인 점도 특징입니다.1
이 구조 덕분에 Stable Audio 3는 비교적 접근 가능한 하드웨어에서도 실험할 수 있는 방향을 제시합니다. small은 MacBook Pro M4 CPU에서 실행되며, medium은 8GB VRAM을 갖춘 소비자용 GPU에서 실행됩니다. GitHub 성능표에서도 medium의 피크 VRAM이 최대 약 6.52GB 수준으로 정리돼 있습니다.2
Stable Audio 3에서 봐야 할 것
Stable Audio 3를 볼 때 핵심 질문은 “얼마나 그럴듯한 음악을 만드나”에만 머물면 부족합니다. 더 실용적인 판단 기준은 다음에 가깝습니다.
필요한 길이만큼 만들 수 있는가
마음에 드는 결과물의 일부만 수정할 수 있는가
짧은 소리와 긴 오디오를 모두 다룰 수 있는가
로컬 장비에서도 반복 실험이 가능한가
Stable Audio 3는 오디오 생성 모델의 경쟁이 결과물 품질만이 아니라 제작 흐름으로 이동하고 있음을 보여줍니다. 앞으로 생성형 오디오의 가치는 “한 번에 무엇을 만들 수 있는가”보다 “얼마나 빠르게 만들고, 고치고, 다시 시도할 수 있는가”에서 더 분명해질 가능성이 큽니다.
1Introducing Stable Audio 3 & SAME (Semantically-Aligned Music Autoencoder)
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.