Stable Audio Open - 오디오 샘플이나 사운드 디자인을 위한 오픈 소스 모델

Stable Audio Open 은 text to audio 모델로 47초 짜리의 음향 효과나 샘플을 생성할 수 있는 오픈 소스 모델입니다. 사용자들은 드럼 비트나, 악기 리프, 주변 소리나 폴리 및 프로덕션 요소를 만들 수 있습니다. 이 모델은 오디오 샘플의 오디오 변경이나 스타일 전이가 가능합니다.

사용자들이 자신만의 오디오 데이터를 통해 미세 조정을 할 수 있습니다. 만약 내 드럼 소리 비트들이 있으면 이를 반영해서 드럼 소리를 생성할 수 있습니다.

데이터는 Freesound와 Free Music Archive의 오디오 데이터를 사용하여 훈련되었습니다.

Hugging Face에서 모델 가중치를 다운로드할 수 있습니다. stabilityai/stable-audio-open-1.0 · Hugging Face

기존 Stable Audio 제품과는 다르게 전체 곡이나 멜로디, 보컬에 최적화되지 않았다고 합니다. Stability AI가 텍스트에서 오디오 사운드를 생성하는 Stable Audio 공개

기존의 Stable Sudio 는 3분까지 전체 곡 생성이 가능한데 상업적으로 사용하려면 유료 플랜을 사용해야 합니다.

간단한 사운드 효과를 만들 때 좋을 것 같습니다.