Meta의 MusicGen - 텍스트로 음악 만들기

메타에서 텍스트로 음악을 만들 수 있는 인공지능을 발표했네요.

모델은 약 2만개의 음악으로 훈련되었다고 합니다. 코드는 github를 통해 공개했고 허깅 페이스를 통해 데모를 사용할 수 있습니다.

• MusicGen 깃허브 : GitHub - facebookresearch/audiocraft: Audiocraft is a library for audio processing and generation with deep learning. It features the state-of-the-art EnCodec audio compressor / tokenizer, along with MusicGen, a simple and controllable music generation LM with textual and melodic conditioning.

• 허깅 페이스 스페이스 : MusicGen - a Hugging Face Space by facebook

허깅 페이스 스페이스에서 데모를 사용해 보세요. 현재 생성에는 약 90초가 걸리고 15초짜리 음악을 만들어 줍니다.

4개의 모델을 제공한다고 합니다.

• small : 300M 모델

• medium : 1.5B 모델

• melody : 1.5B 모델

• large : 3.3B 모델

B는 토큰의 개수를 이야기하는 것 같습니다. melody 버전은 text + 음악을 기반으로 음악을 생성할 수 있습니다. medium 기준 로컬에서 돌리려면 16GB GPU 메모리가 필요하다고 합니다.

허깅 페이스 스페이스에서 데모를 돌려본 모습. 15초짜리 음악을 꽤 잘 생성한다.