Meta AudioCraft 공개 - 텍스트에서 음악과 사운드를 만들어 내는 인공지능

메타에서 AudioCraft를 공개했습니다. 오디오 크래프트는 텍스트를 입력값으로 받아 오디오와 음악을 생성해 줍니다. 오디오는 일종의 사운드 효과입니다.

이 안에는 MusicGen, AudioGen (sound), EnCodec이 포함되어 있습니다. EncoDec은 일종의 오디오 코덱으로 더 적은 아티팩트로 높은 퀄리티의 음악 생성을 가능하게 한다고 합니다.

연구 목적의 오픈소스로 공개했네요.

구글의 MusicLM이 먼저 나올거라고 생각했는데 메타가 먼저 공개를 해버리네요.

이걸 활용해서 각종 사운드 효과나 광고에 필요한 음악 등을 생성할 수 있을 것으로 보입니다.

인공지능의 원리는 패턴을 학습해서 이를 활용해 새로운 패턴을 만들어 내는 것입니다. 이 경우에는 사운드 효과와 음악의 패턴을 바탕으로 새로운 오디오를 생성하는 것이라고 볼 수 있겠네요.

이미지 출처 : 메타의 뉴스

샘플이나 좀 더 자세한 설명, 깃허브 등을 알고 싶으시면 메타의 블로그 글을 참고해 주세요. AudioCraft: A simple one-stop shop for audio modeling