[MusicGen] 인공지능으로 음악 만들기

우연히 보게 된 유튜브 영상에서 인공지능으로 음악을 만들 수 있다는 이야기를 듣고서 따라해 보았습니다. 

MusicGen이라는 서비스인데요. 허깅페이스나 구글 Colab에서 코드를 작동시켜야 한다는 점에서 진입장벽이 있지만, 따라하다보면 나도 되네 라는 즐거운 경험을 하실 수 있습니다. 

저 또한 프로그램에 대해 잘 알지 못하기 때문에, 따라하기 수준이라는 점을 미리 밝혀 두겠습니다. 

아래 영상을 보시면, 굳이 제 글을 읽지 않아도 될 것입니다만, 

공부하는 차원에서 글을 이어가 보도록 하겠습니다. 

META Released! MusicGEN AI Music Program creates songs in front of you! Just listen! #FreeMusic - YouTube

 

유튜브 자료 정리하기 

 

유튜브 영상 아래 쪽에 Share 버튼 오른쪽 가로 점 3개를 누릅니다. 

Show transcript 를 눌러서 유튜브 스크립트를 열어주세요. 

Toggle timestamps 를 눌러서 타임스탬프를 제거합니다. 

 

스크립트 전체를 선택한 후에 Ctrl + C 로 복사합니다. 

복사한 스크립트를 메모장에 붙여놓고 불필요한 부분은 지워주세요. 

AIPRM for ChatGPT 에서 유튜브 summary 관련 프롬프트를 선택합니다. 

ChatGPT가 요약한 영상의 내용은 다음과 같습니다. 

 

단계별 프로세스: 라이선스 취득: 보포는 사용자가 만든 음악을 상업적으로나 개인적으로 저작권 문제 없이 사용할 수 있음을 보장합니다.

허깅 페이스를 통해 뮤직젠에 액세스하기: Bopyo는 Hugging Face의 프롬프트를 사용하여 음악 제작을 시작하는 방법을 설명합니다. 그는 이 플랫폼에서 약 12초 동안 지속되는 음악을 만들 수 있다고 말합니다.

프롬프트를 사용하여 음악 만들기: Bopyo가 장르, 악기, 분위기와 같은 요소를 통합하여 프롬프트를 작성하는 방법을 시연합니다. 그는 이러한 프롬프트를 사용하여 5개의 다른 곡을 만듭니다.

Google Colab의 MusicGen: 최대 30초의 긴 곡을 만들고, 다양한 모델을 선택하고, 더 많은 옵션에 액세스하여 창작물을 만들 수 있는 Google Colab에서 MusicGen을 사용하는 방법을 보여줍니다.

 

허깅페이스 (Hugging Face) 로 MusicGen 사용해 보기

 

MusicGen - a Hugging Face Space by facebook

MusicGen - a Hugging Face Space by facebook

 

 

허깅페이스에서 MusicGen을 사용해보도록 하겠습니다. 

직관적으로 사용법을 이해할 수 있을 것 같습니다. 

Describe your music은 만들고 싶은 음악의 프롬프트를 넣는 곳이고,

오디오 파일을 넣어서 AI가 만들 음악의 소스를 넣는 곳 두 곳이 눈에 띕니다. 

유튜브 영상에서는 프롬프트를 이용해서 영상을 만들어 보고 있는데요

저는 오디오 파일을 넣어 보도록 하겠습니다. 

제가 좋아하는 음악을 넣어보겠습니다. 

 

콜드플레이의 Viva La Vida에서 mp3을 추출했습니다. (저작권 소송을 당할지도 모르겠습니다만... ㅎㅎ 실험하는 것이니 마틴형 봐주세요 ㅜㅜ)

https://www.youtube.com/watch?v=dvgZkm1xWPE 

AIPRM 프롬프트에 다행히도 MusciGEn 을 위한 프롬프트 생성기가 있었네요. 이걸 활용해 보도록 하겠습니다. 

생각나는 대로 프롬프트를 넣었습니다. 

Prompt 1: Year: N/A Category: Rock Instrument Name: Electric Guitar Mood: Cheerful, Imaginative Tempo: Fast Beat: Strong, Rhythmic Final Prompt: Rock, Electric Guitar, Cheerful Imaginative Mood, Fast Tempo, Strong Rhythmic Beat

Prompt 2: Year: N/A Category: Children's Music Instrument Name: Acoustic Guitar Mood: Playful, Inventive Tempo: Moderate Beat: Groovy, Upbeat Final Prompt: Children's Music, Acoustic Guitar, Playful Inventive Mood, Moderate Tempo, Groovy Upbeat Beat

Prompt 3: Year: N/A Category: Pop Rock Instrument Name: Guitar Ensemble Mood: Energetic, Creative Tempo: Upbeat Beat: Punchy, Catchy Final Prompt: Pop Rock, Guitar Ensemble, Energetic Creative Mood, Upbeat Tempo, Punchy Catchy Beat

프롬프트 3개를 만들어 주었네요. 

하나씩 활용해 보겠습니다. 

 

1번 프롬프트를 넣었습니다. 그리고 Generate 를 눌렀습니다. 

3분 40초 짜리 음악을 넣었더니 처리과정이 오래 걸리는 군요. 여러분은 짧은 음악을 넣으시기 바랍니다. 

드디어 만들어졌습니다. 

 

15초 짜리 인공지능이 만든 곡을 함께 감상해 보시겠습니까?

1번 프롬프트: Rock, Electric Guitar, Cheerful Imaginative Mood, Fast Tempo, Strong Rhythmic Beat

 

2번 프롬프트: Children's Music, Acoustic Guitar, Playful Inventive Mood, Moderate Tempo, Groovy Upbeat Beat

 

 

3번 프롬프트 : Pop Rock, Guitar Ensemble, Energetic Creative Mood, Upbeat Tempo, Punchy Catchy Beat

 

 

구글 콜랩(Google Colab)으로 MusicGen 사용해 보기 

 

 github.com/facebookresearch/audiocraft

GitHub - facebookresearch/audiocraft: Audiocraft is a library for audio processing and generation with deep learning. It feature

구글 콜랩으로 들어가게 되면 

MusicGen을 제대로 사용할 수 있습니다. 

위 사이트로 들어가서 

실행버튼을 누르면 코드가 실행되면서 많은 파일들이 자동으로 설치됩니다.

 

 

파일 패치가 끝날 즈음에 Running on public URL 이라는 링크를 반환합니다. 

이것을 클릭하고 들어가면 새로운 창이 열립니다. 

 

그라디오 (Gradio) 로 MusicGen 사용해 보기

 

허깅페이스와는 다른 UI 이지만, 업그레이드된 모습을 확인하실 수 있습니다. 

이번에는 콜드플레이이의 곡을 넣지 않고 프롬프트만 넣어서 음악을 조금 길게 만들어보겠습니다. 

최대 120초까지 음악을 만들 수 있습니다 

프롬프트 2번만 시도해 보겠습니다. 

 

 

와 ~

 

말이 안나오네요. 

꼭 직접 음악을 만들어보시길 권합니다. 

 

 

 

 

감사합니다. 

 

#MusicGen
#AIComposition
#MusicGeneration
#ArtificialIntelligence
#MusicTechnology
#AlgorithmicMusic
#MusicProduction
#AIArtist
#CreativeAI
#MachineLearningMusic
#ProceduralMusic
#GenerativeMusic
#DigitalMusic
#MusicAndTech
#MusicInnovation
#FutureOfMusic
#MusicAI
#AIAudio
#ComputerGeneratedMusic
#AIComposed