2024-04-22 AI기법활용 개인과제 - 퍼스널브랜딩(3-끝) - text to image to videos
AI기법활용 개인과제 : 생성형 AI를 활용한 신제품 홍보 프로젝트
퍼스널브랜딩 - text to image to videos
브랜드명 : INTPioneer Banker(은행원같지 않은 은행원)
키워드 : 혁신과 창의성, 개인화 솔루션, 지식 공유
핵심 철학 :
(혁신적인 은행원) 기존 금융의 경계를 넘어 창의력과 기술을 활용 미래의 금융을 재구성
(지속 가능한 은행원) 개인의 재정 성공과 개인의 만족을 동시에 추구하여 지속 가능한 은행원의 꿈을 이룬다
(지식을 공유하는 은행원) 금융교육과 정보의 공유를 통해 모든 사람들의 현명한 금융 결정을 돕는다.
홍보영상 제작 결정, 그 후 이미지 일관성의 미궁에 빠지다
지난 시간 이후 바쁘게 살다가 과제 제출기한이 다가와서 고민했습니다.
원래는 올인원 프로필링크, 리틀리 (litt.ly) 를 활용한 프로필 링크를 만드려고 했으나
시간의 제약으로 수업 때 진행했던 Dall·e·3+ Runway를 활용한 저의 페르소나 홍보영상을 제작하기로 했습니다.
1) GPT에게 8컷의 시나리오 제작 의뢰
이전 시간에 제작했던 페르소나와 핵심 철학을 바탕으로 GPT에게 8컷 분량의 시나리오 제작을 의뢰했습니다.
괜찮습니다. 여기서 Dall·e·3으로 이미지 생성도 요청했습니다.
이미지 생성 프롬프트 : A painting of a young Korean man in his 30s, nerdy and quirky with a devilish charm, seated at a futuristic desk surrounded by digital displays
처음이었는데, 정말 잘 나왔습니다. 그래서 이 캐릭터 그대로 가져가려고 시드값을 받고 프롬프트를 보냅니다.
에? 망했습니다. 위의 캐릭터는 온데간데 없고, 이상한 외국인 아저씨만 보입니다.
2) 이미지 일관성을 위해 Stable Diffusion을 배우다
그 이후로 정말 몇시간동안 프롬프트와 싸웠는지 모릅니다. 프롬프트를 너무 많이 넣어서 GPT4 사용이 몇시간 동안 중단되기도 했습니다. 지나고 보니 Dall·e·3의 캐릭터 일관성 능력은 midjourney나 다른 서비스 대비 약한 것 같습니다.
그래서 고민하다가 찾아낸 것이 바로 Stable Diffusion(SD)입니다.
Stable Diffusion의 특징은
무한한 확장성: 프롬프트, 모델, extension 등등 수 많은 설정을 바꿔가면서 내가 원하는 그림을 정확하게 그릴 수 있습니다. 또한 커뮤니티 등을 통해 학습된 수 많은 모델을 받아 적용 할 수 있습니다.
로컬 컴퓨팅 파워 사용 : 다른 이미지 생성 서비스와 달리 이미지 생성을 위해 로컬 컴퓨팅 파워(CPU, GPU 등)를 사용합니다.
무료! : 수 많은 익스텐션과 모델을 적용할 수 있는 이 모델은 놀랍게도 무료입니다
다만 단점이 하나 있으니 설정값들에 대한 학습이 필수적이라는 겁니다. 프롬프트만 적으면 '알아서 잘' 해주는 Dall·e·3, midjourney와 달리 SD는 모든 값들을 직접 적용해야 합니다. 이를 도와주는 커뮤니티,유튜브가 많지만 하나씩 배워서 적용해야 하며, 그렇지 않을 경우 이미지 퀄리티가 다른 서비스에 비해 형편없습니다.
(학습 과정 생략)
네 그렇습니다.
수많은 시행 착오 끝에 애니메이션 제작에 적합한 모델인 Animagine XL V3.1을 적용하였습니다.
Animagine XL V3.1 - v3.1 | Stable Diffusion Checkpoint | Civitai
이 모델을 쓰면 높은 퀄리티이면서 자연스러운 신체 구조를 가진 애니메이션 캐릭터가 생성됩니다.
또한 SD 내 설정인 Controlnet-IP Adapter를 통해 특정 이미지를 인공지능이 학습해 비슷한 그림체를 계속 만들게 하였습니다. 그 결과값이 아래와 같습니다.
3) 네이버 클로바 더빙으로 나레이션을 Runway를 통해 영상을 만들다
나머지는 생각보다 금방 진행했습니다.
우선 네이버 클로바 더빙을 통해 만들었던 나레이션에 목소리를 입혔습니다. 원래는 나의 목소리를 딥러닝 모델을 통해 학습하여 적용해보려고 했으나 시간상 그 프로젝트는 다음번에 진행하겠습니다.
그리고는 Runway를 통해 1. 이미지 2. 나레이션을 붙였습니다. 그리고 배경음악으로는 저번에 제작한 Amplifier를 추가하여 영상을 마무리 했습니다.
후기 : 아쉬운 점, 개선할 점 등
이렇게 영상 제작이 끝났지만 아쉬운 점들이 있어 짚고 넘어가려고 합니다.
영상제작의 시간 부족
글에도 나와 있지만 이미지 생성 서비스에 대한 이해, 그리고 일관성 확보를 위한 노력에 영상제작 시간 90%가 소요됐습니다. 그 결과 이미지의 영상화에 필요한 카메라 워킹, 특수 효과, 프롬프트를 통한 이미지 변경에 시간을 쓸 수가 없었습니다.
컨텐츠의 깊이
이 역시 이미지 생성에 시간 과다 투입으로 인한 문제로 나레이션 컨텐츠 자체를 GPT에만 의존하여 특별한 아이디어 없이 페르소나에 대한 소개에 그쳤다는 점입니다. 이 부분은 향후 프로젝트를 통해 개인적으로 극복하려고 합니다.
네 이렇게 저의 AI기법활용 개인과제는 마무리되었고 최종 제작 영상은 제출 후에 공개하겠습니다.
그리고 과제는 끝났지만 저의 부캐 INTPioneer는 끝나지 않았습니다.
앞으로 있을 조별 프로젝트, 사이드 프로젝트, 그리고 캡스톤 프로젝트까지 달려보겠습니다.
3줄 요약
일관된 이미지 생성에 너무 많은 시간을 썼다
그래도 영상을 만들긴 했다.
아쉬운 점은 다음번에 개선해보겠다.
