[vertex AI] 멀티모달 기능 사용기
Vertex AI 에 멀티모달 기능이 활성화 되어서 사용해 보았습니다.
미디어(이미지, 비디오)와 프롬프트를 함께 넣어서 제공하면 어떻게 될지 궁금해서 시도해 보았습니다.
이미지(PNG, JPG)는 10개까지 7메가 까지 업로드가 가능하고, 비디오(MKV,MOV,MP4,WEBM)도 최대 7메가 업로드가능합니다. 비디오는 2분까지 가능하다고 되어 있습니다.
예전에 달리로 생성해 두었던 이미지를 8장 넣고 다음과 같은 프롬프트를 함께 입력하였습니다.
"make a story for kids using the images with book illustration"
(책 삽화로 이미지를 사용하여 아이들을 위한 이야기를 만들어 주세요)
옛날 옛적에, 큰 숲에 살고 있는 하마가 있었어요. 그는 매우 행복한 하마였고, 친구들과 놀기를 좋아했죠. 어느 날, 하마가 친구들과 놀고 있을 때 기차를 보았어요. 그는 기차를 본 적이 없었기 때문에 매우 신나 있었어요. 하마는 기차를 따라 달렸지만, 따라잡을 수 없었어요. 하마는 매우 슬퍼졌고, 무엇을 해야 할지 몰랐어요.
그때, 까마귀가 하마 옆에 내려앉았어요. 까마귀는 매우 현명했고, 무엇을 해야 할지 알고 있었어요. 그는 하마에게 기차를 따라잡을 수 있게 도와줄 수 있다고 말했어요. 하마는 매우 기뻤고, 까마귀를 따라갔어요.
까마귀는 하마를 숲 속의 한 공터로 이끌었어요. 하마는 기차를 보고 매우 신나 있었어요. 그는 기차를 향해 달렸고, 기차를 따라잡을 수 있었어요. 하마는 매우 행복했고, 까마귀에게 감사를 표했어요.
하마와 까마귀는 매우 좋은 친구가 되었어요. 그들은 종종 숲에서 함께 놀곤 했어요. 하마는 기차를 따라잡는 것을 도와준 까마귀에게 매우 감사했어요.
Once upon a time, there was a hippo who lived in a big forest. He was a very happy hippo, and he loved to play with his friends. One day, the hippo was playing with his friends when he saw a train. He had never seen a train before, and he was very excited. He ran after the train, but he couldn't catch it. The hippo was very sad, and he didn't know what to do.
Just then, a crow landed next to the hippo. The crow was very wise, and he knew what to do. He told the hippo that he could help him catch the train. The hippo was very happy, and he followed the crow.
The crow led the hippo to a clearing in the forest. The hippo was very excited when he saw the train. He ran towards the train, and he was able to catch it. The hippo was very happy, and he thanked the crow.
The hippo and the crow became very good friends. They would often play together in the forest. The hippo was very grateful to the crow for helping him catch the train.
Gemini 1.0 pro vision 기능이 정상적으로 작동하고 있네요.
이미지들을 읽고 프롬프트에 따라 이야기를 잘 작성해 주었습니다.
이번 주말에 가족 여행으로 전남 여수 이순신 광장에서 잠깐 찍은 영상을 업로드해 보았습니다.
영상 7메가는 아주 작은 파일이기 때문에 아래 유튜브 쇼츠의 일부를 잘라서 입력하였습니다.
(유튜브 쇼츠 링크)
이것은 한국 서울의 분주한 거리에 대한 비디오입니다. 낮 시간이며 거리에는 많은 사람들이 걷고 있습니다. 이 비디오는 거리를 걷는 사람의 관점에서 촬영되었습니다. 이 비디오를 사용하여 서울의 일상 생활의 분주함과 소란을 느껴볼 수 있습니다. 또한 이 비디오를 통해 한국 문화에 대해 더 많이 배울 수도 있습니다.
This is a video of a busy street in Seoul, Korea. It is daytime and there are many people walking on the street. The video is taken from the perspective of a person walking on the street. You can use this video to get a sense of the hustle and bustle of everyday life in Seoul. You can also use this video to learn more about Korean culture.
영상도 잘 읽어내고 있습니다. 동영상 장면을 읽어내는 컴퓨터비전 기술이 적용이 된 것 같습니다.
아주 빠른 시일 내에 제미나이는 문자, 음성, 사진 등을 인식, 변환, 생성할 수 있는 멀티모달 기능의 강화로
구글 애즈(Ads), 크롬(Chrome), 듀엣 AI(Duet AI) 등의 다양한 제품과 서비스의 기능을 강화(온디바이스)하여 챗지피티를 능가할지도 모르겠습니다.
