ChatGPT는 이제 보고 듣고 말할 수 있습니다. - 음성 및 이미지 기능 출시

ChatGPT에 음성과 이미지 기능이 출시되기 시작했습니다. ChatGPT 플러스 유저들과 엔터프라이즈 사용자에게 2주 안에 전달된다고 합니다.

음성은 iOS와 안드로이드에서 사용이 가능합니다. (설정에서 활성화해야 함)

이미지 기능은 모든 플랫폼에서 사용이 가능합니다.

음성 기능 (voice)

음성으로 말하고 ChatGPT가 음성으로 이야기 해주는 기능입니다. (설정 -> 새로운 기능에서 음성 대화를 켜면 됩니다.)

음성 모델은 몇 초간 화자의 음성을 들으면 해당 스타일로 말할 수 있는 모델이라고 합니다. 여기에서는 배우의 목소리로 준비되었다고 합니다. OpenAI에서 잠재적인 위험성 때문에 모델은 공개하지 않았지만 이런 방식처럼 특정 케이스에서 사용할 수 있다고 합니다. Spotify는 이 모델을 활용하여 팟캐스트 음성을 다른 언어로 해당 화자의 스타일로 번역하는 음성 번역 (Voice Translation)에 사용하고 있다고 합니다.

이미지로 대화하기 - GPT-4V(ision)

하나 또는 여러개의 이미지를 입력하고 이를 활용할 수 있습니다. 강조하고자 하는 곳에 그리기 도구로 선택할 수 있습니다. 멀티모달 GPT-3.5와 GPT-4를 사용했다고 하네요. (드디어!)

ChatGPT can now see, hear, and speak

이제 화면을 캡처해서 질문을 할 수 있겠네요. 한글이 잘 될지는 나와봐야 알 것 같습니다. 좀 늦게 나온 이유는 여러 안전 조치를 취했기 때문인 것 같습니다. 저는 개인적으로 GPT vision이 어떻게 작동할지 제일 궁금합니다.