[지피티 실험실] ChatGPT 4 vs Claude 3 Sonnet 소설쓰기 대결

Claude 3 Sonnet (클로드에서 두 번째로 성능이 좋은 LLM)의 성능을 실험해 보고자, ChatGPT 4와 비교해 보는 간단한 실험을 수행해 보았습니다.

✒️ 입력 프롬프트

Contradiction (모순명제)을 이용한 아동들의 창의성을 키우는 소설을 쓰고 싶습니다. 모든 것이 모순인 세계 속에서 한 아이가 겪는 하루 동안의 일상을 소설로 써주세요. 선택한 최고의 아동소설가의 스타일로 아름다운 동화 한편을 써주세요. 아이들이 즐겁게 읽을 수 있으며 동시에 상상력을 자극하는 이야기를 작성해 주세요.

📗 ChatGPT 4가 생성한 동화

우리가 여행할 세계는 모순으로 가득 찬 마법의 땅입니다. 이곳에서 우리의 소설은 시작되며, 우리의 주인공인 소년 태오의 하루를 따라갈 것입니다. 이 소설을 쓰기 위해, 저는 루이스 캐럴의 스타일을 빌려오겠습니다. 그의 작품 "이상한 나라의 앨리스"는 상상력이 풍부하고, 독특한 모순을 통해 독자들을 사로잡는 아름다운 동화입니다. 그러므로, 태오의 모험 역시 루이스 캐럴의 기발한 상상력과 이야기 전개 방식을 따르면서 아이들의 동심을 자극하고 교육적인 메시지를 전달할 것입니다.

태오의 모순의 날

어느 날, 태오는 아침에 눈을 떴을 때 모든 것이 역전된 세계에서 깨어납니다. 밤이 되면 해가 뜨고, 아침이 되면 별이 빛나는 기이한 세계였죠. 태오는 학교에 가기 위해 집을 나서지만, 집을 나설수록 집에 더 가까워지는 신기한 경험을 합니다.

학교에 가는 길에 그는 고양이를 만나는데, 고양이는 말을 할 줄 알고 태오에게 오늘 세계가 모순으로 가득 차 있다고 알려줍니다. 고양이의 조언에 따라, 태오는 자신이 원하는 방향의 반대로 걷기 시작합니다. 그랬더니 신기하게도 원하는 목적지에 도착할 수 있었죠.

학교에서는 선생님이 학생들에게 문제를 풀기 위해 틀린 답을 찾으라고 하고, 태오는 모든 문제를 틀리려고 애쓰며 오히려 최고 점수를 받게 됩니다. 점심시간에는 물을 마실 때마다 목이 마르고, 배고플 때 음식을 먹으면 배가 더 고파지는 이상한 현상을 겪습니다.

오후 수업에서는 모순을 주제로 그림을 그리는 시간이 있었습니다. 태오는 햇빛 아래에서 눈이 내리는 풍경을 그리며, 그의 상상력은 새로운 차원으로 확장됩니다. 그림을 그리는 동안, 태오는 이 모순된 세계가 자신의 창의성을 자극하고 있다는 것을 깨닫습니다.

학교가 끝나고 집에 돌아가는 길, 태오는 모순이 창의성을 자극하는 중요한 요소임을 이해하고, 일상에서도 모순을 찾아보기로 결심합니다. 집에 돌아온 태오는 자신이 경험한 모든 모순들을 일기에 적으며, 그 모순 속에서 찾은 아름다움과 창의성의 가치를 느낍니다.

이야기의 마지막에, 태오는 꿈에서 깨어나지만, 그의 상상력과 창의성은 이미 새로운 경지에 이르렀습니다. 태오는 자신의 일상 속에서도 모순을 발견하고, 그것을 통해 창의적으로 생각하는 법을 배웠습니다.

결론

이 동화는 아이들에게 모순 속에서도 아름다움과 교훈을 찾을 수 있음을 가르칩니다. 태오의 이야기를 통해, 아이들은 창의적으로 생각하고, 일상 속에서도 새로운 관점을 발견하는 법을 배울 수 있습니다. 루이스 캐럴의 상상력과 모험적인 이야기 스타일을 빌려온 이 동화는, 독자들에게 기쁨과 영감을 선사할 것입니다.

** ✏️ 나의 생각

프롬프트에 '모순'(paradox, contradiction)에 충실하게 작품을 생성해 주었습니다. 하지만 동화나 소설이 갖춰야할 여러 요소들 (개연성, 수사법, 개성화 등)이 많이 부족해 보입니다. 특히 동화는 서술체보다는 대화체로 써야 접근성도 높고, 아이들이 쉽게 읽을 수 있음에도 불구하고, 단 한 줄의 대화도 생성하지 않았습니다. ChatGPT 4의 성능이 아쉽네요.

아래는 같은 프롬프트로 Claude 3 Sonnet 이 생성한 동화입니다.

🖌️ 클로드3 소넷이 생성한 동화

제목: 태오의 모순의 날

"태오, 일어나렴!" 엄마의 목소리가 들렸습니다. 태오는 반사적으로 눈을 떴지만, 이상한 점을 발견했습니다. 창문 밖은 깜깜했지만, 어두운 밤하늘에는 태양이 빛나고 있었습니다.

"이게 무슨 일이지?" 태오는 의아해하며 일어났습니다. 아침 식사를 하러 부엌에 가자 냉장고에서 더운 김이 올라오고 있었고, 가스렌지에는 차가운 물이 담겨 있었습니다.

"엄마, 오늘 너무 이상해요!"

"이상해? 모순이 가득한 오늘은 아주 평범한 날이란다."

엄마의 말에 태오는 고개를 갸웃거렸지만, 어쨌거나 학교에 가야 했습니다. 문을 나서자마자 태오는 말을 걸어오는 길가의 고양이를 마주쳤습니다.

"어서 오렴, 늦기 전에 빨리 가야 하네."

태오는 깜짝 놀라 "고양이가 말을 해요?" 하고 물었습니다.

"모순의 세계에서는 고양이도 말할 수 있지. 자, 너무 늦기 전에 학교로 가자꾸나."

고양이의 말을 따라 태오는 반대 방향으로 걸었습니다. 그러자 이상하게도 학교에 가까워지는 것 같았습니다.

교실에 들어서자 선생님께서 수업을 시작했습니다.

"여러분, 오늘은 수학 문제를 푸는 특별한 방법을 배우겠습니다. 문제에 있는 질문을 유심히 읽고, 그 반대로 대답하세요."

태오는 처음에는 어리둥절했지만, 곧 규칙을 알아차렸습니다. 모순의 세계에서는 틀린 답을 하면 오히려 맞는 답이 되는 것이었습니다. 태오는 힌트를 잘 활용해 모든 문제를 '틀리게' 풀었고, 결과적으로 최고 점수를 받았습니다.

점심시간이 되자 태오는 목이 말랐습니다. 태오는 무언가를 마시면 갈증이 해소될 줄 알았지만, 물을 마실수록 오히려 목이 더 말랐습니다. 역시 모순의 세계였습니다.

오후 수업은 미술 시간이었습니다. 선생님은 모순을 그림으로 표현하라고 하셨습니다. 태오는 잠시 고민했지만, 곧 착안점을 얻었습니다. 태오는 따가운 여름 햇살 아래에서 하얗게 내리는 눈송이를 그렸습니다. 그림을 그리면서 태오는 모순이 자신의 상상력을 자극한다는 것을 깨달았습니다

하교 길에 태오는 평소와 다른 길로 걸었습니다. 그 길에는 평평한 데도 구불구불한 길이 있었고, 나무 숲을 지나자 꽃이 피어났습니다.

집에 돌아와 태오는 오늘 경험한 모순들을 일기에 적었습니다.

'오늘 모순 가득한 세상에서 참 많은 것을 배웠다. 모순은 이상하고 어렵지만, 그만큼 상상력을 키워주고 새로운 생각을 하게 해주었다...'

그 날 밤, 태오는 잠든 사이 정상 세계로 돌아왔습니다. 하지만 태오는 모순에서 깨달은 창의성의 씨앗을 간직하고 있었습니다. 이제 태오는 평범한 일상 속에서도 모순을 발견할 수 있었고, 그것이 새로운 아이디어와 창의력의 원천이 되었습니다.

** ✏️ 나의 생각

클로드가 생성한 동화는 ChatGPT 4와 동화를 시작하는 부분부터 다릅니다.

지피티는 "어느 날, 태오는 아침에 눈을 떴을 때 "로 시작하였지만, 클로드는 - "태오, 일어나렴!" 엄마의 목소리가 들렸습니다. - 로 시작하고 있습니다. 아이들이 언어를 습득할 때 '대화체'가 중심이 되기 때문에 아이들은 대화체로 되어 있는 동화에 더 친근감을 느낍니다. 또한 대화체는 언어의 생동감을 더해주기 때문에 더 흥미롭고 재미있게 장면을 상상하도록 도와줍니다. 이런 점을 고려해 보면, 클로드가 생성한 동화의 품질이 월등하다는 판단을 내릴 수 있을 것 같습니다.

🩵 관련 글

Introducing the next generation of Claude

🖥️ 관련 영상

Claude 3 모델 시리즈 개요

Claude 3 모델 시리즈는 AI 기술의 최신 발전을 대표하는 세 가지 상태의 모델, Claude 3 Haiku, Claude 3 Sonnet, Claude 3 Opus를 포함합니다. 이 모델들은 성능이 점진적으로 향상되어 다양한 AI 시스템 평가 벤치마크에서 인상적인 결과를 보여주며, 분석, 예측, 콘텐츠 생성, 코드 생성 및 비영어 언어 대화 능력에서 눈에 띄는 개선을 제공합니다.

1. Claude 3 Opus 모델

• 성능: 다양한 AI 시스템 평가 벤치마크에서 최고의 성능을 보이며, 복잡한 작업에서 인간 수준의 이해도와 유창함을 나타냄.

• 속도와 지능: Claude 2 및 2.1과 유사한 속도를 제공하지만, 훨씬 높은 지능 수준을 제공함.

• 시각적 형식 처리: 사진, 차트, 그래프, 기술 다이어그램 등 다양한 시각적 형식을 처리할 수 있는 고급 시각 기능을 갖춤.

• 정확도와 오판율: Claude 2.1 대비 정확도가 2배 향상되었으며, 오판율도 감소함.

2. Claude 3 Sonnet 모델

• 성능: Claude 2 및 2.1 대비 2배 빠른 속도로 지식 검색이나 판매 자동화 작업에 특화됨.

• 사용 가능성: claude.ai와 Claude API를 통해 사용 가능하며, 159개 국가에서 일반적으로 이용 가능함.

3. Claude 3 Haiku 모델

• 성능: 정보 및 데이터 밀집 연구 논문을 3초 미만으로 처리할 수 있는 가장 빠르고 비용 효율적인 모델.

• 출시 예정: 곧 출시될 예정이며, 이는 모델 시리즈의 범위를 확장하고 더 넓은 사용자 기반에 서비스를 제공하는 것을 목표로 함.

공통 특징

• 모든 모델은 이전 세대 모델보다 훨씬 적게 거부하며, 무해한 프롬프트에 대해서는 거의 거부하지 않음.

• 초기에 200K 컨텍스트 윈도우를 제공하며, 특정 고객의 요구에 따라 100만 토큰 이상의 입력 처리 가능성을 고려함.

• 안전하고 신뢰할 수 있는 설계에 중점을 두어 개발되었으며, 다양한 위험을 완화하기 위해 전용 팀을 운영함.

• 복잡한 다단계 지시사항을 더 잘 따르며, 브랜드 목소리 및 응답 지침을 준수하는 고객 대면 경험 개발에 능숙함.

• 지속적인 업데이트와 기능 개선을 통해 AI 능력의 한계를 넓혀갈 계획임.

Anthropic Claude 3 런칭 - 여러 벤치마크에서 GPT-4 능가