ChatGPT로 쓴 글을 구별할 수 있는 OpenAI의 AI classifier

AI Text 분류기

해당 분류기는 정확도의 문제로 OpenAI 에서 더 이상 사용할 수 없게 해놓았습니다.

OpenAI에서 인공지능이 쓴 글과 인간이 쓴 글을 구분할 수 있는 AI classifier 의 초기 버전을 공개했습니다. 이 분류기는 ChatGPT 뿐만 아니라 다른 인공지능으로 쓴 글도 구분할 수 있다고 합니다. 이를 통해 인공지능을 통한 정보 조작 등 다양한 부작용을 막으려고 하는것 같습니다.

OpenAI에서 밝히기를 현재 초기 버전은 AI가 쓴 글의 26%를 찾을 수 있고 사람이 쓴 글을 인공 지능 글로 잘못 구분하는 것은 9% 정도라고 합니다. 아마 추후 정확도는 높아질 것으로 보입니다.

OpenAI의 글 : New AI classifier for indicating AI-written text

AI Text Classifier 에서 사용해 보시면 됩니다.

openai가 밝힌 현재의 한계점은 다음과 같습니다.

• 1000글자 이상 입력해야 합니다.

• 아직 정확하지는 않고 AI 글을 쓴 사용자가 우회할 수 있습니다.

• 성인이 영어로 쓴 글을 바탕으로 학습했기 때문에 어린이가 쓴 글이나 영어가 아닌 언어는 정확도가 떨어질 수 있습니다. (아마 한글의 경우 정확도가 떨어질 수 도 있겠죠?)

한글 테스트

일단 제가 한글로 쓴 글을 입력해 봤습니다.

밑에 AI가 쓴 글이 아니라고 나옵니다.

이번에는 한글로 인공 지능이 쓴 글을 입력해 보겠습니다.

인공지능이 쓴 글이라고 나옵니다.

그 다음에는 제가 쓴 글과 인공지능이 쓴 글을 섞어서 써봤습니다.

The classifier considers the text to be possibly AI-generated.

이렇게 하니깐 아마도 인공지능이 썼을 수 도 있다고 나옵니다.

영어 테스트

이번에는 영어로 쓴 글을 해보겠습니다.

미디엄에서 잘 알려진 화자가 쓴 글을 실험해 봤을 때 AI가 생성한 글이 아니라고 나왔습니다.

The classifier considers the text to be very unlikely AI-generated.

chatgpt가 생성한 글들을 이어 붙여서 실험했을 때는 아마도 AI가 쓴 글이 아니라고 나왔습니다.

테스트해 본 결과 어느 정도 chatgpt가 쓴 글을 찾아낼 수 있는 것으로 보입니다.

분류는 이렇게 다섯가지가 있습니다.

• Very unlikely to be AI-generated

• Unlikely to be AI-generated

• Unclear if it is AI written

• Possibly AI-generated

• Likely AI-generated

이 도구는 openai가 처음부터 이야기했던 도구인 만큼 계속 업데이트 될 것 같습니다. ai classifier 는 인공지능이 쓴 글과 사람이 쓴 글을 모아 파인 튜닝을 해서 학습했다고 합니다. 아마 우회하는 방법이 생겨나고 이를 또 찾아내는 방법이 개발되는 과정이 반복될 것 같습니다. 창과 방패의 싸움 일 것 같네요. 그래도 AI의 안전성을 확보하기 위해서는 필요한 도구라고 생각합니다.