Chatgpt 긴 텍스트 자르기 - 프롬프트 팁

chatgpt를 사용하다 보면 입력 토큰의 한계 때문에 긴 텍스트를 잘라서 사용해야 할 때가 있다.

이럴 때 ChatGPT Splitter - Split and Load Large Documents to ChatGPT 사이트를 사용하면 좋다. 물론 길다고 나오면 우측 상단의 수정 버튼을 눌러 직접 잘라도 된다.

텍스트를 글자 수 기준으로 여러 파트로 자르고, 이를 document loader로 행동하게 하라고 chatgpt에게 명령하는 방식이다. 각 파트를 입력할 때 OK라고 chatgpt가 대답하고 모든 입력이 끝난 후 질문을 하는 방식이다.

물론 chatgpt가 context를 기억하는데 한계가 있기 때문에 완벽하게 동작한다고는 볼 수 없을 것 같다. 이런 부분들이 해결되려면 내 document를 로드할 수 있는 플러그인이 있으면 되는데 chatgpt 플러그인이 공개되면 해결될 것 같다. (이미 openai에서 retrieval plugun을 만들어 두었다.

그럼에도 긴 텍스트를 입력해야 할 때 사용하면 좋을 것 같다.

chatgpt에게 하는 명령어는 다음과 같다.

Act like a document/text loader until you load and remember content of the next text/s or document/s.

There might be multiple files, each file is marked by name in the format ### DOCUMENT NAME.

I will send you them by chunks. Each chunk start will be noted as [START CHUNK x/TOTAL],

and end of this chunk will be noted as [END CHUNK x/TOTAL],

where x is number of current chunk and TOTAL is number of all chunks I will send you.

I will send you multiple messages with chunks, for each message just reply OK: [CHUNK x/TOTAL], don't reply anything else, don't explain the text!

Let's begin:

실험해 보기

폴 그레이엄의 확장 가능하지 않은 일을 하라의 번역문을 가지고 테스트해봤다. gpt-4를 활용했다.

Chunk size는 3000으로 했다. (4000글자는 너무 길다고 함.)

이런 식으로 프롬프트를 맨 앞에 붙여 준다.

내용은

[START CHUNK] ~내용~ [END CHUNK 3/4]

Reply with OK: [CHUNK x/TOTAL], don't reply anything else, don't explain the text!

이런 방식으로 각 파트로 나뉘어 진다.

Chatgpt로 로드했을 때 모습.

로드가 모두 끝나면 질문을 하면 된다. OK : [CHUNK 5/5]

Chunk 1에 있는 내용을 알고 있는지 질문을 해봤다.

폴 그레이엄이 말한 recruit 전략이란 유저를 손수 데려오는 것이다. 제품을 찾아가서 깔아주고 유저를 직접 찾아가는 등의 방법이다. 하지만 chatgpt가 대답한 내용은 마케팅 전략, 소셜 미디어 등 일반적인 recruit 전략을 설명하고 있다. 즉 이전 토큰을 잘 기억하지 못한다는 것이다.

마지막으로 문서 내용을 요약해 보자.

문서 내용 요약은 비교적 괜찮은 것 같다. 이건 아마도 기억하고 있는 토큰을 기반해서 최대한 요약하는 것 같다.

결론은 완벽하지 않지만 어느 정도는 활용이 가능하다는 것이다.

정말 괜찮은 요약본이 필요하다면 각 부분을 자르고 해당 부분을 각각 요약한 후 이를 합치는 방법을 사용하면 된다.