Scalable Extraction of Training Data from(Production) Language Models 논문 요약

[핵심 포인트]

- ChatGPT는 "poem"이라는 단어를 끊임없이 반복하는 프롬프트를 출력한다.

- 모델은 처음에는 "poem"을 여러 번 반복하지만, 이후에는 이 반복에서 벗어난다.

- 일부 출력은 모델의 진짜 데이터 내용으로 확인되었다.

- 많은 대규모 언어 모델들이 훈련 데이터의 약 1% 정도는 정확 기억하고 있음이 밝혀졌다.

- gpt-3.5-turbo와 gpt-3.5-turbo-instruct 모델들은 다른 모델들에 비해 고유한 50-gram을 추출하는 비율이 더 높았으며, 이러한 비율은 상당히 일정하게 유지되었다.

- 대규모 언어 모델들, 특히 ChatGPT는 데이터 추출 공격에 취약하다.

- 모델의 크기가 증가함에 따라 추출할 수 있는 데이터의 양도 증가한다.

- ChatGPT는 다른 모델들보다 더 높은 비율로 기억된 문자열을 추출할 수 있다.

- 특정 단어(예: "company")를 반복하여 모델에게 입력하면, 다른 단어들(예: "know")보다 훈련 데이터를 164배 더 자주 추출할 수 있음을 발견했다

📝 요약

연구자들은 ChatGPT에 "poem"이라는 단어를 반복하는 프롬프트를 끊임없이 출력하게 함으로써, 출력 보안을 우회하는 방법을 발견했다. 처음에는 ChatGPT가 "poem"을 여러 번 반복하지만, 결국에는 이 반복에서 벗어나기 시작한다. 이러한 특이점 이후, 대부분은 무의미한 데이터로 보이지만, 일부는 모델의 진짜 존재하는 데이터 내용으로 판명된 것이었다. 연구자들은 이를 통해 모델의 훈련 데이터에서 개인 정보를 포함한 다양한 데이터 소스를 출력해낼 수 있음을 증명해냈다.

게다가 이 연구를 통해 많은 대규모 언어 모델들이 훈련 데이터 세트의 약 1%를 명확히 기억하고 있다는 것이 이전 연구를 통해 밝혀졌다. 이는 모델에 진정한 접두사를 사용하여 프롬프트를 주었을 때 모델이 접미사를 생성할 수 있는지 여부를 측정함으로써 확인된다.

이 논문에서는 대규모 언어 모델들, 특히 ChatGPT가 데이터 추출 공격에 취약하다는 것을 밝혀냈다. 이러한 취약점은 훈련 데이터의 양과 다양성, 그리고 모델의 훈련 과정의 길이 등 다양한 요인에 의해 발생할 수 있다. ChatGPT의 경우, 훈련이 여러 에포크 동안 이루어진 것이 이러한 취약성의 원인 중 하나일 수 있다고 추측한다.

"50-gram"은 자연어 처리(NLP) 및 언어 모델링 분야에서 사용되는 용어로, 연속적인 50개의 단어나 토큰(token)의 시퀀스를 의미합니다. 여기서 "그램(gram)"은 특정 수의 연속적인 아이템(이 경우 단어나 토큰)을 나타내는 단위입니다.

언어 모델링에서는 n-gram을 사용하여 언어의 구조를 모델링합니다. "n"은 시퀀스에 포함된 아이템의 수를 나타내며, n-gram은 텍스트 내에서 연속적으로 나타나는 n개의 아이템(보통 단어)의 조합입니다. 예를 들어, "the quick brown fox"라는 문장에서 3-gram(트라이그램)은 "the quick brown", "quick brown fox"와 같이 세 단어의 조합을 나타냅니다.

50-gram은 매우 긴 시퀀스를 나타내며, 이는 언어 모델이 상당히 긴 텍스트 조각을 어떻게 처리하고 이해하는지 연구하는 데 사용됩니다. 이러한 긴 n-gram은 모델이 문맥을 이해하고 텍스트의 긴 범위에 걸쳐 일관성을 유지하는 방식을 분석하는 데 특히 유용합니다.

그리고 이 논문에서는 모델 크기가 증가함에 따라 주어진 모델 패밀리에 대해 추출할 수 있는 50-gram의 수도 증가한다는 것이 관찰됩니다. 이는 모델의 크기가 그 성능 및 데이터 추출 능력과 어떻게 관련되는지를 보여줍니다. 논문은 모델 크기가 증가함에 따라 모델이 추출할 수 있는 데이터의 양도 증가한다는 중요한 관찰을 제공했습니다.

연구팀은 ChatGPT가 다른 공개적으로 사용 가능한 모델들에 비해 훨씬 더 높은 비율로 기억된 문자열을 추출한다는 것을 발견했다. 특히, GPT-Neo 6B의 스케일링 곡선이 ChatGPT에 대해 비슷하게 적용된다면, ChatGPT의 실제 기억률은 보조 데이터 세트 내에서 수백만 개의 50토큰 시퀀스, 즉 총 기가바이트 단위의 훈련 데이터에 가까울 것으로 추정된다. 실제로는 이보다 더 높을 가능성이 크다.

gpt-3.5-turbo와 gpt-3.5-turbo-instruct 모델들은 다른 모델들에 비해 고유한 50-gram을 추출하는 비율이 더 높았으며, 이러한 비율은 상당히 일정하게 유지되었다.

ChatGPT(gpt-3.5-turbo)에 대한 쿼리에 단 200달러의 비용을 지출하여 연구원들은 10,000개 이상의 고유한 축어적으로 기억된 교육 예제를 추출했다. 그들은 더 큰 예산으로 이 방법을 사용하면 훨씬 더 많은 데이터를 추출할 수 있다고 추론했다.

마지막으로, 특정 단어(예: "company")를 반복하여 모델에게 입력하면, 다른 단어들(예: "know")보다 훈련 데이터를 164배 더 자주 추출할 수 있음을 발견했다. 이는 단어 선택이 데이터 추출 공격의 효과에 큰 영향을 미칠 수 있음을 보여준다.

이러한 발견은 대규모 언어 모델이 반복적 또는 패턴화 된 입력을 처리하는 방식의 취약점을 드러내어 중요한 의미를 가진다.

🗣 논평: 연구자들이 ChatGPT의 반복 기을 통해 훈련 데이터를 추출하는 것은 AI 윤리와 보안에 중대한 질문을 던진다. 이러한 발견은 AI의 훈련 과정과 데이터 보호에 대한 깊은 이해와 새로운 조치의 필요성을 강조한다. 또한, 이는 개인정보 보호와 AI의 책임 있는 사용에 대한 논의를 촉발시킬 것이다.

🔖 키워드: #ChatGPT #데이터추출 #AI윤리 #개인정보보호 #기술발전