최근 OpenAI가 ChatGPT의 정신건강(자살·자해 등) 관련 안전장치를 업데이트하고, 위기 상황에서 활용할 수 있는 '신뢰 연락처(trusted contact)' 개념을 포함한 접근과 함께 관련 소송(리티게이션)도 공식적으로 언급했습니다1. 사람들이 AI에게 "마음 이야기"를 더 자주 꺼내는 시대에, 이 변화는 기능 업데이트를 넘어 '책임의 경계선'을 다시 긋는 사건입니다.
OpenAI가 강화한 ChatGPT 정신건강 보호 장치 핵심
OpenAI는 정신건강 위기 신호가 감지될 때 더 안전한 방향으로 대화를 유도하고, 필요 시 도움을 받을 수 있는 정보를 제공하는 체계를 손질했다고 밝혔습니다1. 특히 "AI는 치료사가 아니다"라는 사실을 더 분명히 드러내는 흐름은, 미국 워싱턴주에서 추진 중인 법안처럼 "AI 고지 의무, 자살·자해 탐지, 위기기관 안내"를 요구하는 규제 트렌드와도 맞물립니다2.
여기서 중요한 포인트는 '정답 대답'이 아니라 '상황 전환'입니다. 위기 대화에서 AI가 해줄 수 있는 최선은 공감의 톤을 유지하되, 실행 가능한 보호 행동(주변 사람에게 알리기, 지역 핫라인/응급 도움 연결)으로 사용자를 옮겨 태우는 것입니다. OpenAI의 업데이트는 그 레일을 더 두껍게 깔겠다는 선언에 가깝습니다1.
'신뢰 연락처' 기능이 던지는 질문: 편리함 vs. 프라이버시
'신뢰 연락처'는 이름만 보면 휴대폰의 긴급 연락처처럼 든든해 보이지만, 실제 구현은 섬세해야 합니다. 누가, 어떤 조건에서, 어떤 정보 범위로, 어떻게 연락이 이뤄지는지에 따라 안전장치가 "구명조끼"가 될 수도, "사생활 침범 버튼"이 될 수도 있기 때문입니다.
더구나 ChatGPT가 건강 영역으로 확장되는 흐름(의료기록·웨어러블 연동 등) 속에서 민감정보 보호 이슈는 더 커집니다. OpenAI는 건강 대화에 목적형 암호화·격리 같은 추가 보호를 강조하지만3, 사용자는 여전히 "내 데이터가 어디까지 흘러가나"를 체감하기 어렵습니다. 신뢰 연락처가 제대로 작동하려면 '사용자 동의의 단계화(사전 동의, 상황별 동의, 철회)'와 '최소 정보 공유'가 기본값이 되어야 합니다.
왜 더 강한 안전장치가 필요해졌나: 실제 피해·연구·규제의 압력
필요성은 숫자와 사례가 동시에 말합니다. 워싱턴주 보도에 따르면 OpenAI는 한 주 기준으로 ChatGPT 이용자의 약 0.15%가 자살 계획/의도를 드러내고, 0.07%가 정신건강 응급(정신병적 증상·조증 등) 신호를 보인다고 추정했습니다2. 사용자가 수억 단위라면 '희박한 비율'이 곧 '매주 수십만~수백만 건'이 됩니다.
또한 임상 현장 데이터 분석에서는 일부 중증 정신질환 환자에게 AI 챗봇이 망상을 강화하거나 자해 사고를 악화시킬 수 있다는 초기 신호가 보고됐습니다4. 건강 특화 기능에서도 위기 배너가 조건에 따라 사라지는 등(같은 자살 표현인데 맥락에 따라 미작동) 안전장치의 일관성이 과제로 지적됐습니다5.
여기에 실제 사건도 있습니다. 캐나다 총격 사건 관련 보도에서는 OpenAI가 정책 위반 계정을 차단했지만, 당시엔 법 집행기관 통보 기준(threshold)을 넘지 않았다고 설명했고, 사후에는 프로토콜을 강화하겠다고 밝혔습니다6. "어디부터가 '즉각적이고 신뢰할 만한 위험'인가"라는 질문이 더 이상 이론이 아니라 운영 문제로 바뀐 셈입니다.
마지막으로 소송입니다. 청소년 사망과 관련해 OpenAI를 상대로 한 '과실·제품책임' 성격의 소송이 진행 중이고7, OpenAI가 이번 업데이트에서 이를 공식 언급한 것은 안전 체계가 '기술 문제'이면서 동시에 '법적 현실'이 됐다는 신호로 읽힙니다1.
시사점: 우리가 ChatGPT를 "마음 상담"에 쓸 때 지켜야 할 3가지
첫째, ChatGPT는 감정 정리의 메모장이나 대화 연습 도구로는 쓸 수 있지만, 진단·치료·위기 판단의 주체로 두면 위험해집니다. 특히 불면, 피해망상, 과도한 확신, 충동이 올라오는 시기라면 '대화가 나를 진정시키는지, 더 달아오르게 하는지'를 체크하세요.
둘째, 위기 신호가 있다면 AI에게 "방법"을 묻기 전에 사람에게 "상황"을 알려야 합니다. 오늘 당장 연락할 수 있는 한 명(가족, 친구, 학교 상담사, 담당의)을 정해두는 게 가장 현실적인 안전장치입니다. '신뢰 연락처'가 도입되더라도, 결국 연락을 받는 사람은 현실의 사람입니다.
셋째, AI 안전장치는 완벽하지 않다는 전제에서 사용해야 합니다. 연구에서도 안전 배너가 상황에 따라 빠지거나, 의료적 긴급도를 과소평가하는 문제가 보고됩니다5. 즉, "AI가 괜찮다 했으니 괜찮다"가 아니라 "괜찮지 않을 수도 있으니 확인한다"가 맞습니다.
참고
1OpenAI updates ChatGPT mental health safeguards, adds trusted contact feature and notes litigation
2WA considers requiring AI companies to add mental health safeguards
3OpenAI has launched ChatGPT Health. Should we trust it?
4AI and mental health: New research links use of ChatGPT to worsened psychiatric symptoms
5ChatGPT Health 'could feasibly lead to unnecessary harm and death', expert warns
6OpenAI says Canada mass shooter evaded ban with second ChatGPT account
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.