디스코드에서 평범한 이미지 업로드가 계정 정지로 이어지는 일이 벌어졌다. 체스판, 마인크래프트 인벤토리, 스프레드시트처럼 격자 형태가 있는 이미지뿐 아니라 흰색·회색 투명 배경 이미지까지 유해 콘텐츠로 잘못 표시됐다.12
처음에는 “AI가 아무 이미지나 유해 콘텐츠로 오인했다”는 식으로 알려졌다. 하지만 디스코드 개발자 advaith는 원인을 AI 자체가 아니라 “오탐 해시 매칭”이라고 설명했다.1 이번 사건을 이해하려면, AI라는 단어보다 자동 탐지 시스템이 어떻게 오탐을 만들고 제재로 이어졌는지를 봐야 한다.
문제의 출발점은 ‘비슷해 보이는 이미지’를 찾는 방식이었다
디스코드의 안전 시스템은 업로드된 콘텐츠를 알려진 유해 자료 데이터베이스와 대조해 플래그를 지정한다.1 이때 쓰이는 방식 중 하나가 해시 매칭이다. 이미지를 일종의 디지털 지문으로 바꾼 뒤, 기존에 알려진 유해 이미지와 같거나 유사한지 비교하는 방식이다.
이 방식은 빠르게 위험 콘텐츠를 걸러내는 데 유용하다. 문제는 유사도 기반 비교가 항상 정확하지는 않다는 점이다. 디스코드는 이런 유사도 매칭이 오탐을 만들 수 있다고 설명했다.1 이번에는 격자 모양 이미지들이 그 함정에 걸렸다. 일부 이용자는 계정 정지 사유가 ‘아동 안전’ 정책 위반으로 표시된 스크린샷을 공유했다.1
즉, 이용자 입장에서는 단순한 체스판이나 스프레드시트를 올렸을 뿐인데, 가장 민감한 정책 위반으로 계정이 정지된 셈이다. 그래서 이 사건은 단순한 기술 오류가 아니라 신뢰 문제로 번졌다.
진짜 피해는 ‘탐지’보다 ‘제재’에서 커졌다
자동 탐지 시스템이 오탐을 낼 수 있다는 사실 자체는 새로운 문제가 아니다. 핵심은 오탐이 곧바로 계정 차단으로 이어졌다는 점이다.
디스코드 설명에 따르면 원래 의심 콘텐츠가 발견되면 업로드가 제한되고 Trust & Safety 팀의 검토를 거쳐야 했다.1 하지만 버그 때문에 일부 이용자는 업로드 제한이 아니라 계정 차단을 당했다. 검토 이후에도 차단이 자동으로 풀리지 않은 점이 피해를 더 키웠다.
디스코드는 이 문제가 5월부터 계정에 영향을 미쳤고, 약 8,200개 계정이 잘못 차단됐다고 밝혔다.2 특히 2026년 7월 4일 주말에 문제가 확산됐고, 추가로 약 200명이 차단된 뒤 디스코드가 문제를 확인하고 수정했다.12
advaith는 문제가 된 해시를 찾아 오버라이드해 추가 플래그가 발생하지 않도록 했다고 설명했다.1 디스코드는 영향을 받은 계정들이 복구 절차를 진행 중이라고 밝혔다.2
“AI가 틀렸다”보다 중요한 질문
이번 사건은 “AI 모더레이션이 위험하다”는 한 문장으로 끝내기 어렵다. 디스코드 측 설명에 따르면 직접 원인은 AI 판단이 아니라 오탐 해시 매칭이었다.1 다만 사용자 입장에서는 그 차이가 크게 느껴지지 않는다. 자동화된 시스템이 잘못 판단했고, 그 결과 계정 접근이 막혔기 때문이다.
그래서 더 중요한 질문은 이것이다.
자동 탐지는 어디까지 자동화해도 되는가? 그리고 계정 정지 같은 중대한 제재까지 자동으로 이어져도 되는가?
플랫폼은 유해 콘텐츠를 빠르게 막아야 한다. 특히 아동 안전과 관련된 콘텐츠라면 신속한 대응이 필요하다. 하지만 오탐이 계정 정지로 바로 연결되면, 안전 시스템은 보호 장치이면서 동시에 이용자에게 큰 위험이 될 수 있다.
플랫폼이 배워야 할 실무적 교훈
디스코드 사례가 보여준 교훈은 명확하다. 자동 탐지는 필요하지만, 제재는 더 신중하게 설계돼야 한다.
특히 계정 차단처럼 영향이 큰 조치에는 몇 가지 장치가 필요하다.
탐지와 제재를 분리하는 절차
사람의 검토 또는 추가 확인 단계
빠른 이의제기 경로
오류 확인 시 자동 복구되는 시스템
오탐이 반복될 때 즉시 중단할 수 있는 해시·룰 오버라이드
이번 버그는 특정 플랫폼의 일회성 사고로만 볼 수 없다. 콘텐츠 moderation 시스템이 점점 자동화될수록, 잘못된 탐지가 곧바로 강한 제재로 이어지는 구조는 더 큰 문제를 만들 수 있다.
결론은 단순하다. 자동화는 탐지 속도를 높일 수 있지만, 책임까지 자동화해서는 안 된다. 사용자를 보호하는 시스템이라면, 오탐이 발생했을 때 사용자를 다시 보호하는 장치도 함께 갖춰야 한다.
1Discord responds after users report child safety bans over 'grid' images
2"We've unbanned everyone affected by this bug" -- Discord explains how over 8,000 users were banned
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.