최근 해외 보도에서 애플 인텔리전스(Apple Intelligence)의 알림 요약이 사용자가 시키지 않았는데도 특정 인종·성별 고정관념을 "그럴듯하게 덧붙이는" 사례가 대규모로 확인됐다는 내용이 나왔습니다1. 문제는 이 기능이 채팅창에 프롬프트를 입력할 때만 쓰는 AI가 아니라, 잠금화면과 알림 영역에서 매일 우리 눈앞에 먼저 등장한다는 점입니다.
Apple Intelligence 알림 요약 '편향' 논란, 뭐가 문제였나
조사에 따르면 애플 인텔리전스는 같은 문장을 요약하면서도 백인일 때는 인종 정보를 빼고('기본값'처럼), 다른 인종이 언급되면 그 표지를 더 자주 남기는 경향이 관찰됐습니다. 예컨대 가상의 텍스트를 여러 번 요약시켰을 때, 백인 주인공의 인종은 53%만 언급됐지만 아시아인은 89%로 더 높게 유지됐다는 식입니다1. 요약이 핵심만 남기는 과정이라면 "왜 어떤 집단의 정보는 더 자주 남고, 어떤 집단은 지워지는가"가 바로 신뢰 문제로 이어집니다.
성별도 비슷합니다. 직업과 대명사가 애매하게 적힌 문장에서, 요약이 그 애매함을 유지하지 않고 "의사=남성, 간호사=여성"처럼 빈칸을 채워버리는 일이 잦았다고 합니다1. 요약이 정보를 줄이는 도구가 아니라, 없던 맥락을 만들어내는 순간부터 '도우미'가 아니라 '편집자'가 됩니다.
'AI 환각(hallucination)'이 요약에서 특히 위험한 이유
AI 환각은 모델이 불확실할 때도 사실처럼 단정해버리는 오류를 말합니다2. 메신저·메일·알림 요약에서는 이게 더 치명적입니다. 사용자는 원문을 읽기 전에 요약을 먼저 보고, 요약이 만들어낸 뉘앙스로 감정이 흔들리거나("큰일 났나?"), 사람을 평가하게 되기 때문이죠.
게다가 애플 인텔리전스는 OS에 깊게 통합되어, 사용자가 'AI를 쓴다'고 느끼기 전에 기능이 먼저 개입합니다. 애플이 iOS·iPadOS·macOS 전반에 요약과 우선순위 알림을 넣은 이유는 분명 편의성인데3, 그 편의성이 "매일 자동 노출되는 편견"과 결합하면 파급력은 기기 수만큼 커집니다.
애플 인텔리전스는 왜 '프라이버시'와 별개로 신뢰를 잃을 수 있나
애플은 온디바이스 처리와 프라이빗 클라우드 컴퓨트(Private Cloud Compute)로 개인정보 보호를 강조해왔습니다4. 하지만 프라이버시가 좋아도, 요약이 틀리거나 편향되면 사용자는 기능을 끄게 됩니다. 실제로 애플의 알림 요약은 과거 뉴스 요약에서 사실과 다른 문장을 만들어 논란이 커지자, 애플이 뉴스 앱 요약을 꺼두는 조치를 한 적도 있습니다(일부 서비스 범위에서)5. "개인정보는 안전한데 결과가 찝찝하다"는 평가는 AI 기능 확산에 가장 독한 브레이크가 됩니다.
또 한 가지. 애플 인텔리전스는 지원 칩(A17 Pro 이상, M 시리즈 등) 중심으로 퍼져왔고, 보급형 라인까지 확대되면 사용층이 더 넓어집니다6. 즉 지금의 신뢰 이슈는 '일부 얼리어답터의 불편'이 아니라, 확대될수록 더 큰 UX 리스크가 될 수 있습니다.
시사점: 지금 당장 내가 할 수 있는 설정·사용 습관
알림 요약은 "원문 대신 보는 최종본"이 아니라 "대충 미리보기"로만 대하세요. 특히 인물, 건강, 사건사고처럼 오해 비용이 큰 내용은 요약만 믿지 않는 습관이 필요합니다.
업무용으로는 요약이 애매한 대명사(그/그녀/그 사람)나 직업·국적 같은 라벨을 덧붙이면, 원문에서 근거를 찾을 수 있는지 10초만 확인해도 사고를 줄일 수 있습니다. 요약이 단정적으로 보일수록 오히려 '환각 가능성'을 의심하는 게 안전합니다.
마지막으로, "AI가 알아서 해주겠지"라는 기대를 조금만 낮추면 마음이 편합니다. 애플 인텔리전스는 아직 '자동 요약 편의'가 강점이지만4, 자동으로 문맥을 채우는 순간부터는 정확도와 공정성이라는 다른 시험을 통과해야 합니다. 요약은 시간을 아껴주지만, 판단까지 대신해주면 사고가 납니다.
참고
1Apple Intelligence pushes hallucinated stereotypes to millions of devices unprompted
2Hallucination (artificial intelligence) - Wikipedia
4Apple Intelligence is available today on iPhone, iPad, and Mac
5Apple's AI summaries include racial & gender biases, if the query is vague enough
6Apple Intelligence Rollout Nears Completion With Upcoming iPad 12
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.