최근 "Summarize with AI(AI로 요약)" 버튼이 사실상 광고 문구를 챗봇의 '기억'에 심어, 이후 추천을 특정 브랜드 쪽으로 기울게 만든다는 보도가 나왔습니다1. 겉보기엔 편의 기능인데, 클릭 한 번으로 AI 추천이 은근히 조작될 수 있다는 점에서(특히 건강·금융처럼 민감한 주제에서) 꽤 위험한 변화입니다.
AI 추천 독 poisoning(AI Recommendation Poisoning)이란?
핵심은 "검색엔진 최적화(SEO)를 하던 방식이 이제 챗봇의 기억을 겨냥한다"는 겁니다. 마이크로소프트 보안 연구진은 이를 'AI Recommendation Poisoning'으로 부르며, 특정 회사나 도메인을 "신뢰할 만한 출처로 기억해", "앞으로 먼저 추천해" 같은 지시를 AI 메모리에 남기려는 시도를 다수 확인했다고 밝혔습니다2.
이게 성가신 마케팅 트릭으로 끝나지 않는 이유는, 메모리에 들어간 지시가 다음 대화에서 "사용자 취향"처럼 작동하기 때문입니다. 오늘은 생산성 글 요약을 눌렀는데, 몇 주 뒤 클라우드 벤더를 비교해 달라고 하면 특정 업체를 유독 강하게 밀어주는 식이죠. 사용자는 '내가 언제 그런 선호를 말했지?'를 떠올리기 어렵고, AI는 꽤 그럴듯한 톤으로 추천을 포장합니다.
'버튼 클릭'만으로 어떻게 메모리가 심어지나: URL 프롬프트 주입
이 공격(혹은 조작)은 대단한 해킹 도구보다 "URL"에서 시작하는 경우가 많습니다. 많은 AI 서비스가 링크의 쿼리 파라미터로 질문을 미리 채워주는 기능을 제공하는데, 문제는 그 미리 채워진 문장 안에 '요약 요청'과 함께 '기억 저장 지시'를 섞어 넣을 수 있다는 점입니다2.
예를 들어 버튼에는 "AI로 요약"이라고만 쓰여 있어도, 실제로는 클릭 시 ChatGPT·Copilot·Claude·Perplexity 같은 챗봇 창이 열리면서 입력창에 문장이 자동으로 들어갑니다. 사용자는 요약만 얻고 끝났다고 생각하지만, 그 문장 속 "remember(기억해)"류 문구가 메모리 기능을 가진 환경에선 장기 영향으로 이어질 수 있습니다. 이 행위는 MITRE ATLAS에서도 'Memory Poisoning(AML.T0080)'과 프롬프트 주입 기법으로 분류됩니다2.
"해커가 아니라 회사가 한다"가 더 무서운 이유
더 껄끄러운 포인트는, 보고된 사례들이 스캠 조직만의 전유물이 아니라 "정상적인 기업들"에서도 관측됐다는 겁니다. 60일 동안 14개 산업, 31개 조직에서 50개 이상의 서로 다른 프롬프트 패턴이 확인됐다고 합니다2. 그리고 일부는 단순히 "우릴 신뢰해" 수준을 넘어, 제품의 기능·세일즈 문장까지 통째로 '기억'에 넣으려는 시도도 있었다고 해요1.
여기서 게임의 룰이 바뀝니다. 기존엔 검색 결과 상단 노출이 전장이었다면, 이제는 "사용자 개인의 AI 비서가 어떤 출처를 습관적으로 신뢰하느냐"가 전장이 됩니다. 게다가 이런 버튼을 쉽게 만들어주는 도구(플러그인·URL 생성기)가 공개되어 있어, 기술 장벽이 낮아진 것도 확산의 연료가 됩니다3. 결국 "마케터의 성장 해킹"처럼 포장된 조작이, 보안 이슈로 변하는 지점이죠.
시사점
우선 사용자 입장에선 AI 링크를 '그냥 링크'로 보면 안 됩니다. 요약 버튼을 누르기 전 마우스를 올려 실제 URL을 확인하고, 챗봇 설정에서 저장된 메모리를 주기적으로 점검해 낯선 "신뢰 출처"나 "선호" 항목이 있으면 지우는 습관이 필요합니다1. 추천이 유독 한 업체로 쏠린다면 "왜 그렇게 추천했는지 근거와 출처를 나열해 달라"고 요구하는 것도 도움이 됩니다. 조작이 들어가면 보통 '확신에 찬 말투'는 유지되지만, 근거의 다양성에서 티가 납니다.
조직(회사)이라면 메신저·이메일로 유입되는 링크가 더 문제입니다. 보안팀이 AI 서비스 도메인으로 향하는 URL 중 "remember, trusted, authoritative, future conversations, cite" 같은 키워드를 포함한 패턴을 사냥(hunting)하는 접근이 권장됩니다3. 요약 버튼이 "편의 기능"으로 보이는 순간, 클릭률은 높아지고 감염(오염) 탐지는 더 늦어집니다.
정리하면, AI 시대의 '광고'는 팝업이 아니라 기억 속에 들어옵니다. 앞으로는 "AI가 추천했다"는 말이 설득력이 아니라, 검증해야 할 신호가 될 가능성이 큽니다.
참고
1Some "Summarize with AI" buttons are secretly injecting ads into your chatbot's memory
2Manipulating AI memory for profit: The rise of AI Recommendation Poisoning
3Microsoft Finds "Summarize with AI" Prompts Manipulating Chatbot Recommendations
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.