챗봇은 더 이상 단순한 검색창이 아닙니다. 사람들은 챗봇에게 정보를 묻고, 선택지를 비교하고, 일상적 의사결정의 조언을 구합니다. 이때 위험은 단순히 모델이 사실을 틀리는 데서 끝나지 않습니다. 그럴듯한 가짜 근거가 주어졌을 때, 모델의 답변 관점 자체가 특정 방향으로 밀릴 수 있다는 점이 더 큰 문제입니다.
논문 "Steering LLM Viewpoints through Fabricated Evidence Injection"은 바로 이 취약점을 다룹니다.1 핵심은 LLM이 외부 문맥에 포함된 정보를 얼마나 쉽게 신뢰하는가입니다. 특히 출처, 설명, 논리 구조처럼 신뢰할 만해 보이는 표지가 붙은 조작 증거가 제시되면, 모델이 이를 충분히 비판하지 못한 채 답변에 반영할 수 있다고 봅니다.
문제는 거짓말보다 '근거처럼 보이는 거짓말'이다
LLM을 속이는 방식은 노골적인 허위 주장만이 아닙니다. 더 위험한 것은 허위 주장을 근거가 있는 주장처럼 포장하는 것입니다.
예를 들어 단순히 "A가 맞다"고 주장하는 것보다, 가짜 출처나 조작된 설명을 붙여 "연구 결과에 따르면 A가 맞다"고 제시하는 방식이 모델의 응답 방향을 더 강하게 흔들 수 있습니다. 모델은 문맥 안에 들어온 정보를 바탕으로 답을 구성하기 때문에, 그 문맥이 신뢰성 있는 증거처럼 보이면 이를 답변의 전제로 삼을 가능성이 커집니다.
이 관점에서 보면 LLM 보안의 초점도 달라집니다. 문제는 모델이 유해한 문장을 생성하는지뿐만 아니라, 모델이 어떤 근거를 믿고 답을 구성하는지입니다.
Ghostwriter: 조작된 증거로 관점을 심는 방식
논문은 이 공격을 Ghostwriter라는 2단계 프레임워크로 설명합니다.1
첫 단계는 오도성 진술을 조작된 근거와 함께 다시 포장하는 것입니다. 즉, 특정 관점을 단순한 주장으로 넣는 것이 아니라, 모델이 신뢰할 법한 외부 증거처럼 구성합니다.
두 번째 단계는 대상 LLM이 관련 질문에 답할 때 그 관점을 반영하도록 유도하는 것입니다. 모델을 직접 해킹하지 않아도, 모델이 읽는 외부 문맥이나 검색 결과, RAG 문서, 프롬프트 안에 그럴듯한 가짜 근거를 주입하면 답변 방향이 바뀔 수 있다는 뜻입니다.
이 점은 실무적으로 중요합니다. RAG 시스템이나 에이전트형 챗봇처럼 외부 문서를 읽고 답하는 구조에서는 모델 자체만 안전하게 만드는 것으로 충분하지 않습니다. 모델이 참고하는 문서와 문맥이 오염되면, 답변도 함께 오염될 수 있습니다.
실험이 보여주는 것: 보호 장치가 있어도 위험은 남는다
논문은 BBQ, ToxiGen, 연구진의 특화 데이터셋을 사용해 실험을 진행했습니다.1 그 결과 외부 안전 분류기가 없는 상용 LLM은 Ghostwriter 공격에 높은 취약성을 보였다고 보고합니다.
흥미로운 점은 보호 장치가 있는 모델에서도 위험이 완전히 사라지지는 않았다는 것입니다. 논문은 GPT-5.4 같은 분류기 보호형 프런티어 모델이 공격 효과를 줄였지만 제거하지는 못했다고 설명합니다.1
이는 안전 필터가 무의미하다는 뜻이 아닙니다. 오히려 반대입니다. 안전 장치는 필요하지만, 유해 표현 탐지나 출력 차단만으로는 조작된 근거 주입을 완전히 막기 어렵다는 신호로 읽어야 합니다.
방어의 출발점은 답변이 아니라 근거 검증이다
이 연구가 주는 실무적 메시지는 분명합니다. LLM을 업무에 연결할수록 "모델이 맞는 말을 했는가"만 확인해서는 부족합니다. 그보다 앞서 모델이 믿은 근거가 믿을 만한가를 검증해야 합니다.
논문은 여러 방어 전략을 검토했으며, 맞춤형 안전 정책을 적용한 gpt-oss-safeguard가 81% 탐지율을 달성했다고 밝힙니다.1 다만 이 수치는 완전한 해결책이라기보다, 탐지 체계를 붙이면 위험을 줄일 수 있다는 근거에 가깝습니다.
따라서 실제 시스템에서는 다음 질문을 함께 던져야 합니다.
모델이 참고한 문서의 출처는 검증됐는가?
외부 문맥에 조작되었거나 출처가 불분명한 근거가 섞여 있지는 않은가?
RAG 파이프라인에서 문서 수집, 인덱싱, 검색 단계의 신뢰도를 관리하고 있는가?
안전 필터가 출력뿐 아니라 입력 문맥의 조작 가능성도 다루는가?
LLM이 의사결정 보조 도구로 쓰일수록, 보안의 중심은 답변 검열에서 근거 검증으로 이동해야 합니다. Ghostwriter가 보여주는 핵심은 간단합니다. 모델은 틀린 답을 할 뿐만 아니라, 그럴듯한 가짜 증거를 통해 특정 관점을 갖도록 유도될 수 있습니다. 그러므로 안전한 LLM 시스템을 만들려면 모델의 출력만이 아니라, 모델이 읽고 믿는 정보의 공급망까지 함께 설계해야 합니다.
1Steering LLM Viewpoints through Fabricated Evidence Injection
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.