Stealing Reasoning Traces: Proprietary LLM APIs의 숨겨진 공격면
최종 답변만 보호하면 모델의 내부 정보도 안전할까? Stealing Reasoning Traces는 답변 전에 생성되는 추론 흔적 역시 탈취 대상이 될 수 있음을 보여준다. 핵심은 단순한 프롬프트 해킹이 아니라, 모델·암호화 키·API 기능 사이의 격리가 충분한지에 있다.
암호화와 격리는 다르다
추론 흔적은 모델이 답을 생성하는 과정에서 만들어지는 중간 정보다. 서비스 제공자는 이를 숨기거나 암호화해 사용자에게 노출되지 않도록 할 수 있다. 그러나 암호화했더라도 여러 모델이 같은 키나 상태를 공유한다면 보호 경계가 약해질 수 있다.
연구진은 같은 모델 계열의 모든 모델이 동일한 암호화 키를 사용했다고 보고했다. 강한 모델에서 얻은 암호화된 추론 흔적을 더 약한 동급 모델에 입력하자 평문 추론이 복구됐다.1 이는 암호화 적용 여부뿐 아니라 어떤 모델이 어떤 키와 데이터에 접근할 수 있는지가 중요하다는 의미다.
이 문제는 Proprietary LLM APIs를 평가할 때 출력 필터만 확인해서는 충분하지 않다는 점을 드러낸다. 숨겨진 추론 데이터가 모델이나 기능 사이를 이동하는 경로도 별도의 보안 경계로 다뤄야 한다.
정상 기능도 추출 경로가 될 수 있다
Claude Haiku 4.5에서는 어시스턴트 응답 접두사 기능을 이용해 추론 흔적을 추출할 수 있었다.1 정상적인 출력 제어 기능도 숨겨진 모델 상태와 결합될 경우 예상하지 못한 공격면이 될 수 있다는 사례다.
Anthropic, OpenAI, Google은 연구진의 취약점 보고를 접수했다. 보고 이후 연구진은 동일한 공격을 재현할 수 없었다.1 이는 당시 공격 경로가 차단됐을 가능성을 보여주지만, 유사한 격리 문제가 모두 해결됐음을 뜻하지는 않는다. 중요한 것은 개별 취약점 수정에 그치지 않고 모델과 기능 간의 신뢰 경계를 지속해서 검증하는 일이다.
제공자와 사용자가 점검할 사항
API 제공자는 다음 항목을 우선 확인할 필요가 있다.
모델 계열 전체가 암호화 키나 숨겨진 상태를 공유하는지 점검한다.
모델별 키와 접근 권한을 분리한다.
접두사, 도구 호출, 재시도처럼 출력을 제어하는 기능을 숨겨진 추론 상태와 함께 테스트한다.
강한 모델에서 생성된 데이터를 다른 모델이 해석하거나 복구할 수 있는지 검증한다.
기업 사용자는 숨겨진 추론 영역을 안전한 저장소로 간주해서는 안 된다. 프롬프트에 포함하는 민감한 정보를 최소화하고, 로그 보존 범위와 모델 간 데이터 이동 정책을 확인해야 한다.
요약: Stealing Reasoning Traces의 핵심 교훈은 추론 흔적을 감추거나 암호화하는 것만으로는 충분하지 않다는 점이다. 모델·키·API 기능 사이의 경계를 분리하고, 기능 조합에서 발생하는 데이터 노출 가능성까지 검증해야 한다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.