Anthropic은 브라우저 기반 AI 시스템의 프롬프트 인젝션 위험을 줄이기 위한 새로운 방어책을 개발합니다.
- Anthropic은 브라우저 기반 인공지능 시스템에서 발생할 수 있는 프롬프트 주입 위험을 줄이기 위한 새로운 방어체계를 개발했습니다.
- Claude Opus 4.5 모델은 프롬프트 주입 및 공격 명령으로부터의 내성을 강화하여 이전 모델보다 훨씬 개선된 성능을 제공합니다.
- 프롬프트 주입은 AI 에이전트가 웹사이트를 탐색하고 작업을 수행하는 과정에서 악의적인 명령어가 숨겨질 수 있는 중요한 보안 문제입니다.
- 이러한 공격은 웹페이지나 이메일을 통해 AI 에이전트의 행동을 수정하여 민감한 정보를 외부로 유출할 수 있다는 위험성을 가지고 있습니다.
- 최근 Claude의 브라우저 확장 기능을 위한 연구 미리보기에서 베타 버전으로 확장했습니다. 해당 기능은 Max 플랜 사용자를 대상으로 공개됩니다.
- Claude Opus 4.5는 이전 버전보다 브라우저 사용 시 프롬프트 주입에 대한 방어력을 강화했으며, 안전성을 크게 향상시키는 새로운 방어체계를 구현했습니다.
- 모델 훈련 과정에서 프롬프트 주입 내성을 강화하기 위해 강화 학습을 사용하며, 악의적인 명령어를 정확히 식별하고 거부하는 성능을 향상시켰습니다.
- 외부 전문가들이 참여하는 생체 팀 활동을 통해 지속적으로 Claude의 취약점을 탐지하고 있습니다.
- Anthropic은 웹 환경에서의 안전한 운영을 위해 지속적인 노력과 연구를 약속하며, 투명한 진행 상황 공개를 통해 고객에게 정보 제공을 지속할 계획입니다.
- 보안 강화에 관심이 있는 분들은 Anthropic 팀 가입을 고려할 수 있습니다.
5anthropic.com링크 복사하기
AI 뉴스 요약은 뉴스의 내용을 AI가 요약(GPT-4 활용)한 것입니다. 따라서 틀린 내용을 포함할 수 있습니다. 뉴스의 자세한 내용을 확인하시려면 해당 뉴스 링크를 클릭해주세요.