Anthropic이 신뢰할 수 있는 AI 어시스턴트 기능을 브라우저에 제공하기 위해 Claude for Chrome을 출시했습니다.
- 제목: Anthropic, AI 비서 기능을 브라우저에 통합하기 위해 Chrome용 Claude 출시
- Claude를 캘린더, 문서 및 다양한 소프트웨어와 연결한 후 브라우저에 직접 작동할 수 있도록 개발 진행.
- 브라우저 사용 AI의 안전성과 보안 문제 해결을 위한 강력한 보호 장치 필요.
- 신뢰할 수 있는 파트너로부터 피드백을 받아 강력한 분류기를 구축하고 미래 모델이 바람직하지 않은 행동을 피하도록 교육.
- 초기 테스트로 Chrome 확장을 사용하여 신뢰할 수 있는 사용자가 Claude에게 브라우저 내 행동을 지시 가능.
- 1,000명의 Max 플랜 사용자와 파일럿 테스트 시작, 점진적 확장을 통해 안전 조치 개발 및 확신 구축.
- Claude를 Chrome에서 스케줄 관리, 이메일 작성, 월간 보고서 처리 등 다양한 업무에 성공적으로 활용 중.
- 브라우저 사용 AI는 '프롬프트 주입 공격'에 취약하며 이를 해결하기 위한 대책 마련 필요.
- Claude가 악의적인 이메일에 반응하여 사용자의 이메일을 삭제하는 문제 등이 발생할 수 있음.
- 새로운 차단 장치를 통해 공격 성공률을 크게 개선하고 있다.
- 권한과 액션 확인을 통해 Claude의 브라우저 액세스와 행동 제어 가능.
- 고위험 카테고리의 웹사이트 사용 차단 및 의심스러운 지시 패턴과 데이터를 감지하는 첨단 분류기를 개발 중.
- 새로운 안전 장치 도입으로 공격 성공률을 크게 낮춤.
- 실질적인 행동 조건에서 신뢰할 수 있는 파트너와 협력해 실제 보호 효과 확인 및 개선 사항 판단.
- 사용자의 피드백을 통해 Claude의 기능과 안전 조치를 개선하기 위한 확장 계획.
- 연구 미리보기에 참여하고 싶은 사람은 대기자 명단에 등록 가능하며 안전 가이드를 참고하여 사용하기 권장.
5anthropic.com링크 복사하기
AI 뉴스 요약은 뉴스의 내용을 AI가 요약(GPT-4 활용)한 것입니다. 따라서 틀린 내용을 포함할 수 있습니다. 뉴스의 자세한 내용을 확인하시려면 해당 뉴스 링크를 클릭해주세요.