암호 알고리즘의 설계 결함을 찾아내는 일은 오랫동안 소수 수학자와 암호학자의 전유물로 여겨져 왔다. 구현 과정에서 생기는 버그가 아니라, 알고리즘의 수학적 구조 자체에서 허점을 발견하는 이 작업은 극도로 높은 전문성과 오랜 시간을 요구하기 때문이다. 그런데 최근 Anthropic의 최상위 모델 Claude Mythos가 이 영역에 진입해 유의미한 성과를 냈다. HAWK와 AES라는 두 암호 체계에서 기존 최고 수준의 공격 기법을 뛰어넘는 결과를 제시한 것이다1.
수학적 설계를 파고들다: Claude Mythos가 찾아낸 것
이번 발견이 특히 주목받는 이유는 Claude Mythos가 알고리즘의 수학적 구조 자체에서 공격 지점을 찾아냈다는 점이다1. 대표적 사례는 디지털 서명 방식인 HAWK다. 양자 컴퓨터 시대를 대비해 NIST(미국 국립표준기술연구소)가 주관한 공모에서 3차 후보까지 살아남은 이 알고리즘은, 2년간의 전문가 검토를 통과하며 어느 정도 신뢰를 쌓은 체계였다.
그러나 Claude Mythos는 단 60시간 만에 HAWK의 유효 키 강도를 절반으로 줄이는 공격을 찾아냈다1. 결정적 단서는 NTRU 격자에서 이전까지 활용되지 않았던 ‘자기 동형 사상(automorphism)’이라는 대칭성이었다. 이론상 가능할 것이라고만 논의되던 공격 경로를 실제로 구현한 것이다. 이 결과가 암시하는 바는 명확하다. HAWK가 동일한 보안 수준을 유지하려면 키 크기를 두 배로 늘려야 하고, 그렇게 되면 양자 내성 서명 후보로서 HAWK가 지녔던 실용적 장점, 예컨대 짧은 키 길이와 빠른 연산 속도 같은 이점이 상당 부분 사라진다1.
Claude Mythos의 분석 능력은 가장 널리 쓰이는 대칭 암호인 AES(Advanced Encryption Standard)를 다룰 때도 빛을 발했다. 2001년 NIST가 채택한 이후 전 세계 표준으로 자리 잡은 AES는, 연구 목적으로 라운드 수를 줄인 ‘약화된 버전’이 자주 분석된다. Claude Mythos는 7라운드로 축소된 AES 버전에서 공격자가 추측해야 하는 요소 중 하나를 완전히 제거했고, 그 결과 기존 최고 공격 속도를 200~800배 향상시켰다1. 완전한 AES-128(10라운드)을 깬 것은 아니므로 실제 시스템에 당장 영향은 없다. 하지만 수십 년간 축적된 암호 분석 연구의 연장선에서 이뤄낸 진전이라는 점이 중요하다.
결과를 바라보는 현실적인 시각
두 발견 모두 오늘날의 상용 시스템에 실질적 위협이 되지는 않는다. HAWK는 아직 배포되지 않은 후보 체계이며, AES 공격은 연구용 축소 버전에 국한된다1. 오히려 암호학 커뮤니티가 의도한 대로, 새로운 도구를 동원해 알고리즘을 극한까지 시험함으로써 신뢰를 쌓아가는 과정으로 이해하는 편이 옳다.
주목할 점은 연구 방식의 변화다. 한 명의 Anthropic 연구자가 Claude Mythos와 협업해 HAWK 공격을 발전시켰고, 다른 연구자는 완전 자동화된 스캐폴드를 구축해 AES 공격을 도출했다. Mythos Preview가 이 작업에 투입된 총 시간은 60시간이며, 추정 API 비용은 약 10만 달러 수준이었다1. 이는 암호 분석이라는 고도의 지적 작업이 AI와의 협업을 통해 어떻게 효율성을 확보할 수 있는지 보여주는 초기 신호다.
이러한 가능성을 체계적으로 검증하기 위해 Anthropic은 ETH Zurich, Tel Aviv University, 베를린 공대와 협력하여 CryptanalysisBench를 구축했다. 거대언어모델(LLM)의 암호 분석 능력을 평가하기 위한 벤치마크로, 표준화 과정에서 AI를 정량적으로 활용할 수 있는 기반을 마련한 것이다1. HAWK 발견 결과는 6월에 해당 알고리즘 저자들과 먼저 공유되었고, 연구 발표 시점에 맞춰 NIST 공개 메일링 리스트를 통해 조정 공개되었다1.
암호 알고리즘의 설계와 검증은 그동안 소수 전문가 집단의 암묵적 지식에 크게 의존해 왔다. Claude Mythos의 이번 사례는 그 지식의 일부를 도구화해 표준 명세를 선제적으로 검토하는 흐름이 앞으로 더 당연한 절차가 될 수 있음을 시사한다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.