AI 기반 사이버 공격, 어디까지 왔나? 해커들이 이미 쓰는 6가지 무기

AI 공격이라는 말이 과장처럼 들릴 수 있지만, 이미 현실에서 진행 중입니다.

기업은 고객 응대에 AI를 쓰고, 사용자는 제품을 찾을 때 AI를 활용하지만, 해커들도 똑같이 AI를 공격 도구로 사용하고 있습니다.

이 글에서는 실제 연구·사례를 기반으로 해커들이 어떻게 AI를 무기로 바꾸고 있는지 6가지 유형으로 나누어 정리합니다. 각 유형이 어떤 방식으로 작동하는지, 무엇이 위험한지, 그리고 방어 측면에서 어떤 관점이 필요한지까지 함께 다룹니다.

AI가 로그인 화면을 찾고 공격하는 방식: BruteForceAI

첫 번째 유형은 AI 기반 로그인 공격입니다. 보안 점검용으로 설계된 침투 테스트 프레임워크지만, 악용될 경우 그대로 공격 도구가 됩니다.

여기서는 BruteForceAI라는 예시가 등장합니다. 핵심은 '에이전트 + LLM(대형 언어 모델)' 구조입니다. 에이전트는 스스로 동작하는 AI 시스템이고, LLM은 웹 페이지를 읽고 이해하는 역할을 담당합니다.

이 시스템은 먼저 인터넷에서 로그인 페이지를 자동으로 찾아냅니다. 웹 페이지를 가져와 LLM에 보내면, LLM이 그 안에 있는 폼과 입력 필드를 분석해 아이디·비밀번호 입력란을 구분합니다.

실험 결과, 페이지의 로그인 영역을 약 95% 정확도로 찾아내는 성능을 보였습니다.

로그인 위치를 파악한 뒤에는 실제 공격 단계로 넘어갑니다. 여기에는 두 가지 접근이 있습니다.

• 브루트 포스 공격: 특정 계정에 가능한 모든 아이디·비밀번호 조합을 시도하는 방식입니다. 하지만 대부분의 사이트가 "3회 실패 시 잠금" 같은 정책을 두기 때문에 효율은 낮은 편입니다.

• 패스워드 스프레이 공격: 동일한 비밀번호를 여러 계정에 순차적으로 시도합니다. 한 계정에 계속 들이받지 않고, 여러 계정에 넓게 퍼뜨리므로 잠금 정책을 피할 가능성이 높습니다.

중요한 점은, 이 모든 과정을 공격자가 세부적으로 일일이 설계하지 않아도 된다는 점입니다. 에이전트 기반 침투 테스트 도구를 실행하면, AI가 로그인 페이지 탐색부터 공격 수행까지 대부분 자동으로 처리합니다. 결과적으로, 예전에는 고급 기술이 필요하던 작업이 점점 AI 도구 사용 능력 정도로 내려가고 있습니다.

AI가 알아서 목표·몸값·공격 방식을 정하는 랜섬웨어: PromptLock

두 번째 유형은 AI 기반 랜섬웨어입니다. 여기서는 연구 프로젝트인 PromptLock이 대표 사례로 언급됩니다.

이 시스템 역시 에이전트와 LLM으로 구성됩니다. 에이전트는 전체 공격의 "총괄 매니저" 역할을 하고, LLM은 문서·파일 내용을 이해하는 두뇌 역할을 합니다.

PromptLock의 동작 흐름은 다음과 같습니다. 먼저, 에이전트가 공격할 시스템과 데이터를 스스로 선택합니다. 파일들을 살펴보며 어떤 데이터가 민감하고, 어떤 데이터는 가치가 떨어지는지 분석합니다. 이 분석 결과를 기반으로 "얼마를 요구해야 할지"까지 판단합니다. 몸값 산정까지 AI가 맡는 구조입니다.

그 다음에는 공격에 필요한 코드와 실행 로직을 직접 생성합니다. 파일 암호화, 데이터 탈취, 삭제 등 어떤 방식으로 피해를 줄지 정하고, 그에 맞는 코드를 만들어 실행합니다. 공격 결과는 다음 형태 중 하나 혹은 조합으로 나타납니다.

• 데이터 유출(Exfiltration): 데이터를 빼내 공격자가 보관합니다.

• 데이터 암호화: 복호화 키를 쥔 채, 돈을 내야 되돌려주겠다고 협박합니다.

• 데이터 삭제 위협: 일정 시간 안에 돈을 내지 않으면 데이터를 지우겠다고 위협합니다.

LLM의 자연어 처리 능력 덕분에 랜섬 노트도 자동 생성됩니다. 예를 들어, "다음 파일들을 확보했고, 복구를 원한다면 얼마를 내라"처럼 피해자의 파일 목록까지 포함한 맞춤형 협박 메시지를 만들 수 있습니다.

더 큰 문제는 공격 패턴을 매번 다르게 바꾸는 '폴리모픽' 특성입니다. 같은 랜섬웨어라도 첫 번째 공격과 두 번째 공격이 서로 다른 형태로 생성되기 때문에, 탐지 시스템이 패턴을 학습하기가 어렵습니다. 기존에도 폴리모픽 악성코드는 있었지만, 이제는 AI가 클라우드에서 대량으로 생성하는 '랜섬웨어 서비스' 형태까지 가능해졌다는 점이 차별점입니다.

LLM이 쓰는 피싱 메일: 문법·맞춤법으로 구분하기 어려운 이유

세 번째는 AI 기반 피싱 공격입니다. 기존 피싱 메일을 교육할 때 자주 언급되던 특징이 있습니다. "맞춤법이 엉망이거나 문장이 어색하면 피싱일 가능성이 높다"는 식의 안내입니다.

하지만 LLM이 등장하면서 이 기준은 빠르게 무력화되고 있습니다. 공격자는 단순히 "은행 보안 알림처럼 보이는 피싱 메일을 만들어라" 같은 프롬프트를 입력하고, LLM이 만들어준 텍스트를 그대로 복사해 메일로 보내면 됩니다. 공격자가 영어·스페인어·프랑스어를 전혀 못해도, LLM이 자연스러운 문장으로 피싱 메일을 작성해 줍니다.

일부 상용 LLM은 피싱 메일 생성을 거부하는 정책을 두고 있지만, 제한이 약하거나 없는 모델들이 다크웹 등에서 이미 유통되고 있습니다. 해커들은 이런 모델들을 활용해 제약 없이 공격용 콘텐츠를 만들어냅니다.

또 하나 중요한 변화는 개인화 수준입니다. AI를 이용해 SNS 게시물, 공개 프로필, 온라인 활동 기록을 수집·분석하면, 개인의 관심사·인맥·직장 정보를 반영한 극도로 개인화된 피싱 메일을 만드는 것이 가능합니다. 이런 메일은 일반적인 "대량 발송형 스팸"보다 훨씬 그럴듯하게 보일 수밖에 없습니다.

IBM 연구에서는 AI와 사람이 각각 피싱 메일을 작성해 성능을 비교했습니다. AI에게는 단 5개의 프롬프트와 5분만 주고, 사람에게는 같은 목표로 16시간을 주었습니다. 결과적으로 사람 손으로 만든 피싱 메일이 약간 더 효과적이긴 했지만, 차이는 크지 않았습니다. 시간 대비 효율을 생각하면, 공격자 입장에서는 AI 쪽의 경제성이 압도적입니다. 게다가 AI의 품질은 앞으로 더 좋아질 가능성이 크고, 인간 작가의 수준은 크게 뛰지 않는다는 점도 고려해야 합니다.

결론적으로, 맞춤법과 문장 어색함을 피싱 여부의 핵심 기준으로 삼던 사용자 교육은 더 이상 유효하지 않습니다. AI가 생성한 피싱 공격이 늘어날수록, 다른 보안 인식 기준과 기술적 방어가 필요합니다.

음성·영상 딥페이크로 진행되는 AI 사기: 수십억 단위 피해 사례

네 번째는 AI 기반 사기, 특히 딥페이크를 활용한 공격입니다. 여기에는 음성·영상 모두 포함됩니다.

딥페이크는 기본적으로 생성형 AI 모델을 사용합니다. 공격자는 특정 인물의 음성 녹음이나 영상 클립을 수집한 뒤, 이를 모델에 학습시켜 그 사람의 말투, 목소리, 얼굴, 표정 등을 모방하는 모델을 만듭니다. 이후 원하는 대사를 텍스트로 입력하면, 마치 해당 인물이 직접 말하는 것처럼 보이는 음성·영상이 생성됩니다.

음성 녹음을 남기지 않으면 안전하다고 생각하기 쉽지만, 현실은 다릅니다. 일부 모델은 약 3초 정도의 짧은 음성 샘플만으로도 상당히 그럴듯한 음성 딥페이크를 생성할 수 있습니다. 전화 통화, 영상 회의, 공개 연설, 인터뷰 등 일상적인 활동 대부분이 잠재적인 학습 데이터가 됩니다.

이미 구체적인 피해 사례도 존재합니다.

• 2021년: 한 회사에서 음성 딥페이크 공격이 발생했습니다. 공격자는 상사의 목소리를 흉내 내어 직원을 속였고, 그 결과 직원은 3,500만 달러를 지정 계좌로 송금했습니다. 나중에야 이것이 상사가 아닌 딥페이크였다는 사실이 드러났습니다.

• 2024년: 이번에는 영상 딥페이크가 사용되었습니다. CFO(최고 재무 책임자)를 흉내 낸 영상 통화가 직원에게 걸려왔고, 해당 직원은 이를 진짜 CFO로 믿고 2,500만 달러를 공격자에게 송금했습니다.

이 사례들이 보여주는 공통점은 하나입니다. 사람은 기본적으로 눈과 귀로 확인한 정보를 신뢰하는 경향이 강합니다. 그러나 딥페이크 환경에서는 "직접 눈앞에서 보는 것이 아니라면 믿기 어렵다"는 새로운 기준이 필요합니다. 원격 영상 통화·음성 통화만으로는 본인 확인을 하기 어려운 시대입니다.

CVE 설명서를 읽고 스스로 익스플로잇을 만드는 AI: CVE Genie

다섯 번째는 AI 기반 익스플로잇 생성입니다. 여기서 익스플로잇은 이미 알려진 취약점을 실제 공격에 활용하는 코드나 기법을 의미합니다.

보안 업계에서는 취약점을 CVE(Common Vulnerabilities and Exposures)라는 형태로 공개합니다. 각 CVE 문서에는 취약점이 어떤 원리로 발생하는지, 어떤 환경에서 문제가 되는지 등이 상세히 설명되어 있습니다. 이는 보안 패치를 만들고 방어를 준비하기 위해 공개되는 정보지만, 동시에 공격자에게도 참고서가 됩니다.

연구 프로젝트인 CVE Genie는 이 CVE 정보를 AI에 입력해 자동으로 익스플로잇 코드를 생성하는 시스템입니다. 역시 구조는 에이전트 + LLM입니다.

동작 방식은 다음과 같습니다.

1. CVE 문서를 통째로 LLM에 입력합니다.

2. LLM이 내용을 읽고 핵심 기술 정보와 취약점 구조를 추출합니다.

3. 에이전트(CVE Genie)가 이 정보를 바탕으로 취약점을 어떻게 공격할지 설계하고, 실제로 사용할 수 있는 익스플로잇 코드를 작성합니다.

이 과정은 처음부터 끝까지 자동화되어 있습니다. 연구 결과, 이렇게 생성된 익스플로잇의 성공률은 약 51%였습니다. 그리고 익스플로잇 하나를 만드는 데 드는 비용은 3달러 미만으로 계산되었습니다.

이 수치는 공격자 입장에서 매우 매력적인 경제성을 보여 줍니다. 프로그래밍 지식이 거의 없는 사람도, 공용 CVE 문서를 가져와 시스템에 입력하기만 하면, AI가 절반 정도의 성공률을 가진 공격 코드를 대신 만들어 주는 셈입니다.

이와 비슷한 방식으로 악성코드(멀웨어) 생성에도 AI가 활용될 수 있습니다. 멀웨어는 종종 특정 취약점을 노리는 익스플로잇을 포함하는데, AI는 이 코드를 만들 뿐 아니라, 자기 구조를 난독화하고, 폴리모픽하게 변형해 탐지를 피하는 기능까지 자동으로 추가할 수 있습니다. 결과적으로 탐지 회피 능력이 향상된 "똑똑한 악성코드"가 손쉽게 대량 생산될 가능성이 커집니다.

기획부터 몸값 계산까지, 전 과정을 AI가 돌리는 풀 킬체인 공격

여섯 번째는 개별 기술이 아니라, 공격의 전체 수명 주기(킬체인)를 AI가 통째로 운영하는 형태입니다.

이미 한 연구에서는 유명 AI 시스템(예: Anthropic 기반 모델)을 완전한 공격 플랫폼으로 활용하는 실험이 수행되었습니다. 여기서도 중추 역할은 에이전트입니다. 이 에이전트는 단순한 도구 호출 수준을 넘어, 전략·전술을 스스로 결정하는 "공격 감독관"에 가깝습니다.

이 시스템이 수행하는 역할은 다음과 같이 단계별로 나뉩니다.

• 어떤 유형의 공격을 할지, 어떤 목표를 노릴지 선택합니다.

• 잠재 피해자들을 찾아내고, 그중에서 가치가 높거나 취약한 대상을 골라냅니다.

• 침투 후 가져온 데이터를 분석해, 무엇이 돈이 될 만한지 분류합니다.

• 필요하다면 LLM을 이용해 문서 내용·데이터 구조를 이해합니다.

• 공격에 사용할 페르소나(가짜 신원)를 만들어, 협박·갈취에 활용합니다.

• 최종적으로 랜섬웨어나 기타 공격 수단을 직접 생성하고, 몸값 규모를 계산합니다.

특히 몸값 산정은 단순 금액 설정이 아니라, 피해자의 지불 능력과 데이터 가치, 지불 가능성까지 고려합니다.

너무 큰 금액을 요구하면 지불이 어렵고, 너무 낮으면 공격자 입장에서는 손해이므로, AI는 이 사이에서 수익이 최대화될 지점을 찾으려 합니다.

이처럼 기획–탐색–침투–데이터 분석–협상–금전 회수까지 전 과정을 AI가 담당하는 구조에서는, 예전처럼 고급 해킹 기술을 가진 소수만 공격을 감행하는 시대와 양상이 달라집니다. 공격자는 "아이디어만 있는 사람" 수준의 역량으로도, 에이전트에게 작업을 시키고 결과를 수익화하는 역할에만 집중할 수 있습니다.

결국, AI가 풀 킬체인 공격의 설계자·실행자·최적화 담당자 역할을 동시에 맡을 수 있는 환경이 이미 연구 수준에서 입증되고 있습니다.

AI 기반 사이버 공격 시대, 현실적인 효과와 방어 관점

지금까지 살펴본 여섯 가지 유형은 모두 AI가 공격자의 생산성을 극적으로 높인다는 공통점이 있습니다. 로그인 공격 자동화, AI 랜섬웨어, 피싱, 딥페이크 사기, CVE 기반 익스플로잇, 풀 킬체인 공격까지, 각각은 이미 연구나 실제 사례로 존재하며, 초기 단계이지만 현실적인 위협으로 발전하고 있습니다.

다만, 현재 대부분은 실험적이거나 제한된 범위에서 입증된 기술입니다. 모든 공격자가 당장 고도화된 AI 시스템을 쓰는 것은 아니며, 많은 조직은 여전히 기본적인 보안 수칙만으로도 상당수 공격을 막을 수 있습니다. 그럼에도 불구하고, 시간이 갈수록 공격의 자동화·개인화·폴리모픽화는 분명 강화될 것이라는 흐름은 이미 뚜렷합니다.

이 환경에서 중요한 점은 한 가지입니다. AI 기반 공격이 고도화되는 만큼, 방어 측도 AI를 적극적으로 도입하지 않으면 균형이 맞지 않는다는 사실입니다.

침입 시도 탐지, 비정상 행위 분석, 이메일 필터링, 계정 이상 징후 감지, 사고 대응 자동화 등에서 AI는 이제 선택이 아니라 필수 도구에 가까워지고 있습니다.

결국 앞으로의 사이버 보안은 "나쁜 AI vs 좋은 AI"의 대결에 가까운 구조가 됩니다.

공격자는 AI를 통해 기술 장벽을 낮추고, 방어자는 AI로 탐지와 대응 속도를 끌어올려야 합니다.

조직 입장에서는 AI 기반 사이버 공격을 과장된 이야기로 치부하기보다, 지금 소개한 여섯 가지 유형을 기준으로 자사 환경에 어떤 취약점이 있는지 세밀하게 점검하는 과정이 필요합니다.

AI 기반 사이버 공격은 이미 시작되었고, 계속 더 정교해질 가능성이 높습니다.

같은 AI 기술을 공격보다 방어에 더 잘 활용하는 쪽이 최종적으로 이길 수밖에 없습니다.

출처 및 참고 :