Skip to main content
Views 9

생성형 AI 도구를 활용하여 작성 및 편집된 노트입니다.

맞춤형 여성 딥페이크가 거래되는 Civitai 마켓의 민낯

Summary

“딥페이크”는 실제 인물의 얼굴·몸·특징을 식별 가능하게 재현해, 그럴듯한 가짜 이미지를 만드는 기술입니다. 문제는 이게 개인의 장난 수준을 넘어 “주문 제작”과 “유료 거래”로 굴러가는 시장이 생겼다는 점인데요.

최근 연구와 보도에 따르면, AI 생성 콘텐츠를 사고파는 플랫폼 Civitai의 내부 마켓(바운티·LoRA 거래)은 실제 인물을 겨냥한 맞춤형 딥페이크 수요를 끌어들이고, 특히 여성 대상 비중이 매우 높게 나타났습니다.1 오늘은 “어떻게 이런 거래가 가능해지는지”, “왜 여성 피해가 집중되는지”, “플랫폼은 어디에서 막히고 무엇을 바꿔야 하는지”를 쉬운 언어로 풀어보겠습니다.

Civitai는 어떤 곳인가: ‘AI 콘텐츠 마켓플레이스’의 진짜 의미

Civitai를 단순히 “AI 그림 커뮤니티”로만 보면 절반만 본 겁니다. 여기에는 모델, 이미지, 영상, 워크플로 파일까지 거래되는 생태계가 있고, 특히 누군가의 요구를 돈(플랫폼 화폐)으로 걸고 제작자를 모집하는 ‘바운티(Bounties)’ 기능이 시장을 더 진하게 만듭니다.1

쉽게 말해 “원하는 결과물을 말로 설명하고, 상금을 걸고, 누군가가 만들어 오면 채택”하는 구조입니다. 이 구조가 생기면 취향과 수요가 곧바로 ‘가격표’가 되고, 제작자는 더 빠르고 더 자극적인 결과물을 경쟁적으로 맞추게 됩니다.

바운티(현상금) 시스템: 주문서가 쌓이면 시장이 된다

연구진이 Civitai 바운티 요청을 장기간 분석했더니, NSFW(성인·노출 등) 요청이 꾸준히 늘어 이제는 다수를 차지하는 흐름이 관찰됐습니다.1 바운티는 단순 게시글이 아니라 “유료 의뢰서”이기 때문에, 어떤 콘텐츠가 돈이 되는지 플랫폼에 선명한 신호를 보냅니다.

또 하나 중요한 포인트는 참여의 쏠림입니다. 요청을 올리는 사람은 소수에 집중되는 경향이 있었고, 딥페이크 요청은 다른 요청보다 더 “특정 사용자” 중심으로 몰리는 특성이 보고됐습니다.1 시장에서 ‘큰손’이 생기면, 그 큰손의 취향이 시장의 표준처럼 굳어지기 쉽습니다.

LoRA가 핵심이었다: “모델을 내가 원하는 쪽으로 꺾는” 지시 파일

딥페이크가 대량 생산되는 이유는 단순히 이미지 생성 AI가 좋아져서가 아닙니다. 핵심은 LoRA 같은 “조향 장치”입니다.

LoRA는 Stable Diffusion 같은 주류 모델이 원래는 잘 못 하도록 설계되었거나 학습되지 않은 방향으로 결과물을 밀어주는 일종의 추가 학습/지시 파일로 이해하면 쉽습니다. 연구에서는 딥페이크 관련 바운티 요청의 대부분(86%)이 LoRA 제작을 목표로 했다고 보고합니다.1

여기서 위험한 지점이 생깁니다. ‘한 장의 이미지’가 아니라 ‘재현 가능한 레시피(LoRA)’가 상품이 되면, 같은 사람의 얼굴·몸 특징을 반복 생산하는 게 매우 쉬워집니다. 더 나아가 다른 도구와 결합하면 그래픽하거나 성적으로 노골적인 결과물도 만들어낼 수 있어, 피해 규모가 순식간에 커집니다.

실제 인물 딥페이크 수요의 성별 비대칭: 왜 여성에게 90%가 쏠리나

연구진이 딥페이크 성격의 바운티를 분류했을 때, 대상의 약 90%가 여성이라고 보고했습니다.1 단순한 “선호” 문제라기보다, 온라인에서 여성의 이미지가 성적 대상화와 결합해 거래되는 오래된 구조가 AI로 자동화되며 강화된 결과에 가깝습니다.

요청 내용도 “특정 공인의 신체 전체, 문신, 머리색”처럼 식별 가능성을 높이는 디테일을 포함하는 경우가 있었다고 합니다.1 즉 ‘그럴듯한 느낌’이 아니라 ‘누구인지 알아볼 수 있게’ 만드는 데 초점이 맞춰질 때, 당사자의 동의는 실종되고 피해는 현실로 이어집니다.

“전면 금지” 발표 이후에도 남는 것들: 정책과 집행의 시차

Civitai는 과거에는 ‘실제 인물의 성적 딥페이크’를 제한하다가, 2025년 5월에는 모든 딥페이크 콘텐츠를 금지한다고 발표한 바 있습니다. 하지만 이미 올라온 요청과 당선 결과물이 플랫폼에 남아 있거나 구매 가능 상태로 남는 문제가 지적됩니다.1

이건 온라인 플랫폼에서 반복되는 장면입니다. “규정”은 업데이트되지만, “아카이브(과거 게시물)”와 “거래된 파일”은 이미 퍼져 있고, 삭제·차단은 느리거나 구멍이 생깁니다. 특히 LoRA처럼 재사용 가능한 파일은 한 번 풀리면 추적이 더 어려워집니다.

돈의 흐름이 바뀌면, 책임도 따라온다: Buzz 결제와 법적 쟁점

바운티와 LoRA 거래는 Civitai의 온라인 화폐 ‘Buzz’로 이뤄지고, Buzz는 현실 돈으로 구매됩니다.1 흥미로운 지점은 2025년 5월, 결제 처리 업체가 “비동의 콘텐츠” 문제로 협업을 중단했고, 이후 이용자들이 선불카드나 암호화폐 등으로 우회 결제하게 되었다는 점입니다.1

한편 미국의 통신품위법 230조(Section 230)는 일반적으로 플랫폼을 사용자 게시물 책임에서 보호하지만, 플랫폼이 불법 거래를 “알면서도 촉진”하는 경우엔 보호가 제한될 수 있다는 논의가 계속됩니다.2 즉, “우린 그냥 장터를 열었을 뿐”이라는 말이 어디까지 통할지가 점점 더 시험대에 오르는 겁니다.

시사점은 명확합니다. 딥페이크는 기술 문제가 아니라 ‘인센티브(돈) + 유통(마켓) + 집행(관리)’이 함께 만드는 구조적 문제라는 것. 결제망이 움직였다는 사실은, 시장의 윤리 문제가 결국 비즈니스 리스크로 연결된다는 신호이기도 합니다.

이런 상황에서 우리가 할 수 있는 실용적인 대응도 있습니다. 개인은 내 얼굴·이름이 포함된 비동의 합성물 발견 시 즉시 캡처·URL 기록을 남기고, 플랫폼 신고와 함께 법률 상담(명예훼손·성적 촬영물 유사 규정 등) 가능성을 검토하는 게 좋습니다. 기업과 플랫폼은 “딥페이크 금지” 같은 문구 하나로 끝낼 게 아니라, LoRA 업로드·바운티 요청 단계에서의 탐지, 재식별 위험이 높은 키워드·참조 이미지 정책, 거래 완료 후 재유통 차단 같은 운영 설계를 같이 가져가야 합니다.

참고

1A Marketplace for AI-Generated Adult Content and Deepfakes

2X just paywalled Grok’s deepfakes. They’re still everywhere.

이 노트는 요약·비평·학습 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.