AI 기능 하나가 매출을 만들 수 있어 보일 때, 회의실에서 진짜 어려운 질문은 "이게 가능한가?"가 아니라 "이 AI가 누구의 삶에 어떤 결정을 내리는가?"입니다. 같은 모델을 써도 고객지원 요약이면 낮은 위험일 수 있지만, 채용·대출·교육·의료 판단에 들어가는 순간 전혀 다른 문제가 됩니다.
최근 유럽 Commission은 OpenAI가 사이버보안 모델 접근을 제안한 반면, Anthropic과는 아직 그 단계까지 가지 않았다고 설명했습니다.1 The Decoder가 짚은 것처럼 EU는 AI를 규제하려 하지만, 고성능 모델을 실제로 들여다볼 수 있어야 감독도 가능합니다.2 이 긴장은 AI Act의 본질을 잘 보여줍니다. 법 조문보다 중요한 것은 "AI가 어떤 제품 맥락에서 작동하느냐"입니다.
먼저 기술명이 아니라 'AI가 맡은 일'을 분류해야 한다
EU AI Act는 모든 AI를 같은 강도로 다루지 않습니다. 금지되는 사용, 고위험 시스템, 투명성 의무가 필요한 시스템, 상대적으로 낮은 위험의 시스템을 나눕니다. 최종 법안은 2024년 7월 EU 관보에 게재됐고,3 금지 관행은 2025년 2월부터, 범용 AI 관련 규칙은 단계적으로 적용됩니다.4
실무적으로는 "우리가 LLM을 쓰는가?"보다 다음 질문이 먼저입니다.
이 AI가 사람에게 정보를 제공하는가, 결정을 추천하는가, 결정을 사실상 대체하는가?
결과가 고용, 교육, 금융, 공공서비스, 의료, 법 집행 같은 영역에 영향을 주는가?
사용자가 AI와 상호작용한다는 사실을 알 수 있는가?
나중에 왜 그런 결과가 나왔는지 추적할 수 있는가?
예를 들어 회의록 요약 기능은 대체로 낮은 위험에 머물 수 있습니다. 하지만 같은 요약 모델이 직원 성과평가 자료를 자동 작성하고 승진 후보를 걸러낸다면 고위험 영역으로 이동할 수 있습니다. 위험은 모델 내부보다 "제품이 끼어드는 순간"에서 커집니다.
숨은 리스크는 모델이 아니라 배치 맥락이다
AI Act가 특히 민감하게 보는 영역은 건강, 안전, 기본권입니다. 고위험 AI에는 중요 인프라, 교육, 고용, 필수 서비스 접근, 법 집행, 국경관리, 법률 해석 지원 등이 포함됩니다.5 또 사회적 점수화, 취약성 악용, 특정 생체정보 기반 분류, 학교·직장 내 감정인식 등은 금지 또는 강하게 제한됩니다.6
여기서 제품팀이 놓치기 쉬운 함정이 있습니다. "우리는 결정을 자동화하지 않고 추천만 한다"는 말이 항상 방패가 되지는 않습니다. 현장에서 사람이 AI 추천을 거의 그대로 승인한다면, 규제기관이나 고객은 그것을 사실상 자동화된 의사결정으로 볼 가능성이 있습니다.
반대로 모든 AI 프로젝트를 멈출 필요도 없습니다. EU AI Act는 위험 기반 접근입니다. 투명성, 기록, 사람의 감독, 데이터 거버넌스, 오류 대응 체계를 갖춘다면 제품화 가능한 영역은 여전히 넓습니다. 문제는 출시 직전에 법무팀에게 던지는 방식입니다. 그때는 이미 워크플로, 데이터, 벤더 계약, UI가 굳어져 수정 비용이 커집니다.
만들지, 살지, 막을지: AI Act식 의사결정 테스트
AI 기능을 검토할 때는 간단한 5단계 필터가 유용합니다.
첫째, 사용 사례를 문장 하나로 쓰십시오. "고객 문의를 요약한다"와 "보험금 지급 가능성을 평가한다"는 전혀 다른 제품입니다.
둘째, 영향을 받는 사람을 특정하십시오. 내부 직원, 소비자, 학생, 환자, 구직자, 시민 중 누구인가에 따라 리스크가 달라집니다.
셋째, 결과의 강도를 보십시오. 단순 추천인지, 순위화인지, 접근권 박탈인지, 법적·경제적 효과가 있는지 구분해야 합니다.
넷째, 벤더에게 문서를 요구하십시오. 모델 카드, 위험평가, 로그 정책, 데이터 출처, 저작권 대응, 보안 테스트, 사고 보고 체계가 없는 공급자는 기능보다 부채를 파는 것일 수 있습니다.
다섯째, 사람이 어디서 개입하는지 설계하십시오. "human-in-the-loop"라는 문구만으로는 부족합니다. 사람이 AI 출력을 거부할 권한과 시간, 설명 자료를 실제로 갖고 있어야 합니다.
OpenAI와 Anthropic 사례는 이 지점에서 중요합니다. OpenAI는 유럽 기관과 기업, 정부의 방어 목적 접근을 논의하고 있고, Anthropic은 대화는 진행 중이나 모델 접근 제공 단계는 아니라고 보도됐습니다.1 확인된 사실은 양사의 협력 수준이 다르다는 점입니다. 해석은 이렇습니다. 앞으로 AI 공급자 평가는 성능 벤치마크만이 아니라 "감독 가능한가"로 이동합니다.
규제 대응은 비용이 아니라 신뢰 기능이 될 수 있다
물론 반론도 있습니다. 지나친 문서화와 심사는 스타트업의 속도를 늦출 수 있습니다. 실제로 EU 안에서도 산업용 AI나 고위험 의무 적용 시점과 범위를 둘러싼 완화 논의가 이어지고 있습니다.7 규칙은 고정된 벽이라기보다 정치·산업 압력 속에서 조정되는 운영체제에 가깝습니다.
하지만 그 불확실성 때문에 더더욱 제품 원칙이 필요합니다. "규제가 확정되면 대응하자"는 접근은 위험합니다. 구매자와 조달팀은 이미 AI 공급자에게 설명 가능성, 데이터 관리, 보안성, 로그, 저작권 대응을 묻기 시작했습니다. AI Act의 요구사항은 법무 체크리스트이면서 동시에 엔터프라이즈 세일즈 체크리스트가 됩니다.
지금 신경 써야 할 사람은 유럽에 본사가 있는 기업만이 아닙니다. EU 사용자에게 AI를 제공하거나, EU 기업에 AI 기능을 파는 SaaS, HR테크, 핀테크, 에듀테크, 보안 스타트업 모두 해당될 수 있습니다. 좋은 판단 기준은 단순합니다. 이 AI가 사람의 기회, 권리, 안전에 가까워질수록 제품 설계도 규제 대응도 더 일찍 시작해야 합니다.
참고
1EU Commission in talks with OpenAI and Anthropic over AI models
2The EU wants to regulate AI but needs OpenAI and Anthropic to let regulators through the door
3The Act Texts | EU Artificial Intelligence Act
4EU AI Act: first regulation on artificial intelligence
5EU AI Act: first regulation on artificial intelligence
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.