책에 포함된 노트딥러닝의 감각 — 신경망에서 파운데이션 모델까지, AI를 끝까지 이해하는 가장 현실적인 지도

안전하고 책임 있는 AI

2026-05-01Views 5약 11분생성형 AI 활용

AI를 제품에 붙이기 시작하면, 팀은 곧 두 가지 질문 앞에 서게 됩니다. 첫째, 이 모델은 똑똑한가. 둘째, 이 모델은 통제 가능한가. 많은 조직이 첫 번째 질문에는 익숙합니다. 정확도, 응답 품질, 속도, 비용을 비교하면 되니까요. 그러나 두 번째 질문은 훨씬 어렵습니다. 같은 모델이라도 어디에 연결되는지, 어떤 데이터를 다루는지, 누가 쓰는지에 따라 위험의 성격이 완전히 달라지기 때문입니다.

바로 여기서 책임 있는 AI라는 말이 등장합니다. 이 말은 멋진 윤리 구호를 붙여 놓는 일이 아닙니다. 실제로는 안전성, 공정성, 투명성, 프라이버시, 거버넌스를 개발·배포·운영의 모든 단계에 연결하는 운영 체계에 가깝습니다. 스탠퍼드 HAI의 2026 AI Index도 책임 있는 AI를 안전, 공정성, 투명성, 거버넌스라는 여러 축에서 함께 봐야 하며, 특히 측정과 문서화의 공백이 여전히 크다고 지적합니다.¹

이 장에서 기억해야 할 핵심은 하나입니다. 좋은 AI 시스템은 똑똑한 시스템이면서 동시에 통제 가능한 시스템이어야 합니다. 성능이 높아도 위해를 다루지 못하면 좋은 시스템이 아니고, 규정만 많아도 실제 통제가 작동하지 않으면 책임 있는 시스템이 아닙니다.

안전하고 책임 있는 AI

책임 있는 AI는 윤리 선언이 아니라 운영 체계다

많은 사람이 책임 있는 AI를 이야기하면 먼저 원칙을 떠올립니다. 공정해야 한다, 안전해야 한다, 투명해야 한다, 사람을 존중해야 한다 같은 문장들 말입니다. 물론 이런 원칙은 중요합니다. 하지만 제품을 만드는 팀에게 원칙만으로는 부족합니다. 원칙은 방향을 주지만, 운영은 절차와 증거를 요구하기 때문입니다.

예를 들어 고객 상담용 LLM을 출시한다고 해 봅시다. 이때 책임 있는 AI는 단순히 "유해한 말을 하지 않게 하자"에서 끝나지 않습니다. 어떤 질문에 답변을 거부해야 하는지, 어떤 경우에는 검색을 먼저 해야 하는지, 어떤 작업은 사람 승인이 있어야 하는지, 어떤 로그를 남겨야 하는지, 사고가 나면 누가 대응하는지까지 정의해야 합니다. 즉 책임 있는 AI는 모델만 관리하는 일이 아니라 데이터, 프롬프트, 워크플로, 도구 호출, 인간 개입 지점, 배포 후 모니터링까지 포함한 시스템 전체의 설계 문제입니다.²

이 관점은 매우 현실적입니다. 실제 위험은 종종 모델 그 자체보다도 모델이 시스템 안에서 어떻게 연결되어 있는지에서 생기기 때문입니다. 내부 문서를 읽는 요약 도구는 낮은 위험일 수 있지만, 같은 모델이 대출 심사 보조나 의료 우선순위 추천에 들어가면 완전히 다른 수준의 통제가 필요해집니다. 그래서 최근 거버넌스 프레임워크들은 AI를 단일 모델이 아니라 수명주기를 가진 시스템으로 다루라고 강조합니다.³⁴

안전성은 한 개의 필터가 아니라 다층 방어다

직전 장에서 우리는 환각, 프롬프트 공격, 도구 오작동 같은 위험을 보았습니다. 이번 장에서는 한 걸음 더 나아가, 이런 위험을 어떻게 운영적으로 다루는지 보겠습니다.

안전성은 흔히 유해한 출력을 막는 문제로만 오해됩니다. 그러나 실제 서비스에서는 훨씬 넓은 의미를 가집니다. 사용자의 지시를 엉뚱하게 해석하는 문제, 사실이 아닌 답을 확신에 차서 말하는 문제, 민감 정보를 새어 나가게 하는 문제, 시스템 프롬프트를 우회하는 문제, 도구를 잘못 호출해 실제 행동을 일으키는 문제까지 모두 안전성에 포함됩니다.²⁵

중요한 것은, 이런 위험이 하나의 방어선으로 해결되지 않는다는 점입니다. 책임 있는 시스템은 보통 여러 층으로 방어합니다. 예를 들어 입력 단계에서는 프롬프트 인젝션이나 이상 입력을 감지하고, 모델 단계에서는 안전 정책과 응답 제한을 두고, 출력 단계에서는 유해성·개인정보·정책 위반 여부를 다시 검사합니다. 여기에 고위험 작업은 인간 검토를 붙이고, 배포 후에는 사고 징후를 모니터링합니다. 마치 건물에 현관문만 있는 것이 아니라 출입 통제, CCTV, 소화기, 비상구, 경보 장치가 함께 있는 것과 비슷합니다.⁴⁶

이 다층 방어는 특히 에이전트 시대에 더 중요해졌습니다. 답변만 생성하던 모델이 이제는 검색하고, 메일을 보내고, 티켓을 발급하고, 결제를 요청할 수도 있습니다. 이때 실패는 문장 오류에서 끝나지 않고 행동 오류로 이어집니다. 그래서 도구 사용이 들어가는 시스템은 더 엄격한 권한 분리, 허용 목록, 실행 전 확인, 사후 로그 검토가 필요합니다. "모델이 대체로 착하게 답한다"는 인상은 보안 설계가 아닙니다.

위험은 시나리오로 정의해야 관리할 수 있다

책임 있는 AI에서 자주 실패하는 이유 중 하나는 위험을 너무 추상적으로 말하기 때문입니다. "편향이 있을 수 있다", "환각이 문제다", "보안 이슈가 있다" 같은 말만으로는 실제 통제가 설계되지 않습니다. 운영에서 필요한 것은 시나리오입니다.

예를 들어 인사 업무에 쓰는 AI라면 위험은 이렇게 구체화됩니다. 특정 대학 출신을 더 우대하는 추천을 하는가. 여성 지원자의 이력서를 덜 긍정적으로 요약하는가. 장애 관련 표현을 부정적 신호로 해석하는가. 근거 없이 불합격 사유를 만들어 내는가. 이런 식으로 위험을 시나리오로 바꾸면 테스트 데이터도 만들 수 있고 승인 기준도 세울 수 있습니다.

안전성 평가도 마찬가지입니다. 단순히 "모델 안전 점수 87점" 같은 숫자 하나로 끝내면 안 됩니다. 어떤 공격에 취약한지, 어떤 언어에서 필터가 약한지, 어떤 도구 호출에서 실수가 나는지, 어떤 사용자 집단에서 오탐과 누락이 생기는지를 따로 봐야 합니다. 최근 책임 있는 AI 실무 자료들이 사전 평가, 레드팀 테스트, 정책 집행, 배포 후 관찰을 하나의 연속선으로 묶어 설명하는 이유가 여기에 있습니다.⁵⁶

개인정보는 데이터 수집 순간부터 시작된다

생성형 AI에서 프라이버시는 특히 까다롭습니다. 전통적인 소프트웨어에서는 입력한 데이터가 어디에 저장되고 누가 접근하는지가 핵심이었다면, 생성형 AI에서는 한 단계가 더 추가됩니다. 그 데이터가 학습에 쓰였는가, 모델이 그것을 기억했는가, 이후 응답에서 다시 재생산될 수 있는가까지 따져야 합니다.

연구들은 대규모 생성형 모델이 특정 조건에서 훈련 데이터를 그대로 또는 유사하게 재생산할 수 있음을 보여 주었고, 이는 개인 정보와 기밀 정보 보호에 직접적인 경고가 됩니다.⁷ 더구나 오늘날의 생성형 AI는 웹 스크래핑, 사용자 로그, 업로드 문서, 피드백 데이터 등 서로 성격이 다른 데이터를 한데 모으는 경우가 많습니다. 그래서 "우리는 개인정보를 중요하게 생각합니다"라는 문장보다 중요한 것은 데이터 흐름을 명확히 그리는 일입니다. 무엇을 수집하는가, 어떤 목적으로 쓰는가, 얼마나 오래 보관하는가, 학습에 재사용하는가, 삭제 요청이 오면 어떻게 처리하는가가 설계 단계에서 정해져야 합니다.⁷

여기서 특히 중요한 원칙은 목적 제한과 최소 수집입니다. 모델이 좋아질 수 있다는 이유로 모든 데이터를 오래 쌓아 두는 습관은 위험합니다. 고객 문의를 처리하기 위해 받은 첨부 문서가 장기 학습 데이터셋으로 흘러들어가면, 원래 목적을 벗어난 사용이 됩니다. 안전한 시스템은 많이 모으는 시스템이 아니라, 왜 필요한지 설명할 수 있는 데이터만 모으는 시스템입니다.

또 하나 잊기 쉬운 쟁점은 삭제입니다. 일반 데이터베이스에서는 레코드를 지우면 끝나는 듯 보이지만, 이미 모델 학습에 반영된 정보는 그렇게 간단하지 않습니다. 그래서 최근 논의에서는 데이터 삭제 요청, 머신 언러닝, 재학습 비용, 보존 정책을 모두 포함한 수명주기 관점이 강조됩니다.⁷ 책임 있는 AI는 저장 정책만 세우는 것이 아니라, 잊는 방법까지 고민하는 체계입니다.

저작권은 생성 결과보다 학습 과정에서 먼저 터진다

생성형 AI의 저작권 문제는 흔히 "AI가 만든 결과물의 권리는 누구 것인가"라는 질문으로 알려져 있습니다. 물론 그것도 중요합니다. 하지만 실제로 더 큰 긴장은 학습 데이터에서 시작됩니다. 무엇을 어떤 근거로 수집했는지, 권리자가 자신의 저작물이 학습에 사용된 사실을 알 수 있는지, 거부하거나 보상을 요구할 수 있는지, 스타일 모방이 어디까지 허용되는지 같은 문제가 계속 논쟁 중입니다.⁸⁹

특히 대규모 사전학습은 데이터 출처가 불투명한 경우가 많아, "법적으로 괜찮은가"와 "사회적으로 받아들일 수 있는가"가 분리되기 쉽습니다. 모델은 개별 작품을 그대로 저장하지 않더라도, 창작자의 문체나 화풍, 표현 습관을 통계적으로 흡수해 매우 유사한 결과를 낼 수 있습니다. 그래서 저작권 이슈는 복제 여부만이 아니라 출처 추적, 투명성, 라이선스, 보상 구조의 문제로 번집니다.⁸¹⁰

이 영역에서 점점 중요해지는 키워드는 투명성입니다. 어떤 데이터 범주를 사용했는지, 어떤 라이선스 정책을 따랐는지, 권리자가 이의를 제기할 창구가 있는지, 생성물에 AI 사용 사실을 어떻게 알리는지가 최소한의 신뢰 기반이 됩니다. IAPP의 논의도 저작권 영역에서 투명성을 공급망 전체의 개방성과 책임성으로 설명하며, 수명주기 단계마다 제공할 수 있는 정보의 수준이 다르다고 봅니다.¹¹

실무적으로는 화려한 법 해석보다 먼저 할 일이 있습니다. 데이터 수집 기준을 문서화하고, 라이선스가 불명확한 데이터는 위험 등급을 높게 두고, 권리자 문의와 삭제 요청을 처리할 절차를 만들고, 사용자가 생성한 결과물의 활용 범위를 약관과 제품 화면에서 분명히 알려야 합니다. 저작권은 법무팀의 마지막 검토 단계에서 갑자기 붙이는 스티커가 아니라, 데이터 설계 단계에서 시작되는 제품 요건입니다.

공정성은 평균 정확도가 아니라 누가 더 많이 다치는가의 문제다

공정성 이야기가 어려운 이유는, 모두가 공정성을 원한다고 말하지만 무엇을 측정해야 하는지는 쉽게 합의되지 않기 때문입니다. 어떤 서비스에서는 집단별 오류율 차이가 중요하고, 어떤 서비스에서는 기회 접근성이나 표현의 왜곡이 더 중요합니다. 생성형 AI에서는 더 복잡합니다. 단지 합격·불합격을 예측하는 것이 아니라, 누구를 어떻게 묘사하는지, 어떤 집단을 더 자주 배제하거나 고정관념적으로 그리는지도 문제이기 때문입니다.¹²

그래서 공정성은 데이터셋의 대표성을 높이는 것만으로 끝나지 않습니다. 출시 전에는 하위집단 성능 평가를 해야 하고, 민감 속성과 관련된 위험을 따로 검토해야 하며, 레드팀 테스트에서 차별적 실패 사례를 일부러 찾아야 합니다. 출시 후에는 사용자 신고 채널과 수정 루프가 필요합니다. 실제 현장에서는 모델이 평균적으로는 훌륭해 보여도 특정 언어권, 성별 표현, 장애 관련 문맥, 사회경제적 배경이 드러나는 질문에서만 성능이 급격히 떨어질 수 있기 때문입니다.¹²

여기서 중요한 태도는 "편향이 있었는가"를 한 번 판정하고 끝내지 않는 것입니다. 더 정확한 질문은 이것입니다. 어떤 집단이, 어떤 맥락에서, 어떤 종류의 불이익을 더 크게 겪는가. 이 질문으로 바뀌는 순간 공정성은 추상적 도덕 담론이 아니라 테스트 설계 문제가 됩니다.

투명성은 모든 비밀을 공개하라는 뜻이 아니다

AI 시스템의 투명성을 말하면, 어떤 사람은 모델 내부 구조와 훈련 데이터를 전부 공개해야 하는가를 먼저 떠올립니다. 하지만 실무에서 투명성은 조금 다르게 작동합니다. 핵심은 이해관계자마다 필요한 수준의 정보를 적절히 제공하는 것입니다.¹¹

사용자에게는 지금 AI와 상호작용하고 있다는 사실, 답변에 한계가 있다는 점, 중요한 결정은 사람이 검토한다는 점이 중요할 수 있습니다. 내부 운영팀에게는 어떤 모델 버전이 배포되어 있는지, 어떤 데이터가 입력으로 들어가고 있는지, 어떤 정책 필터가 작동하는지가 중요합니다. 규제기관과 감사인에게는 위험 평가서, 테스트 결과, 사고 대응 기록, 변경 이력이 필요합니다. 즉 투명성은 무조건 더 많은 공개가 아니라, 역할에 맞는 설명 가능성과 추적 가능성을 확보하는 일입니다.²¹³

이 점에서 문서화는 생각보다 강력한 장치입니다. 모델 카드, 데이터 문서, 사용 금지 시나리오, 알려진 한계, 평가 기준, 승인 기록이 쌓이면 조직은 비로소 "우리가 무엇을 운영하고 있는지"를 말할 수 있게 됩니다. 반대로 이런 문서가 없으면 모델은 계속 바뀌는데 조직은 무엇이 바뀌었는지 기억하지 못하는 상태에 빠집니다. 책임 없는 시스템은 종종 악의보다 무기록에서 시작됩니다.

책임성은 좋은 의도가 아니라 증거로 만든다

책임 있는 AI에서 가장 중요한 질문 중 하나는 이것입니다. 문제가 생기면 누가 설명할 것인가. 이 질문이 불편한 이유는, AI 프로젝트가 원래 여러 팀의 경계 위에 놓이기 때문입니다. 데이터 팀은 데이터를 만들고, 엔지니어링 팀은 서비스를 붙이고, 제품 팀은 기능을 설계하고, 보안팀은 접근 통제를 보고, 법무팀은 규제를 검토합니다. 그런데 실제 사고가 나면 모두가 조금씩 관련 있고, 아무도 전부 책임지지 않는 상황이 벌어집니다.²

그래서 책임성은 조직 구조의 문제이기도 합니다. 누가 시스템 오너인지, 어떤 위험 등급부터 추가 승인이 필요한지, 누가 배포 중단 권한을 갖는지, 사고 대응의 최종 책임자는 누구인지가 정해져 있어야 합니다. 여기에 증거가 붙어야 진짜 책임성이 됩니다.

그 증거는 거창한 것이 아닐 수도 있습니다. 모델 카드, 데이터셋 문서, 정책 집행 기록, 감사 로그, 변경 이력, 위험 평가서, 배포 승인 기록, 외부 검증 결과 같은 것들입니다. 이런 자료가 있어야 경영진에게는 통제가 작동하고 있음을 보여 줄 수 있고, 감사인과 규제기관에게는 적절한 절차를 거쳤음을 입증할 수 있습니다.³⁵ 좋은 의도는 슬라이드에 남지만, 책임성은 기록에 남습니다.

거버넌스는 출시 전 심사 한 번으로 끝나지 않는다

AI 시스템은 일반 소프트웨어보다 더 빨리 변합니다. 모델 버전이 바뀌고, 프롬프트가 수정되고, 검색 인덱스가 업데이트되고, 도구 연결이 늘어나고, 사용자 행동도 달라집니다. 따라서 책임 있는 AI를 출시 직전 체크리스트 하나로 끝내면 거의 반드시 무너집니다.

이 때문에 최근의 실무 프레임워크는 거버넌스를 반복적 과정으로 봅니다. NIST AI RMF에 맞춰 위험을 식별하고, 측정하고, 관리하고, 조직 차원의 역할과 문화까지 연결하려는 접근이 대표적입니다.³ ISO도 높은 수준의 원칙을 실제 요구사항과 적합성 평가로 번역해 주는 국제 표준의 역할을 강조합니다.¹³ 쉽게 말해, "좋은 원칙"을 "검증 가능한 절차"로 바꾸는 다리가 필요하다는 뜻입니다.

규제 환경도 같은 방향으로 움직이고 있습니다. EU AI Act는 2025년부터 금지된 AI 관행과 AI 문해력 관련 규정이 먼저 적용되기 시작했고, 2025년에는 GPAI 관련 의무가, 2026년에는 다수의 일반 규정과 Annex III 고위험 AI 관련 규정이, 2027년에는 일부 추가 고위험 규정이 순차적으로 적용됩니다.¹⁴ 미국은 연방 차원의 단일법은 없지만 주별 법안과 분야별 규제가 빠르게 늘고 있고, 한국·일본·중국·싱가포르 등도 서로 다른 방식으로 책임 있는 AI 규칙을 구체화하고 있습니다.¹⁴ 중요한 것은 법 조항 하나하나를 외우는 일이 아닙니다. 어떤 지역에서 사업하든 결국 투명성, 위험 평가, 문서화, 인간 감독, 사후 모니터링이 공통 요구로 떠오르고 있다는 흐름을 읽는 일입니다.

실무에서 책임 있는 AI를 설계하는 최소한의 질문들

제품 팀이 책임 있는 AI를 처음 설계할 때는 복잡한 철학보다 질문이 더 도움이 됩니다. 적어도 다음 질문에는 답할 수 있어야 합니다.

이 시스템은 무엇을 해도 되고, 무엇은 하면 안 되는가.
어떤 사용자와 어떤 집단에서 실패할 때 피해가 가장 큰가.
어떤 데이터가 들어오고, 그 데이터는 저장·학습·삭제 측면에서 어떻게 관리되는가.
유해성, 개인정보, 편향, 저작권, 보안 위험을 누가 언제 검토하는가.
모델이 틀리거나 위험한 행동을 할 때, 자동 차단·인간 검토·사후 대응은 어떻게 연결되는가.
문제가 발생했을 때, 무엇이 기록으로 남고 누가 최종 책임을 지는가.

이 질문들이 명확해질수록, 책임 있는 AI는 추상적 구호에서 실제 운영 능력으로 바뀝니다.

통제 가능한 시스템이 오래 살아남는다

AI 업계는 종종 더 큰 모델, 더 높은 점수, 더 인상적인 데모를 향해 질주합니다. 물론 그 진보는 중요합니다. 하지만 실제 세상에서 오래 살아남는 시스템은 단지 똑똑한 시스템이 아닙니다. 잘못될 때 멈출 수 있고, 위험을 설명할 수 있고, 데이터를 다루는 방식에 책임을 질 수 있고, 문제가 생기면 수정할 수 있는 시스템입니다.

이 말은 AI를 더 조심스럽게 쓰자는 소극적 태도가 아닙니다. 오히려 반대입니다. 통제 가능한 시스템만이 더 넓은 영역으로 나아갈 수 있습니다. 의료, 금융, 교육, 공공 서비스처럼 사회적 영향이 큰 곳일수록, 성능만 좋은 시스템보다 책임 있게 운영되는 시스템이 필요합니다.

결국 책임 있는 AI는 기술의 속도를 늦추는 브레이크가 아니라, 기술이 더 멀리 가기 위한 조향 장치입니다. 그리고 그 조향 장치를 갖춘 팀만이 다음 시대의 AI를 안정적으로 만들 수 있습니다.