AI 거버넌스와 규제

이 장에서 배울 것

이 장에서는 AI 거버넌스를 조직의 운영 체계로 이해한다. 핵심 질문은 간단하다. 누가, 무엇을, 언제, 어떻게 관리할 것인가?

이 장을 마치면 다음을 할 수 있다.

• AI 거버넌스를 개인 윤리가 아니라 조직의 반복 가능한 절차로 설명한다.

• EU AI Act, NIST AI RMF, ISO/IEC 42001, OECD AI 원칙의 차이를 입문자 수준에서 비교한다.

• AI 사용 등록부, 위험 평가서, 승인 절차, 인간 검토, 사고 대응, 정기 감사, 공급업체 검토를 운영 요소로 배치한다.

• model card와 system card에 들어갈 핵심 항목을 작성한다.

• 수업용 AI 도구나 조직 내 AI 서비스에 대한 간단한 정책 메모를 만든다.

왜 이 주제가 중요한가

앞 장에서는 출처 표기와 저작권을 다루었다. 그 장의 핵심은 "내가 AI 결과물을 어떻게 검증하고 기록할 것인가"였다. 이번 장에서는 관점을 넓힌다. 질문은 이제 "우리 조직은 AI 사용을 어떻게 관리하고 증명할 것인가"가 된다.

책임 있는 AI는 개인의 선의만으로 유지되지 않는다. 좋은 의도를 가진 교사, 개발자, 직원도 바쁜 상황에서는 검토를 건너뛸 수 있다. 어떤 도구가 승인되었는지 모르고 사용할 수 있다. 외부 AI 서비스에 학생 정보나 고객 정보를 넣을 수도 있다. 문제가 생겼을 때 로그가 없으면 원인도, 책임도, 개선책도 찾기 어렵다.

그래서 거버넌스가 필요하다. 거버넌스는 거창한 문서가 아니다. 조직이 AI를 사용할 때 지켜야 할 원칙, 역할, 절차, 문서, 감사 체계를 묶은 것이다. 쉽게 말해 "AI를 안전하게 쓰기 위한 운영 규칙"이다.

핵심 개념 설명

AI 거버넌스는 무엇인가

AI 거버넌스는 AI의 개발, 구매, 배포, 사용, 중단까지 전 과정을 관리하는 체계다. 다음 네 가지 질문으로 정리할 수 있다.

수준에 따라 거버넌스의 모양도 달라진다.

• 팀 수준: 수업이나 프로젝트에서 어떤 AI 도구를 써도 되는지 정한다.

• 조직 수준: 승인된 도구 목록, 개인정보 입력 금지 기준, 로그 보관 기준을 만든다.

• 산업 수준: 의료, 금융, 교육, 채용처럼 영향이 큰 분야의 별도 기준을 둔다.

• 국가 수준: 법률, 감독기관, 인증, 사고 보고 체계를 운영한다.

• 국제 수준: 국가 간 표준과 원칙을 맞춰 기업과 사용자가 예측 가능하게 움직이도록 한다.

주요 규제와 표준 비교

AI 규제와 표준은 목적이 조금씩 다르다. 법은 반드시 지켜야 하는 의무에 가깝고, 표준과 프레임워크는 조직이 체계를 만들 때 참고하는 설계도에 가깝다.

입문자는 이 차이를 이렇게 이해하면 된다. OECD 원칙은 방향, NIST AI RMF는 위험관리 방법, ISO/IEC 42001은 조직 운영 시스템, EU AI Act는 법적 의무의 대표 사례다.

조직에 필요한 운영 요소

AI 거버넌스는 문서 하나로 끝나지 않는다. 최소한 다음 요소가 필요하다.

1. AI 사용 등록부
   조직에서 쓰는 AI 도구와 서비스를 목록으로 관리한다. 도구명, 목적, 사용자, 입력 데이터 종류, 공급업체, 위험 등급, 승인 상태를 기록한다.

2. 위험 평가서
   이 AI가 누구에게 어떤 영향을 줄 수 있는지 평가한다. 개인정보, 편향, 저작권, 보안, 안전, 설명 가능성, 인간 검토 필요성을 확인한다.

3. 승인 절차
   낮은 위험의 개인 생산성 도구와 성적, 채용, 대출, 의료 판단처럼 큰 영향을 주는 도구를 같은 방식으로 승인해서는 안 된다. 위험이 높을수록 보안·개인정보·법무·현업 검토가 필요하다.

4. 인간 검토
   AI가 판단을 보조하더라도 최종 결정자는 사람이어야 하는 경우가 있다. 특히 학생 평가, 인사, 민원, 의료, 금융처럼 개인에게 직접 영향을 주는 영역에서는 사람이 결과를 검토해야 한다.

5. 사고 대응
   개인정보 유출, 잘못된 자동 판단, 유해 출력, 저작권 침해 의심, 편향적 결과가 발생했을 때 신고 경로와 조치 절차가 있어야 한다.

6. 정기 감사
   승인 당시에는 안전했던 도구도 시간이 지나면 바뀐다. 모델이 업데이트되고, 약관이 바뀌고, 데이터 흐름이 달라질 수 있다. 정기적으로 사용 현황과 위험을 재점검해야 한다.

7. 공급업체 검토
   외부 AI 서비스를 쓴다면 공급업체가 데이터를 어떻게 저장하는지, 학습에 사용하는지, 로그를 얼마나 보관하는지, 보안 인증이나 사고 대응 체계가 있는지 확인해야 한다.

model card와 system card

model card는 AI 모델의 설명서다. 모델의 목적, 학습 데이터, 평가 결과, 성능 한계, 알려진 위험, 적절한 사용 범위 등을 정리한다. 모델 자체를 이해하기 위한 문서에 가깝다. model card는 고위험 AI 시스템의 기술 문서화와 배포자에게 제공해야 할 정보와도 관련이 깊다.⁵

system card는 더 넓다. 실제 서비스 전체를 설명한다. 모델뿐 아니라 사용자 화면, 데이터 흐름, 권한, 연결된 도구, 안전장치, 모니터링 계획까지 포함한다. 예를 들어 같은 언어 모델을 쓰더라도 "수업 자료 초안 생성 도구"와 "학생 상담 챗봇"은 위험이 다르다. system card는 바로 이 배포 맥락을 기록한다.

간단한 system card에는 다음 항목을 넣으면 된다.

• 서비스 이름과 담당자

• 사용 목적과 대상 사용자

• 입력되는 데이터 종류

• 출력물이 사용되는 방식

• 사용 금지 용도

• 주요 위험: 개인정보, 편향, 오류, 저작권, 보안

• 인간 검토가 필요한 지점

• 성능 또는 품질 평가 방법

• 로그와 보관 기간

• 사고 발생 시 연락처와 조치 절차

• 정기 검토 일정

쉬운 비유 또는 사례

AI 거버넌스는 과학실 안전 규칙과 비슷하다. 과학실에서 실험을 금지하지 않는다. 대신 시약을 등록하고, 위험한 실험은 교사의 승인을 받고, 보호장비를 착용하고, 사고가 나면 보고서를 쓴다. 실험 기록도 남긴다.

AI도 마찬가지다. 거버넌스의 목적은 AI 사용을 막는 것이 아니다. 안전하게 시도하고, 문제가 생기면 빨리 발견하고, 같은 실수를 반복하지 않게 하는 것이다.

예를 들어 한 대학이 "AI 학습 도우미 챗봇"을 도입한다고 하자. 이 챗봇이 강의 내용을 설명하고 연습문제를 추천하는 정도라면 비교적 낮은 위험일 수 있다. 그러나 학생의 최종 성적을 자동 산정하거나 상담 내용을 저장해 지도 판단에 쓴다면 위험이 높아진다. 이때는 학생 개인정보 보호, 인간 검토, 오류 정정 절차, 데이터 보관 기간, 사용 고지문이 필요하다.

직접 해보는 실습

실습 1: 간단한 system card 작성

하나의 AI 서비스나 수업용 AI 도구를 고른다. 예: 과제 피드백 챗봇, 회의록 요약 도구, 고객 응대 챗봇, 채용 자기소개서 분류 도구.

아래 양식을 채운다.

작성할 때 가장 중요한 문장은 두 가지다.

• "이 시스템은 무엇을 해도 되는가?"

• "이 시스템은 무엇을 하면 안 되는가?"

실습 2: AI 활용 정책 메모 작성

다음 형식으로 1쪽 정책 메모를 작성한다.

제목: ○○ 조직의 AI 활용 정책 메모

1. 목적
이 정책은 AI 도구를 안전하고 책임 있게 사용하기 위한 기준을 정한다.

2. 허용되는 사용
- 예: 초안 작성, 요약, 아이디어 발산, 코드 설명, 학습 보조

3. 제한되는 사용
- 예: 개인정보 입력, 최종 성적 자동 결정, 검증 없는 외부 배포

4. 승인 절차
- 낮은 위험: 팀장 승인
- 중간 위험: 개인정보·보안 검토
- 높은 위험: 별도 위원회 승인 및 인간 검토 필수

5. 기록과 검증
- 사용 도구, 입력 데이터 유형, 검증 결과, 최종 책임자를 기록한다.

6. 사고 대응
- 문제 발견 시 사용 중지, 담당자 보고, 영향 범위 확인, 재발 방지 조치를 수행한다.

흔한 실수와 오류 분석

첫째, "외부 서비스니까 공급업체가 책임진다"고 생각하는 것이다. 공급업체는 모델과 플랫폼의 일부를 책임질 수 있다. 하지만 조직이 어떤 데이터로, 어떤 맥락에서, 누구에게 쓰는지는 조직의 책임이다.

둘째, "무료 도구니까 위험이 낮다"고 판단하는 것이다. 비용과 위험은 다르다. 무료 도구라도 개인정보가 입력되거나 중요한 의사결정에 사용되면 위험은 높아진다.

셋째, 정책을 너무 추상적으로 쓰는 것이다. "AI를 윤리적으로 사용한다"는 문장만으로는 부족하다. "학생 개인정보를 외부 AI에 입력하지 않는다", "AI 피드백은 최종 성적 산정에 단독 사용하지 않는다"처럼 행동 기준이 있어야 한다.

넷째, 한 번 승인하면 끝이라고 생각하는 것이다. AI 시스템은 계속 변한다. 모델 업데이트, 데이터 변경, 사용자 확대, 플러그인 추가가 있으면 다시 검토해야 한다.

다섯째, 문서를 홍보 자료처럼 쓰는 것이다. system card와 model card는 장점만 적는 문서가 아니다. 한계, 실패 가능성, 금지 용도를 분명히 적어야 한다.

요약

AI 거버넌스는 AI를 안전하게 쓰기 위한 조직의 운영 체계다. 핵심은 누가, 무엇을, 언제, 어떻게 관리하는지 정하는 것이다. 책임 있는 AI는 개인의 주의만으로 유지되지 않는다. 등록부, 위험 평가, 승인, 인간 검토, 사고 대응, 감사, 공급업체 검토가 함께 작동해야 한다.

규제와 표준은 서로 다른 역할을 한다. OECD 원칙은 가치의 방향을 제시하고, NIST AI RMF는 위험관리 틀을 제공하며, ISO/IEC 42001은 조직 경영시스템을 제시한다. EU AI Act는 위험 기반 법제의 대표 사례다.

model card는 모델의 설명서이고, system card는 실제 서비스 전체의 운영 설명서다. 조직은 두 문서를 통해 AI의 목적, 한계, 위험, 검토 절차를 증거로 남길 수 있다.

퀴즈

1. AI 거버넌스를 설명하는 네 가지 질문은 무엇인가?
   정답: 누가, 무엇을, 언제, 어떻게 관리하는가.

2. EU AI Act의 핵심 접근 방식은 무엇인가?
   정답: AI 시스템을 위험 수준에 따라 구분하고, 위험이 높을수록 더 엄격한 의무를 부과하는 위험 기반 접근이다.

3. model card와 system card의 차이는 무엇인가?
   정답: model card는 모델 자체의 목적, 데이터, 성능, 한계를 설명한다. system card는 모델이 실제 서비스 안에서 어떻게 배포되고 운영되는지까지 설명한다.

4. AI 사용 등록부에 들어가야 할 항목을 세 가지 이상 말해 보라.
   정답 예: 도구명, 사용 목적, 사용자, 입력 데이터 종류, 공급업체, 위험 등급, 승인 상태.

5. "AI 결과는 사람이 검토한다"는 문장만으로 부족한 이유는 무엇인가?
   정답: 누가, 언제, 어떤 기준으로 검토하는지 정해져 있지 않으면 실제 운영에서 작동하지 않기 때문이다.

체크리스트

• 우리 조직에서 사용하는 AI 도구 목록이 있는가?

• 각 도구의 사용 목적과 금지 용도가 적혀 있는가?

• 개인정보나 민감정보 입력 기준이 명확한가?

• 고위험 사용에 대한 승인 절차가 있는가?

• AI 출력물을 사람이 검토해야 하는 지점이 정해져 있는가?

• 사고 발생 시 보고 경로와 담당자가 정해져 있는가?

• 외부 공급업체의 데이터 처리와 보안 조건을 확인했는가?

• model card 또는 system card를 최신 상태로 유지하는가?

• 정기 감사와 재검토 일정이 있는가?

다음 장 연결

이번 장에서는 조직 차원의 AI 운영 구조를 만들었다. 다음 장에서는 이 구조를 교육 현장에 적용한다. 수업, 과제, 평가, 학생 상담, 교수자 업무에서 AI를 어디까지 허용하고 어디서 제한해야 하는지 구체적인 기준을 세운다.

참고

¹EU AI Act 개요

²NIST AI Risk Management Framework

³ISO/IEC 42001:2023 Artificial intelligence management system

⁴OECD AI Principles

⁵Practical AI Act Guide: Model cards