개인정보와 보안

이 장에서 배울 것

이 장의 핵심은 간단하다. AI를 안전하게 쓰려면 좋은 프롬프트보다 먼저 어떤 데이터를 넣으면 안 되는지 알아야 한다.

이번 장에서는 AI 도구를 사용할 때 개인정보와 민감정보가 어디에서 입력되고, 저장되고, 다시 노출될 수 있는지 살펴본다. 또한 교육기관과 조직에서 바로 사용할 수 있는 데이터 분류표, 사용 전 체크리스트, 간단한 사고 대응 메모를 만든다.

AI 보안은 모델만의 문제가 아니다. 데이터, 계정, 권한, 로그, 네트워크, 외부 도구까지 함께 관리해야 한다. 클라우드 기반 AI 보안 지침에서도 AI 시스템 보호는 모델 개발뿐 아니라 데이터와 인프라 전반의 보호를 포함한다고 본다¹.

왜 이 주제가 중요한가

AI 도구는 사용자가 입력한 내용을 바탕으로 답한다. 이 말은 곧, 사용자가 민감한 내용을 넣으면 그 정보가 AI 처리 흐름 안으로 들어간다는 뜻이다.

예를 들어 교사가 학생 상담 기록을 그대로 붙여 넣고 "이 학생에게 맞는 지도 방안을 알려줘"라고 요청했다고 하자. 답변은 유용할 수 있다. 하지만 입력 내용에는 학생 이름, 가정 상황, 정신건강 상태, 성적, 교우관계가 포함될 수 있다. 이 정보는 단순한 문장이 아니라 학생의 삶에 영향을 줄 수 있는 고위험 데이터다.

직장에서도 비슷하다. 회의록, 고객 명단, 계약서, 영업전략, 인사평가, 장애 처리 로그를 AI에 넣는 순간 정보 유출 위험이 생긴다. 무료 AI 도구, 브라우저 확장 기능, 외부 플러그인, 파일 업로드 기능은 편리하지만, 어떤 데이터가 어디에 저장되는지 확인하지 않으면 조직의 통제 밖으로 정보가 나갈 수 있다.

따라서 개인정보와 보안은 "조심하자"라는 구호가 아니라, 입력 전 판단 기준과 사용 후 관리 절차의 문제다.

핵심 개념 설명

1. 먼저 데이터를 분류한다

AI 사용 전에는 데이터를 세 가지로 나누어야 한다.

여기서 개인정보는 특정 개인을 알아볼 수 있는 정보다. 이름, 학번, 전화번호, 이메일, 사진, 위치정보가 대표적이다. 여러 정보를 결합했을 때 개인을 알아볼 수 있다면 그것도 개인정보다.

민감정보는 노출될 경우 피해가 큰 정보다. 건강, 장애, 정신건강, 상담, 정치적 견해, 종교, 생체정보, 범죄 관련 정보 등이 여기에 해당한다. 교육 현장에서는 성적, 생활기록, 상담 기록, 징계 기록, 특수교육 관련 정보도 매우 조심해야 한다.

업무상 기밀은 조직 내부에서만 알아야 하는 정보다. 내부 회의록, 인사 자료, 미공개 사업계획, 고객 목록, 가격 전략, 보안 취약점 보고서가 포함된다.

영업비밀은 외부에 공개되면 경쟁상 손해가 생길 수 있는 핵심 정보다. 알고리즘 설계, 제품 로드맵, 입찰 전략, 원가 구조, 고객별 계약 조건 등이 이에 해당한다.

판단이 어렵다면 이렇게 묻는다.

"이 내용이 외부 AI 서비스의 서버에 저장되거나, 다른 사람이 보게 되어도 괜찮은가?"

답이 "아니오"라면 그대로 입력하지 않는다.

2. AI 개인정보 처리 흐름을 본다

AI 도구에 정보를 넣는 순간 다음 흐름을 점검해야 한다.

1. 프롬프트 입력: 사용자가 직접 텍스트를 넣는다.

2. 대화 기록 저장: 서비스가 대화 내용을 저장할 수 있다.

3. 파일 업로드: 문서, 이미지, 표, 녹취록이 서버로 전송된다.

4. 모델 학습 활용 여부: 입력 데이터가 모델 개선이나 학습에 사용될 수 있는지 확인한다.

5. 외부 플러그인·확장 기능 호출: AI가 다른 서비스에 데이터를 넘길 수 있다.

6. RAG 지식베이스 저장: 내부 문서를 검색용 데이터베이스에 저장한다. RAG는 AI가 외부 문서를 찾아 답변에 활용하는 방식이다.

7. 에이전트의 업무 시스템 접근: AI가 이메일, 일정, 고객관리 시스템, 학사 시스템 등에 접근할 수 있다.

이 흐름 중 하나라도 관리되지 않으면 정보 유출 지점이 된다. 특히 RAG와 에이전트는 편리하지만 위험도 크다. 잘못 설정된 지식베이스는 권한이 없는 문서를 검색 결과로 보여줄 수 있고, 에이전트는 사용자의 의도와 다르게 파일을 보내거나 기록을 수정할 수 있다.

3. 기본 보호 조치를 적용한다

AI 보안의 기본 원칙은 새롭지 않다. 기존 정보보호 원칙을 AI 사용 방식에 맞게 적용하면 된다. 결제카드 보안 표준인 PCI DSS도 저장·처리·전송되는 민감한 결제 데이터를 보호하기 위해 기술적·운영적 요구사항을 둔다². AI에서도 같은 사고방식이 필요하다.

• 데이터 최소화: 필요한 정보만 넣는다. 원문 전체 대신 일부 문장, 요약, 통계를 사용한다.

• 목적 제한: 수업 피드백용으로 받은 데이터를 다른 분석이나 홍보 자료 생성에 쓰지 않는다.

• 익명화와 가명처리: 이름, 학번, 회사명, 지역, 날짜 등 식별 단서를 제거하거나 바꾼다.

• 접근권한 최소화: 필요한 사람만 AI 도구와 지식베이스에 접근하게 한다.

• 다중인증: 비밀번호 외에 문자, 인증 앱, 보안키 등 추가 확인을 둔다.

• 암호화: 저장 중인 데이터와 전송 중인 데이터를 보호한다.

• 보안 로그: 누가, 언제, 어떤 문서에 접근했는지 기록한다.

• 보관 기간 설정: 대화 기록과 업로드 파일을 무기한 보관하지 않는다.

• 삭제 절차: 수업 종료, 프로젝트 종료, 퇴사, 졸업 시 데이터와 권한을 정리한다.

핵심은 "모든 것을 저장하고 나중에 관리하자"가 아니다. 처음부터 덜 넣고, 짧게 보관하고, 접근을 제한해야 한다.

4. LLM 서비스에서 자주 생기는 보안 위험

LLM은 대규모 언어 모델을 뜻한다. 많은 텍스트를 학습해 질문에 답하거나 글을 생성하는 AI다. LLM 기반 서비스에서는 다음 위험을 특히 주의해야 한다.

이전 장에서 다룬 red-teaming은 여기서 매우 유용하다. 공격자처럼 생각하며 "AI가 숨겨진 지시를 따르는가?", "권한 없는 문서를 검색하는가?", "가명처리한 정보가 다시 개인을 특정하게 만드는가?"를 시험해 볼 수 있다.

쉬운 비유 또는 사례

AI 도구를 공용 복사기라고 생각해 보자. 복사기는 편리하다. 하지만 성적표, 진단서, 계약서, 신분증을 올려놓고 자리를 비우면 문제가 생긴다. 복사 자체가 나쁜 것이 아니라, 어떤 문서를 어디에 올려놓는지가 문제다.

AI도 마찬가지다. 공개 자료를 요약하거나 문장 표현을 다듬는 데 쓰는 것은 비교적 낮은 위험이다. 하지만 학생 상담 기록, 고객 명단, 내부 감사 보고서를 그대로 넣는 것은 복사기에 기밀문서를 두고 가는 것과 비슷하다.

교육기관 사례를 보자. 한 대학이 AI 튜터를 도입하려 한다. 이때 IT 부서만 결정해서는 부족하다. 학사팀은 학생 데이터의 범위를 알고, 교수자는 수업 맥락을 알고, 법무·개인정보 담당자는 규정과 계약 조건을 확인한다. 교육 분야 AI 거버넌스 논의에서도 IT, 학사, 법무, 학생 데이터 담당자가 함께 정책과 접근권한, 모니터링 기준을 정하는 방식이 강조된다³.

외부 AI 서비스를 도입할 때는 최소한 세 가지 질문을 해야 한다. 첫째, 학생이나 고객 데이터가 외부 모델 학습에 쓰이는가? 둘째, 데이터는 얼마나 오래 보관되는가? 셋째, 생성된 분석 결과와 출력물의 권리는 누구에게 있는가? 고등교육 AI 개인정보 논의에서도 이 질문들은 공급업체 검토의 핵심으로 제시된다⁴.

직접 해보는 실습

실습 1. 입력 가능 여부 표시하기

다음 예시 문서를 보고 AI에 그대로 넣어도 되는 정보, 제거해야 할 정보, 가명처리해야 할 정보를 표시하라.

"2학년 3반 김민수는 최근 수학 수행평가에서 42점을 받았다. 지난달 상담에서 부모의 이혼과 불면 증상을 이야기했다. 담임은 이 학생에게 맞는 학습 동기 향상 방안을 AI에게 물어보려 한다."

표시 예시는 다음과 같다.

• 제거: 실명, 학년·반, 구체적 점수, 가족 상황, 건강 상태

• 가명처리: "학생 A", "중간 이하의 수행 결과", "최근 정서적 어려움"

• 입력 가능 문장: "중학생 한 명이 최근 학습 의욕이 낮고 평가 결과가 좋지 않다. 개인정보 없이 학습 동기를 높이는 일반적 상담 질문 예시를 제안해 달라."

중요한 점은 AI가 꼭 원자료를 알아야 하는 것은 아니라는 사실이다. 대부분의 경우 AI는 개인을 특정할 정보 없이도 충분히 도움을 줄 수 있다.

실습 2. AI 사용 전 개인정보·보안 체크리스트 만들기

아래 항목에 예/아니오로 답하라.

• 이 데이터에 이름, 학번, 연락처, 사진, 위치정보가 있는가?

• 성적, 상담, 건강, 징계, 장애, 가정환경 정보가 있는가?

• 고객명, 계약 조건, 매출, 내부 전략, 보안 정보가 있는가?

• 원문 전체가 필요한가, 아니면 요약으로 충분한가?

• 외부 AI 서비스의 데이터 학습 사용 여부를 확인했는가?

• 대화 기록 저장을 끄거나 보관 기간을 제한할 수 있는가?

• 파일 업로드 후 삭제 방법을 알고 있는가?

• 승인된 AI 도구인지 확인했는가?

• 결과물을 다른 사람에게 공유하기 전에 민감정보가 섞였는지 검토했는가?

• 문제가 생겼을 때 신고할 담당자와 연락 방법을 알고 있는가?

하나라도 "아니오"가 나오면 사용을 멈추고 확인한다.

실습 3. 간단한 사고 대응 메모 작성하기

다음 양식으로 10분 안에 사고 대응 메모를 작성한다.

사고 제목:
발견 일시:
발견자:
사용한 AI 도구:
입력 또는 업로드한 데이터 유형:
포함된 개인정보 또는 기밀정보:
영향을 받을 수 있는 대상:
즉시 조치:
추가 확인이 필요한 사항:
보고 대상:
재발 방지 조치:

예를 들어 "교사가 학생 상담 기록이 포함된 파일을 외부 AI에 업로드함"이라는 사고라면, 즉시 파일 삭제 가능 여부를 확인하고, 서비스의 보관·학습 사용 정책을 확인하며, 개인정보 담당자에게 보고해야 한다. 이후에는 상담 기록의 AI 사용 금지 기준과 가명처리 예시를 교직원에게 다시 안내한다.

흔한 실수와 오류 분석

첫째, "이름만 지우면 안전하다"고 생각한다. 이름을 지워도 학번, 반, 지역, 사건 날짜, 특이한 상황이 남아 있으면 개인을 다시 알아볼 수 있다.

둘째, "유료 서비스니까 괜찮다"고 생각한다. 유료 여부보다 중요한 것은 계약 조건, 데이터 보관 기간, 학습 사용 여부, 접근권한, 삭제 절차다.

셋째, "AI가 만든 답변에는 개인정보가 없을 것"이라고 믿는다. 입력에 개인정보가 있으면 출력에도 섞여 나올 수 있다. 결과물 공유 전 검토가 필요하다.

넷째, "승인된 도구 하나만 정하면 끝"이라고 생각한다. 승인된 도구도 새 기능이 추가되면 다시 검토해야 한다. 파일 업로드, 플러그인, 에이전트 기능은 기존 채팅보다 위험이 크다.

다섯째, "보안은 IT 부서 일"이라고 여긴다. 실제 유출은 현장에서 발생한다. 교사, 조교, 학생, 직원, 관리자 모두가 데이터 입력 전 판단 기준을 알아야 한다.

요약

AI 개인정보·보안의 출발점은 데이터 분류다. 공개 자료는 입력 가능하지만, 개인정보와 기밀은 가명처리하거나 입력하지 않아야 한다. 특히 상담, 정신건강, 성적, 징계, 의료, 생체정보처럼 피해 가능성이 큰 데이터는 일반 개인정보보다 엄격하게 다룬다.

AI 활용 흐름은 프롬프트 입력에서 끝나지 않는다. 대화 기록, 파일 업로드, 모델 학습 사용, 외부 플러그인, RAG 지식베이스, 에이전트 권한까지 이어진다. 따라서 데이터 최소화, 목적 제한, 접근권한 최소화, 다중인증, 암호화, 로그, 보관 기간, 삭제 절차가 필요하다.

AI를 안전하게 쓰는 조직은 "무엇을 할 수 있는가"보다 먼저 "무엇을 넣으면 안 되는가"를 정한다.

퀴즈

1. AI 도구에 입력하기 전에 데이터를 분류해야 하는 이유는 무엇인가?

2. 개인정보와 민감정보의 차이를 예시와 함께 설명하라.

3. RAG 지식베이스에서 권한 설정이 중요한 이유는 무엇인가?

4. 프롬프트 인젝션이란 무엇이며, 어떤 피해를 만들 수 있는가?

5. 외부 AI 서비스를 도입할 때 반드시 확인해야 할 세 가지 질문은 무엇인가?

체크리스트

• 데이터 분류표를 만들었다.

• 입력 가능, 비식별 후 입력 가능, 입력 금지 기준을 정했다.

• 상담·건강·성적·징계 기록을 고위험 데이터로 분류했다.

• 승인된 AI 도구 목록을 관리한다.

• 외부 서비스의 데이터 학습 사용 여부를 확인한다.

• 파일 업로드와 대화 기록 보관 기간을 확인한다.

• 계정에 다중인증을 적용한다.

• 권한은 필요한 사람에게만 부여한다.

• 로그 확인 담당자와 주기를 정했다.

• 사고 신고 절차와 연락망을 문서화했다.

• 퇴사·졸업·프로젝트 종료 시 권한 회수 절차가 있다.

다음 장 연결

개인정보와 보안은 AI 위험 관리의 한 축이다. 하지만 안전하게 보호된 데이터라도, 그 데이터가 한쪽 집단을 불리하게 대표하거나 AI 결과가 특정 집단에 반복적으로 불리하게 작동하면 또 다른 문제가 생긴다.

다음 장에서는 편향과 공정성을 다룬다. 어떤 데이터와 설계가 차별적 결과를 만들 수 있는지, 그리고 교육과 조직 현장에서 공정성을 어떻게 점검할 수 있는지 살펴본다.

참고

¹Azure Security and Responsible AI Guide: Implementing Security Measures

²PCI Security Standards Council: PCI Data Security Standard (PCI DSS)

³Microsoft Education Blog: AI governance in education: From policy to practice

⁴EdTech Magazine: AI in Higher Education: Protecting Student Data Privacy