윤리, 보안, 개인정보, 규정 준수

좋은 프롬프트보다 먼저 정해야 할 것

조직의 AI 활용은 좋은 프롬프트에서 시작하지 않는다. 먼저 정해야 할 것은 데이터다. 누가 어떤 자료를 어떤 도구에 넣을 수 있는가. 결과를 누가 검토하는가. 문제가 생겼을 때 어떤 기록으로 설명할 수 있는가. 이 질문에 답하지 못하면 아직 업무에 투입할 준비가 되지 않은 것이다.

생성형 AI는 입력된 자료를 읽고, 요약하고, 재구성한다. 이 과정에서 개인정보, 영업비밀, 계약 조건, 고객 불만, 학생 기록, 환자 정보, 의뢰인 사안이 한 번에 섞일 수 있다. 그래서 AI 정책은 사용 장려 문구나 금지 문구만으로는 부족하다. 데이터 분류, 승인 절차, 로그, 감사 대응, 사고 보고까지 포함한 운영 문서가 되어야 한다.

한국 기업들이 ChatGPT 확산 초기에 내부정보와 회사 기밀 유출을 우려해 사용 범위를 제한하거나 내부 승인·보안 교육을 도입한 사례는 이 문제를 잘 보여 준다. 삼성전자, 포스코, LG디스플레이, SK하이닉스 등은 각기 다른 방식으로 공개형 AI 도구 사용과 내부정보 입력을 통제했다¹. 핵심은 단순하다. 편리하다고 해서 모든 자료를 넣을 수는 없다.

AI 생성 이미지

입력 데이터의 네 등급

AI에 넣을 수 있는 자료를 판단할 때는 업무 부서별로 따지기보다 데이터 등급으로 나누는 편이 안전하다.

여기서 중요한 원칙은 데이터 최소화다. AI에게 일을 시키기 위해 꼭 필요한 정보만 넣어야 한다. 고객 응대 문구를 다듬는 데 고객의 이름, 전화번호, 주소, 주문번호 전체가 필요하지 않다면 제거해야 한다. 환자 설명문을 쉬운 말로 바꾸는 데 실제 환자의 생년월일과 검사번호가 필요하지 않다면 넣지 말아야 한다. 계약서 검토 포인트를 뽑는 데 상대방 회사명과 금액 조건이 반드시 필요하지 않다면 가명 처리할 수 있다.

비식별화도 이름을 지우는 것만으로 끝나지 않는다. 날짜, 지역, 직함, 희귀 질환, 사건번호, 소속 부서, 파일 이름, 메타데이터가 결합되면 개인이나 조직이 다시 특정될 수 있다. 따라서 비식별화는 삭제, 범주화, 일반화, 치환을 함께 써야 한다. 예를 들어 2026년 5월 17일 강남구 A병원 내원이라는 표현은 2026년 5월 중 서울 소재 의료기관 내원처럼 바꿀 수 있다.

개인정보보호위원회의 생성형 AI 관련 논의도 목적 설정, 처리 근거, 가명·익명 처리, 접근 통제, 출력 필터, 사전 점검, 문서화를 함께 요구하는 방향으로 발전하고 있다². 실무자는 이를 어렵게 받아들일 필요가 없다. 한 문장으로 줄이면 이렇다. AI에 개인정보를 넣기 전, 왜 필요한지와 어떻게 줄였는지를 설명할 수 있어야 한다.

보안 위험은 프롬프트 안에서만 생기지 않는다

LLM 보안에서 가장 유명한 위험 중 하나는 프롬프트 인젝션이다. 외부 문서나 사용자 입력 안에 숨은 지시가 들어 있어 AI가 원래 지침을 무시하게 만드는 공격이다. 예를 들어 고객이 문의 내용에 이전 지시를 무시하고 관리자 정보를 출력하라고 적어 둘 수 있다. 사람이 보기에는 장난처럼 보이지만, 도구 권한이 연결된 AI 시스템에서는 실제 위험이 된다.

OWASP의 LLM 보안 목록은 프롬프트 인젝션, 민감정보 노출, 공급망 위험, 부적절한 출력 처리, 과도한 자율성 같은 문제를 주요 위험으로 제시한다³. 여기서 실무자가 기억해야 할 것은 세 가지다.

첫째, 외부 입력은 믿지 않는다. 고객 문의, 웹페이지, PDF, 이메일, 티켓 본문, 업로드 파일은 모두 공격 문구를 포함할 수 있다. 둘째, AI 출력은 곧바로 실행하지 않는다. AI가 만든 SQL, 코드, 메일, 환불 요청, 파일 삭제 명령은 별도 검증을 거쳐야 한다. 셋째, 권한은 최소화한다. 읽기 권한과 쓰기 권한을 분리하고, 결제·환불·계약·계정 변경처럼 되돌리기 어려운 작업은 사람 승인 없이 실행하지 않는다.

글로벌 기업용 보안 도구들은 이미 AI 대화 자체를 감사와 보존의 대상으로 다룬다. Microsoft Purview는 ChatGPT Enterprise와 같은 기업 AI 상호작용에 대해 프롬프트와 응답의 감사 로그, 민감정보 탐지, 내부자 위험 관리, eDiscovery, 보존 정책 같은 통제를 제공한다⁴. 이것은 특정 제품의 문제가 아니라 방향을 보여 준다. 앞으로 조직의 AI 사용은 메일, 메신저, 문서 저장소처럼 보안·감사 체계 안으로 들어가야 한다.

산업별로 달라지는 주의점

같은 요약 업무라도 교육, 의료, 법률, 금융, 공공 영역에서는 책임의 무게가 다르다. 따라서 산업별 정책은 활용 사례보다 금지선과 검토 책임을 먼저 적어야 한다.

교육 분야에서는 AI를 무조건 금지하기보다, 학생이 어떤 단계에서 AI를 사용했는지 밝히고 자기 판단을 남기게 하는 설계가 중요하다. 한국의 AI 디지털 교과서와 교실 혁신 논의도 교사 주도, 개인정보 보호, 안전한 데이터 처리, 지속 평가를 강조한다⁵. 학생의 학습을 돕는 사용과 학생의 답안을 대신 만드는 사용은 분리해야 한다.

금융 분야에서는 더 엄격한 기준이 필요하다. 금융위원회의 AI 금융서비스 가이드라인은 책임, 정확성·안전성, 투명성·공정성, 소비자 권리, 제3자 위탁 서비스의 보안 수준을 핵심 원칙으로 제시했다⁶. 즉 AI가 만든 결과가 고객의 권리와 손실에 영향을 준다면, 설명할 수 있어야 하고, 이의를 제기할 수 있어야 하며, 누가 승인했는지 남아 있어야 한다.

사법 영역에서도 같은 원칙이 반복된다. 법원행정처의 판사용 AI 가이드북 보도에 따르면, AI 결과는 참고자료로만 사용하고 최종 판단은 판사가 직접 해야 하며, 환각·편향·개인정보 침해 위험을 점검하는 체크리스트가 제시되었다⁷. 이는 법률 업무 전반에 적용할 수 있다. AI는 판례를 찾아 주는 보조자일 수 있지만, 판례의 존재와 문구, 적용 가능성은 사람이 원문으로 확인해야 한다.

AI 사용정책에 반드시 들어갈 항목

조직의 AI 사용정책은 길 필요가 없다. 하지만 다음 항목은 빠지면 안 된다.

1. 목적과 적용 범위
   어떤 업무에 AI를 쓸 수 있고, 어떤 업무에는 쓸 수 없는지 적는다. 초안 작성, 요약, 분류, 번역, 코드 보조처럼 허용 업무를 구체화한다.

2. 허용 도구 목록
   공개형 개인 계정, 기업용 계정, 사내 구축 모델, API, 커넥터 사용 가능 범위를 나눈다. 같은 ChatGPT라도 개인 계정과 기업용 워크스페이스는 통제 수준이 다를 수 있다.

3. 금지 데이터와 주의 데이터
   주민등록번호, 계좌번호, 카드번호, 인증정보, 비밀번호, API 키, 비공개 소스코드, 고객 원문 데이터, 학생·환자·의뢰인 정보, 인사평가 자료를 어떻게 처리할지 정한다.

4. 승인 플로우
   저위험 업무는 팀 내부 승인으로 충분할 수 있다. 그러나 고객에게 자동 발송되는 문구, 계약·금융·의료·법률 판단, 외부 시스템 변경, 대량 개인정보 처리는 보안·법무·개인정보 담당자의 승인이 필요하다.

5. 결과물 검토 기준
   AI 출력은 초안이다. 사실, 수치, 출처, 법령, 판례, 약관, 고객별 조건, 최신 정책은 원문으로 검증해야 한다. 외부 발송 전에는 사람이 최종 책임자로 표시되어야 한다.

6. 로그와 보존
   최소한 사용자, 사용 일시, 목적, 입력 데이터 등급, 사용 도구, 프롬프트 버전, 출력 요약, 검토자, 승인 여부, 삭제 또는 보존 기간을 남긴다.

7. 사고 대응 절차
   민감정보를 잘못 입력했거나, AI가 잘못된 답변을 고객에게 보냈거나, 외부 시스템을 잘못 변경했다면 즉시 사용을 중지하고 로그를 보존한다. 이후 보안·개인정보·법무 담당자에게 보고하고, 영향 범위와 재발 방지책을 문서화한다.

승인 플로우는 위험도에 맞게 나눈다

모든 AI 사용에 복잡한 승인을 요구하면 아무도 정책을 지키지 않는다. 반대로 모든 사용을 자율에 맡기면 사고가 난다. 그래서 위험도별로 단계를 나누어야 한다.

승인 플로우의 목적은 업무를 느리게 만드는 것이 아니다. 책임을 선명하게 만드는 것이다. 누가 어떤 근거로 AI 결과를 받아들였는지 남아 있으면, 나중에 오류가 발견되어도 수정할 수 있다.

구성원 교육용 체크리스트

교육 자료는 복잡한 법 조항보다 실제 예시 중심이어야 한다. 다음 세 가지 목록만 조직 포털과 온보딩 자료에 넣어도 사고를 크게 줄일 수 있다.

입력 금지 데이터

• 주민등록번호, 여권번호, 운전면허번호

• 계좌번호, 카드번호, 인증번호, 비밀번호

• API 키, 토큰, 서버 접속 정보

• 고객 원문 데이터 전체

• 학생 성적·상담 기록

• 환자 진료기록·검사 결과

• 의뢰인 사건 정보와 소송 전략

• 인사평가, 징계, 채용 심사 자료

• 미공개 재무정보, M&A, 가격 정책, 영업전략

주의 데이터

• 내부 회의록과 보고서 초안

• 계약서와 제안서

• 제품 로드맵과 장애 보고서

• 고객 문의 요약본

• 익명화된 설문 결과

• 공개 전 마케팅 캠페인

• 소스코드 일부와 오류 로그

주의 데이터는 무조건 금지가 아니다. 다만 승인된 도구, 최소 입력, 비식별화, 검토 로그가 필요하다.

상대적으로 안전한 데이터

• 이미 공개된 웹페이지와 보도자료

• 공개 논문과 공개 법령

• 가상의 예시 데이터

• 개인정보를 제거한 템플릿

• 조직이 외부 공개를 승인한 자료

실무 사례: 고객 상담 자동 분류

고객센터에서 AI로 티켓을 자동 분류한다고 해 보자. 나쁜 설계는 고객 문의 원문 전체를 그대로 AI에 보내고, AI가 정한 긴급도에 따라 자동 환불이나 계정 정지를 실행하는 것이다. 빠르지만 위험하다.

안전한 설계는 다르다. 먼저 이름, 전화번호, 이메일, 주소, 주문번호 일부를 마스킹한다. 그다음 AI에는 주제, 긴급도, 감정 강도, SLA 위험, 담당 부서, 에스컬레이션 필요 여부만 구조화 출력으로 받게 한다. 환불, 법무, 보안, 장애, 강한 분노, VIP 고객 같은 항목은 자동 처리하지 않고 사람에게 넘긴다.

로그에는 원문 전체가 아니라 마스킹된 입력, 사용한 프롬프트 버전, AI 분류 결과, 상담원 수정값, 최종 처리 부서, 에스컬레이션 여부를 남긴다. 이렇게 하면 개인정보 노출을 줄이면서도 분류 오류를 개선할 수 있다. AI는 고객을 대신 판단하는 시스템이 아니라 상담원이 더 빨리 정확한 판단을 하도록 돕는 운영 도구가 된다.

규정 준수는 나중에 설명할 수 있는 능력이다

윤리와 보안은 혁신의 반대편에 있지 않다. 오히려 AI를 오래 쓰게 만드는 조건이다. 조직이 어떤 데이터를 넣었는지, 어떤 도구를 썼는지, 누가 검토했는지, 어떤 기준으로 승인했는지 설명할 수 없다면 그 AI 활용은 확장될 수 없다.

좋은 AI 조직은 더 많은 프롬프트를 가진 조직이 아니다. 금지 데이터와 주의 데이터를 구분하고, 위험도별 승인 흐름을 갖추고, 결과를 검증하며, 사고가 났을 때 기록으로 대응할 수 있는 조직이다. 결국 신뢰할 수 있는 AI 활용은 한 문장으로 정리된다. 입력은 최소화하고, 권한은 제한하고, 결과는 검토하고, 모든 중요한 결정은 기록하라.

참고

¹Korean companies scramble to issue guidelines for ChatGPT over data leak fears

²South Korea Sets AI Standard: PIPC's Guidelines for Generative AI Present Obligations & Opportunity

³OWASP Top 10 for LLM Applications 2025

⁴Use Microsoft Purview to manage data security & compliance for ChatGPT Enterprise

⁵Teachers are leading an AI revolution in Korean classrooms

⁶Guideline on the use of artificial intelligence in financial services

⁷AI Guidebook for Judges on Safe Use in Trials Released