믿되 검증하라: 오류, 환각, 개인정보, 저작권 주의사항

잘 쓰는 사람과 위험하게 쓰는 사람의 진짜 차이

초보자가 ChatGPT를 처음 쓰면 종종 이렇게 느낍니다. "와, 말도 자연스럽고 설명도 그럴듯한데?" 맞습니다. 문제는 바로 그 "그럴듯함"입니다. ChatGPT는 문장을 아주 매끄럽게 만들 수 있지만, 매끄럽다고 해서 항상 맞는 말은 아닙니다. 중요한 것은 기능을 많이 아는 사람이 아니라, 결과를 검증하는 습관이 있는 사람입니다.

같은 답변을 받아도 어떤 사람은 그대로 복붙해서 제출하고, 어떤 사람은 숫자·날짜·출처부터 다시 확인합니다. 이 둘의 차이는 생각보다 큽니다. 전자는 빠르게 실수하고, 후자는 조금 더 천천히 가더라도 덜 망합니다. 특히 학교 과제, 회사 문서, 고객 안내, 건강 정보, 세금·법률 관련 내용처럼 결과가 실제 행동으로 이어지는 경우에는 이 차이가 더 커집니다.

한마디로 정리하면 이렇습니다.

ChatGPT는 '첫 초안 생성기'로는 훌륭하지만, '최종 책임자'가 되어서는 안 됩니다.

환각이란 무엇인가

AI를 이야기할 때 자주 나오는 단어가 있습니다. 바로 환각입니다. 환각은 모델이 사실이 아닌 내용을 마치 사실인 것처럼 말하는 현상을 뜻합니다. 없는 논문을 있는 것처럼 말하거나, 존재하지 않는 통계를 자연스럽게 제시하거나, 실제 인물에 대해 틀린 정보를 단정적으로 말하는 식입니다.¹²

왜 이런 일이 생길까요? 아주 단순하게 말하면, ChatGPT는 사람처럼 진실 여부를 직접 확인하는 기계가 아니라, 문맥상 그럴듯한 다음 말을 예측하는 모델이기 때문입니다.²

그래서 초보자 입장에서 특히 위험한 경우는 다음과 같습니다.

• 숫자가 구체적일 때

• 출처가 있어 보일 때

• 문장이 자신감 넘칠 때

• 내가 잘 모르는 분야일 때

이 네 가지가 겹치면 꽤 위험합니다. 예를 들어 "2024년 국내 1인 가구 비율은 35.7%이며…" 같은 문장은 매우 믿기 쉽습니다. 하지만 숫자도 틀릴 수 있고, 기관명이나 보고서 제목이 부정확할 수도 있습니다. 문장이 정교할수록 더 의심해야 할 때가 있습니다.

"다시 확인해줘"만으로는 부족한 이유

많은 초보자가 이렇게 묻습니다.

"이거 맞아? 다시 확인해줘."

문제는 이 방식이 생각보다 잘 안 통한다는 점입니다. 모델은 종종 자기 답을 다시 읽고 비슷한 확신으로 반복할 뿐, 정말로 독립적으로 검증하지 못할 수 있습니다.³

쉽게 말해, 틀린 답을 다시 읽고 "네, 맞습니다"라고 말하는 상황이 생길 수 있다는 뜻입니다.

그래서 더 좋은 방법은 막연하게 "검토해줘"라고 말하는 것이 아니라, 검증 질문을 분리해서 던지는 것입니다. 예를 들어 이렇게 바꿔보세요.

잘못된 방식:

"방금 답변이 맞는지 확인해줘."

더 나은 방식:

"방금 답변에서 사실 주장만 번호로 뽑아줘. 각 주장에 대해 확인이 필요한 질문을 하나씩 만들어줘. 확실하지 않으면 '확인 필요'라고 표시해줘."

이런 식의 검증 절차는 사실 주장, 수치, 날짜, 기관명처럼 틀리기 쉬운 부분을 따로 떼어내는 데 도움이 됩니다.

초보자를 위한 3단계 사실 확인 습관

사실 확인은 거창한 기술이 아닙니다. 초보자는 먼저 아래 3단계만 익혀도 실수가 크게 줄어듭니다.

• 1단계: 위험 신호 찾기

• 2단계: 출처 요구하기

• 3단계: 외부에서 교차 확인하기

먼저 위험 신호를 찾습니다. 특히 숫자, 비율, 날짜, 고유명사, 법률 조항, 인용문, 연구 결과는 우선 확인 대상입니다.⁴

그다음 ChatGPT에게 출처를 요구합니다. 다만 여기서 끝내면 안 됩니다. 출처가 제시됐다고 해서 자동으로 안전한 것은 아니기 때문입니다. 링크가 죽어 있거나, 엉뚱한 내용을 가리키거나, 실제 원문과 다르게 요약했을 수도 있습니다.⁴

마지막으로 직접 외부에서 확인합니다. 가장 좋은 순서는 보통 이렇습니다.

공식 기관 자료 → 신뢰할 만한 언론 또는 전문 매체 → 필요하면 추가 자료

예를 들어 볼까요?

당신이 ChatGPT에게 "올해부터 바뀌는 세금 제도 요약해줘"라고 물었다고 합시다. 이 답변은 편리하지만, 여기서 바로 블로그에 올리면 위험합니다. 세법은 자주 바뀌고, 국가와 시점에 따라 적용 조건도 달라지기 때문입니다. 이런 경우에는 국세청, 정부 부처, 공식 공고처럼 최신 공식 자료를 먼저 확인해야 합니다.

출처를 확인할 때 꼭 봐야 하는 것

초보자는 출처가 붙어 있으면 안심하는 경우가 많습니다. 하지만 진짜 확인은 그다음부터입니다.

출처를 볼 때는 세 가지만 먼저 보세요.

• 이 출처가 공식 기관인지

• 내용이 내가 받은 답변과 정말 같은 말을 하는지

• 게시일이 너무 오래되지 않았는지

예를 들어 ChatGPT가 어떤 통계를 설명하면서 기사 링크를 줬다고 합시다. 링크를 눌러보니 해당 기사에는 그 숫자가 없거나, 다른 문맥의 숫자를 섞어 쓴 경우가 있습니다. 이때는 "출처가 있다"가 아니라 "출처를 잘못 붙였다"가 맞습니다.

실전에서 유용한 질문 예시는 이렇습니다.

"방금 답변에서 숫자, 날짜, 기관명만 따로 표로 정리해줘."

"각 항목별로 공식 출처 확인이 필요한지 표시해줘."

"최신 정보가 필요한 항목은 무엇인지 표시해줘."

이렇게 시키면 검증해야 할 부분이 눈에 더 잘 들어옵니다.

실전 예시 1: 과제에 바로 쓰면 왜 위험할까

학생이 ChatGPT에게 이렇게 물었다고 해봅시다.

"산업혁명에 대한 1,000자 요약과 대표 학자 3명, 대표 저서 3권을 정리해줘."

겉보기에는 아주 그럴듯한 답이 나올 수 있습니다. 그런데 학자 이름 한 명이 애매하거나, 저서 제목이 비슷하지만 정확하지 않을 수 있습니다. 여기서 그대로 제출하면 어떤 일이 생길까요? 선생님이나 교수님이 익숙한 분야라면 금방 어색함을 알아챌 수 있습니다.

이럴 때 더 안전한 방식은 다음과 같습니다.

먼저 ChatGPT에게 초안을 받습니다. 그다음 이렇게 묻습니다.

"위 답변에서 학자 이름, 책 제목, 출간 연도만 따로 뽑아줘."

그리고 직접 도서관 검색, 학교 데이터베이스, 백과사전, 공식 학술 정보로 교차 확인합니다. ChatGPT는 초안을 빠르게 만드는 데는 좋지만, 참고문헌을 대신 책임져주지는 않습니다.

실전 예시 2: 회사 문서에서 숫자가 틀리면 생기는 일

직장에서 더 위험한 것은 "어느 정도 맞겠지"라는 마음입니다.

예를 들어 팀장이 "국내 건강기능식품 시장 성장률 요약해서 보고서 초안 만들어줘"라고 시켰다고 합시다. ChatGPT는 성장률, 시장 규모, 조사기관 이름까지 멋지게 붙여줄 수 있습니다. 그런데 이런 숫자 하나가 틀리면 보고서 전체 신뢰도가 무너질 수 있습니다.³

이럴 때는 문장을 잘 다듬는 능력보다, 숫자 하나를 의심하는 습관이 더 중요합니다.

좋은 실무 습관은 이렇습니다.

"이 보고서 초안에서 숫자와 인용 출처가 들어간 문장만 따로 모아줘. 각 문장에 대해 공식 자료 확인이 필요한지 표시해줘."

이 한 번의 확인이 회의 한 번을 살릴 수 있습니다.

민감한 개인정보는 넣지 않는 것이 원칙

ChatGPT를 쓸 때 많은 사람이 놓치는 것이 있습니다. "질문"처럼 보이지만 사실은 "데이터 입력"이라는 점입니다. 이름, 전화번호, 주민등록번호, 계좌번호, 고객 정보, 환자 정보, 계약서 원문, 회사 내부 코드, 미공개 기획안 같은 내용은 함부로 넣으면 안 됩니다.⁵⁶

특히 소비자용 서비스에서는 입력한 내용과 업로드한 파일이 계정 안에 저장될 수 있고, 설정에 따라 데이터 사용 방식도 달라질 수 있으므로 민감한 정보를 그대로 넣는 것은 위험합니다.⁵⁶

초보자가 기억할 가장 쉬운 원칙은 이것입니다.

"남에게 이메일로 그대로 보내면 곤란한 정보라면, ChatGPT에도 그대로 넣지 말자."

예를 들어 이런 것은 피해야 합니다.

• 고객 실명과 연락처가 들어간 상담 내용

• 회사 매출 원장, 계약서, 원가표

• 환자 증상과 검사 결과처럼 건강 정보가 담긴 문서

• 학생 개인정보가 포함된 생활기록 또는 평가 메모

정말 도움이 필요하다면 익명화해서 넣어야 합니다. 이름은 "A고객", 전화번호는 삭제, 회사명은 "B사", 구체적 금액은 범위로 바꾸는 식입니다.

나쁜 예:

"김민수 고객(010-1234-5678)이 4월 9일에 환불 요청했는데…"

좋은 예:

"전자상거래 고객 1명이 배송 지연 후 환불을 요청한 상황입니다. 정중한 답변 초안을 작성해줘."

정보를 줄여도 충분히 좋은 답을 받을 수 있습니다.

사람에 대한 정보는 더 조심해야 합니다

실존 인물에 대한 정보를 ChatGPT에 물을 때는 특히 주의해야 합니다. AI는 실제 사람의 생년월일, 이력, 사건 관련 정보 등을 틀리게 말할 수 있고, 그 결과가 당사자에게는 매우 큰 피해가 될 수 있습니다.¹

따라서 누군가에 대한 사실을 확인할 때는 ChatGPT 답변을 그대로 믿지 말고, 공식 프로필, 기관 소개, 본인 웹사이트, 공시 자료, 신뢰 가능한 언론 보도로 다시 확인해야 합니다.

특히 아래 질문은 더 조심해야 합니다.

• "이 사람 범죄 이력 있어?"

• "이 사람 학력 맞아?"

• "이 사람 생일이 언제야?"

• "이 회사 대표의 경력 정리해줘."

이런 내용은 틀릴 때 명예훼손이나 신뢰 훼손 문제로 이어질 수 있습니다. 사람 정보는 요약보다 사실 확인이 우선입니다.

저작권은 "AI가 만들었으니 자유"가 아닙니다

초보자가 자주 오해하는 부분이 저작권입니다. "ChatGPT가 썼으니 그냥 내 것 아닌가요?"라고 묻는 경우가 많습니다. 실제 사용 권한과 저작권 문제는 생각보다 더 복잡합니다.

서비스 약관상 사용자가 생성한 결과물을 활용할 수 있도록 허용되는 경우가 많지만, 그렇다고 해서 모든 결과물이 자동으로 법적으로 안전해지는 것은 아닙니다.⁷ 결과물 안에 타인의 표현을 지나치게 닮은 문장이 들어갈 수도 있고, 특정 브랜드나 캐릭터, 가사, 기사 문장처럼 보호 대상이 섞일 수도 있습니다.

초보자에게 필요한 실전 원칙은 어렵지 않습니다.

첫째, 그대로 제출하거나 출판하지 말고 내 표현으로 다시 다듬기입니다.

둘째, 긴 문단을 통째로 베끼지 않기입니다.

셋째, 유명한 작품체를 그대로 흉내 내는 요청에 주의하기입니다.

넷째, 인용이 필요한 정보는 원 출처를 직접 확인하고 표시하기입니다.

예를 들어 블로그 글을 쓸 때 ChatGPT가 써준 문장을 거의 그대로 올리기보다, 내가 이해한 방식으로 재구성하고 사실 정보에는 실제 출처를 달아주는 편이 훨씬 안전합니다.

학교와 직장에서의 윤리: 들키느냐보다 설명할 수 있느냐

AI 사용의 핵심은 "걸리면 문제"가 아니라 "어디까지 도움을 받았는지 설명할 수 있느냐"입니다.

예를 들어 이런 차이는 큽니다.

• "내가 직접 쓴 보고서를 AI로 문장만 다듬었다."

• "남이 쓴 것처럼 보이게 AI가 전부 작성했다."

두 문장은 완전히 다릅니다. 전자는 보조 도구 사용에 가깝고, 후자는 책임 회피에 가깝습니다.

학교에서는 과목 규정이나 교수 지침을 확인해야 합니다. 직장에서는 회사의 AI 사용 정책, 보안 규정, 외부 공유 금지 기준을 먼저 확인해야 합니다. 회사 자료를 넣기 전에 "이 문서를 외부 클라우드 서비스에 올려도 되는가?"라는 질문부터 해야 합니다.

과의존도 위험합니다

ChatGPT를 많이 쓰다 보면 편해집니다. 문제는 너무 편해진다는 것입니다.

모르는 것을 물어보는 수준을 넘어, 생각 자체를 맡겨버리는 순간이 옵니다. 메일 제목도 맡기고, 기획 방향도 맡기고, 공부 요약도 맡기고, 고민 상담의 결론도 맡기다 보면 어느새 "내가 판단한 것"보다 "AI가 말한 것"을 더 믿게 될 수 있습니다.²

그래서 중요한 것은 속도를 빌리되, 판단은 넘기지 않는 것입니다.

좋은 사용 방식은 이렇습니다. ChatGPT에게 초안 3개를 받되, 마지막 선택은 내가 합니다. 공부 요약을 받되, 핵심 개념은 내가 다시 설명해봅니다. 일정 추천을 받되, 우선순위는 내 상황에 맞게 직접 정합니다.

AI를 많이 쓴다고 실력이 느는 것은 아닙니다. AI를 쓰고도 내 머리로 한 번 더 정리할 때 실력이 남습니다.

절대 바로 믿지 말아야 하는 분야

모든 답변을 똑같이 경계할 필요는 없지만, 특히 아래 분야는 한 번 더 확인해야 합니다.

• 건강·의료 정보

• 법률·세무·노무 정보

• 투자·재무 판단

• 최신 뉴스와 정책 변화

• 사람의 이력, 범죄, 평판 관련 정보

이 분야들은 틀렸을 때 비용이 큽니다. 약을 잘못 먹거나, 세금을 잘못 신고하거나, 잘못된 사람 정보를 퍼뜨리거나, 돈을 잃는 일로 이어질 수 있습니다.

예를 들어 "두통이 있는데 어떤 약을 먹어야 해?"라고 묻기보다, "병원에 가기 전 일반적으로 어떤 증상을 기록해두면 도움이 되는지 정리해줘"라고 묻는 편이 더 안전합니다. 처방은 의사에게, 정리는 ChatGPT에게 맡기는 식입니다.

초보자를 위한 안전 프롬프트 예시

이 장의 내용을 바로 써먹을 수 있도록, 안전한 사용에 도움이 되는 프롬프트를 몇 가지 소개하겠습니다.

사실 확인용

"방금 답변에서 사실 주장만 번호로 뽑아줘. 의견이나 해석은 제외해줘."

"각 주장에 대해 확인이 필요한 항목을 '숫자, 날짜, 기관명, 인명, 인용문'으로 분류해줘."

"확실히 검증되지 않은 내용은 단정형 표현 대신 '추정', '가능성', '출처 확인 필요'로 바꿔줘."

출처 점검용

"이 답변에서 최신 정보가 필요한 부분만 따로 표시해줘."

"공식 출처가 필요한 문장과 일반 설명 문장을 구분해줘."

"출처 후보를 제시하되, 실제 확인 전까지 사실로 단정하지 말아줘."

개인정보 보호용

"내가 민감한 정보를 넣지 않도록, 아래 문장을 익명화해서 다시 써줘."

"실명, 연락처, 회사명, 계약 금액을 모두 일반화한 뒤 문서 초안으로 바꿔줘."

저작권·표절 예방용

"아래 문단의 핵심 뜻은 유지하되, 표현은 새로 재구성해줘."

"직접 인용이 필요한 문장과 일반적인 요약으로 바꿔도 되는 문장을 구분해줘."

이런 프롬프트는 답을 더 멋지게 만들기보다, 더 안전하게 만드는 데 도움이 됩니다.

최종 점검 체크리스트

무언가를 제출하거나 공유하기 전에 아래 다섯 가지를 스스로 물어보세요.

• 이 내용에 숫자, 날짜, 고유명사가 들어가 있나?

• 출처가 있다면, 내가 직접 열어 보고 확인했나?

• 개인정보나 회사 기밀을 그대로 넣지 않았나?

• 남의 문장을 너무 비슷하게 베끼지는 않았나?

• 이 답을 그대로 믿지 않고, 내 판단으로 한 번 더 걸렀나?

이 다섯 가지 중 하나라도 걸리면, 제출 버튼을 잠깐 미루는 편이 좋습니다.

믿되, 검증하라

ChatGPT를 안전하게 잘 쓰는 사람은 의심이 많은 사람이 아닙니다. 책임감이 있는 사람입니다. AI를 적으로 볼 필요는 없습니다. 다만 비서처럼 쓰되, 책임자는 내가 되어야 합니다.

기억해두세요.

ChatGPT의 가장 큰 장점은 빠름이고, 가장 큰 위험은 그 빠름이 검증을 건너뛰게 만든다는 점입니다.

그래서 정말 중요한 습관은 하나입니다.

좋은 답을 받는 사람보다, 받은 답을 확인하는 사람이 결국 더 잘 씁니다.

참고

¹Hallucination is Inevitable: An Innate Limitation of Large Language Models

²Ask ChatGPT: caveats and mitigations for individual users of AI chatbots

³Don't trust ChatGPT at face value — here's a practical fact-checking workflow

⁴How people are using ChatGPT - OpenAI

⁵ChatGPT Privacy Settings | OpenAI

⁶File Uploads FAQ - OpenAI Help Center

⁷Terms of Use - OpenAI