12장. ChatGPT가 거짓말할 때

ChatGPT를 오래 쓰다 보면 이상한 순간을 만나게 된다. 문장은 너무 자연스럽고, 말투는 자신감이 넘치는데, 내용은 틀린 경우다. 더 무서운 것은 엉터리처럼 보이는 오답이 아니라, 맞는 것처럼 보이는 오답이다. 숫자도 그럴듯하고, 설명도 친절하고, 심지어 출처 이름까지 멀쩡하다. 그런데 하나씩 확인해 보면 어딘가 어긋나 있다.

많은 사람은 이때 이렇게 말한다. "AI가 거짓말했다." 실감나는 표현이다. 다만 조금 더 정확하게 말하면, AI는 사람처럼 속이려고 거짓말하는 것이 아니다. 대신 모르는 빈칸을 아주 능숙하게 메운다. 문제는 그 메우는 솜씨가 너무 좋다는 데 있다. 그래서 우리는 틀린 답보다, 틀린 줄 모르고 쓰게 되는 답을 더 경계해야 한다.

이 장의 핵심은 단순하다. AI를 믿는 법은 무조건 신뢰하는 법이 아니라, 체계적으로 의심하는 법을 배우는 데서 시작된다는 것이다. 잘 쓰는 사람은 AI를 불신하지 않는다. 대신 어디까지 믿고, 어디서 멈추고, 무엇을 확인해야 하는지 안다.

AI는 왜 이렇게 그럴듯하게 틀릴까

사람이 모르면 보통 머뭇거린다. "잘 모르겠는데", "확인해 봐야 하는데", "기억이 애매한데" 같은 신호를 보낸다. 하지만 ChatGPT는 기본적으로 대화를 이어가도록 설계된 도구다. 질문이 들어오면 가능한 한 답을 만들고, 흐름을 끊지 않으려 한다. 그래서 불확실한 부분이 있어도 잠시 멈추기보다, 가장 그럴듯한 문장으로 이어 붙이는 쪽에 가깝다.

쉽게 말해, AI는 모른다는 침묵보다 자연스러운 문장을 더 잘 만든다. 이 성질이 초안 작성이나 아이디어 확장에서는 큰 장점이 된다. 하지만 사실 판단이나 검증이 필요한 작업에서는 바로 위험이 된다. 당신이 원하는 것은 문장 완성 능력이 아니라 사실 정확도인데, AI는 둘을 종종 같은 일처럼 처리하기 때문이다.

여기에 한 가지가 더 붙는다. AI는 질문의 방향에도 민감하다. "이 전략이 왜 좋은지 설명해줘"라고 물으면, 좋은 이유를 잘 모아온다. "이 전략이 왜 위험한지 설명해줘"라고 물으면, 위험한 이유도 아주 잘 모아온다. 즉, AI는 진실을 먼저 세우기보다 요청의 틀 안에서 가장 설득력 있는 답을 만들려는 경향이 있다.

그래서 환각은 단순한 오류가 아니다. 문장 생성의 강점과 불확실성의 약점이 겹칠 때 생기는 구조적인 부산물에 가깝다.

환각이 생기는 대표 패턴

환각은 아무 데서나 같은 모양으로 생기지 않는다. 자주 틀리는 자리에는 대체로 반복되는 패턴이 있다. 이 패턴을 알아두면 "아, 지금은 조심해야 하는 구간이구나"를 더 빨리 알아챌 수 있다.

모르는 부분을 자연스럽게 메우는 패턴

가장 흔한 경우다. 질문에 필요한 일부 정보가 없거나, 데이터가 불완전하거나, 맥락이 비어 있을 때 AI는 그 틈을 상식적인 문장으로 메운다. 예를 들어 제품 정책이 정확히 공개되지 않았는데도 일반적인 SaaS 관행을 섞어 답한다든지, 문서에 없는 의도를 문맥상 그럴듯하게 추정해 버리는 식이다.

사람은 이런 답을 읽으면 오히려 안심한다. 빈칸이 없기 때문이다. 하지만 바로 그 빈칸 없음이 위험 신호일 수 있다. 현실의 정보는 원래 구멍이 많다. 모든 것이 매끈하게 이어지면, 누군가가 그 사이를 상상으로 연결했을 가능성을 먼저 떠올려야 한다.

출처와 고유명사를 꾸며내는 패턴

제목, 기관명, 저자명, 연도, 논문 이름, 법 조항, 기능명, 회사명, 링크 형태까지 그럴듯하게 만드는 경우가 있다. 이때 특히 속기 쉽다. 사람은 구체성이 높아질수록 정확하다고 느끼기 때문이다.

하지만 AI에게 구체성은 정확성의 증거가 아니라, 그럴듯함의 재료일 때가 있다. 없는 보고서를 있는 것처럼 말하거나, 실제 존재하는 문서와 다른 제목을 붙이거나, 비슷한 두 서비스를 섞어 새로운 기능표를 만들 수도 있다. 이름이 정확해 보인다고 사실까지 정확한 것은 아니다.

여러 맥락을 섞어버리는 패턴

서로 다른 시점의 정보, 다른 나라의 제도, 다른 회사의 정책, 다른 버전의 기능이 한 문장 안에서 섞이는 경우도 많다. 2024년의 정책과 2026년의 기능을 같은 현재형으로 설명하거나, 미국 기준 설명을 한국 사용자에게 그대로 적용하는 식이다.

이 패턴이 무서운 이유는 문장 안에 부분적으로 맞는 정보가 섞여 있기 때문이다. 전체가 완전히 틀린 것이 아니라, 맞는 것 둘과 틀린 것 하나가 한 접시에 담겨 나온다. 그래서 읽는 사람은 전체를 한꺼번에 믿게 된다.

계산보다 해석에서 앞서가는 패턴

숫자나 사실 자체보다, 그 의미를 너무 빨리 단정하는 경우다. 예를 들어 매출이 올랐다는 사실에서 바로 마케팅 효율 개선을 말하거나, 고객 이탈 증가를 곧바로 경쟁사 영향이라고 설명하는 식이다. 데이터는 현상을 보여주는데, 해석은 원인을 선언해 버린다.

이런 답은 특히 회의 자료나 보고서 초안에서 위험하다. 문장이 명쾌할수록 사람은 생각보다 쉽게 받아들인다. 하지만 분석에서 명쾌함은 진실의 증거가 아니라, 종종 생략의 결과다.

사용자의 기대를 따라가는 패턴

AI는 질문 속의 기대를 읽는다. 당신이 원하는 방향이 있으면 그 방향으로 답이 정리되기 쉽다. "이 아이디어 괜찮지?"라고 묻는 순간, 이미 평가보다 설득에 가까운 대화가 시작된다.

이 패턴은 특히 창업, 투자, 전략, 채용, 제품 기획처럼 본인이 이미 감정적으로 기울어 있는 주제에서 자주 나타난다. AI는 냉정한 반대자보다 예의 바른 조력자처럼 행동하기 때문이다. 그래서 중요한 결정일수록, 일부러 반대편 자리에 앉혀야 한다.

환각을 알아채는 사람은 무엇을 보나

AI를 잘 쓰는 사람은 정답을 더 많이 아는 사람이 아니라, 수상한 답의 냄새를 더 빨리 맡는 사람이다. 실제로 유용한 신호는 몇 가지로 정리할 수 있다.

지나치게 매끄러운 단정

현실 세계의 설명에는 보통 단서가 붙는다. 조건이 있고, 예외가 있고, 시점이 있고, 범위가 있다. 그런데 어떤 답이 지나치게 매끈하고 단정적이라면 한 번 멈춰야 한다. 특히 정책, 법, 가격, 기능, 통계, 원인 분석 같은 주제에서 예외가 하나도 없다면 오히려 이상하다.

"항상", "반드시", "일반적으로 모두", "입증되었다" 같은 표현이 많아질수록 경계심도 같이 올라가야 한다.

확인 가능한 단서가 없다

좋은 답은 확인할 길이 남아 있다. 원문 제목, 수치의 기준, 날짜, 비교 대상, 용어 정의 같은 단서가 보인다. 반대로 나쁜 답은 문장만 매끄럽고 확인할 고리가 없다.

예를 들어 "최근 연구에 따르면"이라는 문장은 친절해 보이지만, 연구 이름도, 기관도, 시점도 없다면 사실상 안개다. 안개를 보고 길이 있다고 믿으면 안 된다.

질문보다 결론이 먼저 나온다

복잡한 질문인데도 너무 빨리 결론을 주는 경우가 있다. 원래는 범위를 уточ정해야 하고, 조건을 물어봐야 하고, 정의를 맞춰야 하는 질문인데 AI가 곧장 추천과 판단을 내리면, 그 답은 높은 확률로 기본값 위에서 돌아간다.

좋은 조력자는 복잡한 일을 받으면 먼저 되묻는다. 바로 단정하는 조력자는 대체로 빨리 일하지만, 자주 틀린다.

다시 물으면 이야기가 바뀐다

같은 주제를 표현만 조금 바꿔 다시 물었을 때 핵심 내용이 흔들린다면 신뢰도를 낮춰야 한다. 물론 설명 방식이 달라질 수는 있다. 하지만 날짜, 숫자, 정책, 기능 유무, 핵심 결론이 오락가락하면 그 답은 지식이 아니라 즉흥에 가까울 가능성이 높다.

반례와 한계가 없다

현실의 좋은 설명은 대개 자기 한계를 함께 말한다. 언제는 맞고, 언제는 틀릴 수 있는지를 보여준다. 그런데 어떤 답이 예외도 없고, 반론도 없고, 조건도 없이 일직선으로만 나아가면 조심해야 한다. 세상은 원래 그렇게 친절하지 않다.

검증은 감이 아니라 루틴이어야 한다

많은 사람이 검증을 기분에 따라 한다. 왠지 찜찜하면 확인하고, 바쁘면 그냥 넘어간다. 하지만 그렇게 하면 결국 가장 그럴듯한 오답에 당한다. 검증은 직감이 아니라 절차여야 한다. 중요할수록 더 그렇다.

실무에서 쓸 수 있는 가장 현실적인 루틴은 여섯 단계면 충분하다.

1단계. 먼저 결과물의 종류를 구분하라

AI의 답은 다 같은 무게가 아니다. 브레인스토밍, 초안, 제목 후보, 구조 제안처럼 틀려도 큰 피해가 없는 답이 있다. 반대로 숫자, 출처, 계약 조건, 기능 유무, 법적 해석, 고객 안내문처럼 틀리면 바로 문제가 되는 답도 있다.

이 둘을 같은 수준으로 다루면 안 된다. 검증의 강도는 내용이 아니라 결과의 위험도로 정해야 한다. 예쁜 문장인지 아닌지는 중요하지 않다. 틀렸을 때 얼마나 크게 다치는지가 중요하다.

2단계. 핵심 주장을 따로 뽑아라

길게 쓴 답을 통째로 검증하려고 하면 금방 지친다. 대신 의사결정에 영향을 주는 핵심 주장만 먼저 뽑아라. 보통은 이런 것들이다.

• 숫자와 비율

• 날짜와 시점

• 기능의 존재 여부

• 정책, 규정, 법적 조건

• 원인과 효과에 대한 단정

• 추천의 근거가 되는 비교 기준

답을 읽고 "이 문서에서 틀리면 진짜 곤란한 문장은 무엇인가?"만 표시해도 검증 효율이 크게 올라간다.

3단계. 사실, 해석, 제안을 분리하라

AI 답변이 위험해지는 순간은 이 셋이 한 문장 안에 섞일 때다. 예를 들어 "전환율이 낮으므로 메시지를 바꿔야 한다"는 문장에는 사실, 해석, 제안이 한꺼번에 들어 있다. 사실은 낮은 전환율이고, 해석은 메시지가 원인이라는 점이며, 제안은 메시지 변경이다.

이 셋을 분리하면 갑자기 문서가 냉정해진다. 사실은 무엇인가. 그 사실의 해석은 무엇인가. 그리고 행동 제안은 무엇인가. 이 구조를 적용하면 그럴듯한 문장이 가진 마법이 많이 풀린다.

4단계. 근거를 다시 요구하라

AI가 낸 결론을 바로 받아 적지 말고, 근거를 다시 시켜라. "이 결론의 근거가 되는 문장만 따로 정리해줘", "각 주장 옆에 근거 수준을 붙여줘", "확실한 것과 추정인 것을 분리해줘"라고 물으면 좋다.

중요한 점은 근거를 더 길게 쓰게 하는 것이 아니다. 근거가 실제로 있는지, 아니면 문장만 그럴듯한지 확인하는 것이다. 이 과정을 거치면 놀랍게도 자신감 넘치던 답이 갑자기 조심스러워지는 경우가 많다. 그 변화 자체가 좋은 신호다.

5단계. 반대로도 물어봐라

이 단계가 특히 중요하다. 같은 주제에 대해 일부러 반대 질문을 던져라. "이 결론이 틀릴 수 있는 이유는?", "반례는?", "예외 조건은?", "내가 놓친 전제는?" 같은 질문이다.

좋은 답은 반대 질문을 견딘다. 나쁜 답은 방향만 바뀐다. 조금 전까지 A를 확신하던 답이, 질문만 바뀌자 이번에는 B를 확신한다면 그 답은 분석이 아니라 순응에 가깝다.

6단계. 실행 전에 마지막으로 사람 기준을 통과시켜라

마지막 체크는 간단해야 한다. "이 문장을 내 이름으로 고객에게 보내도 되는가?", "이 숫자에 사인할 수 있는가?", "이 설명을 회의에서 그대로 말해도 되는가?" 이 세 질문 앞에서 망설여진다면, 아직 검증이 덜 된 것이다.

AI의 문장은 부드럽다. 하지만 책임은 늘 거칠다. 최종 실행 직전에는 다시 사람 기준으로 돌아와야 한다.

'그럴듯한 오답'에 대응하는 실전 기준

현실에서는 모든 답을 다 똑같이 검증할 수 없다. 시간도 부족하고, 일도 많다. 그래서 중요한 것은 완벽 검증이 아니라, 위험도에 맞는 사용 기준을 미리 정해두는 것이다.

바로 활용해도 되는 영역

다음과 같은 작업은 비교적 가볍게 써도 된다.

• 아이디어 발산

• 초안 작성

• 문장 다듬기

• 개요 정리

• 질문 목록 만들기

• 회의 전에 생각 정리하기

이 영역에서는 약간의 오답보다 속도 이익이 더 크다. 어차피 결과를 사람이 다시 보게 되기 때문이다. AI를 메모장 겸 초안 파트너처럼 써도 괜찮다.

조건부로 활용해야 하는 영역

다음 작업은 유용하지만, 검증이 붙어야 한다.

• 요약과 비교

• 자료 정리

• 데이터 해석 초안

• 시장 조사 초벌

• 보고서 구조 제안

• 우선순위 가설 정리

이 구간의 답은 '완성본'이 아니라 '작업 가설'로 써야 한다. 그대로 믿는 순간 위험해지고, 검토용 재료로 쓰면 매우 강력해진다.

검증 전에는 넘기면 안 되는 영역

다음은 반드시 확인 후에만 써야 한다.

• 수치와 통계

• 출처와 인용

• 법률, 세무, 의료, 보안 관련 판단

• 계약 조건과 정책 안내

• 외부 고객에게 나가는 공식 문서

• 돈, 권한, 개인정보가 걸린 실행 지시

이 영역에서의 오답은 단순 실수가 아니라 비용이 된다. 신뢰를 잃고, 문제가 커지고, 때로는 되돌리기 어렵다. 여기서는 AI의 속도보다 인간의 확인이 먼저다.

자주 당하는 함정: 틀린 답보다 맞는 듯한 답

많은 사용자가 초반에는 엉터리 답을 보면 금방 경계심을 갖는다. 오히려 진짜 문제는 80퍼센트쯤 맞아 보이는 답이다. 몇 문장은 정확하고, 몇 문장은 상식적이며, 한두 문장만 틀렸는데 전체 분위기가 너무 멀쩡해서 넘어가 버리는 경우다.

이런 답은 특히 세 가지 상황에서 위험하다.

첫째, 내가 원래 잘 모르는 분야일 때다. 판단 기준이 없으니 말투와 구조에 설득된다.

둘째, 시간이 급할 때다. 확인하고 싶지만 그냥 믿고 넘어가고 싶은 마음이 생긴다.

셋째, 그 답이 내가 원하던 결론과 맞아떨어질 때다. 사람은 원래 자신이 듣고 싶은 말을 덜 검증한다.

그래서 실전에서 가장 중요한 질문은 "이 답이 맞나?"보다 "나는 지금 왜 이 답을 쉽게 믿고 있나?"에 가깝다. 의심은 AI를 향해야 하지만, 동시에 내 마음을 향해야 한다.

잘못된 대응과 좋은 대응의 차이

잘못된 대응은 대개 이렇다. AI가 틀린 답을 한 번 내놓으면 "역시 못 믿겠네" 하고 통째로 버린다. 혹은 반대로, 몇 번 잘 맞았다고 "이 정도면 되겠지" 하며 거의 확인하지 않는다. 둘 다 극단이다.

좋은 대응은 좀 더 현실적이다. 초안과 탐색에서는 넓게 쓴다. 하지만 사실 판단과 실행 직전에는 검증 절차를 붙인다. 즉, 믿지 않는 것이 아니라, 무게에 따라 다르게 믿는다.

이 태도는 사람을 대할 때와도 비슷하다. 유능한 동료에게도 모든 일을 눈감고 맡기지는 않는다. 큰돈이 걸린 계약이면 다시 보고, 고객에게 나갈 문서면 검토하고, 숫자가 엇갈리면 재계산한다. 신뢰는 확인이 없어도 된다는 뜻이 아니다. 확인 가능한 방식으로 함께 일할 수 있다는 뜻이다.

AI를 잘 쓰는 사람은 의심을 자동화한다

AI 시대의 경쟁력은 더 빨리 질문하는 능력만이 아니다. 더 빨리 확인하는 능력이다. 좋은 사용자는 항상 몇 가지 습관을 갖고 있다.

• 중요한 주장에는 근거를 붙이게 한다.

• 사실과 해석을 분리해 쓰게 한다.

• 반대 질문으로 답을 흔들어 본다.

• 최종 실행 전에는 사람 기준으로 다시 읽는다.

• 틀렸을 때 피해가 큰 영역은 처음부터 검증 단계를 포함해 설계한다.

이 습관의 좋은 점은 특별히 어려운 기술이 아니라는 데 있다. 거창한 프롬프트 비법이 없어도 된다. 필요한 것은 화려한 주문이 아니라, 확인 가능한 일의 구조다.

결국 중요한 것은 '정답 생성'이 아니라 '오답 관리'다

많은 사람이 AI를 잘 쓰는 법을 정답을 더 잘 뽑는 기술이라고 생각한다. 하지만 실제로는 조금 다르다. 진짜 실력은 오답을 얼마나 빨리 발견하고, 얼마나 싸게 수정하고, 얼마나 덜 위험한 곳에만 쓰게 하느냐에 가깝다.

생각해 보면 사람도 비슷하다. 완전히 틀리지 않는 사람은 없다. 대신 좋은 팀은 실수가 생겨도 빨리 드러나고, 크게 번지지 않고, 같은 실수를 반복하지 않도록 일하는 방식이 설계되어 있다. AI를 동료처럼 쓴다는 말도 결국 같은 뜻이다. 완벽한 존재로 믿는 것이 아니라, 실수를 관리할 수 있는 방식으로 함께 일하는 것이다.

그러니 ChatGPT가 거짓말할 때 가장 좋은 반응은 분노도, 맹신도 아니다. 차분하게 묻는 것이다.

어디까지가 사실인가. 어디서부터가 해석인가. 무엇을 확인해야 하는가.

이 세 질문을 습관처럼 붙일 수 있다면, 당신은 AI를 덜 무서워하게 될 것이다. 동시에 더 잘 쓰게 될 것이다. 아이러니하게도, AI를 믿을 수 있게 되는 순간은 그것을 의심하는 법을 배운 뒤에 온다.