ChatGPT는 “정답을 아는 존재”가 아니라, 말로 된 일을 빠르게 처리하도록 돕는 도구입니다. 이 기대치를 처음부터 맞추지 못하면, 조금만 틀린 답을 보거나 원하는 문장 톤이 안 나오기만 해도 “결국 쓸모없다”는 결론으로 가기 쉽습니다.
이 챕터의 목표는 단순합니다. ChatGPT의 강점을 최대한 활용하되, 한계가 드러나는 구간에서는 사람이 책임지는 방식으로 사용 기준을 세우는 것입니다.
ChatGPT는 ‘정답 생성기’가 아니라 ‘초안 생성기’에 가깝다
ChatGPT가 가장 잘하는 일은 대체로 “정답”이 아니라 “초안”입니다. 초안을 빨리 만들고, 그 초안을 다시 다듬고, 구조를 바꾸고, 읽기 쉽게 정리하는 작업에서 생산성이 크게 오릅니다.1
반대로 사실 하나가 틀리면 전체가 무너지는 작업(법률 조항, 의료 판단, 투자 의사결정 등)에서는 “초안”이 아니라 “검증된 답”이 필요합니다. 이때 ChatGPT는 강력한 조력자일 수는 있어도, 최종 판단을 대신하는 주체가 되면 위험해집니다.2
ChatGPT가 특히 잘하는 일: 문서·언어 중심 작업의 가속
ChatGPT의 강점은 “언어”로 표현되는 대부분의 업무에 걸쳐 나타납니다. 대표적으로 다음과 같은 영역에서 체감 효율이 큽니다.
초안 작성: 이메일, 공지, 보고서, 제안서, 블로그 글의 첫 버전 만들기1
요약과 재구성: 긴 문서 요약, 핵심만 뽑기, 회의록을 액션 아이템으로 바꾸기1
톤/스타일 변환: 딱딱한 문장을 친절하게, 짧은 문장을 설득력 있게, 한국어를 자연스럽게 다듬기1
아이디어 확장: 캠페인 콘셉트, 제목 후보, 질문 리스트, 체크리스트 생성1
코딩 보조: 코드 설명, 리팩터링 방향 제안, 테스트 케이스 아이디어, 오류 메시지 해석1
여기서 중요한 포인트는 “대부분 말로 된 일”이라는 공통점입니다. ChatGPT는 사람이 하던 언어 작업의 속도를 올려주고, 생각의 초안을 만드는 시간을 줄여줍니다.
한계 1: 환각(Hallucination) — 그럴듯한데 틀릴 수 있다
ChatGPT의 가장 유명한 한계는 환각입니다. 환각은 AI가 사실이 아닌 것을 지어내는 것을 말합니다.
환각은 크게 두 종류로 설명되곤 합니다. 하나는 요약이나 해석 과정에서 의미를 비틀어버리는 내재적 환각, 다른 하나는 존재하지 않는 근거·사례·수치를 만들어내는 외재적 환각입니다.2
더 근본적으로는, 언어 모델이 확실하지 않은 상황에서 모르겠다고 멈추기보다 ‘답처럼 보이는 것’을 추측하는 쪽이 점수(평가)에 유리해지는 구조가 환각을 강화할 수 있다는 분석도 있습니다.3
실무적으로 기억할 문장은 하나입니다.
“그럴듯함”은 품질의 조건이지만, “진실함”의 증거는 아니다.
AI는 성능이 빠르게 좋아지기 때문에 환각율은 점점 낮아지고 있습니다. 하지만 AI가 그럴듯한 대답을 만들어 낼 수 있다는 것을 염두에 두고 사용하는 것이 필요합니다.
환각이 특히 자주 터지는 질문 유형
업무에서 환각이 잘 생기는 패턴은 거의 정해져 있습니다.
최신 업데이트(가격, 정책, 인사, 일정, 규정 변경)
출처가 필요한 수치(시장 규모, 통계, 논문 결과)
특정 회사/제품의 세부 사양이나 약관
법률·세무처럼 문구 하나가 결과를 바꾸는 영역
게다가 모델이 업데이트되면 환각 양상이 달라질 수 있습니다. 예를 들어 OpenAI가 특정 모델 업데이트에서 환각 감소 폭을 언급하더라도(웹 사용 시 환각 최대 26.8% 감소 등), “환각이 사라졌다”가 아니라 “줄어들었을 뿐”이라는 관점이 필요합니다.4
환각을 ‘제로’로 만드는 대신, ‘관리’하는 법
환각을 완전히 없애려 하기보다, 환각이 나와도 피해가 없게 흐름을 설계하는 쪽이 현실적입니다.
첫째, ChatGPT에게 정답을 요구하기보다 “내가 검증할 수 있는 형태의 초안”을 요구합니다. 예를 들어 “결론 말고 근거 후보를 5개로 나누고, 확실/추정/불명확으로 표시해줘”처럼요.
둘째, 사실이 중요한 부분은 검증 루틴을 프롬프트에 내장합니다. “출처 링크 없으면 모른다고 말해줘”, “모호하면 질문으로 되물어줘” 같은 제약은 생각보다 큰 차이를 만듭니다.2
셋째, 중요한 숫자·인용·법조문·의학정보는 반드시 원문(공식 문서, 논문, 공공기관 자료)로 확인합니다. ChatGPT는 확인을 대신하기보다, 확인해야 할 대상을 좁혀주는 도구로 쓰는 편이 안전합니다.2
한계 2: 최신성 — ‘지식 컷오프’와 ‘현재 인터넷’은 다르다
ChatGPT는 모델에 따라 학습 데이터가 반영된 시점(지식 컷오프)이 다르고, 같은 모델이라도 “웹을 보느냐/안 보느냐”에 따라 최신성이 크게 달라집니다.
예컨대 공개적으로 정리된 표에서도 GPT 계열 모델의 컷오프가 모델별로 다르게 제시됩니다.5 그리고 더 혼란스러운 점은, 모델이 스스로 컷오프를 일관되게 정확히 말하지 못하는 경우가 있다는 것입니다.6
따라서 실무에서의 결론은 단순합니다.
“최신 정보가 필요하다”면, 웹 검색/사내 문서/RAG 같은 외부 근거를 붙인다.
“최신이 아니어도 된다”면, ChatGPT의 개념 설명·초안 생성 능력을 최대한 쓴다.
최신성 이슈는 ‘정보를 모른다’로 끝나지 않습니다. 더 위험한 경우는 모르는데도 아는 것처럼 말하는 것입니다. 그래서 최신성이 중요한 업무(공고문, 가격표, 규정 안내, 채용/법무 공지)는 “생성→검증→승인” 단계를 반드시 거치도록 팀 규칙을 만들어야 합니다.
한계 3: 맥락 오해 — 말을 알아듣는 것처럼 보여도, 의도를 놓친다
ChatGPT는 대화를 잘 이어가지만, 사람처럼 상황을 “이해”하진 않습니다. 표현을 조금만 바꿔도 답이 크게 달라지거나, 내가 당연하다고 생각한 전제를 누락하는 일이 생깁니다. 이런 입력 문구 민감성과 문맥 오해는 많은 사용자들이 반복적으로 겪는 약점입니다.7
특히 다음 상황에서 맥락 오해가 늘어납니다.
요구사항이 암묵적일 때(“알아서 예쁘게” 같은 표현)
예외 조건이 많은데 일부만 말했을 때
내부 조직/제품 용어가 많은데 정의가 없을 때
‘목표’와 ‘형식’이 섞여 있을 때(설득하려는 글인지, 요약인지, 보고인지)
이 문제의 해결은 프롬프트 기술로 이어집니다. 다만 지금 챕터에서는 원칙만 잡고 갑니다.
맥락을 이해시키려면, 배경(왜) + 입력(무엇) + 성공기준(어떻게 채점할지) 를 먼저 준다.
“하면 안 되는 일”의 기준: 고위험 결정을 대신 맡기지 말 것
ChatGPT를 쓰면 안 되는 상황은 “윤리적”이라서만이 아니라, 실무 리스크가 폭발하기 때문입니다. 환각이 완전히 해결되지 않았고,23 어떤 과업에서는 환각 비율이 매우 높게 관찰되었다는 보고도 있습니다.8
특히 다음 영역은 ‘조언’ 수준이라도 그대로 실행하면 위험해질 수 있어, 원칙적으로 금지선으로 잡는 편이 좋습니다.
의료 판단: 자가진단, 약 복용/중단, 증상에 대한 처치 결정2
법률/노무/세무의 최종 판단: 소송 대응, 계약서 확정, 신고 방식 확정(전문가 검토 없이 사용 금지)
투자·대출·보험 등 금융 의사결정: 실시간 가격/규정/상품 조건이 핵심인 결정
정신건강 관련 고위험 사용: 치료 대체, 위기 상황에서의 단독 의존(불안·망상 강화 등)2
여기서 포인트는 “아예 쓰지 말라”가 아닙니다. 예를 들어 의료·법률·금융에서도 ChatGPT는 질문 리스트 만들기, 내 상황 정리, 의사/변호사에게 가져갈 요약문 작성 같은 보조 작업에는 도움이 됩니다. 다만 결론을 맡기지 않는 것이 핵심입니다.
기대치를 맞추는 가장 실용적인 프레임: 생성 → 검증 → 승인
초보 사용자에게 가장 현실적인 사용법은 세 단계로 정리됩니다.
첫째, 생성(Generate): ChatGPT로 초안을 만듭니다. 속도와 다양성이 목적입니다.
둘째, 검증(Verify): 출처 확인, 최신성 확인, 내부 규정/데이터 대조를 합니다. 이 단계는 사람이 하거나, 최소한 사람이 통제하는 도구(공식 문서, 검색, 데이터베이스)로 합니다.
셋째, 승인(Approve): 외부로 나가는 문서·결정은 사람이 책임지고 확정합니다.
이 프레임을 쓰면 ChatGPT의 강점은 그대로 취하고, 약점(환각·최신성·맥락오해)이 실수로 이어지는 것을 크게 줄일 수 있습니다.
이 챕터의 결론: “쓸모없다”가 아니라 “범위를 정해 쓰면 강력하다”
ChatGPT는 모든 것을 맞히는 도구가 아닙니다. 하지만 말로 된 업무를 처리하는 능력은 매우 강합니다.1 문제는 도구의 성능보다 사용자가 기대치를 어디에 두느냐에 더 자주 생깁니다.
오늘부터의 기준은 이 한 문장으로 충분합니다.
ChatGPT는 “정답”이 아니라 “검증 가능한 초안”을 만들게 하자.
AI의 그럴듯함을 활용하세요.
AI는 그럴듯한 내용을 이야기합니다. 근본적으로 논리적으로 확률이 높은 다음 토큰을 뱉는 것이지요. 이 원리는 인간의 사고를 모방하거나 패턴에서 답을 이끌어 내거나 논리를 모방할 때 사용할 수 있습니다. 그래도 어느 정도 맞는 길을 찾아가는 속성이 있기 때문이죠. 이런 점을 사용해 일을 수행하는데 활용해 보세요.
하지만 근본적으로 AI는 완벽하지 않고 환각을 만들어 낼 수 있다는 것을 염두에 두세요. 그렇기 때문에 인간이 검증하는 과정이 필요합니다.
AI는 인간과 AI가 협업할 때 가장 강한 힘을 낼 수 있습니다. 여러분의 아이디어를 증강하는데 AI를 사용하세요.
참고
120 Pros & Cons of ChatGPT (DigitalDefynd)
2The Dangers of ChatGPT Hallucinations (Talkspace)
3Why Language Models Hallucinate (arXiv:2509.04664)
4GPT-5.3 Instant cuts hallucinations by 26.8%… (VentureBeat)
5llm-knowledge-cutoff-dates (GitHub)
6Why Does ChatGPT Get Its Cut-off Date Wrong? (juma.ai)
7Analyzing the Strengths and Weaknesses of Chat GPT (St. Lawrence University)
8Can generative AI reliably synthesise literature? … hallucination issues in ChatGPT (Springer)
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.