답을 '찾는' 기계가 아니라 답을 '이어 쓰는' 기계
ChatGPT를 처음 쓰는 사람은 종종 이런 느낌을 받습니다. "분명히 검색창에 물어본 것 같은데, 검색 결과보다 훨씬 친절하게 답하네?" 그래서 자연스럽게 ChatGPT를 똑똑한 검색엔진처럼 대하게 됩니다. 하지만 여기서 첫 번째 오해가 생깁니다. 대화형 AI는 기본적으로 인터넷에서 정답을 찾아 보여주는 기계가 아닙니다. 더 정확히 말하면, 입력된 문장을 바탕으로 다음에 올 법한 말을 만들어 내는 언어 생성 시스템입니다.
비유하자면, ChatGPT는 방대한 책과 문서와 대화를 읽고 "이런 말 다음에는 보통 이런 말이 이어진다"는 감각을 익힌 글쓰기 조수에 가깝습니다. 사람이 "회의록을 요약해 줘"라고 말하면, 모델은 회의록이라는 장르, 요약이라는 작업, 사용자가 요구한 조건을 함께 고려해 그다음에 나올 만한 문장을 차례로 만들어 냅니다. 이 과정은 마치 아주 정교한 자동완성처럼 보일 수 있습니다. 다만 휴대전화 키보드의 자동완성이 단어 몇 개를 제안하는 수준이라면, 대화형 AI는 문단, 표, 코드, 보고서, 이메일, 아이디어 목록까지 긴 형식으로 이어 쓸 수 있다는 점이 다릅니다.
여기서 중요한 단어가 '확률'입니다. 모델은 한 번에 완성된 답안지를 꺼내 놓지 않습니다. 앞에서 입력된 말과 이미 생성한 말을 바탕으로 다음 조각이 무엇일 가능성이 높은지 계산하고, 그 조각을 고른 뒤, 다시 다음 조각을 고릅니다. 이 과정을 매우 빠르게 반복하면 우리 눈에는 하나의 완성된 답변처럼 보입니다.
그렇기 때문에 ChatGPT의 답은 종종 놀랍도록 자연스럽습니다. 자연스러운 문장과 그럴듯한 구조를 만드는 데 강하기 때문입니다. 그러나 바로 그 이유 때문에 위험하기도 합니다. 말이 자연스럽다고 해서 내용이 참이라는 뜻은 아니기 때문입니다. 대화형 AI의 핵심을 한 문장으로 줄이면 이렇습니다. 그럴듯한 문장을 잘 만드는 능력과 사실을 정확히 보장하는 능력은 같은 것이 아니다.
이 장의 목적은 ChatGPT를 불신하자는 것이 아닙니다. 오히려 반대입니다. 잘 믿기 위해서는 무엇을 믿어도 되는지, 무엇은 반드시 확인해야 하는지 알아야 합니다. 운전자가 자동차 엔진의 모든 구조를 몰라도 안전운전을 할 수는 있지만, 브레이크와 사각지대의 존재는 알아야 합니다. 대화형 AI도 마찬가지입니다.
토큰: AI가 읽고 쓰는 말 조각
사람은 문장을 단어와 의미 단위로 읽습니다. "오늘 회의 내용을 요약해 줘"라는 문장을 보면 우리는 곧바로 요청의 뜻을 이해합니다. ChatGPT 같은 언어 모델은 이 문장을 사람이 보는 글자 그대로 처리하지 않습니다. 먼저 문장을 더 작은 조각으로 나눕니다. 이 조각을 보통 토큰이라고 부릅니다.
토큰은 단어와 완전히 같지 않습니다. 영어에서는 한 단어가 하나의 토큰에 가깝게 나뉘는 경우가 많지만, 한국어는 조사, 어미, 합성어, 띄어쓰기 방식 때문에 더 복잡하게 쪼개질 수 있습니다. 예를 들어 "보고서입니다"라는 표현은 모델 내부에서 하나의 덩어리가 아니라 몇 개의 조각으로 나뉠 수 있습니다. 사용자는 이 조각을 볼 필요가 없지만, 모델은 이 조각들을 바탕으로 읽고 씁니다.
토큰을 이해하면 두 가지가 보입니다. 첫째, 모델이 긴 문서를 한 번에 무한정 기억하지 못하는 이유를 이해할 수 있습니다. 모델이 한 번에 다룰 수 있는 토큰 수에는 한계가 있습니다. 둘째, 같은 뜻의 말이라도 표현 방식에 따라 모델이 다르게 반응할 수 있음을 이해할 수 있습니다. 사람에게는 거의 같은 요청처럼 보이는 두 문장이 모델에게는 조금 다른 입력 패턴으로 들어갈 수 있습니다.
예를 들어 다음 두 요청을 비교해 봅시다.
이거 정리해 줘.아래 회의 메모를 임원 보고용으로 정리해 줘.
핵심 결정사항, 미해결 쟁점, 다음 행동을 구분하고,
각 항목은 3줄 이내로 작성해 줘.사람끼리 일할 때도 첫 번째 요청은 애매합니다. "정리"가 요약인지, 문장 교정인지, 표 만들기인지, 할 일 추출인지 알 수 없습니다. 모델 역시 마찬가지입니다. 다만 모델은 모호하다고 멈추기보다, 그럴듯한 방향을 추측해서 답을 내는 경향이 있습니다. 그래서 애매한 요청에는 애매한 답이 나오고, 때로는 요청자가 원하지 않은 방향으로 매우 자신 있게 흘러갑니다.
토큰이라는 개념은 기술적으로 보이지만, 실무적으로는 단순한 교훈을 줍니다. AI가 읽을 수 있는 형태로 일을 쪼개고, 원하는 결과를 말로 분명히 지정해야 한다. 이것이 뒤에서 다룰 프롬프트 설계의 출발점입니다.
확률적 생성: 말이 자연스러운 이유와 틀릴 수밖에 없는 이유
대화형 AI가 답을 만드는 과정은 요리사가 레시피를 외워 그대로 재현하는 일과 다릅니다. 오히려 수많은 요리를 먹어 본 사람이 "이 재료와 이 상황이면 이런 맛이 어울리겠다"고 판단해 접시를 구성하는 일에 가깝습니다. 대부분의 경우 그럴듯한 요리가 나오지만, 가끔은 실제로 존재하지 않는 메뉴 이름을 말하거나, 같이 넣으면 안 되는 재료를 섞을 수 있습니다.
언어 모델도 비슷합니다. "한국의 개인정보 보호 원칙을 설명해 줘"라고 물으면, 모델은 개인정보, 한국 법제, 원칙 설명, 보고서 문체와 관련된 언어 패턴을 바탕으로 답을 생성합니다. 학습 과정에서 관련 문서를 많이 보았다면 꽤 정확한 설명을 할 수 있습니다. 그러나 특정 조항 번호, 최신 개정일, 기관의 최근 발표처럼 정확성이 중요한 세부사항에서는 실수할 수 있습니다. 모델이 '사실 데이터베이스에서 정답을 조회'하는 방식으로만 작동하는 것이 아니기 때문입니다.
이 점을 이해하면 ChatGPT의 강점과 약점이 선명해집니다. ChatGPT는 흩어진 생각을 문장으로 정리하고, 거친 초안을 읽기 쉬운 구조로 바꾸고, 다양한 가능성을 빠르게 제안하는 데 강합니다. 반면 정확한 날짜, 숫자, 법령 조항, 최신 정책, 특정 기업의 현재 상태, 실제 존재하는 논문과 판례 목록처럼 검증 가능한 사실에서는 주의가 필요합니다.
가장 위험한 순간은 모델이 "모르겠습니다"라고 말하지 않고 그럴듯하게 이어 쓸 때입니다. 사람도 회의에서 잘 모르는 주제를 자신 있게 말하는 사람이 있으면 순간적으로 설득당할 수 있습니다. 대화형 AI는 문장력이 좋기 때문에 이 효과가 더 강합니다. 그래서 우리는 답변의 문체와 신뢰도를 분리해서 보아야 합니다. 유창함은 품질의 일부일 수 있지만, 진실의 증거는 아닙니다.
문맥창: AI의 책상 위에 올려둘 수 있는 자료의 크기
ChatGPT와 대화하다 보면 이전에 말한 내용을 어느 정도 기억하는 것처럼 느껴집니다. 실제로 모델은 현재 대화 안에서 앞서 오간 내용을 참고해 다음 답변을 만듭니다. 이때 모델이 한 번에 참고할 수 있는 입력과 출력의 범위를 흔히 문맥창이라고 부릅니다.
문맥창은 책상에 비유하면 이해하기 쉽습니다. 넓은 책상에서는 보고서, 메모, 계약서, 표, 노트북을 동시에 펼쳐 놓고 일할 수 있습니다. 좁은 책상에서는 일부 자료를 치워야 합니다. 모델도 마찬가지입니다. 문맥창이 넓을수록 더 긴 자료와 이전 대화를 함께 고려할 수 있지만, 무한히 모든 내용을 붙잡고 있을 수는 없습니다.
문맥창의 한계는 실무에서 자주 문제를 일으킵니다. 긴 회의록을 넣고 "쟁점을 정리해 줘"라고 했을 때, 모델이 앞부분의 세부사항을 놓치거나 뒷부분에 나온 내용을 더 중요하게 다루는 일이 생길 수 있습니다. 긴 계약서를 분석할 때도 특정 조항을 빠뜨릴 수 있습니다. 사용자는 "전체를 다 읽었겠지"라고 생각하지만, 모델 입장에서는 긴 자료 속에서 주어진 요청에 맞는 단서를 선별해 답을 구성하는 과정입니다.
문맥창은 단순한 길이 문제가 아닙니다. 무엇을 중요한 문맥으로 넣을지의 문제입니다. 같은 자료를 넣어도 "전체 요약"을 요청할 때와 "위험한 의무 조항만 찾아 달라"고 요청할 때 모델이 집중하는 부분이 달라집니다. 따라서 긴 자료를 다룰 때는 무작정 붙여넣기보다 작업을 나누는 편이 안전합니다.
예를 들어 긴 보고서를 분석한다면 한 번에 "다 분석해 줘"라고 하기보다 먼저 목차와 결론을 요약하게 하고, 그다음 수치 근거를 확인하고, 마지막으로 의사결정에 필요한 리스크를 따로 추출하는 식이 좋습니다. 문맥창은 넓은 창고가 아니라 작업대입니다. 지금 하는 일에 필요한 재료를 잘 올려두어야 좋은 결과가 나옵니다.
지시 따르기: 친절한 조수이지만 완벽한 집사는 아니다
대화형 AI는 사용자의 지시를 따르도록 훈련되어 있습니다. 그래서 "표로 정리해 줘", "중학생도 이해하게 설명해 줘", "존댓말로 써 줘", "추측하지 말고 모르면 모른다고 말해 줘" 같은 요청에 꽤 잘 반응합니다. 이 능력 때문에 ChatGPT는 단순한 자동완성보다 훨씬 유용합니다. 사용자는 원하는 역할, 형식, 길이, 말투, 기준을 말로 지정할 수 있습니다.
하지만 지시 따르기도 완벽하지 않습니다. 지시가 너무 많거나 서로 충돌하면 모델은 일부를 놓칠 수 있습니다. 예를 들어 "500자 이내로 자세히 설명하고, 모든 예외를 포함하고, 초등학생도 이해하게 쓰고, 법률 검토 수준으로 정확하게 써 줘"라는 요청은 내부적으로 충돌합니다. 짧으면서 자세하고, 쉽지만 전문적이며, 모든 예외를 포함하라는 조건은 동시에 만족하기 어렵습니다.
또한 모델은 때때로 사용자의 잘못된 전제를 그대로 받아들입니다. 사용자가 "2025년에 폐지된 A 제도의 문제점을 정리해 줘"라고 했는데 실제로 그 제도가 폐지되지 않았다면, 모델은 전제를 확인하지 않고 폐지된 것처럼 답을 이어갈 수 있습니다. 물론 좋은 모델일수록 "그 전제가 맞는지 확인이 필요합니다"라고 말할 가능성이 높지만, 항상 그렇게 동작한다고 기대해서는 안 됩니다.
따라서 중요한 업무에서는 지시문에 확인 규칙을 넣어야 합니다. 예를 들어 "내 질문에 포함된 전제가 사실인지 먼저 점검하고, 불확실하면 답변 전에 확인 질문을 해라"라고 요구할 수 있습니다. 이런 작은 문장이 결과의 안전성을 크게 바꿉니다.
환각: 모르는 것을 아는 것처럼 말하는 순간
대화형 AI의 대표적 실패 유형은 환각입니다. 환각이란 모델이 사실이 아닌 내용을 그럴듯하게 만들어 내는 현상을 말합니다. 이름은 조금 과격하지만, 실무에서는 매우 흔한 문제입니다. 존재하지 않는 논문을 소개하거나, 판례 번호를 지어내거나, 실제와 다른 법령 조항을 말하거나, 회사 내부 문서에 없는 내용을 있는 것처럼 요약하는 식입니다.
왜 이런 일이 생길까요? 모델이 거짓말을 하려는 것은 아닙니다. 모델은 대화의 흐름상 그다음에 올 법한 답을 생성합니다. 사용자가 "관련 논문 5개를 알려 줘"라고 하면, 모델은 논문 제목, 저자명, 학술 문체, 연도 표기 방식의 패턴을 알고 있습니다. 만약 정확한 정보를 확실히 갖고 있지 않거나 현재 문맥에 근거가 부족해도, 그럴듯한 논문 목록 형식을 만들어 낼 수 있습니다. 형식은 맞지만 내용이 틀리는 것입니다.
실무에서 환각은 특히 다음과 같은 상황에서 잘 나타납니다.
사용자가 정확한 출처 없이 특정 사실 목록을 요구할 때
최신 정보, 지역별 규정, 세부 수치처럼 변동성이 큰 내용을 물을 때
긴 문서에 없는 내용을 문서에 있는 것처럼 요약하라고 유도할 때
전문 영역의 용어와 형식은 익숙하지만 실제 근거 확인이 필요한 질문을 할 때
예를 들어 "우리 회사의 2026년 1분기 매출 하락 원인을 분석해 줘"라고 물었다고 해 봅시다. 만약 매출 데이터, 시장 상황, 제품별 실적, 경쟁사 정보가 제공되지 않았다면 모델은 실제 원인을 알 수 없습니다. 그런데도 일반적인 원인, 예컨대 경기 둔화, 경쟁 심화, 마케팅 효율 저하, 고객 이탈 같은 항목을 그럴듯하게 제시할 수 있습니다. 이 답은 아이디어 목록으로는 쓸모가 있지만, 원인 분석 보고서의 결론으로 쓰면 위험합니다.
환각을 줄이는 첫 번째 방법은 답변의 근거 범위를 제한하는 것입니다. "업로드한 문서에 있는 내용만 사용해라", "근거가 없으면 '근거 없음'이라고 표시해라", "추정과 사실을 구분해라" 같은 지시가 도움이 됩니다. 두 번째 방법은 모델이 말한 사실을 별도 출처로 확인하는 것입니다. 세 번째 방법은 처음부터 모델의 답을 최종본이 아니라 검토 대상 초안으로 대하는 것입니다.
최신성 부족: 오늘의 세계를 모를 수 있다
대화형 AI는 학습된 지식과 현재 대화에 제공된 정보를 바탕으로 답합니다. 모델이나 사용 환경에 따라 웹 검색, 파일 검색, 외부 도구 연결이 가능할 수 있지만, 기본 모델 자체가 항상 오늘 아침의 뉴스를 알고 있는 것은 아닙니다. 이 점을 놓치면 최신성 문제가 생깁니다.
예를 들어 특정 서비스의 요금제, 정부 정책의 시행일, 기업의 최신 실적, 제품 기능의 변경 여부를 물었을 때 모델이 예전 정보를 바탕으로 답할 수 있습니다. 특히 기술 분야에서는 기능 이름과 구조가 빠르게 바뀝니다. 어제까지 맞던 설명이 오늘은 틀릴 수 있습니다. 챗GPT 생태계에서도 플러그인, 앱, 커넥터, 에이전트, API 기능은 계속 변합니다. 따라서 "최신 기능 설명"은 반드시 현재 문서나 검색 결과를 확인해야 합니다.
최신성 부족은 단지 모델이 오래된 지식을 갖고 있다는 문제가 아닙니다. 사용자가 "최근"이라는 말을 얼마나 구체적으로 정의했는지도 중요합니다. "최근 AI 규제를 정리해 줘"라는 요청은 애매합니다. 최근이 3개월인지, 1년인지, 2024년 이후인지 알 수 없습니다. 반면 "2025년 1월 이후 한국에서 발표된 생성형 AI 관련 공공 가이드라인만 정리해 줘"라고 하면 확인해야 할 범위가 훨씬 분명해집니다.
따라서 최신 정보가 필요한 질문에서는 날짜와 기준을 명시해야 합니다. 그리고 검색이나 공식 문서 확인이 가능한 환경이라면 "최신 출처를 확인한 뒤 답하라"고 요청해야 합니다. 검색 기능이 없는 환경이라면, 모델에게 최신 사실 판단을 맡기기보다 사용자가 자료를 제공한 뒤 그 자료 안에서 요약과 비교를 시키는 편이 안전합니다.
맥락 누락: 말하지 않은 것은 모른다
사람은 대화에서 많은 것을 눈치로 보완합니다. 같은 회사에 다니는 동료끼리는 "그 보고서 좀 다듬어 줘"라고만 해도 어느 정도 통합니다. 지난주 회의, 팀장의 취향, 회사의 보고서 양식, 금기어, 내부 정치 상황을 공유하기 때문입니다. 그러나 ChatGPT는 사용자가 말하지 않은 조직 맥락을 기본적으로 알지 못합니다.
물론 모델은 일반적인 비즈니스 문서 관행을 알고 있습니다. 그래서 보고서처럼 보이게 만들 수는 있습니다. 하지만 우리 회사에서 쓰는 '임원 보고용' 형식, 특정 부서가 싫어하는 표현, 내부 약어, 승인 절차, 고객사와의 민감한 관계는 알 수 없습니다. 사용자가 제공하지 않으면 모델은 일반적인 패턴으로 추정합니다.
맥락 누락은 다음과 같은 결과를 낳습니다. 첫째, 답변이 맞는 말이지만 우리 상황에는 맞지 않을 수 있습니다. 둘째, 조직 내부에서 중요한 제약을 빠뜨릴 수 있습니다. 셋째, 말투와 형식은 그럴듯하지만 실제로는 다시 고쳐야 할 초안이 됩니다.
예를 들어 "고객에게 장애 안내 메일을 써 줘"라고 요청하면 모델은 사과, 원인, 조치, 재발 방지 약속을 포함한 일반적인 메일을 작성할 것입니다. 하지만 실제로는 아직 원인이 확인되지 않았을 수 있고, 법무팀이 책임 인정 표현을 피하라고 했을 수 있으며, 특정 고객에게는 별도의 SLA 조항이 적용될 수 있습니다. 이런 맥락이 없으면 모델은 좋은 의도로 위험한 문장을 만들 수 있습니다.
따라서 중요한 요청에는 배경을 함께 제공해야 합니다. 다만 모든 내부 정보를 그대로 넣으라는 뜻은 아닙니다. 민감한 정보는 제거하고, 업무 수행에 필요한 맥락만 구조화해 제공해야 합니다. 예를 들어 "원인은 아직 조사 중이므로 단정하지 말 것", "보상 여부는 언급하지 말 것", "고객의 불편에 대한 공감은 포함할 것"처럼 제약을 명확히 쓰는 방식입니다.
과도한 자신감: 말투가 확신을 만든다
ChatGPT의 답변은 대체로 단정적이고 매끄럽습니다. 이 점은 장점입니다. 사용자는 장황한 망설임 없이 읽기 쉬운 답을 얻을 수 있습니다. 그러나 이 장점은 때로 신뢰 착시를 만듭니다. 답변이 "입니다"로 끝난다고 해서 실제로 확실한 것은 아닙니다.
모델의 과도한 자신감은 두 층에서 발생합니다. 하나는 모델 자체의 생성 방식입니다. 언어 모델은 불확실성을 항상 사람처럼 표현하지 않습니다. "아마도", "확인 필요", "가능성이 있습니다" 같은 표현을 넣을 수도 있지만, 사용자가 그런 스타일을 요구하지 않으면 단정적 문장으로 답할 수 있습니다. 다른 하나는 사용자의 해석입니다. 깔끔한 표, 전문 용어, 논리적인 문단 구조를 보면 사람은 그 내용을 더 신뢰하는 경향이 있습니다.
이 문제를 줄이려면 답변 형식에 불확실성 칸을 만들어야 합니다. 예를 들어 분석 요청을 할 때 "확실한 사실", "추정", "추가 확인 필요"를 구분하게 하면 모델의 단정성을 낮출 수 있습니다. 법률, 의료, 금융, 인사처럼 책임이 큰 영역에서는 이 구분이 특히 중요합니다.
다음과 같은 요청은 과도한 자신감을 줄이는 데 도움이 됩니다.
아래 질문에 답하되, 답변을 세 구역으로 나누어라.
1) 제공된 자료에서 확인되는 사실
2) 합리적 추정이지만 추가 확인이 필요한 내용
3) 현재 자료만으로는 답할 수 없는 내용
모르는 내용은 단정하지 말고 '확인 필요'라고 표시하라.이런 형식은 모델을 겸손하게 만드는 주문이 아닙니다. 답변을 검토 가능한 구조로 바꾸는 장치입니다. 사람 검토자가 어디를 믿고 어디를 확인해야 하는지 빨리 파악하게 해 줍니다.
검색과 파일 분석: 모델에게 자료실을 열어 주기
지금까지 본 한계는 대부분 "모델이 가진 언어적 추론만으로 답할 때" 더 두드러집니다. 이를 보완하는 대표적 방법이 검색과 파일 분석입니다. 모델에게 외부 자료를 찾아보게 하거나, 사용자가 업로드한 문서를 근거로 답하게 하는 방식입니다.
검색은 최신성과 근거 문제를 줄이는 데 유용합니다. 예를 들어 최신 정책, 제품 업데이트, 최근 판례, 새로운 연구 결과처럼 모델의 기본 지식만으로 답하기 어려운 질문에서는 검색이 필요합니다. 검색을 통해 관련 자료를 찾고, 그 자료를 바탕으로 요약하게 하면 답변의 신뢰도가 높아집니다. 다만 검색을 사용한다고 해서 모든 문제가 해결되는 것은 아닙니다. 검색 결과 자체가 부정확할 수 있고, 모델이 검색 결과를 잘못 읽을 수도 있으며, 중요한 출처보다 눈에 잘 띄는 출처를 우선할 수도 있습니다.
파일 분석은 조직 업무에서 특히 강력합니다. 회의록, 계약서, 제안서, 매뉴얼, 고객 VOC, 설문 응답, 로그 요약 같은 자료를 업로드하고 질문하면, 모델은 그 자료를 바탕으로 요약, 분류, 비교, 초안 작성을 도와줄 수 있습니다. 이때 핵심은 "파일을 읽었다"는 사실이 아니라 "파일의 어느 부분을 근거로 어떤 답을 했는지"입니다. 따라서 파일 기반 작업에서는 근거 위치, 인용 문장, 남은 불확실성을 요구하는 습관이 필요합니다.
예를 들어 다음 요청은 단순 요약보다 안전합니다.
업로드한 회의록만 근거로 답하라.
다음 형식으로 정리하라.
- 결정된 사항
- 아직 결정되지 않은 사항
- 담당자와 기한이 명시된 할 일
- 회의록에 근거가 없어 확인이 필요한 사항
각 항목 옆에 회의록의 관련 문장 또는 발언 위치를 표시하라.이런 방식은 모델의 역할을 분명히 합니다. 모델은 회의 내용을 상상해서 채우는 사람이 아니라, 제공된 자료에서 구조를 뽑아내는 조수입니다.
도구 사용: 말만 하는 AI에서 일을 처리하는 AI로
대화형 AI의 다음 단계는 도구 사용입니다. 도구란 모델이 혼자 문장을 생성하는 것을 넘어, 외부 기능을 호출하거나 시스템과 연결되는 방식을 말합니다. 계산기를 사용해 숫자를 정확히 계산하고, 데이터베이스에서 고객 정보를 조회하고, 캘린더에 일정을 만들고, 사내 문서 검색 시스템에서 관련 자료를 찾고, 정해진 형식의 JSON으로 업무 시스템에 값을 넘기는 식입니다.
사람으로 비유하면 이렇습니다. 말만 잘하는 신입사원에게 회사 시스템 접근 권한, 계산기, 문서함, 결재 양식을 제공하는 순간 할 수 있는 일이 달라집니다. 물론 권한을 준 만큼 위험도 커집니다. 잘못된 고객에게 메일을 보내거나, 잘못된 데이터를 수정하거나, 승인 없이 주문을 취소하면 문제가 됩니다. 그래서 도구 사용은 생산성의 문제가 아니라 통제의 문제이기도 합니다.
도구 사용은 모델의 한계를 보완합니다. 모델이 암산에 약하면 계산 도구를 쓰게 하면 됩니다. 최신 사내 규정을 모르면 문서 검색 도구를 연결하면 됩니다. 출력 형식을 자주 틀리면 구조화된 출력 형식으로 제한하면 됩니다. 하지만 도구를 붙였다고 해서 모델이 갑자기 완전한 판단자가 되는 것은 아닙니다. 모델은 어떤 도구를 언제 쓸지 판단하고, 도구 결과를 해석하고, 사용자에게 설명하는 과정에서 여전히 실수할 수 있습니다.
따라서 실무 자동화에서는 다음 세 가지 질문을 먼저 해야 합니다.
이 작업에서 모델이 판단해도 되는 부분은 어디인가?
반드시 외부 도구나 원천 데이터로 확인해야 하는 부분은 어디인가?
사람의 승인 없이는 실행하면 안 되는 부분은 어디인가?
예를 들어 고객 문의 자동화 시스템을 만든다고 해 봅시다. 모델이 고객 문의를 분류하고 답변 초안을 쓰는 것은 비교적 안전한 편입니다. 그러나 환불을 실제로 승인하거나 계정을 정지하거나 법적 책임이 있는 답변을 발송하는 것은 별도의 통제 절차가 필요합니다. 즉, AI가 초안을 만들 수 있다고 해서 바로 실행까지 맡겨도 된다는 뜻은 아닙니다.
잘하는 일과 쉽게 틀리는 일 구분하기
대화형 AI를 잘 쓰는 사람은 "AI가 똑똑한가?"라고 묻기보다 "이 작업은 AI에게 어떤 성격의 일인가?"라고 묻습니다. 같은 모델이라도 작업의 성격에 따라 성과가 크게 달라지기 때문입니다.
대체로 ChatGPT는 언어 패턴이 풍부하고, 정답이 하나로 고정되어 있지 않으며, 사람이 검토해 개선할 수 있는 작업에서 강합니다. 반대로 최신 사실, 정확한 숫자, 고위험 판단, 숨겨진 맥락, 책임 있는 최종 결정이 필요한 작업에서는 보조 역할로 제한해야 합니다.
예를 들어 "신입사원 온보딩 안내문을 더 친절하게 고쳐 줘"는 모델이 잘할 가능성이 높은 일입니다. 원문이 있고, 목표가 문체 개선이며, 사람이 결과를 읽고 고칠 수 있습니다. 반면 "이 환자의 증상으로 가장 가능성 높은 진단을 내려 줘"는 전혀 다른 성격의 일입니다. 의료적 책임, 누락된 정보, 검사 결과, 환자 상태, 전문가 판단이 필요합니다. 이 경우 모델은 환자에게 설명할 질문 목록이나 진료 전 준비 자료를 만드는 보조 도구로 제한되어야 합니다.
마찬가지로 법률 업무에서도 "계약서에서 검토할 쟁점 후보를 정리해 줘"는 유용할 수 있지만, "이 계약은 법적으로 문제없다고 결론 내려 줘"는 위험합니다. 금융 업무에서도 "투자 설명자료의 문장을 쉽게 바꿔 줘"는 가능하지만, "이 상품을 고객에게 추천해도 되는지 판단해 줘"는 내부통제와 전문가 검토가 필요합니다.
결국 중요한 것은 AI의 능력을 과소평가하지도, 과대평가하지도 않는 태도입니다. AI는 빠른 초안 작성자, 지치지 않는 비교자, 넓은 아이디어 생성기, 문서 구조화 도구로 뛰어납니다. 그러나 책임을 지는 판단자, 최신 사실의 보증인, 조직 맥락을 모두 아는 내부자, 윤리적 결정을 대신하는 주체가 되어서는 안 됩니다.
답변을 정답이 아니라 초안·가설·보조 판단으로 다루기
이 책 전체에서 반복해서 강조할 기본 태도가 있습니다. 모델의 답변은 정답이 아니라 초안, 가설, 보조 판단으로 다룬다. 이 문장은 단순한 경고가 아니라 생산성을 높이는 방법입니다.
초안으로 다룬다는 것은 모델에게 빈 화면을 채우게 하되, 최종 편집권은 사람이 가진다는 뜻입니다. 보고서, 이메일, 제안서, 수업안, 회의록 정리에서 이 태도는 매우 효과적입니다. 사람은 처음부터 완벽한 문장을 쓰느라 시간을 쓰지 않고, 모델이 만든 구조를 검토하며 더 나은 결과로 다듬을 수 있습니다.
가설로 다룬다는 것은 모델의 분석을 "가능한 설명"으로 받아들이는 것입니다. 매출이 떨어진 이유, 고객 불만이 늘어난 이유, 프로젝트가 지연된 이유를 물으면 모델은 여러 후보 원인을 제시할 수 있습니다. 이 목록은 회의의 출발점으로 유용합니다. 하지만 실제 원인은 데이터, 인터뷰, 로그, 시장 자료로 확인해야 합니다.
보조 판단으로 다룬다는 것은 모델이 전문가와 실무자의 판단을 돕되 대신하지 않는다는 뜻입니다. 법률, 의료, 금융, 보안, 인사처럼 책임이 큰 영역에서는 특히 중요합니다. 모델은 쟁점을 빠뜨리지 않도록 돕고, 어려운 문장을 쉽게 바꾸고, 검토 체크리스트를 만들 수 있습니다. 그러나 최종 판단과 책임은 해당 업무 권한을 가진 사람에게 남아야 합니다.
이 태도를 실제 업무에 적용하려면 출력 형식을 바꾸면 됩니다. 단순히 "답해 줘"라고 하지 말고, "초안으로 작성해 줘", "검토할 가설을 나열해 줘", "추가 확인이 필요한 항목을 표시해 줘", "사람 검토자가 볼 체크리스트를 만들어 줘"라고 요청하는 것입니다. 말 몇 개가 역할을 바꿉니다.
안전한 활용을 위한 기본 검증 습관
대화형 AI의 작동 원리를 이해했다면, 이제 검증 습관을 만들어야 합니다. 검증은 AI를 못 믿어서 하는 귀찮은 절차가 아닙니다. 오히려 AI를 실무에 넣기 위한 최소 조건입니다. 사람이 작성한 보고서도 검토하고, 엑셀 수식도 확인하고, 코드도 테스트합니다. AI 답변도 마찬가지입니다.
가장 먼저 확인할 것은 근거입니다. 모델이 어떤 자료에 기대어 답했는지 확인해야 합니다. 자료를 제공하지 않았는데 구체적인 수치와 출처를 말한다면 특히 조심해야 합니다. 다음으로 확인할 것은 범위입니다. 질문의 조건과 답변의 조건이 일치하는지 봐야 합니다. "한국 기준"을 물었는데 미국 사례를 섞었는지, "2026년 현재"를 물었는데 오래된 정보를 말하는지 확인해야 합니다. 마지막으로 확인할 것은 실행 위험입니다. 답변을 그대로 적용했을 때 법적, 금전적, 평판상 문제가 생길 수 있는지 판단해야 합니다.
실무에서는 다음의 짧은 검증 질문을 습관처럼 붙이면 좋습니다.
위 답변을 스스로 점검하라.
- 제공된 자료에 없는 내용을 추정했는가?
- 최신 확인이 필요한 내용이 있는가?
- 숫자, 날짜, 고유명사, 법령명, 인용이 정확한가?
- 사용자가 최종 판단 전에 확인해야 할 항목은 무엇인가?
- 답변의 불확실성을 낮추려면 어떤 추가 자료가 필요한가?이 요청은 모델의 모든 오류를 잡아내지는 못합니다. 모델이 자기 실수를 완벽히 감지할 수 있는 것은 아니기 때문입니다. 하지만 답변을 한 번 더 구조화하고, 사용자가 확인할 지점을 드러내는 데 도움이 됩니다. 검증의 핵심은 모델에게 "네가 맞니?"라고 묻는 것이 아니라, 사람이 확인할 수 있는 단서와 기준을 만들게 하는 것입니다.
작은 사례: 회의록 요약이 실패하는 이유
조금 더 현실적인 예를 보겠습니다. 어느 팀원이 2시간짜리 회의록을 붙여 넣고 이렇게 요청합니다.
이 회의록 정리해 줘.모델은 아마 꽤 보기 좋은 요약을 내놓을 것입니다. 그런데 결과를 읽어 보니 문제가 있습니다. 결정되지 않은 사항을 결정된 것처럼 썼고, 담당자가 명시되지 않은 일을 특정 사람에게 배정했으며, 회의 초반에 잠깐 언급된 중요한 리스크를 빠뜨렸습니다. 왜 이런 일이 생겼을까요?
첫째, 요청이 모호했습니다. 정리가 요약인지, 액션 아이템 추출인지, 의사결정 기록인지 명확하지 않았습니다. 둘째, 긴 문맥에서 중요한 항목을 선별하는 기준이 없었습니다. 모델은 회의록 전체를 같은 무게로 보지 않고, 언어적으로 두드러진 내용을 중심으로 요약했을 수 있습니다. 셋째, '결정'과 '논의'와 '추정'을 구분하라는 지시가 없었습니다. 모델은 회의 문맥상 자연스러워 보이는 결론을 만들어 냈을 수 있습니다.
같은 작업도 다음처럼 요청하면 훨씬 안전해집니다.
아래 회의록을 정리하라.
단, 회의록에 명시된 내용만 사용하고 추정하지 마라.
출력 형식:
1) 확정된 결정사항
2) 논의되었지만 결정되지 않은 사항
3) 담당자와 기한이 모두 명시된 할 일
4) 담당자 또는 기한이 없어 확인이 필요한 할 일
5) 회의 중 제기된 리스크
각 항목 끝에 근거가 되는 회의록 문장을 짧게 인용하라.이 프롬프트의 핵심은 표현이 길다는 데 있지 않습니다. 작업 기준을 분명히 했다는 데 있습니다. 모델이 잘할 수 있는 일, 즉 문서에서 구조를 뽑고 형식을 맞추는 일에 집중시키고, 모델이 쉽게 틀리는 일, 즉 없는 내용을 추정하고 결정처럼 포장하는 일을 막았습니다.
작은 사례: 시장 분석이 그럴듯하게 틀리는 이유
이번에는 시장 분석 예를 보겠습니다. 사용자가 이렇게 묻습니다.
한국의 2026년 생성형 AI 시장 전망을 분석해 줘.모델은 성장 요인, 주요 기업, 규제 환경, 산업별 도입, 인재 수요, 리스크를 나누어 훌륭한 보고서처럼 답할 수 있습니다. 문제는 그 안에 있는 수치와 고유명사입니다. 시장 규모 수치가 실제 보고서와 다를 수 있고, 이미 바뀐 정책을 현재 정책처럼 설명할 수 있으며, 특정 기업의 전략을 추측으로 채울 수 있습니다.
이 경우 모델의 답은 '전망 보고서 완성본'이 아니라 '리서치 설계 초안'으로 써야 합니다. 더 좋은 요청은 다음에 가깝습니다.
한국의 2026년 생성형 AI 시장 전망 보고서를 쓰기 위한 리서치 프레임을 만들어라.
다음 항목을 포함하라.
- 확인해야 할 핵심 질문
- 필요한 데이터 출처 유형
- 산업별로 비교할 지표
- 최신 자료 확인이 필요한 항목
- 섣불리 단정하면 안 되는 주장
현재 답변에서는 구체적 수치를 추정하지 마라.이렇게 요청하면 모델은 모르는 최신 수치를 지어내기보다, 사람이 무엇을 조사해야 하는지 정리하는 역할을 하게 됩니다. 이것이 대화형 AI를 안전하게 쓰는 방향입니다. 모르는 것을 대신 말하게 하지 말고, 알아내는 절차를 설계하게 하는 것입니다.
원리를 알면 프롬프트가 달라진다
이 장에서 살펴본 작동 원리는 다음 장들에서 계속 활용됩니다. 프롬프트를 잘 쓰는 법은 멋진 문구를 외우는 일이 아닙니다. 모델이 어떤 방식으로 읽고 쓰며, 어디서 실수하는지 이해한 뒤, 그 실수를 줄이는 작업 환경을 만드는 일입니다.
확률적 생성이라는 원리를 알면, 우리는 모델의 유창함을 무조건 믿지 않게 됩니다. 토큰과 문맥창을 이해하면, 긴 자료를 어떻게 나누어 넣을지 고민하게 됩니다. 지시 따르기의 한계를 알면, 목표와 제약과 출력 형식을 분명히 쓰게 됩니다. 환각과 최신성 문제를 알면, 출처 확인과 검색, 파일 근거, 도구 연결을 적절히 요구하게 됩니다. 과도한 자신감을 알면, 답변 안에 불확실성과 확인 항목을 넣게 됩니다.
이것이 안전한 활용의 기초입니다. ChatGPT를 잘 쓰는 사람은 AI에게 모든 것을 맡기는 사람이 아닙니다. AI가 잘하는 일을 맡기고, 틀리기 쉬운 부분에 장치를 두고, 중요한 판단은 검증 가능한 절차 안에 넣는 사람입니다.
앞으로 우리는 이 원리를 바탕으로 프롬프트의 기본 문법을 배울 것입니다. 목표를 어떻게 쓰는지, 맥락을 어디까지 제공해야 하는지, 제약과 성공 기준을 어떻게 명시하는지 하나씩 살펴볼 것입니다. 그때 이 장의 핵심을 기억하면 좋습니다. 대화형 AI는 마법 상자가 아닙니다. 그러나 잘 설계된 질문, 적절한 자료, 검증 루프와 만나면 매우 강력한 작업 파트너가 됩니다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.