토큰은 AI가 글을 읽고 쓰기 위해 문장을 잘게 나눈 조각입니다. 글자 하나나 단어 하나와 정확히 같지는 않습니다. 한 줄 요약: 챗GPT는 문장을 통째로 읽는 것이 아니라 토큰이라는 작은 블록으로 쪼개 계산하고, 이 토큰 수가 답변 길이·비용·속도에 직접 영향을 줍니다.
AI 뉴스나 가격표에서 "100만 토큰당 얼마", "128K 컨텍스트", "출력 토큰 제한" 같은 표현이 자주 나오는 이유가 여기에 있습니다. 토큰은 겉으로는 작은 기술 용어처럼 보이지만, 실제로는 AI 서비스를 얼마나 길게 쓸 수 있는지, 얼마나 비싸지는지, 왜 긴 문서를 넣으면 답변이 끊기는지를 이해하는 핵심 단위입니다.
AI 생성 이미지
토큰은 단어가 아니라 계산용 조각이다
사람은 문장을 단어와 의미로 읽습니다. "오늘 날씨 어때?"를 보면 우리는 바로 질문의 뜻을 이해합니다. 하지만 AI 모델은 문장을 그대로 받아들이지 않습니다. 먼저 문장을 더 작은 조각으로 나누고, 그 조각을 숫자로 바꿔 계산합니다. 이때 나뉜 조각이 토큰입니다.
이 과정을 토큰화라고 부릅니다. 쉽게 말해 문장을 레고 블록처럼 잘라 AI가 다룰 수 있는 형태로 바꾸는 일입니다.
토큰은 다음과 같은 것이 될 수 있습니다.
단어 하나:
AI,weather단어의 일부:
un,believ,able한국어의 일부 글자나 형태:
좋,아,해문장부호:
.,?,,띄어쓰기나 특수한 구분 기호
그래서 토큰은 "글자 수"와도 다르고 "단어 수"와도 다릅니다. 짧은 문장이어도 토큰이 많이 나올 수 있고, 긴 단어 하나가 여러 토큰으로 쪼개질 수도 있습니다.
한국어와 영어는 토큰 수가 다르게 나올 수 있다
영어는 띄어쓰기로 단어가 비교적 분명하게 나뉩니다. 반면 한국어는 조사와 어미가 단어에 붙고, 한 단어 안에 여러 의미가 함께 들어가는 경우가 많습니다. 그래서 같은 뜻의 문장이라도 영어와 한국어의 토큰 수가 다르게 계산될 수 있습니다.
예를 들어 AI가 문장을 이렇게 나눈다고 생각해 봅시다. 실제 토큰은 모델마다 다르므로 아래는 이해를 돕기 위한 예시입니다.
| 사람이 보는 문장 | AI가 나눌 수 있는 느낌 |
|---|---|
I like AI. | I / like / AI / . |
나는 AI를 좋아해. | 나 / 는 / AI / 를 / 좋아 / 해 / . |
인공지능이란 무엇인가 | 인공지능 / 이란 / 무엇 / 인가 또는 더 잘게 분리 |
중요한 점은 "한국어는 무조건 불리하다"가 아닙니다. 모델이 쓰는 토크나이저, 즉 토큰을 나누는 방식에 따라 결과가 달라집니다. 어떤 모델은 한국어를 더 효율적으로 나누도록 개선되어 있고, 어떤 모델은 같은 문장도 더 잘게 쪼갤 수 있습니다. 정확한 토큰 수는 모델별 토크나이저로 계산해야 합니다.1
입력 토큰과 출력 토큰은 다르다
AI 서비스에서 토큰을 볼 때는 보통 두 가지를 나눠 봐야 합니다.
입력 토큰은 사용자가 AI에게 보내는 내용입니다. 질문, 지시문, 이전 대화 기록, 첨부한 문서, 시스템 프롬프트, 검색으로 가져온 참고자료까지 모두 입력 토큰에 들어갈 수 있습니다.
출력 토큰은 AI가 새로 생성하는 답변입니다. 챗GPT가 화면에 한 글자씩 답을 써 내려가는 것처럼 보이는 부분이 출력 토큰입니다.
예를 들어 사용자가 이렇게 요청했다고 합시다.
아래 회의록을 5줄로 요약하고, 할 일 목록을 표로 정리해 줘.
이 요청 문장만 보면 짧습니다. 하지만 그 아래에 회의록 20쪽을 붙여 넣었다면 입력 토큰은 크게 늘어납니다. AI가 5줄 요약과 표를 만들어 내면 그 답변은 출력 토큰으로 계산됩니다.
즉 "질문은 짧았는데 왜 제한에 걸리지?"라는 상황은 대개 질문 뒤에 붙인 문서, 이전 대화, 숨은 지시문까지 모두 입력 토큰에 포함되기 때문에 생깁니다.
토큰 제한은 AI의 책상 크기와 비슷하다
AI 모델마다 한 번에 다룰 수 있는 토큰 수가 정해져 있습니다. 이를 보통 컨텍스트 윈도우라고 부릅니다. 컨텍스트 윈도우는 AI가 한 번에 펼쳐 놓고 볼 수 있는 책상 크기라고 생각하면 쉽습니다.
책상이 작으면 자료를 조금밖에 못 올려놓습니다. 책상이 크면 긴 문서, 긴 대화, 여러 참고자료를 함께 올려놓을 수 있습니다. 하지만 아무리 큰 책상도 무한하지는 않습니다.
중요한 점은 컨텍스트 윈도우가 입력만을 위한 공간처럼 단순하게 보이지 않는다는 것입니다. 시스템 지시문, 예시, 사용자 질문, 이전 대화, 참고 문서가 모두 토큰 예산을 차지합니다. 여기에 모델이나 API에 따라 답변이 들어갈 최대 출력 토큰 한도도 따로 정해질 수 있습니다. 그래서 128K 토큰을 다룰 수 있는 모델이라도 입력이 120K 토큰을 이미 차지하면, 실제로 만들 수 있는 답변의 여유가 크게 줄거나 서비스가 허용한 출력 한도에 먼저 걸릴 수 있습니다.2
그래서 긴 문서를 넣으면 다음과 같은 일이 생길 수 있습니다.
요청 자체가 길이 제한을 넘어 오류가 난다.
앞부분 대화나 문서 일부가 잘린다.
AI가 중요한 내용을 놓치고 답한다.
긴 답변을 쓰다가 중간에 멈춘다.
긴 대화를 이어가다 보면 예전 내용을 AI가 잊은 것처럼 보일 때가 있습니다. 실제로는 기억력이 나빠졌다기보다, 컨텍스트 윈도우 안에 이전 대화를 모두 담지 못해 일부가 빠졌을 가능성이 큽니다.
토큰은 비용을 결정한다
AI API 가격표를 보면 보통 "입력 토큰 100만 개당 얼마", "출력 토큰 100만 개당 얼마"처럼 적혀 있습니다. AI 서비스는 단순히 질문 한 번당 과금되는 것이 아니라, 얼마나 많은 토큰을 읽고 얼마나 많은 토큰을 생성했는지에 따라 비용이 달라지는 경우가 많습니다.
기본 구조는 단순합니다.
총비용 = 입력 토큰 비용 + 출력 토큰 비용
여기서 출력 토큰이 입력 토큰보다 더 비싼 경우가 많습니다. AI가 답을 만들 때는 다음 토큰을 하나씩 예측하며 문장을 이어가야 하기 때문입니다. 여러 모델 가격표에서도 입력과 출력 가격을 따로 제시하며, 출력 토큰 가격이 더 높게 책정되는 사례가 흔합니다.3
이 말은 개인 사용자보다 서비스를 만드는 사람에게 더 크게 다가옵니다. 혼자 챗봇에게 긴 답변을 한두 번 받는 것은 큰 비용이 아닐 수 있습니다. 하지만 사용자가 10만 명이고, 각 사용자가 긴 문서를 넣고 긴 답변을 매일 받는다면 토큰 비용은 곧 서비스 운영비가 됩니다.
그래서 AI 스타트업 기사에서 "추론 비용을 낮췄다", "토큰당 비용을 줄였다", "더 저렴한 모델을 적용했다"는 말이 자주 나옵니다. 이것은 단순한 기술 자랑이 아니라 사업의 수익성과 연결된 이야기입니다.
토큰이 많으면 답변도 느려진다
토큰은 속도에도 영향을 줍니다. 입력 토큰이 많으면 AI는 더 많은 내용을 읽고 계산해야 합니다. 출력 토큰이 많으면 AI는 더 오래 써야 합니다.
특히 LLM은 답변 전체를 한 번에 꺼내는 방식이 아닙니다. 앞에서 나온 토큰들을 바탕으로 다음 토큰을 고르고, 다시 그다음 토큰을 고르는 과정을 반복합니다. 그래서 긴 답변은 짧은 답변보다 시간이 더 걸립니다.
사용자가 "자세히 설명해 줘"라고 하면 출력 토큰이 늘어납니다. "표로 정리하고, 예시 10개를 붙이고, 장단점과 결론까지 써 줘"라고 하면 더 늘어납니다. 답변이 풍부해지는 대신 비용과 시간이 함께 늘어나는 구조입니다.
토큰을 줄인다는 것은 무조건 짧게 쓰라는 뜻이 아니다
토큰을 아끼려면 프롬프트를 짧게 쓰면 된다고 생각하기 쉽습니다. 하지만 너무 짧은 프롬프트는 오히려 나쁜 답을 부릅니다. AI에게 필요한 맥락을 빼면, 모델은 추측으로 빈칸을 채우기 때문입니다.
좋은 방법은 "짧게"가 아니라 "불필요한 것을 빼고 필요한 것을 남기는 것"입니다.
실제로는 이렇게 하면 도움이 됩니다.
긴 문서를 통째로 붙이기 전에 필요한 부분만 보낸다.
이전 대화가 길어졌다면 먼저 요약한 뒤 이어간다.
원하는 답변 길이를 정한다. 예:
5줄로,표 1개로,핵심 3개만.같은 조건을 매번 반복하지 않도록 템플릿을 정리한다.
"자세히" 대신 어떤 항목을 자세히 볼지 지정한다.
예를 들어 "이 보고서 분석해 줘"보다 "이 보고서에서 매출 감소 원인만 3가지로 요약해 줘"가 더 효율적입니다. 토큰도 줄고, 답변의 방향도 선명해집니다.
뉴스에서 토큰이라는 단어를 만나면 이렇게 읽자
AI 기사에서 토큰이 나오면 다음 세 가지를 확인하면 됩니다.
첫째, 길이 제한 이야기인지 봅니다. "컨텍스트 100만 토큰"이라는 말은 더 긴 문서와 대화를 한 번에 다룰 수 있다는 뜻입니다. 다만 토큰이 많다고 해서 모델이 항상 더 정확해지는 것은 아닙니다.
둘째, 비용 이야기인지 봅니다. "토큰당 가격 인하"는 AI 서비스를 운영하는 비용이 낮아질 수 있다는 뜻입니다. 특히 기업용 챗봇, AI 검색, 문서 분석 서비스에서는 중요한 조건입니다.
셋째, 언어 처리 방식 이야기인지 봅니다. "한국어 토큰 효율 개선" 같은 표현은 같은 한국어 문장을 더 적은 토큰으로 처리할 수 있게 되었다는 뜻일 수 있습니다. 이는 비용, 속도, 긴 문서 처리 능력에 영향을 줍니다.
토큰은 작은 조각이지만, AI 서비스의 사용 경험을 크게 바꿉니다. 챗GPT가 글을 어떻게 읽는지, 왜 긴 문서에서 제한이 생기는지, 왜 AI 가격표가 복잡해 보이는지 이해하려면 먼저 토큰을 알아야 합니다.
같이 보면 좋은 단어
참고
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.