평균 사용자의 세계에서는 왜 양이 통하는가

토큰 만능주의에는 절반의 진실이 있다

토큰 만능주의를 비판한다고 해서 "토큰을 적게 써야만 뛰어나다"는 뜻은 아니다. 그것은 또 다른 허세다. 초보자와 중급자의 세계에서는 많은 토큰이 실제로 힘을 발휘한다. 더 많이 묻고, 더 많이 고치고, 더 많은 예시를 받는 사람이 평균 수준의 결과물에 더 빨리 도달하는 경우가 많다.

이유는 단순하다. 초보자는 아직 무엇을 모르는지도 모른다. 문제의 이름, 필요한 도구, 구현 순서, 실패 가능성, 검증 기준이 머릿속에 정리되어 있지 않다. 이 상태에서 AI와 긴 대화를 나누면, AI는 단순한 답변기가 아니라 임시 교사, 사전, 디버거, 기획 보조자, 자료 탐색 보조자 역할을 동시에 한다.

따라서 초보자의 토큰 사용량은 순수한 낭비가 아니다. 상당 부분은 뒤늦게 지불하는 학습비다. 다만 이 학습비가 투자로 남을지, 반복적인 의존으로 증발할지는 전혀 다른 문제다.

AI 생성 이미지

초보자는 대화하면서 문제를 배운다

숙련자는 프롬프트를 쓰기 전에 이미 문제를 어느 정도 구조화한다. 반대로 초보자는 프롬프트를 쓰면서 문제를 처음 본다.

예를 들어 "회원가입 기능을 만들어줘"라는 요청은 초보자에게는 충분히 구체적인 문장처럼 느껴진다. 그러나 실제 구현으로 들어가면 입력 검증, 비밀번호 해싱과 안전한 보관, 세션 관리, 이메일 인증, 오류 메시지, 데이터베이스 스키마, 접근 권한, 약관 동의, 탈퇴 처리 같은 하위 문제가 튀어나온다. 초보자는 이 목록을 처음부터 알고 있지 않다. AI와 여러 번 대화하면서 비로소 "회원가입"이라는 말이 얼마나 많은 책임을 포함하는지 깨닫는다.

이때 많은 토큰은 문제 정의를 늦게 배운 사람에게 일종의 보정 장치가 된다. 질문이 흐릿해도 AI가 가능한 해석을 제시한다. 용어를 몰라도 비슷한 표현을 통해 개념을 끌어낸다. 구현 중 오류가 나도 로그를 붙여 넣으면 다음 행동을 알려준다. 초보자는 이 과정을 통해 단순히 코드를 얻는 것이 아니라, 문제를 부르는 언어를 배운다.

여기서 중요한 것은 토큰이 지능을 대신한다는 말이 아니다. 토큰은 초보자가 아직 갖추지 못한 문제 지도 위에 임시 표지판을 세워준다. 표지판이 많으면 길을 잃을 확률은 줄어든다. 그래서 평균 구간에서는 양이 통한다.

탐색 공간을 넓히는 토큰의 힘

AI 사용에서 많은 토큰이 주는 두 번째 이점은 탐색 공간의 확장이다. 탐색 공간이란 가능한 해결책의 범위다. 같은 문제를 두고도 라이브러리 선택, 데이터 구조, UI 흐름, 배포 방식, 테스트 전략은 여러 갈래로 나뉜다. 초보자는 대개 첫 번째로 떠오른 방법에 갇힌다. AI와 많이 대화하면 이 고착이 잠시 풀린다.

"다른 방식으로 해줘." "더 단순한 구조는?" "비전공자도 이해할 수 있게 바꿔줘." "이 기능을 하루 안에 데모하려면 무엇을 버려야 해?" "확장성보다 빠른 검증이 중요할 때는?"

이런 질문들은 완벽한 설계를 만들지는 못해도, 한 가지 관점에 갇힌 사용자를 흔들어준다. 특히 수명이 짧은 프로토타입에서는 이 효과가 크다. 내부 발표용 데모, 해커톤 결과물, 시장 반응을 보기 위한 랜딩 페이지, 일회성 자동화 스크립트는 장기 유지보수보다 빠른 형태화가 중요하다. 이때 많은 토큰을 써서 여러 버전을 뽑아보고, 그중 가장 그럴듯한 것을 고르는 전략은 충분히 합리적이다.

우연한 해결책도 여기서 나온다. 초보자가 직접 검색했다면 발견하지 못했을 라이브러리, 더 단순한 UI 패턴, 이미 존재하는 API, 불필요한 기능을 제거하는 방법이 대화 중에 튀어나온다. 이것은 엘리트의 정밀한 한 발과 다르다. 산탄총에 가깝다. 그러나 초보자의 목표가 당장 표적의 중심을 뚫는 것이 아니라, 표적이 어디 있는지 알아내는 것이라면 산탄총은 쓸모가 있다.

자본은 시행착오의 충격을 흡수한다

평균 사용자의 세계에서 양이 통하는 세 번째 이유는 자본이 실패의 충격을 흡수하기 때문이다. 더 좋은 요금제, 더 긴 컨텍스트, 더 빠른 모델, 더 넉넉한 사용량을 가진 사람은 같은 실수를 해도 덜 멈춘다. 무료 사용자는 하루 제한에 걸려 다음 날까지 기다려야 하는 지점에서, 프리미엄 사용자는 계속 질문하고 계속 수정한다.

이 차이는 생각보다 크다. 초보자에게 학습은 자주 끊기면 약해진다. 오류 메시지를 이해하려는 집중이 끊기고, 어제의 맥락을 다시 떠올리느라 에너지를 쓴다. 반면 사용량이 넉넉한 사람은 실패 직후 바로 다음 실험을 할 수 있다. 실패와 피드백 사이의 간격이 짧아질수록 학습 속도는 빨라진다.

그래서 자본은 평균 품질의 산출물을 더 빨리 확보하게 만든다. 이것은 불편하지만 현실이다. 돈이 있는 팀은 더 많은 프롬프트를 날리고, 더 많은 후보를 비교하고, 더 많은 버그 수정을 시도할 수 있다. 같은 수준의 판단력을 가진 두 사람이 있다면, 더 많은 토큰을 가진 쪽이 먼저 데모를 만든다. 같은 수준의 조직이라면, 더 넉넉한 AI 인프라를 가진 쪽이 더 많은 시행착오를 견딘다.

토큰 격차가 문제가 되는 이유도 여기에 있다. 격차는 천재를 곧장 만들지는 못하지만, 평균 사용자의 반복 기회를 크게 바꾼다. 반복 기회가 많아지면 평균 결과물의 도달 속도가 달라진다. 이 범위 안에서 토큰 만능주의는 완전히 틀린 말이 아니다.

고토큰 전략이 합리적인 조건

문제는 모든 작업이 같은 무게를 갖지 않는다는 데 있다. 어떤 작업에서는 많은 토큰을 써도 된다. 오히려 아끼는 것이 비효율이다.

첫째, 문제 난도가 낮을 때다. 이미 널리 알려진 생성·조회·수정·삭제(CRUD) 앱, 간단한 데이터 변환, 표준적인 관리자 페이지, 흔한 마케팅 문구, 기본적인 문서 요약은 많은 고유 판단을 요구하지 않는다. 여기서는 AI가 축적된 패턴을 재조합하는 능력만으로도 충분한 결과를 낸다.

둘째, 산출물의 수명이 짧을 때다. 하루짜리 데모, 한 번 쓰고 버릴 분석 스크립트, 내부 회의용 목업은 장기 아키텍처를 과도하게 고민할 필요가 없다. 이런 작업에 엘리트 수준의 설계 절차를 요구하면 오히려 손해다. 버릴 물건은 빠르게 만들어 버리면 된다.

셋째, 실패 비용이 낮을 때다. 잘못 만들어도 고객 데이터가 손상되지 않고, 보안 사고가 나지 않으며, 나중에 폐기해도 큰 문제가 없다면 고토큰 탐색은 안전하다. 많이 만들고 많이 버리는 방식이 통한다.

넷째, 사용자의 목표가 학습일 때다. 초보자가 같은 질문을 여러 방식으로 물어보고, 답변을 비교하고, 오류를 고쳐보는 과정은 그 자체로 훈련이다. 이때 토큰은 결과물 비용이 아니라 연습 비용이다.

따라서 "토큰을 많이 쓰는 사람은 무조건 하수"라는 말은 틀렸다. 더 정확한 문장은 이렇다. 낮은 난도, 짧은 수명, 낮은 실패 비용, 학습 목적의 작업에서는 많은 토큰이 평균 성과를 빠르게 끌어올린다. 이 조건 안에서 양적 스케일링은 합리적이다.

평균적 성공과 장기적 우월성의 분기점

그러나 바로 여기서 분기점이 생긴다. 평균적 성공을 만드는 전략과 장기적 우월성을 만드는 전략은 다르다.

평균적 성공은 "어쨌든 작동하는 것"을 얻는 능력이다. 버튼을 누르면 화면이 바뀌고, 폼을 제출하면 데이터가 저장되며, 데모를 보면 투자자나 팀원이 고개를 끄덕이는 수준이다. 이 단계에서는 토큰을 많이 쓰는 사람이 유리하다. 시행착오를 많이 돌릴수록 작동하는 조합을 찾을 확률이 올라가기 때문이다.

장기적 우월성은 다르다. 그것은 작동하는 것 너머에서 결정된다. 왜 이 구조가 유지보수 가능한가. 어느 책임을 어느 모듈에 숨겼는가. 어떤 의존성은 끊고, 어떤 인터페이스는 고정했는가. 지금 빠르게 붙인 기능이 3개월 뒤 팀의 발목을 잡지 않는가. 이 질문들은 단순 반복으로 해결되지 않는다.

고토큰 전략은 평균선까지 사용자를 끌어올리는 데 강하다. 그러나 평균선을 넘는 순간부터는 오히려 사용자의 약점을 가린다. AI가 계속 답을 주기 때문에, 사용자는 자신이 이해하지 못했다는 사실을 늦게 발견한다. 코드가 계속 생성되기 때문에, 구조가 무너지고 있다는 신호를 지나친다. 결과물이 계속 눈앞에 나오기 때문에, 판단력이 성장하고 있다는 착각에 빠진다.

이 지점에서 토큰 낭비의 의미가 바뀐다. 앞서 살펴본 것처럼 토큰은 비용의 단위이지 지능의 단위가 아니다. 여기서 낭비란 단순히 많이 쓴다는 뜻이 아니다. 같은 오류 구조를 이해하지 못한 채 반복 호출하는 것, 문제 정의 없이 후보만 늘리는 것, 검증 기준 없이 출력물을 쌓는 것이 낭비다. 즉, 토큰 낭비는 사용량의 문제가 아니라 학습 없는 반복의 문제다.

양을 쓰되, 양에게 지배당하지 말라

평균 사용자는 토큰을 써야 한다. 특히 처음 배우는 사람에게 "AI에 너무 묻지 말고 스스로 생각하라"는 조언은 때로 잔인하다. 생각할 재료가 없는 사람은 먼저 많이 보고, 많이 묻고, 많이 비교해야 한다. 초보자의 머릿속에는 아직 시뮬레이션할 구조가 없기 때문이다.

다만 고토큰 전략을 사용할 때도 한 가지 원칙은 지켜야 한다. 매 호출이 다음 호출을 더 똑똑하게 만들어야 한다. 같은 수준의 질문을 반복하는 것이 아니라, 매번 문제 정의가 좁아지고, 용어가 정확해지고, 제약 조건이 선명해져야 한다. 좋은 반복은 토큰을 태우면서도 사고를 압축한다. 나쁜 반복은 토큰을 태우면서도 혼란을 보존한다.

AI에게 더 묻기 전에 사용자는 세 가지를 확인해야 한다. 지금 나는 답을 구하는가, 문제의 이름을 배우는가, 아니면 불안을 달래기 위해 다시 묻는가. 이 구분만 해도 토큰의 질이 달라진다.

양적 스케일링은 출발선에서 강력하다. 그것은 초보자를 움직이게 만들고, 중급자를 평균선까지 밀어 올리며, 짧은 수명의 결과물을 빠르게 뽑아낸다. 그러나 엘리트 영역은 다른 규칙으로 움직인다. 그곳에서는 더 많은 대화보다 더 정확한 사전 구조화가 중요해진다. 더 많은 후보보다 더 날카로운 제거가 중요해진다. 더 긴 컨텍스트보다 더 깨끗한 문제 분해가 중요해진다.

그러므로 이 책의 주장은 토큰을 버리라는 것이 아니다. 토큰이 통하는 구간을 정확히 알고, 그 구간을 지나면 다른 무기로 갈아타라는 것이다. 평균의 세계에서는 양이 길을 연다. 그러나 최상위의 세계에서는 머릿속에서 먼저 움직인 사람이 실제 토큰을 가장 적게 쓰고도 가장 멀리 간다.