직원들이 AI로 PDF를 슬라이드로 바꾸고, 코드 리뷰를 돌리고, 긴 문서를 요약하는 일은 이제 평범한 업무가 됐다. 하지만 이런 작은 요청들이 조직 전체로 확산되면, AI는 더 이상 단순한 생산성 도구가 아니라 관리해야 할 사용량 기반 인프라가 된다.
토큰은 AI가 읽고 쓰는 텍스트의 계산 단위다. 따라서 토큰 한도는 단순한 비용 제한이 아니라, 조직이 AI를 얼마나 많이, 얼마나 빠르게, 어디까지 허용할지 정하는 운영 기준이다.
토큰 한도는 비용표가 아니라 운영 설계다
기업 AI에서 중요한 질문은 “AI를 쓸 것인가”가 아니다. 이미 많은 업무가 AI를 전제로 바뀌고 있다. 더 현실적인 질문은 “누가, 어떤 모델을, 어느 업무에, 어느 속도로 쓰게 할 것인가”다.
Azure OpenAI의 쿼터 구조를 보면 이 점이 분명해진다. 쿼터는 테넌트가 아니라 Azure 구독 단위로 적용된다. 또한 TPM(tokens per minute)과 RPM(requests per minute) 한도는 리전, 구독, 모델 또는 배포 유형별로 정해진다.1
즉 한도는 하나의 전사적 숫자로만 관리되지 않는다. 같은 모델도 여러 리전에 배포하면 단일 구독 안에서 총 TPM·RPM 사용량을 늘릴 수 있다.1 기업 입장에서는 무조건 막거나 무조건 푸는 방식보다, 업무 중요도와 사용 패턴에 맞춰 배포 위치와 모델, 처리량을 설계하는 것이 더 중요하다.
Azure OpenAI는 Free Tier와 Tier 1~6까지 총 7단계의 쿼터 티어를 제공하며, Tier 6이 가장 높은 한도를 제공한다. 초기 티어는 모델 사용량과 Microsoft와의 기업 계약 관계를 기준으로 배정되고, 사용량 증가로 현재 티어가 제약이 되면 자동으로 상위 티어로 올라갈 수 있다. 이 자동 업그레이드에는 사용 추세, Microsoft와의 관계, 결제 이력이 고려된다. 원하지 않는 경우 NoAutoUpgrade 플래그로 자동 업그레이드를 비활성화할 수 있다.1
이 구조가 보여주는 핵심은 명확하다. 토큰 한도는 “부족하면 늘리는 숫자”가 아니라, 비용·성능·거버넌스를 함께 다루는 운영 장치다.
무제한처럼 보이는 사용은 결국 청구서로 돌아온다
기업들이 AI 비용에 당황하는 이유는 AI가 겉으로는 SaaS처럼 보이지만, 실제 운영 방식은 클라우드 인프라에 가깝기 때문이다. 좌석 수만 관리하면 예측 가능해 보이지만, 긴 컨텍스트, 반복 요청, 에이전트 작업이 결합되면 사용량은 빠르게 커진다.
TechCrunch는 여러 기업이 AI 코딩 예산 초과, 라이선스 축소, 토큰 비용 추적 문제를 겪고 있다고 보도했다.2 이 문제의 본질은 AI 도입 자체가 아니라 사용량 가시성이다. 누가 어떤 모델로 어떤 업무에 토큰을 쓰는지 모르면, 비용 절감은 물론 ROI 판단도 어렵다.
따라서 토큰 한도 정책은 단순한 절약책이 아니다. 조직이 AI 사용을 업무 가치와 연결하기 위한 기본 장치다. 같은 1만 토큰이라도 고객 제안서 품질을 높이는 데 쓰였는지, 이미 정리된 문서를 반복 요약하는 데 쓰였는지에 따라 의미가 완전히 달라진다.
좋은 한도 정책은 사용을 막지 않는다
토큰 한도를 도입한다고 해서 직원의 AI 사용을 무조건 제한해야 하는 것은 아니다. 좋은 정책의 목적은 생산적인 사용을 줄이는 것이 아니라, 낭비와 불투명성을 줄이는 데 있다.
Claude Enterprise 가이드는 조직, 그룹, 개인 단위의 지출 한도를 설정하고, 역할 기반 접근 제어로 사용 그룹을 나누며, 업무에 맞는 모델을 선택하라고 권한다.3 이는 기업이 AI를 전사 공용 도구로만 볼 것이 아니라, 업무 유형별로 다른 권한과 비용 구조를 적용해야 한다는 뜻이다.
실무 기준은 비교적 단순하다. 일상적인 요약, 초안 작성, 가벼운 질의응답은 기본 모델에서 시작한다. 복잡한 추론, 대규모 코드 변경, 고위험 의사결정 지원처럼 더 높은 품질이 필요한 작업에만 고성능 모델을 배정한다.
Claude Code 문서도 비슷한 기준을 제시한다. Opus는 복잡한 작업, Sonnet은 일반 코딩, Haiku는 가벼운 작업에 맞추라고 설명한다. 또한 긴 세션은 매 턴마다 이전 맥락을 다시 보내므로 /clear, /compact 같은 방식으로 컨텍스트를 관리해야 한다고 안내한다.4
기업 AI의 성숙도는 토큰 관리에서 드러난다
기업 AI의 다음 단계는 단순히 “더 많이 쓰기”가 아니다. 가치 있는 업무에는 충분히 쓰게 하고, 습관적이거나 반복적인 사용은 줄이는 방향으로 운영을 정교화하는 것이다.
이를 위해 기업은 최소한 세 가지를 확인해야 한다.
사용량이 어느 구독, 리전, 모델, 배포 유형에서 발생하는지
조직·그룹·개인 단위로 비용과 한도를 구분할 수 있는지
업무 중요도에 따라 기본 모델과 고성능 모델을 나눠 쓰고 있는지
토큰 한도는 혁신을 막는 장벽이 아니다. 오히려 AI를 실험 도구에서 실제 업무 시스템으로 전환하기 위한 계기판에 가깝다. 한도를 제대로 설계한 조직일수록 비용을 예측하고, 성능을 안정적으로 제공하며, AI 사용의 가치를 더 명확하게 설명할 수 있다.
1Azure OpenAI in Microsoft Foundry Models quotas and limits
2The token bill comes due: Inside the industry scramble to manage AI's runaway costs
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.