AI 비용을 줄이는 방법은 더 싼 모델을 찾는 것만이 아닙니다. 먼저 같은 요청을 더 적은 토큰으로 전달할 수 있는지 봐야 합니다.
"Terse prompts"는 말을 대충 줄이는 기술이 아니라, 같은 정보를 더 압축해 전달하는 방식입니다. 핵심은 인사말, 완곡 표현, 반복 설명처럼 모델 판단에 크게 기여하지 않는 언어적 포장을 덜어내고, 작업에 필요한 정보만 남기는 것입니다.1
짧게 쓰되, 의미는 남긴다
프롬프트 압축의 대표 방식으로 "Caveman-speak"가 있습니다. 관사, 인사말, filler, hedging을 제거하고 요청을 더 직접적으로 표현합니다.1
예를 들어 장황한 요청은 다음처럼 줄일 수 있습니다.
Refactor function. Fix auth handling. Make efficient.
원 자료의 예시에서는 약 40토큰짜리 프롬프트가 약 10토큰으로 줄었습니다.1 하지만 이 정도 절감은 원래 문장이 충분히 장황할 때 가능합니다. 이미 비교적 간결한 개발자 프롬프트라면 전체 Caveman 압축으로 보통 입력 토큰을 30~50% 줄이는 수준이 현실적입니다. 더 lean한 프롬프트는 20~40% 절감에 그칠 수 있습니다.1
따라서 중요한 질문은 "얼마나 짧게 만들 수 있는가"가 아니라 "필요한 정보를 잃지 않고 얼마나 밀도 있게 만들 수 있는가"입니다.
줄이면 안 되는 것들
Terse prompt가 실패하는 지점은 대개 너무 많이 줄일 때입니다. 프롬프트를 압축하더라도 기술 용어, 코드, 구체적인 조건은 유지해야 합니다.1
나쁜 압축은 이런 식입니다.
Fix this.
짧지만 대상, 문제, 기준이 없습니다. 모델은 추측해야 하고, 결과가 빗나가면 재질문이나 재시도가 필요합니다. 그러면 절약한 입력 토큰보다 더 많은 비용이 뒤에서 발생할 수 있습니다.
좋은 압축은 짧지만 판단 기준이 있습니다.
Review PR. Flag security issues. Output bullets.
대상은 PR, 행동은 보안 이슈 검토, 출력 형식은 bullet입니다. 불필요한 말은 없지만 작업에 필요한 정보는 남아 있습니다.
Caveman-speak의 기본 패턴도 이 원리에 가깝습니다.
[대상] [행동] [이유], [다음 단계]
문장보다 구조가 중요합니다. 모델이 무엇을 해야 하는지 빠르게 파악할 수 있으면, 프롬프트는 짧아져도 품질이 크게 흔들리지 않습니다.
"토큰 절반 절감"을 현실적으로 보는 법
토큰은 비용과 직접 연결됩니다. 입력 토큰은 모델에 보내는 프롬프트와 문맥이고, 출력 토큰은 모델이 생성하는 답변입니다. 둘 다 과금 대상입니다.2
다만 프롬프트를 짧게 쓴다고 전체 비용이 자동으로 절반이 되는 것은 아닙니다. 입력은 줄어도 모델이 긴 답변을 생성하면 출력 비용은 그대로 늘어날 수 있습니다. 그래서 비용을 줄이려면 두 가지를 함께 봐야 합니다.
입력 프롬프트를 압축한다.
출력 형식을 제한한다.
예를 들어 다음과 같은 지시가 도움이 됩니다.
Output bullets only.
Return JSON only.
Answer in 3 lines.
즉 terse prompt는 입력 비용을 줄이는 출발점입니다. 실제 비용 절감은 입력 압축, 출력 제한, 불필요한 대화 이력 제거가 함께 맞을 때 더 커집니다.
언제 Lite 압축을 써야 할까
모든 프롬프트를 극단적으로 줄일 필요는 없습니다. 문서 작성, 고객 응대, 온보딩, 정책 설명처럼 오해가 치명적인 상황에서는 Lite 압축이 더 적합합니다.
Lite 압축은 filler와 hedging을 제거하되, 관사와 완전한 문장은 유지하는 방식입니다. 예상 입력 토큰 절감률은 15~25% 수준입니다.1
반대로 개발 작업, 반복적인 코드 리뷰, 에이전트 호출처럼 요청 패턴이 명확하고 반복되는 경우에는 더 강한 압축을 적용하기 쉽습니다. 이때는 문장미보다 구조와 명확성이 더 중요합니다.
적용 기준
Terse prompt를 실무에 적용할 때는 다음 순서가 안전합니다.
군더더기를 삭제한다
인사말, 사과, 완곡 표현, 반복 설명을 줄입니다.핵심 정보는 유지한다
기술 용어, 코드, 제약 조건, 성공 기준은 남깁니다.출력 형식을 지정한다
bullet, JSON, 표, 한 줄 요약처럼 답변 형태를 제한합니다.재시도 비용을 확인한다
너무 짧아서 결과가 자주 빗나가면 오히려 비쌀 수 있습니다.
결론
Terse prompt의 교훈은 "공손하게 쓰지 말라"가 아닙니다. AI에게 필요한 정보와 사람에게 익숙한 말투를 구분하라는 것입니다.
좋은 짧은 프롬프트는 단순히 단어 수가 적은 프롬프트가 아닙니다. 불필요한 표현은 덜어내고, 작업 대상과 행동, 조건, 출력 형식은 분명히 남긴 프롬프트입니다. 이 습관은 한 번의 요청에서는 작아 보이지만, 반복 호출과 에이전트 워크플로에서는 실제 비용 차이로 이어질 수 있습니다.
참고
2How to Reduce AI Prompt Costs: Token-Efficient Patterns That Save Money
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.