생성형 AI 모델, 특히 복잡한 문제 해결을 위해 내부 사고 과정을 거치는 추론 모델을 운영 환경에 적용할 때 가장 큰 장벽은 연산 비용입니다. 2026년 9월 23일, Fireworks AI는 Moonshot의 오픈 웨이트 모델인 Kimi K3를 기반으로 후학습(post-training)을 거친 특화 모델 Ember-1을 공개했습니다12. Ember-1은 모델의 토큰당 청구 단가를 낮추는 대신, 추론 결과의 정확도를 유지하면서도 불필요한 추론 토큰 생성을 줄여 전체 작업 비용을 낮추도록 설계되었습니다1. Fireworks AI의 발표에 따르면 이 모델은 기존 Kimi K3 대비 토큰 소모량을 약 40% 절감합니다13.
AI 도입을 고려하는 엔지니어링 팀에게 중요한 지표는 토큰 표기 가격이 아니라 실제 완료된 작업 1건당 소모되는 총 토큰 수와 비용입니다. Ember-1의 핵심 작동 원리와 실제 벤치마크 조건, 프로덕션 환경 도입 시 유의해야 할 제약 사항을 단계별로 살펴봅니다.
긴 사고 과정이 유발하는 에이전트 비용과 후학습 접근법
Kimi K3와 같은 추론 모델은 복잡한 논리 문제를 해결할 때 생성하는 전체 토큰의 90% 이상을 답변 자체가 아닌 내부 추론 과정에 소비하기도 합니다1. 단일 질의응답에서도 이러한 토큰 소모는 부담이 되지만, 이전 턴의 추론 기록 전체가 다음 턴의 입력으로 다시 전달되는 다중 턴(multi-turn) 에이전트 환경에서는 컨텍스트가 대화 턴 수에 따라 급격히 증가합니다1. 초반 턴에서 생성된 긴 사고 흔적이 후속 호출마다 반복 입력되면서 과도한 API 비용이 발생하는 구조입니다.
기존에는 이러한 비용을 제어하기 위해 추론 노력(reasoning effort) 설정을 낮추는 방식을 주로 사용했습니다1. 그러나 추론 노력을 강제로 낮추면 모델의 문제 해결 정확도까지 크게 하락하는 한계가 있었습니다1. Fireworks AI는 추론 노력을 단순히 제한하는 대신, 모델이 보다 효율적으로 사고하도록 후학습하는 방식을 택했습니다13. 50회 이상의 훈련 실험과 200회 이상의 평가를 거치며, 모델이 문제 해결에 필수적인 자기 성찰 능력은 보존하되 비생산적인 반복 루프와 불필요한 서술을 스스로 줄이도록 훈련했습니다12.
벤치마크 및 프로덕션 A/B 테스트로 확인된 성능과 한계
Fireworks AI는 실제 고객사 2곳의 프로덕션 코딩 워크로드를 대상으로 라이브 A/B 테스트를 진행했습니다1. 이 테스트에서 작업당 출력 토큰 수는 Kimi K3의 49.3K에서 Ember-1의 29.9K로 줄어들어 약 39%의 전체 토큰 감소를 기록했습니다13. 내부 추론 토큰만 분리해 보면 71.3%가 감소했으며, 작업당 수행 단계 수도 23.8단계에서 21.4단계로 단축되었습니다12. 작업 성공 점수는 Kimi K3가 0.751, Ember-1이 0.753으로 실질적으로 동등한 수준을 유지했습니다12.
공개 벤치마크에서도 유사한 경향이 나타나지만, 모든 과제에서 일방적인 성능 향상이 나타난 것은 아닙니다. Fireworks AI가 Kimi K3의 최대 추론 노력(max) 설정과 Ember-1을 비교한 5개 벤치마크 결과는 다음과 같습니다12.
Terminal Bench 2.1 (n=89): 정답률 80.9%에서 82.0%로 상승, 비용 51.9% 감소
SWE-bench Verified (n=500): 정답률 93.2%에서 92.2%로 소폭 하락, 비용 15.5% 감소
SWE-Interact (n=75): 정답률 21.3%에서 20.0%로 소폭 하락, 비용 32.5% 감소
DeepSWE 1.1 (n=113): 정답률 66.4%에서 75.2%로 상승, 비용 23.7% 감소
τ-2 Bench Airline (n=50): 정답률 64%에서 66%로 상승, 비용 5.9% 감소
SWE-bench Verified나 SWE-Interact처럼 표본 수가 확보되었거나 복잡한 상호작용이 필요한 일부 과제에서는 점수가 1%포인트 안팎으로 하락했습니다12. 반면 DeepSWE 1.1에서는 약 8.8%포인트의 뚜렷한 상승을 보였습니다12. 주목할 점은 평가된 모든 벤치마크에서 최소 5.9%에서 최대 51.9%까지 작업 수행 비용이 일관되게 감소했다는 사실입니다12. 또한 의료 임상 사례 500건을 다루는 Bedside Bench 평가에서도 기존 대형 모델 대비 비용 대비 성능 측면에서 우수한 효율 곡선을 기록했다고 밝혔습니다1.
동일한 토큰 단가와 실제 지출 구조: 작업당 토큰 수가 핵심인 이유
Ember-1의 API 단가는 원본 모델인 Kimi K3와 완전히 동일합니다12. Fireworks AI 플랫폼 기준으로 캐시되지 않은 입력 토큰은 100만 개당 3달러, 캐시된 입력 토큰은 100만 개당 0.30달러, 출력 토큰은 100만 개당 15달러가 책정되어 있습니다14. 토큰 가격표 자체는 달라지지 않았기 때문에, 청구 금액이 줄어드는 유일한 이유는 모델이 동일한 목표를 달성하기 위해 더 적은 수의 출력 토큰을 생성하기 때문입니다2.
앞서 언급된 프로덕션 코딩 A/B 테스트 수치를 출력 단가(100만 토큰당 15달러)에 대입해 단순 계산하면, 작업 1건당 출력 비용은 Kimi K3의 약 0.74달러에서 Ember-1의 약 0.45달러로 낮아집니다2. 매일 1,000건의 유사 작업을 수행하는 파이프라인이라면 출력 토큰 비용만으로 하루 약 740달러에서 450달러 수준으로 줄어들 수 있다는 계산이 나옵니다2.
단, 이 비교는 Kimi K3를 최대 추론 노력(max)으로 가동하던 워크로드를 기준으로 산출된 것입니다12. 만약 기존 환경에서 이미 추론 노력을 중간(high)이나 낮음(low)으로 낮춰 사용하고 있었다면, Ember-1 전환을 통해 얻을 수 있는 상대적 토큰 절감 폭은 발표 수치보다 작아질 수 있습니다12.
연구용 프리뷰 상태와 도입 전 확인해야 할 기준
Ember-1은 1,048,576 토큰(약 1M 토큰)의 대규모 컨텍스트 윈도우를 지원하며, 이미지 입력과 함수 호출(function calling) 기능을 기본 제공합니다4. 현재 Fireworks AI의 서버리스 API를 통해 접근할 수 있으며, 표준 REST API는 물론 Python 클라이언트와 OpenAI 호환 클라이언트로도 호출이 가능합니다5.
그러나 실제 운영 시스템에 전면 도입하기 전에는 몇 가지 조건을 검토해야 합니다. 첫째, 현재 Ember-1은 정식 서비스가 아닌 API 전용 연구용 미리보기(Research Preview) 상태로 출시되었습니다23. Fireworks AI의 연구용 배포는 통상 2주간의 서버리스 접근 권한이 제공된 후 커뮤니티 수요에 따라 영구 지원 여부가 결정되는 방식을 취하므로, 공식 지원 지속성을 확인하고 기존 Kimi K3를 즉각적인 대체재(fallback)로 유지하는 안전장치가 필요합니다2. 둘째, 공개된 모든 수치는 제공업체 자체 측정 결과이며 외부 독립 검증 기관의 측정 데이터는 아직 부족합니다2.
따라서 Ember-1 도입을 검토하는 개발팀은 다음 기준을 바탕으로 단계적 검증을 거치는 것이 합리적입니다.
기존 작업 표본 재실행: 최근 수행한 실제 에이전트 작업 로그를 동일한 프롬프트 및 도구 설정으로 Ember-1에 전달하여 작업 완료 성공률과 작업당 토큰 수가 어떻게 달라지는지 직접 측정합니다2.
기준 추론 강도 확인: 현재 운영 중인 Kimi K3의 추론 노력 수준을 확인하고, 실제 작업 환경의 베이스라인 대비 비용 절감 폭이 유의미한지 대조합니다2.
인터랙션 단계 및 지연 시간 점검: 추론 토큰 감소로 인해 전체 작업 단계 수(step)와 실측 응답 시간이 단축되어 워크플로우 전반의 지연 시간 개선으로 이어지는지 확인합니다12.
Ember-1은 추론 모델의 효율화를 단순히 가중치 경량화나 강제적인 추론 중단이 아닌, 사고 과정 자체를 효율화하는 훈련으로 달성할 수 있음을 보여주는 사례입니다. 장시간 추론 토큰을 소비하는 코딩 및 에이전트 워크로드를 운영 중인 조직이라면 사전 벤치마크를 통해 절감 효율을 검증해 볼 가치가 있습니다.
참고
2Fireworks Ember-1: Kimi K3 Quality With Fewer Tokens?
3Fireworks AI Releases Ember-1: A Post-Trained Kimi K3 That Uses About 40% Fewer Tokens
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.