2026년 가을, 인공지능 업계에 새로운 범주의 인공지능인 Decision AI Models가 잇달아 등장했습니다. 2026년 9월 15일 TypeSafe AI가 시스템 1(System One) 모델을 표방한 TypeSafe Jev를 공개했고, 9일 뒤인 9월 24일에는 Fastino가 오픈소스 모델인 GLiNER2.5-Decide를 발표했습니다12. 이들 모델은 문장을 유려하게 작성하는 생성 기능을 완전히 배제하는 대신, 사전에 정의된 질문에 대해 보정된 확률과 구조화된 값만을 빠르게 반환하도록 설계되었습니다13.
대규모 언어 모델(LLM)을 활용하는 많은 에이전트 시스템에서 실제로 텍스트를 작성하는 단계는 극히 일부에 불과합니다. 고객 문의의 긴급도를 판별하고, 실행할 도구를 고르고, 적절한 모델로 작업을 라우팅하는 등 파이프라인의 대부분은 단순한 '판단' 작업으로 채워집니다. 그러나 지금까지는 텍스트를 한 토큰씩 생성하는 무거운 생성 모델로 이 모든 판단을 처리해 왔습니다. Decision AI Models는 이러한 구조적 낭비를 줄이고 에이전트 루프의 지연 시간과 비용을 획기적으로 낮추기 위해 등장했습니다12.
순차 생성 대신 병렬 샘플러로 판단을 도출하는 작동 원리
전통적인 생성형 LLM은 이전 토큰을 기반으로 다음 토큰을 하나씩 순차적으로 예측하는 오토리그레시브(Autoregressive) 방식으로 작동합니다. 이 방식은 문맥에 맞는 자연스러운 문장을 만드는 데 유리하지만, 단순한 분류나 참/거짓 판단을 내릴 때도 디코딩 단계를 거쳐야 하므로 지연 시간이 길어지고 계산 비용이 커집니다12. 또한 문자열 출력을 소프트웨어에서 쓰기 위해 JSON 등으로 파싱하는 과정에서 스키마 오류나 환각(Hallucination)이 발생할 위험이 상존합니다1.
반면 Decision AI Models는 텍스트 디코딩 단계를 제거했습니다2. 입력 상태(State)와 함께 정형화된 질문을 전달하면, 모델은 단일 쿼리 안에서 병렬 샘플러(Parallel Sampler)를 사용하여 모든 질문의 결과를 한 번에 계산합니다13. TypeSafe Jev의 경우 '보정된 결정을 위한 강화학습(Reinforcement Learning for Calibrated Decisions, RLCD)'이라는 훈련 방식을 통해 모델이 단순 정답뿐 아니라 확률 분포와 신뢰도 점수를 함께 내놓도록 학습되었습니다13.
Jev가 처리하는 질문 유형은 크게 세 가지로 나뉩니다3[^4]:
Choice: 주어진 보기 중 하나를 선택하며, 각 항목의 확률 분포와 전체 신뢰도를 반환합니다.
Score: 낮음, 중간, 높음 등 순서가 있는 척도에 대해 입력을 평가하고 연속적인 점수와 분포를 제공합니다.
Noul: 특정 조건의 참/거짓 여부를 평가하여 해당 문장이 사실일 확률을 단일 값으로 반환합니다.
이러한 구조 덕분에 소프트웨어는 모델이 반환한 확률값이 사전에 정의한 임계치를 넘을 때만 자동으로 다음 로직을 실행하고, 신뢰도가 낮을 때는 사람에게 작업을 넘기는 식의 정밀한 분기 처리를 구현할 수 있습니다3. 사전에 정의된 출력 규격을 강제하므로 타입 불일치 오류는 원천적으로 차단됩니다1.
비용과 지연 시간: TypeSafe Jev와 GLiNER2.5-Decide의 성능 분석
Decision AI Models가 제공하는 성능 향상은 수치로도 뚜렷하게 나타납니다. TypeSafe Jev는 32,000 토큰의 컨텍스트 창을 제공하며, 입력 토큰 100만 개당 0.042달러(10억 토큰당 42달러)의 비용으로 책정되었습니다135. 텍스트 출력을 생성하지 않기 때문에 출력 토큰 비용은 무료로 제공됩니다13. 상용 프론티어 LLM의 입력 비용이 100만 토큰당 수 달러에 이르고 출력 비용이 더 비싸다는 점을 고려하면 상당한 비용 절감입니다1.
응답 속도 측면에서 TypeSafe가 밝힌 Jev의 엔드투엔드(End-to-End) 지연 시간은 70밀리초(ms)에서 500밀리초 사이입니다15. Vercel AI Gateway 도입 이후 OpenChamber가 집계한 초기 사용자 데이터에 따르면, 중앙값(Median) 지연 시간은 약 76ms, 상위 25%(75번째 백분위수)는 270ms로 나타났으며 비용 절감 효과는 중앙값 기준 약 30배로 보고되었습니다3.
오픈소스 모델 진영의 Fastino GLiNER2.5-Decide는 340M(3억 4천만 개)의 비교적 작은 파라미터 크기로 설계되었습니다2. Fastino가 공개한 하드웨어별 p50 엔드투엔드 지연 시간 측정 결과는 다음과 같은 차이를 보여줍니다[^2]:
짧은 문서 기준: NVIDIA V100 GPU에서 38.3ms, L4에서 43.4ms, T4에서 43.6ms, A100에서 47.3ms를 기록했습니다.
1,024 토큰 문서 기준: A100 GPU에서 52.6ms, V100 GPU에서 75.6ms로 증가합니다.
CPU 환경: 48-vCPU Intel Xeon Platinum 8581C 환경에서는 짧은 문서 기준 167.3ms로, V100 GPU 대비 약 4.4배 느려집니다.
Fastino의 수치는 GPU 환경에서 극도로 빠른 속도를 보이지만, CPU 단독 환경에서는 지연 시간이 100ms를 초과한다는 점을 명확히 보여줍니다. 따라서 자체 인프라를 구축할 때는 배포할 하드웨어 사양에 따른 지연 시간 변화를 정확히 계산해야 합니다2.
상용 API vs 오픈소스: 라이선스와 운영 환경의 차이
두 모델은 판단 계층을 분리한다는 동일한 목적을 지향하지만, 배포 방식과 거버넌스 관점에서는 명확히 갈립니다.
| 비교 항목 | TypeSafe Jev | Fastino GLiNER2.5-Decide |
|---|---|---|
| 출시일 | 2026년 9월 15일2 | 2026년 9월 24일2 |
| 파라미터 크기 | 미공개2 | 340M2 |
| 배포 방식 | 관리형 클라우드 API (Early Access)12 | 가중치 공개 (Open Weights)2 |
| 라이선스 | 상용 서비스 라이선스2 | 아파치 2.0 (Apache 2.0)2 |
| 에어갭(폐쇄망) 지원 | 불가2 | 지원 (자체 호스팅 가능)2 |
| 입력 비용 | 100만 토큰당 $0.042 (출력 무료)125 | 자체 인프라 컴퓨팅 비용2 |
TypeSafe Jev는 인프라 관리 없이 저렴한 단가로 즉시 연동할 수 있는 클라우드 API 형태입니다12. 반면 Fastino GLiNER2.5-Decide는 아파치 2.0 라이선스로 제공되어 기업이 가중치를 내려받아 사내 VPC나 인터넷이 차단된 에어갭(Air-gapped) 환경에 직접 배포할 수 있습니다2. 금융이나 의료 등 규제가 엄격한 산업에서는 라우팅 단계의 로그나 메타데이터조차 외부로 유출되어서는 안 되기 때문에, 판단 계층을 직접 소유하고 통제할 수 있는 오픈소스 모델이 중요한 대안이 됩니다2.
벤치마크 해석에도 주의가 필요합니다. Fastino는 자체 17개 데이터셋 평가에서 GLiNER2.5-Decide가 평균 60.1%를 기록해 57.5%를 기록한 JevK5보다 우수하다고 발표했습니다2. 하지만 JevK5는 서드파티가 Qwen3.5 기반으로 만든 독립 오픈소스 재현 모델일 뿐 TypeSafe의 Jev가 아니며, 이는 벤더의 자체 평가이므로 상용 Jev와의 직접적인 우열을 나타내는 지표로 해석해서는 안 됩니다2. Fastino GLiDE 등 후속 모델 연구와 다양한 오픈소스 경쟁작들이 나타나고 있으므로 모델 간 실질적 성능 비교는 독립적인 검증 데이터를 살펴볼 필요가 있습니다5.
구조적 안전성과 한계: '환각이 없다'는 선언의 실제 의미
Decision AI Models를 평가할 때 가장 오해하기 쉬운 지점은 '환각이 없다'는 표현의 범위입니다1.
이들 모델은 사전에 지정된 타입(예: Boolean, 지정된 카테고리 Enum, 특정 범위의 부동소수점) 외의 엉뚱한 문자열이나 깨진 JSON 형식을 출력하지 않는다는 점에서 스키마 수준의 환각이 수학적으로 배제됩니다13. 그러나 이것이 모델이 내린 판단 자체가 100% 진실임을 의미하지는 않습니다3. 모델은 유효한 형식의 데이터 타입 안에서도 잘못된 판단을 내릴 수 있습니다3. 즉, 출력 형식의 무결성이 판단의 정답률을 보증하는 것은 아닙니다.
또한 TypeSafe의 공식 문서에 명시된 jaggedness(불균일한 성능) 안내에 따르면, Jev는 복잡한 산술 연산, 카운팅, 날짜 간의 비교 연산, 그리고 노이즈가 심하게 섞인 대규모 문맥 처리에서 정확도가 떨어지는 한계를 보입니다3. 따라서 수식 계산이나 날짜 비교 같은 명시적 규칙은 모델에 맡기지 말고 애플리케이션 코드 내부에서 직접 처리해야 합니다3. 모델 업데이트에 따른 동작 변화를 방지하기 위해 jev-latest 같은 동적 별칭 대신 jev-1.13.0처럼 구체적인 버전을 고정(Pinning)하여 사용하는 것도 필수적인 운영 원칙입니다3.
도입을 위한 실무적 판단 기준
에이전트 시스템이나 대규모 데이터 파이프라인을 운영하는 조직은 다음 기준에 따라 Decision AI Models 도입을 검토할 수 있습니다.
에이전트 루프의 도구 호출 및 라우팅 병목 해소: LangChain의
TypeSafeClassifier나 미들웨어처럼 위험한 툴 실행 전 검증(가드레일)이나 작업 난이도별 모델 분기(Model Routing)에 적용하면 지연 시간과 API 비용을 대폭 줄일 수 있습니다34.배포 인프라 및 규제 준수 여부: 사내 폐쇄망 환경 구축과 데이터 주권이 최우선이라면 아파치 2.0 라이선스의 GLiNER2.5-Decide를 GPU 인프라에 직접 올리는 방식이 적합하며, 인프라 운영 부담 없이 저지연 API가 필요하다면 Jev 연동이 유리합니다2.
작업의 본질 구분: 자연스러운 텍스트 요약, 코드 생성, 심층 추론이 필요한 단계는 여전히 프론티어 LLM을 사용해야 합니다. 텍스트 생성이 필요 없는 분류, 채점, 필터링 작업만 분리하여 판단 모델에 맡기는 계층화된 아키텍처를 설계해야 합니다24.
모든 작업을 거대한 단일 모델로 처리하던 방식에서 벗어나, 판단 계층과 생성 계층을 분리하는 것은 AI 파이프라인의 효율성과 안정성을 높이는 실질적인 대안이 되고 있습니다2.
참고
1Introducing System One Models & Jev
2Two Decision Models in Nine Days. One You Can Own.
3TypeSafe AI Releases Jev: a Decision-Only Model That Returns Typed Probabilities Instead of Text
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.