AI 에이전트가 복잡한 비즈니스 워크플로우를 스스로 수행하는 시대가 되었지만, 대형 언어 모델(LLM)을 실무에 도입하려는 개발자들은 속도와 비결정적 출력이라는 두 가지 큰 장벽에 직면합니다. 일반적인 생성형 LLM은 문장을 한 토큰씩 차례대로 생성하므로 지연 시간이 길고, 개발자가 원하지 않는 사족을 붙이거나 약속된 형식을 벗어난 답변을 출력하여 오류를 유발하곤 합니다.
이러한 문제를 해결하기 위해 Cloudflare는 2026년 10월 1일, 텍스트 대신 정형화된 확률 값을 직접 반환하는 오픈 웨이트 결정 모델(Decision Model)인 Clef(27B)와 경량화 버전인 Clef-flash(9B)를 출시했습니다 12. 이 모델들은 Cloudflare의 Workers AI 인프라에서 실행할 수 있으며, 텍스트 생성 단계를 생략하여 극도로 짧은 지연 시간을 달성했습니다 1. Cloudflare가 공개한 벤치마크에 따르면 Workers AI 환경에서 측정한 중앙값 지연 시간(Median Latency)은 Clef가 209.3 ms, Clef-flash는 38.8 ms에 불과합니다 13.
텍스트 생성 단계를 생략한 Clef의 결정 모델 아키텍처
결정 모델은 텍스트 생성 대신 특정 상태(State) 정보를 바탕으로 에이전트가 어떻게 행동해야 할지 정형화된 출력(typed outputs)을 신속하고 일관되게 반환하는 분류 모델입니다 1. 긴 문장이나 자연어 추론 과정을 거치지 않고 코드에서 즉시 조건문이나 조건 제어 흐름에 대입할 수 있는 구조화된 데이터를 제공하는 것이 핵심입니다.
Clef 모델이 이처럼 빠른 응답 속도를 낼 수 있는 것은 텍스트 생성과 출력 파싱 과정을 완전히 생략하고 단 한 번의 순방향 패스(single forward pass)로 상태와 질문을 처리하기 때문입니다 3. Clef는 Qwen/Qwen3.8-27B 모델과 해당 모델의 비전 인코더를 백본(Backbone)으로 삼아 사후 학습(Post-training)을 거쳐 개발되었습니다 3. 모델의 최종 은닉 상태(Final Hidden States)를 바탕으로 모든 질문 옵션의 점수를 공동으로 계산하는 소형 트랜스포머 헤드인 '조인트 스키마 헤드(joint schema head)'가 결합되어 동작합니다 3.
사용자는 1회의 요청으로 최대 64개의 질문을 동시에 처리할 수 있으며, 질문 형식은 예/아니오 유형인 noul, 정의된 세트 중 하나를 선택하는 choice, 평가 척도를 매기는 score 등 세 가지 유형을 지원합니다 2. 또한 이 모든 인터페이스는 기존의 선행 결정 모델 제품군과 호환되는 Jev-API(SystemOne API) 규격을 준수하므로 엔드포인트와 모델 이름만 바꾸면 기존 시스템에 손쉽게 대체 적용할 수 있습니다 13.
지연 시간과 정확도로 검증된 실무 성능 지표
실무 적용 관점에서 Clef가 보여주는 성능 개선 효과는 구체적인 수치로 증명됩니다. Cloudflare 위협 인텔리전스(Threat Intelligence) 팀이 도메인 분류 업무를 테스트한 결과, 특정 웹사이트 정보를 수집하고 브라우저를 렌더링한 뒤 분류하는 전체 워크플로우를 완료하는 데 Clef는 단 2.2초가 소요되었습니다 1. 반면 기존 일반 LLM인 gpt-oss-120b는 동일한 워크플로우에서 4.7초가 소요되어, Clef 도입을 통해 지연 시간을 2배 이상 단축할 수 있음을 입증했습니다 1.
시스템의 신뢰성과 실시간 반응 성능을 나타내는 p95 지연 시간(p95 latency) 분포에서도 우수한 결과를 보여줍니다. 의사결정 벤치마크 테스트에서 p95 지연 시간 기준으로 Clef는 238.6 ms, Clef-flash는 122.4 ms를 기록하여, 경쟁 모델인 Jev의 536.0 ms 대비 빠른 연산 속도를 보였습니다 3. 이러한 기본 모델의 속도 우위에 더해, Cloudflare의 글로벌 네트워크 에지 GPU 인프라인 Workers AI에서 호스팅되므로 네트워크 왕복 시간(RTT)을 최소화할 수 있습니다 12.
정밀한 의사결정 능력을 평가하는 정확도 지표에서도 경쟁력을 나타냅니다. Decision Index 0.2.1 벤치마크 테스트에서 예측 오류율을 평가하는 'ForecastBench'(Brier score, 낮을수록 우수) 기준으로 Clef-flash는 10.6, Clef는 13.9를 기록하여 Jev의 17.4보다 뛰어난 성능을 기록했습니다 3. 또한 10개의 주요 의사결정 벤치마크 항목 중 BFCL, BANKING77, CLINC150+OOS, Home appliances 등 7개 분야에서 Clef 모델이 Jev 및 다른 오픈 결정 모델들보다 높은 점수를 기록했습니다 2.
도입 및 운영에 필요한 핵심 기술 사양과 제약 요건
Clef를 비즈니스나 자체 인프라에 도입하려는 개발자와 아키텍트가 검토해야 할 구체적인 기술 사양과 제약 요소는 다음과 같습니다.
컨텍스트 창 크기와 로컬 제한: Clef 모델은 Jev 모델이 지원하는 32k 컨텍스트 창보다 2배 더 넓은 64k(65,536) 토큰의 컨텍스트 창을 지원하여 대용량 상태 정보를 한 번에 수용할 수 있습니다 13. 다만 로컬 환경에서 실행할 경우, 입력 인코딩 단계인
encode_record함수가 기본적으로 입력 크기를 최대 16,384개 토큰(max_length)으로 제한합니다 3. 더 많은 컨텍스트를 처리하려면 입력받는 상태 토큰 크기를 직접 제어할 수 있는max_state_tokens매개변수를 직접 조정해야 합니다 3.다중 모달(Multimodal) 입력 제한: Clef는 일반 텍스트 및 JSON 구조뿐만 아니라 이미지 및 비디오 파일도 입력 상태 정보로 직접 읽어 들일 수 있는 비전 인코더를 갖추고 있습니다 3. 다만 시각적 분류 작업을 위해 질문 상태 정보와 함께 한 번에 전달할 수 있는 이미지 파일은 최대 4개로 제한됩니다 2.
비용 및 라이선스: 두 모델은 Apache 2.0 라이선스로 Hugging Face에 공개되어 로컬 호스팅 및 실행이 자유롭습니다 13. Cloudflare Workers AI에서 API 형태로 활용할 경우, Clef (27B) 모델의 가격은 입력 토큰 100만(1M) 개당 0.24달러로 책정되어 있어 경제적입니다 3.
데이터 프라이버시 및 맞춤 학습: Cloudflare는 사용자가 미세 조정 서비스를 이용하지 않는 한 전송된 요청 및 응답 데이터를 수집, 저장, 학습에 활용하지 않는 보안 보장을 제공합니다 1. 도메인 특화 성능 향상을 돕기 위해 강화 학습(RL) 기반의 미세 조정(fine-tuning) 서비스가 제공되며, 초기에는 기술 지원(FDE) 팀과의 파트너십 형태로 시작하여 향후 셀프서비스 플랫폼으로 확장될 예정입니다 12.
비즈니스 에이전트 설계자를 위한 Clef 적용 판단 기준
Clef 결정 모델은 고성능 생성형 LLM을 사용하기에 비용과 지연 시간이 무거운 시스템 영역을 효과적으로 대체할 수 있습니다. 예를 들어, 인입된 지원 요청 티켓의 긴급도를 실시간으로 평가해 담당 팀에 배분하는 지원 시스템(Support triage), 이미지 분석을 동반한 결제 영수증 및 문서 분류(Visual classification), 악성 요소를 사전에 스크리닝하는 위협 인텔리전스 및 보안 가드레일이 대표적인 적용 대상입니다 12.
최종 도입 검토 시, 정밀한 비즈니스 규칙 처리나 계약서 분석 등 최고 수준의 분류 정밀도가 필요한 업무에는 27B 규모의 대형 모델인 Clef를 우선 배치하는 것이 유리합니다 2. 반면 실시간 응답 성능이 극도로 중요하거나 대규모 분산 환경의 실시간 중계 경로 상에서 밀리초(ms) 단위의 통제가 필요한 영역에는 9B 규모의 Clef-flash를 선택하는 것이 합리적인 아키텍처 결정 기준이 될 것입니다 12.
참고
1Introducing Clef: our open-source decision models, and new RL fine-tuning platform
2Introducing Clef: Cloudflare's first open-source decision models, now on Workers AI · Changelog
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.