AWS의 Strands Agents 팀(Strands Labs)이 텍스트 생성 기능을 완전히 덜어내고 선택과 평가에만 특화된 결정 모델인 Strands Decider 2B를 오픈소스(Apache-2.0 라이선스)로 공개했습니다12. 이 모델은 자유로운 긴 글을 작성하는 일반적인 대규모 언어 모델(LLM)과 달리, 개발자가 제시한 선택지 중에서 하나를 고르거나 예/아니오 판정, 수치 평가만을 수행하도록 설계되었습니다. 가중치는 허깅페이스에 공개되었으며, 학습 데이터와 스크립트 전반이 함께 제공됩니다12.
인공지능 에이전트 워크플로가 복잡해지면서 도구 호출 여부 결정, 사용자 요청의 부서별 라우팅, 가드레일 검사 같은 '단순 선택' 작업이 급증했습니다. 지금까지 개발자들은 이러한 짧은 분기 판단에도 무거운 거대 언어 모델을 호출해 불필요한 토큰 생성 지연과 높은 API 비용을 감수해야 했습니다. Strands Decider 2B는 단 한 번의 순방향 연산으로 100ms 안팎의 빠른 결정과 보정된 신뢰도 점수를 반환함으로써, 에이전트 시스템 내부의 병목을 해결할 수 있는 가벼운 대안을 제시합니다13.
텍스트 디코딩을 버리고 포인터 헤드를 얹은 작동 원리
Strands Decider 2B의 아키텍처는 기존 생성 모델과 근본적으로 다릅니다. 이 모델은 Qwen3.5-2B-Base를 몸통(Torso)으로 삼고, 다음 토큰을 순차적으로 생성해 내는 언어 모델링 헤드(LM Head)를 제거했습니다13. 대신 각 선택지를 직접 평가하는 약 100만 개 파라미터 크기의 경량 '포인터 헤드(pointer head)'를 결합했습니다13. 백본 모델의 미세조정에는 랭크-16(rank-16)의 LoRA(Low-Rank Adaptation) 기법이 적용되었습니다13.
일반적인 LLM은 토큰을 하나씩 차례대로 만들어내는 자기회귀(autoregressive) 생성 루프를 돌기 때문에 문장이 길어질수록 응답 지연이 늘어납니다. 반면 Strands Decider 2B는 단 한 번의 순방향 패스(forward pass)만으로 답변 위치의 은닉 상태(hidden state)와 각 선택지 위치의 은닉 상태를 대조하여 점수를 산출합니다13. 포인터 헤드 자체에 선택지별 고정 파라미터가 없기 때문에 첫 번째 보기가 무조건 정답으로 편향되는 현상을 방지하며, 입력 프롬프트에서 정의하는 선택지의 개수에도 유연하게 대응합니다3.
이 구조를 통해 모델은 세 가지 기본 작업 형태를 지원합니다. 주어진 여러 보기 중 하나를 선택하는 'choice', 예/아니오 확률을 반환하는 'noul', 정의된 기준에 따라 점수를 매기는 'score' 방식입니다23. 사용자가 입력한 본문(State)을 한 번만 읽어 들인 뒤 여러 질문을 동시에 던져 결과를 얻을 수 있어 연산 효율이 높습니다23.
RTX 3090 기준 115ms: 벤치마크 조건과 신뢰도 수치의 의미
AWS Strands Labs가 공개한 성능 측정에 따르면, Strands Decider 2B(v19 체크포인트 기준)는 결정 모델 평가 벤치마크인 JevBench 공개 셋(총 231개 작업)에서 0.723(167개 정답)의 정확도를 기록했습니다13. 특히 난이도가 쉬운 기본 작업(easy tier)에서는 100% 정답률을 보였습니다13.
지연 시간 측면에서는 Nvidia RTX 3090 GPU(WSL2 환경)에서 실행했을 때 질문당 중앙값 115 밀리초(ms), 95분위수 기준 299ms의 응답 속도를 기록했습니다23. 애플 실리콘 M3 Pro 환경에서도 300토큰 이하 작업 기준 153ms의 중앙값 속도를 보여 로컬 장비에서도 안정적으로 구동됩니다3. 다만 속도는 입력 토큰의 길이에 따라 대략 선형적으로 증가하므로, 프롬프트 길이가 길어지면 지연 시간 역시 함께 늘어납니다13.
주목할 지표는 '보정된 신뢰도 점수(calibrated confidence score)'입니다. 상용 프론티어 LLM의 API는 내부 확률 분포나 신뢰도를 명확히 제공하지 않는 경우가 많지만, Strands Decider 2B는 각 판단에 신뢰도 값을 함께 반환합니다12. 이 신뢰도는 짧은 분류 작업 기준으로 모델이 0.9 이상의 신뢰도를 제시했을 때 실제 약 95%의 정확도를 나타내도록 보정(calibration)되었습니다23. JevBench 공개 셋 기준 기대 보정 오차(ECE)는 0.052, 브라이어 점수(Brier score)는 0.342 수준입니다3.
에이전트 워크플로 적용 시나리오와 모델의 명확한 한계
Strands Decider 2B는 모든 작업에 거대 모델을 쓸 필요가 없는 에이전트의 '시스템 1(직관적이고 즉각적인 판단)' 영역에 적합합니다. 대표적인 사례가 도구 호출 전 안전장치(Guardrail)입니다13. 사용자가 위치를 밝히지 않고 날씨를 물었을 때, 메인 LLM이 임의로 도시를 추정해 도구를 호출하려 한다면 Strands Decider 2B가 개입하여 "도구의 인자값이 사용자의 발화에 기반하고 있는가?", "사용자에게 추가 질문을 던지기 전에 도구를 바로 실행하는 것이 섣부른가?"를 수십 밀리초 만에 판별할 수 있습니다13. 판단 결과 신뢰도가 기준치에 미치지 못하면 사람의 개입을 요청하거나 되묻는 식입니다23.
하지만 구조적 특성상 한계도 분명합니다.
복잡한 추론과 텍스트 생성 불가: 포인터 헤드로 점수만 매기므로 요약, 대화 생성, 코딩 작성 작업은 전혀 수행할 수 없으며, 다단계 추론이 필요한 복잡한 작업(JevBench의 hard tier)에서는 정확도가 0.505로 떨어집니다13.
질문 인식 편향: 상태 본문과 선택지가 고정되어 있을 때, 질문의 사소한 문구 변화를 깊이 있게 감지하지 못하고 동일한 답을 낼 가능성이 있습니다4.
도메인 전이의 제약: 점수 산정(score) 및 예/아니오(noul) 판정은 학습 데이터에 포함된 기준과 다른 독자적인 평가 기준(rubric)을 만났을 때 정확도가 저하될 수 있으며, 신뢰도 보정 수치 역시 짧은 분류 작업 외의 실제 서비스 환경에서는 자체적인 재측정이 필요합니다4.
엔지니어가 도입을 검토할 때 고려해야 할 기준
Strands Decider 2B는 로컬 머신이나 가벼운 인프라 환경에서 결정을 내리고자 하는 개발자에게 실질적인 비용 절감과 속도 개선을 제공합니다. 약 1.9B(약 20억) 파라미터 크기로 설계되어 단일 RTX 3090에서 약 11시간 만에 레시피 전체를 재학습시킬 수 있을 만큼 가볍습니다3.
도입을 검토하는 팀은 시스템의 작업 단계를 분리해야 합니다. 자유 형식의 대화나 깊은 논리가 필요한 영역은 기존 LLM에 맡기고, 도구 선택, 입력 유효성 검증, 라우팅, 가드레일 같은 정형화된 선택 분기에는 Strands Decider 2B를 결합하는 '하이브리드 에이전트' 구성이 합리적입니다13. 다만 자체 데이터셋에서 모델이 산출하는 신뢰도 임계값이 실제 정답률과 일치하는지 먼저 검증하고, 긴 문맥의 복잡한 조건문에서는 지연 시간과 오답률이 증가할 수 있음을 사전 테스트로 확인해야 합니다34.
참고
2Introducing Strands Decider 2B: a small, open source, decision model
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.