llm-typesafe 0.1a0: 생성 대신 타입이 지정된 판단을 연결하는 플러그인
LLM이 항상 문장을 생성해야 하는 것은 아니다. 고객 문의 분류나 위험 감지처럼 가능한 답이 정해진 작업에서는 자유로운 텍스트보다 빠르고 예측 가능한 판단이 더 유용하다.
llm-typesafe 0.1a0은 LLM에서 TypeSafe AI의 Jev 모델을 사용할 수 있게 해 주는 플러그인이다. 다음 명령으로 설치하고 TypeSafe API 키를 설정할 수 있다.1
llm install llm-typesafe
llm keys set typesafeJev가 일반적인 생성 모델과 다른 점
Jev는 문장을 생성하는 전통적인 LLM이 아니다. 입력된 상태를 평가한 뒤, 요청 전에 정의한 타입의 답과 확률을 반환하는 System One 모델이다.2
출력 후보와 데이터 구조를 미리 정하므로 생성 결과를 다시 해석하거나 파싱하는 과정이 줄어든다. 또한 Jev는 확률이 실제 정확도를 더 잘 반영하도록 보정된 의사결정을 위한 강화학습 방식인 RLCD로 훈련됐다.3
Jev는 세 가지 질문 형식을 지원한다.
noul: 예·아니요 형식의 명제를 평가해 참일 확률을 반환한다.choice: 각 선택지의 확률과 전체 신뢰도 점수를 반환한다.score: 연속 점수와 점수 분포, 신뢰도 값을 반환한다.3
핵심은 답의 형식뿐 아니라 불확실성까지 코드에서 직접 다룰 수 있다는 점이다.
여러 판단을 한 번에 평가한다
Jev는 하나의 요청에 포함된 여러 질문을 병렬로 평가한다. 질문을 추가해도 응답 시간 변화는 작지만, 추가 질문에 해당하는 입력 토큰 비용은 발생한다.3 TypeSafe AI 문서가 제시한 종단 간 응답 시간은 70~500ms이며, 실제 성능은 적용 환경에서 별도로 확인해야 한다.2
평가 대상은 state 필드로 전달한다. 여기에는 일반 텍스트뿐 아니라 구조화 데이터나 LangChain 메시지도 넣을 수 있다.3 따라서 동일한 상태를 바탕으로 분류, 점수화, 조건 판정 등 여러 판단을 함께 요청할 수 있다.
LLM을 대체하기보다 판단 단계를 보완한다
llm-typesafe 0.1a0의 적합성을 판단하려면 먼저 작업의 결과 형태를 살펴봐야 한다.
설명이나 새로운 콘텐츠가 필요하다면 생성형 LLM이 적합하다.
정해진 선택지 중 하나를 고르거나 상태를 점수화해야 한다면 Jev가 적합할 수 있다.
여러 판단을 반복적으로 수행해야 한다면 하나의 요청으로 묶는 방식을 검토할 수 있다.
즉, LLM은 생성과 설명을 담당하고 Jev는 모델 라우팅, 문의 분류, 위험한 도구 호출 판정처럼 형식이 정해진 중간 판단을 담당하는 식으로 역할을 나눌 수 있다.
요약: 0.1a0이 보여주는 방향
llm-typesafe 0.1a0의 의미는 LLM에 새 모델을 추가하는 데 그치지 않는다. 자유 텍스트를 생성한 뒤 다시 파싱하는 대신, 미리 정의한 구조에 맞춰 확률이 포함된 판단을 받을 수 있게 한다.
적용 여부를 결정할 때는 한 가지 질문에서 시작하면 된다. 필요한 결과가 문장인가, 아니면 정해진 선택지에 대한 판단인가? 후자라면 Jev의 noul, choice, score가 더 직접적인 인터페이스가 될 수 있다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.