AnyJev: 오픈 LLM을 운영 가능한 의사결정 모델로 바꾸는 방법
LLM이 “결제팀”을 선택했다고 해서 곧바로 업무를 넘기기는 어렵다. 선택지 순서에 따라 답이 달라질 수 있고, 모델이 제시한 90%가 실제 성공률 90%를 의미하지도 않기 때문이다.
Nokia 응용연구팀이 오픈소스로 공개한 Python 라이브러리 AnyJev는 이런 문제를 다룬다. 오픈 LLM을 별도로 학습하지 않고도 정해진 선택지 중 하나를 고르는 의사결정 모델로 활용할 수 있게 한다.1
문장 생성 대신 다음 토큰 분포로 결정한다
AnyJev는 답변 문장을 생성한 뒤 텍스트를 파싱하지 않는다. 다음 토큰 분포의 로짓을 직접 읽어 선택형, 참·거짓형, 구간 점수형 질문의 결과와 확률을 계산한다.1
따라서 핵심은 출력 형식이 아니라 의사결정 규칙이다. 자유로운 대화보다는 고객 문의 분류, 위험 작업 확인, 완료도 평가처럼 가능한 답이 미리 정해진 업무에 적합하다.
L0는 순서 편향을 줄이고, L1은 확률을 보정한다
기본 단계인 L0는 선택지를 순환 배치해 얻은 결과를 평균화하고 라벨의 사전확률을 제거한다. 별도 라벨 데이터는 필요하지 않지만, 선택지가 K개라면 K회의 프리필이 필요하다.1 선택지 순서에 대한 안정성을 높이는 대신 추론 비용이 늘어나는 구조다.
L1은 질문당 100~500개의 라벨을 사용해 L0 결과에 온도 스케일링을 적용한다.1 이 과정은 선택지의 순위를 바꾸지 않으며, 모델이 제시한 확률의 과신이나 과소평가를 보정한다. 모델의 지식이나 정답률을 높이는 것이 아니라, 해당 확률을 자동 처리 기준으로 사용할 수 있는지 판단하기 쉽게 만드는 단계다.
다만 이러한 보정에도 한계는 있다. 독립 리뷰에 따르면 선택지를 역순으로 배치했을 때 답이 바뀌는 현상은 줄었지만, 확률 분포 자체는 달라질 수 있다.2 또한 보정된 확률이 프롬프트 인젝션이나 모델의 지식 부족까지 해결하는 것은 아니다.
도입 여부는 운영 지표로 판단해야 한다
AnyJev의 실용적 가치는 최고 정확도 경쟁보다 임계값 기반 자동화에 있다. 예를 들어 확률이 충분히 높은 요청만 자동 처리하고, 나머지는 사람이 검토하도록 구성할 수 있다.
도입 전에는 다음 항목을 함께 평가해야 한다.
K회 프리필에 따른 추론 비용
실제 업무 데이터에서의 확률 보정 오차
선택지 순서를 바꿨을 때 결과와 분포의 안정성
자동 처리 임계값에 따른 오류와 수동 검토 비율
AnyJev는 PyPI에서 설치할 수 있으며 Apache-2.0 라이선스로 배포된다.1 초기에는 작은 업무에 L0를 적용해 안정성과 비용을 측정하고, 라벨이 충분히 쌓인 뒤 L1으로 확률을 보정하는 접근이 현실적이다.
요약: AnyJev는 오픈 LLM을 재학습하지 않고 정형 의사결정 모델로 활용하게 해준다. 핵심은 답변을 생성하는 대신 다음 토큰 분포를 읽고, 선택지 순서 편향을 줄이며, 확률을 실제 자동화 기준으로 사용할 수 있도록 보정하는 데 있다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.