예산 제약 하의 적응형 LLM 라우팅
- 제목: 예산 제약 하의 적응형 대형 언어 모델(LLM) 라우팅
- 대형 언어 모델(LLM)은 자연어 처리에서 혁신적이지만 여러 가지 능력과 비용이 있어 실제 활용에 어려움을 겪음.
- LLM 라우팅은 쿼리/작업마다 가장 적합한 LLM을 동적으로 선택하여 이러한 문제를 해결.
- 이전 방법은 최적의 쿼리-LLM 매칭을 완전히 알 수 있다고 가정하는 지도 학습 문제로 접근함.
- 실제 상황에서는 이러한 포괄적인 매핑이 부족하며 사용자 쿼리가 계속 변함.
- 본 논문에서는 LLM 라우팅을 '문맥적 밴딧 문제'로 연구하여 밴딧 피드백을 사용해 적응형 결정 문제 해결을 제안.
- 모든 쿼리와 LLM에 대해 포괄적 추론이 필요하지 않아 자원 효율적 라우팅 가능.
- 쿼리 및 LLM 임베딩이 초기적으로 오프라인 인간 선호 데이터를 이용해 학습되고, 온라인 밴딧 피드백으로 개선됨.
- 이 개념은 LinUCB의 새로운 확장인 'PILOT'을 통해 구현됨.
- 모델 라우팅을 위한 다양한 사용자 예산을 다루기 위해 다중 선택 배낭 문제로 모델링된 온라인 비용 정책 도입.
- 이 연구는 EMNLP 2025에서 '발견'으로 수락됨.
- 기계 학습(cs.LG)에 관한 연구로, arXiv:2508.21141로 인용 가능.
4arxiv.org링크 복사하기
AI 뉴스 요약은 뉴스의 내용을 AI가 요약(GPT-4 활용)한 것입니다. 따라서 틀린 내용을 포함할 수 있습니다. 뉴스의 자세한 내용을 확인하시려면 해당 뉴스 링크를 클릭해주세요.