오픈 소스 모델 Prometheus 2는 GPT-4만큼 거의 다른 언어 모델을 평가할 수 있습니다.
- 무료로 이용 가능한 언어 모델인 Prometheus 2는 GPT-4와 같은 상업 모델만큼 다른 언어 모델을 평가할 수 있지만, 더 투명하고 비용이 적게 든다고 함.
- Prometheus 2는 연구자와 개발자가 언어 모델의 성능을 객관적으로 측정하고 비교하며, 강점과 약점에 대한 자세한 피드백을 받아 지속적으로 언어 모델의 품질과 신뢰성을 향상시킬 수 있도록 지원한다고 함.
- KAIST AI의 연구팀이 이끄는 Seungone Kim에 따르면, 기존의 상업 모델들은 투명성이 결여되어 있고 조절하기 어렵며 많은 사람들이 접근하기에 비용적 문제가 있다고 함.
- Prometheus 2는 직접 평가와 쌍대 비교, 두 가지 가장 일반적인 평가 방식을 사용하여 평가할 수 있으며, 사용자 정의 기준에서도 평가할 수 있다고 함.
- 연구팀은 “Preference Collection”이라는 새로운 쌍대 비교 데이터 세트를 생성하여 Prometheus 2를 훈련시켰으며, 이 데이터 세트는 기본 특성을 넘어서는 1,000개 이상의 다양한 평가 기준을 포함한다고 함.
- Prometheus 2는 여덟 개의 데이터 세트에서 인간의 판단과 상업 언어 모델과 가장 높은 일치도를 보인 모든 무료 평가 모델 중에서 가장 좋은 결과를 달성했다고 함.
- Prometheus 2는 모델 평가에 있어 더 큰 공정성과 접근성을 기여하며, 코드와 데이터는 Github에서 이용할 수 있다고 함.
3the-decoder.com링크 복사하기
AI 뉴스 요약은 뉴스의 내용을 AI가 요약(GPT-4 활용)한 것입니다. 따라서 틀린 내용을 포함할 수 있습니다. 뉴스의 자세한 내용을 확인하시려면 해당 뉴스 링크를 클릭해주세요.