허깅 페이스의 zephyr 7B - Mistal 7B의 파인튜닝 버전

허깅 페이스의 H4 팀에서 공개한 Mistral 7B 를 파인튜닝한 베타 버전 LLM 이다. alpaca 벤치마크(AlpacaEval)에서 높은 성능을 기록했다고 한다.

Zephyr 7B 베타는 "루프 내 필터링" 메커니즘을 통해 인간의 선호도에 맞춰 응답을 파인튜닝 하며 문제가 될 만한 텍스트 생성 가능성을 줄인다고 한다.

또 공개적으로 이용 가능한 합성 데이터셋과 독자적인 모델을 혼합하여 강력한 성능을 제공한다고 한다.

인간의 선호도에 더 잘 맞는 결과를 생성할 수 있도록 직접 증류(direct distillation) 사용한 파인튜닝을 하는 것이 기술적인 특징이다.

연구 및 교육 목적으로 공개되었다.

요즘 7B 처럼 작은 모델이 강력해 지는 것 같다. Mistral 7B 모델에 RLHF 같은 인간의 선호도를 반영한 파인튜닝을 연구하는 것 같다.

HuggingFaceH4/zephyr-7b-beta · Hugging Face