OpenChat 프레임워크는 오픈소스 언어 모델을 최적화하려고 함
- 청화대학교, 상하이 인공지능 연구소, 01.AI에서 개발한 새로운 프레임워크 'OpenChat'의 목적은 오픈소스 언어 모델의 성능을 혼합된 데이터 품질에 최적화하는 것임.
- OpenChat은 '조건부 강화학습 파인튜닝(C-RLFT)'이라는 새로운 방법을 사용하여, 데이터의 세부 라벨링 없이도 다른 데이터 소스를 다른 클래스로 취급하고 적절히 가중치를 부여함.
- C-RLFT는 복잡한 강화학습이나 비용이 많이 드는 인간의 피드백 없이도 구현이 비교적 쉬움. 단계적인 강화학습 없이도 지도 학습을 통해 모델이 바른 예시들로부터 배울 수 있음.
- 초기 테스트에서 13B 매개변수를 사용하고 C-RLFT로 미세조정된 OpenChat 모델이 다른 테스트 중인 모델보다 성능이 좋았으며, 70B 매개변수를 가진 더 큰 모델들까지 능가함.
- 연구팀에 따르면, 8K 컨텍스트 윈도우를 사용한 OpenChat 3.5-7B 모델은 ChatGPT와 비슷한 성능을 보이는 벤치마크 중 일부에서 더 좋은 결과를 냄.
- 이 프레임워크는 추후 논리적 추론과 같은 다른 분야의 언어 모델 능력 향상에도 사용될 수 있음.
- OpenChat 프레임워크와 관련 데이터 및 모델은 Github에서 공개적으로 이용 가능함. Llama 라이선스에 따라 상업적으로 사용할 수 있음.
4the-decoder.com링크 복사하기
AI 뉴스 요약은 뉴스의 내용을 AI가 요약 한 것입니다. 따라서 틀린 내용을 포함할 수 있습니다. 뉴스의 자세한 내용을 확인하시려면 해당 뉴스 링크를 클릭해주세요.