마이크로소프트의 Phi-4 개발자들은 합성 데이터가 유기적 데이터의 "저렴한 대체품"이 아니라고 말한다.
- Microsoft Research에서 개발한 새로운 Phi-4 LLM은 140억 개의 파라미터를 사용하며 더 큰 모델과 유사한 성능을 보임.
- 이 모델은 과학 및 기술 질문에 답할 때 GPT-4를 능가.
- 특히 수학 분야에서 뛰어난 성과를 보여 대학 수준 질문에서는 56.1%, 수학 경시대회 문제에서는 80.4%의 성공률을 기록.
- MMLU에서 84.8%, HumanEval에서 82.6%의 성과를 기록하며, 더 큰 모델과 경쟁할 수 있을 만큼 우수한 성능.
- 그러나 Phi-4는 정확한 지시나 포맷 요구사항을 따르는 데 어려움을 겪음.
- 훈련 데이터의 품질에 중점을 두어, 웹 콘텐츠 대신 신중히 생성된 합성 데이터를 사용.
- 50종류의 합성 데이터셋을 만들어 약 4000억 개의 토큰을 생성.
- 합성 데이터는 유기 데이터보다 여러 장점이 있으며, 신중히 필터링된 유기 데이터와 함께 사용.
- "피보탈 토큰"을 식별하여 답변의 정확도를 높이는 새로운 훈련 방법 개발.
- Public Release 예정: OpenAI로 이직한 전 Microsoft Phi 개발자인 Sebastien Bubeck이 모델의 가중치 공개 예정.
- Phi-4는 2024년 11월의 미국 수학 경시대회에서 평균 91.8%의 성과를 기록.
- Microsoft는 현재 Azure AI Foundry 플랫폼을 통해 Phi-4를 제공하며, 다음 주에 HuggingFace에서 연구 라이선스로 출시 예정.
3the-decoder.com링크 복사하기
AI 뉴스 요약은 뉴스의 내용을 AI가 요약(GPT-4 활용)한 것입니다. 따라서 틀린 내용을 포함할 수 있습니다. 뉴스의 자세한 내용을 확인하시려면 해당 뉴스 링크를 클릭해주세요.