Rednote는 Mixture-of-Experts 아키텍처를 가진 첫 번째 오픈소스 LLM을 출시했습니다.
- 제목: "Rednote, Mixture-of-Experts 아키텍처로 첫 오픈 소스 LLM 공개"
- Rednote라는 소셜 미디어 회사가 첫 오픈 소스 대형 언어 모델 'dots.llm1'을 출시.
- Mixture-of-Experts(MoE) 시스템은 경쟁 모델의 성능을 저비용으로 제공하는 것을 목표로 함.
- dots.llm1는 전체 142억 개의 매개 변수 중 14억 개의 활성 매개 변수를 사용하며, 128개의 전문가 모듈 중 최적의 6개 모듈만 활성화하여 자원 절약 도모.
- Rednote는 GPU 사용 효율성을 주장하며, dots.llm1의 훈련에 130,000 GPU 시간이 필요, Qwen2.5-72B 운동에는 340,000 GPU 시간이 필요.
- 중국어 작업에서 dots.llm1는 Qwen2.5-72B와 Deepseek-V3.Ad를 능가하는 성과를 보임.
- 영어 작업에서는 dots.llm1이 경쟁사보다 다소 뒤처짐.
- 수학 작업에서는 적절한 결과를 내지만 가장 큰 모델을 따라가기 어려움.
- 코드 생성에서 두각을 나타내며, HumanEval에서 Qwen2.5-72B를 능가.
- 훈련 데이터는 11.2조 개의 실제 인터넷 텍스트를 사용하여 고품질 토큰으로 구성.
- Rednote는 200개의 범주 분류기를 구축하여 훈련 데이터의 구성을 최적화.
- 오픈 소스 및 글로벌 진출을 목표로 Apache 2.0 라이센스를 통해 모델 제공.
- Rednote는 Diandian이라는 AI 연구 보조 프로그램을 자체 플랫폼에서 시험 중.
- 미국에서의 TikTok 금지 위협으로 잠깐 국제 관심 받음, 이후 중국 외 첫 사무소 홍콩에 개설.
- 2025년 IPO 예정이며, 회사 평가액 올해 260억 달러 기록.
4the-decoder.com링크 복사하기
AI 뉴스 요약은 뉴스의 내용을 AI가 요약(GPT-4 활용)한 것입니다. 따라서 틀린 내용을 포함할 수 있습니다. 뉴스의 자세한 내용을 확인하시려면 해당 뉴스 링크를 클릭해주세요.