Open-R1: DeepSeek-R1의 오픈 재현

DeepSeek-R1의 소개

• DeepSeek-R1은 복잡한 수학 문제 해결을 위해 더 많은 연산을 사용해 문제를 해결하는 모델로, OpenAI의 o1 모델보다 더 나은 성능을 자랑함.
• 이 모델은 인간 감독 없이 순수 강화 학습을 통해 개발되었으며, 강력한 기초 모델과 고품질 데이터 혼합물이 필요함.

DeepSeek-R1의 구성 요소

• DeepSeek-V3 기반의 모델로, 671B Mixture of Experts(MoE) 모델을 사용.
• 차별화된 학습 접근법을 사용하는 DeepSeek-R1-Zero와 DeepSeek-R1 모델을 도입.

DeepSeek-R1의 학습 방법

• DeepSeek-R1-Zero: 감독적 미세 조정을 생략하고 강화 학습(Group Relative Policy Optimization, GRPO)에 의존.
• DeepSeek-R1: 초기 소형 예제들을 사용해 미세 조정 후 추가 강화 학습 및 정제 단계를 거쳐 높은 품질의 답변 생산.

DeepSeek-R1의 문제점

• 모델 가중치는 공개되었으나, 데이터셋과 학습 코드는 공개되지 않음.

Open-R1 프로젝트 목표

• DeepSeek-R1의 데이터와 학습 파이프라인을 재구성하고 검증해 투명성을 제공.
• 오픈 소스 커뮤니티와 함께 재현 가능한 통찰을 공유함으로써 미래 모델 개발의 토대 마련.
• 순수 강화 학습을 활용한 합성 데이터셋과 학습 레시피를 제공해 유사 모델을 구축할 수 있도록 지원.

Open-R1 단계별 계획

• 단계 1: 고품질 추론 데이터셋을 활용한 R1-Distill 모델 복제.
• 단계 2: 수학, 추론, 코드를 위한 대규모 데이터셋을 사용해 R1-Zero를 생성하는 순수 RL 파이프라인 복제.
• 단계 3: 기초 모델에서 SFT(감독적 미세 조정)와 RL(다중 단계 학습) 방식으로 확장.

합성 데이터셋과 학습 레시피의 활용

• 기존 또는 새 LLM(Large Language Models)을 추론 모델로 미세 조정할 수 있는 데이터셋 제공.
• 강화 학습을 활용한 학습 레시피 제공으로 연구자들이 새로운 방법론 개발 가능.

프로젝트 참여 권장

• 코드 기여 및 토론 참여 권장. Hugging Face 등 다양한 방법으로 커뮤니티 기여 독려.