엔지니어라면 반드시 알아야 할 Llama 3 비밀

데이터 준비와 훈련 과정

• Llama 3는 약 15조의 다중언어 토큰으로 훈련되었으며, 이는 이전 버전보다 크게 증가한 수치임.
• 데이터 믹스는 약 50%의 일반 지식 토큰, 25%의 수학 및 추론 토큰, 17%의 코드 토큰, 8%의 다중언어 토큰으로 구성됨.
• 데이터 정리 및 필터링 기법을 광범위하게 사용함.
• "어닐링" 단계에서 고품질 데이터를 소량씩 도입하여 모델 적응을 도모함.
• 합성 데이터 생성이 중요한 역할을 하였으며, 다양한 도메인에서 고품질 예제를 생성함.
• 피드백 루프는 DPO, SFT 및 Rejection Sampling 등을 포함함.

엔지니어를 위한 요약

• 데이터 준비에 투자해야 하며, 깨끗하고 고품질의 데이터가 중요함.
• 다단계 훈련 접근 방식을 고려해야 함.

아키텍처의 차별성과 혁신

• Llama 3는 4,050억 개의 매개변수를 가지고 있으며, 이는 공개된 모델 중 가장 크다.
• 컨텍스트 윈도우가 128k 토큰으로 확장됨.
• 54일 동안 16,000개의 H100 GPU를 사용한 훈련 인프라.

엔지니어를 위한 요약

• 모델 향상은 하드웨어만의 문제가 아니라 모델과 인프라의 공동 설계가 중요함.

출력 품질 평가

• 다운스트림 작업 성능을 예측할 수 있는 새로운 스케일링 법칙 개발.
• 광범위한 벤치마킹 및 다른 선도 모델과의 성능 비교.

엔지니어를 위한 요약

• 모델 품질과 성능을 유지하고 개선하기 위한 기술들을 사용해야 함.

새로운 모델이 가능하게 하는 것

• 수학 및 추론 작업에서의 성능 향상.
• 다중언어 및 장기 컨텍스트 이해 능력 향상.
• 발전된 도구 사용과 다단계 추론 가능성.

핵심 비결

• 합성 데이터 생성 및 스스로 개선하는 기법의 광범위한 사용.
• 데이터 믹스 레시피, 특히 어닐링 단계와 특정 도메인에 대한 고품질 데이터 집중.

오픈 질문들

• 아키텍처 선택의 장기적인 영향.
• 데이터 정리 및 필터링 기법이 모델 성능과 편향에 미치는 영향.
• 향후 버전에서의 토큰화 및 다중언어 지원 발전.
• 스케일링 법칙 및 정확성 예측 방법이 더욱 큰 모델 개발에 미치는 영향.