Luma AI, 터미널 속도 매칭 공개 표준 확산 모델보다 25배 빠른 훈련
- Luma AI는 터미널 속도 매칭(Terminal Velocity Matching, TVM)을 공개하여 기존 확산 모델보다 25배 빠른 훈련을 가능하게 합니다.
- TVM은 높은 샘플 품질을 유지하면서 효율적인 생성이 가능한 단일 단계 훈련 패러다임입니다.
- 기존 확산 모델은 많은 네트워크 호출이 필요해 불필요한 비용이 발생하는 반면, TVM은 적은 단계에서도 우수한 품질의 샘플을 생성합니다.
- TVM은 텍스트-이미지 및 텍스트-비디오 모델의 최적화된 효율성을 제공하며, 10억 개 이상의 파라미터를 가진 확산 트랜스포머에도 쉽게 확장이 가능합니다.
- TVM은 이론적 기여 외에도 모델 설계 선택에 중점을 두어 기존의 확산 모델과 차별화된 효율성을 제공하며, 고품질-효율성 균형을 유지합니다.
- 새롭게 개발된 플래시 어텐션 커널을 사용하여 자비안-벡터 곱(JVP) 계산을 효율적으로 수행하며, 이는 코드 몇 줄로 활용 가능합니다.
- 최대 10억 개 이상의 파라미터 스케일에서도 TVM의 훈련과 시스템 디자인이 구현되며, 자비안-벡터 곱을 통해 메모리 발자국을 줄이는 기술이 포함됩니다.
- TVM은 기존의 확산 모델에 비해 빠른 추론을 가능하게 하며, 다중 모달 모델의 잠재적 능력을 확장할 수 있는 큰 진보를 기대합니다.
- Luma AI는 TVM을 통해 효율적인 추론 시간 확장을 위한 다음 세대 생성 모델의 발전에 기여하고자 합니다.
5lumalabs.ai링크 복사하기
AI 뉴스 요약은 뉴스의 내용을 AI가 요약(GPT-4 활용)한 것입니다. 따라서 틀린 내용을 포함할 수 있습니다. 뉴스의 자세한 내용을 확인하시려면 해당 뉴스 링크를 클릭해주세요.