이미지·영상 모델을 미세 조정할 때 어려운 부분은 모델을 불러오는 작업보다 분산 학습 환경을 구성하고 확장하는 과정이다. NVIDIA NeMo AutoModel과 Hugging Face Diffusers의 통합은 Diffusers 모델 생태계와 NeMo의 분산 학습 기능을 연결해 이 부담을 줄인다. 통합 기능은 Apache 2.0 라이선스로 공개됐다.2
Diffusers 모델을 NeMo로 확장한다
NeMo AutoModel은 PyTorch DTensor 기반의 오픈소스 학습 라이브러리다. LLM과 VLM은 물론 확산 모델과 검색 모델의 학습 및 미세 조정을 지원하도록 설계됐다.1
Diffusers 형식의 모델은 별도의 체크포인트 변환 없이 Hugging Face Hub에서 불러올 수 있으며, 학습 결과는 DiffusionPipeline으로 생성에 활용할 수 있다. 다만 현재 NeMo AutoModel이 지원하는 확산 모델 학습 방식은 노이즈에서 데이터로 이동하는 경로를 학습하는 플로 매칭으로 제한된다.2
통합의 핵심은 모델 코드와 병렬화 전략을 분리한 데 있다. 같은 학습 스크립트를 유지하면서 디바이스 메시와 설정을 변경해 단일 GPU에서 1,000개 이상의 GPU로 확장할 수 있다. FSDP2, HSDP, 텐서·컨텍스트·시퀀스·파이프라인 병렬화도 필요에 따라 조합할 수 있다.1
실무에서는 설정과 데이터 전처리를 함께 봐야 한다
NeMo AutoModel의 학습 레시피는 YAML로 관리하며, 개별 필드는 CLI에서 재정의할 수 있다. Kubernetes와 Slurm을 통한 분산 자원 관리도 지원하므로 소규모 실험에서 클러스터 학습으로 확장할 때 동일한 설정 방식을 유지할 수 있다.1
데이터 준비 방식도 도입 전에 확인해야 한다. 원본 이미지나 영상을 그대로 반복 인코딩하는 대신 VAE 잠재 표현과 텍스트 임베딩을 .meta 파일로 미리 변환한다. 이 방식은 학습 중 인코딩 비용을 줄이지만, 데이터셋을 변경하면 전처리 결과도 다시 관리해야 한다. 해상도 버킷은 크기가 비슷한 샘플을 묶어 패딩 낭비를 줄인다.2
지원 사례에는 120억 개 파라미터의 텍스트-이미지 모델 FLUX.1-dev와 Wan 2.1, HunyuanVideo 1.5 등이 있다. FLUX.1-dev는 전체 미세 조정과 LoRA를 지원하며, 공개 예시는 Rider–Waite 타로 이미지 78장을 사용해 200단계 동안 학습했다.2
도입 전에 확인할 기준
NeMo AutoModel과 Diffusers 통합을 검토한다면 다음 항목을 먼저 확인하는 편이 좋다.
대상 모델이 Diffusers 형식으로 제공되는가
현재 지원 범위인 플로 매칭 모델에 해당하는가
전체 미세 조정과 LoRA 중 어떤 방식이 자원 예산에 적합한가
잠재 표현과 텍스트 임베딩을 저장할 공간이 충분한가
단일 GPU 검증 이후 어떤 병렬화 전략으로 확장할 것인가
이번 통합의 의미는 새로운 생성 모델을 추가한 데 있기보다 학습 경로를 단순화한 데 있다. Diffusers에서 모델을 불러오고 NeMo AutoModel의 설정 중심 병렬화를 적용하면, 소규모 검증을 대규모 학습으로 옮길 때 모델 코드와 분산 학습 코드를 다시 작성해야 하는 부담을 줄일 수 있다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.