AI 생성 이미지
OpenCLIP은 OpenAI CLIP의 오픈소스 구현체다.1 이미지와 텍스트를 같은 임베딩 공간에 놓고 비교하는 CLIP 계열 모델을 학습하고 활용할 수 있게 만든 프로젝트다.
최근 OpenCLIP의 변화는 단순한 기능 추가라기보다 학습 스택의 방향 전환에 가깝다. main 브랜치는 리팩터링 이후의 새 학습 스택을 기본값으로 사용한다.1 따라서 사전학습 모델을 추론에 쓰는 사용자보다, 직접 학습하거나 커스텀 데이터 파이프라인을 붙이는 사용자에게 더 중요한 업데이트다.
핵심은 “학습 프레임워크”로의 정리다
새 학습 스택은 TrainingTask 래퍼를 중심으로 구성된다.1 CLIP, SigLIP, CoCa, DistillCLIP, CLAP처럼 목적이 다른 학습을 각각 별도 흐름으로 흩어두기보다, 공통된 태스크 추상화 안에서 다루려는 구조다.
배치 형식도 더 명시적으로 바뀐다. 기존 tuple 방식보다 dict 기반 배치가 권장되며, 이미지·텍스트는 image, text, 오디오·텍스트는 audio, text 키를 사용한다.1 이는 모델과 모달리티가 늘어날수록 데이터 인터페이스를 분명히 해야 한다는 판단으로 볼 수 있다.
즉 이번 리팩터링의 목적은 “더 많은 모델을 넣기”가 아니라, 서로 다른 학습 목적과 데이터 형태를 같은 틀에서 확장 가능하게 만드는 데 있다.
분산 학습은 DDP와 FSDP2 중심으로 간다
OpenCLIP main의 새 학습 스택에는 FSDP2 지원이 포함됐다.1 FSDP는 모델 파라미터, 그래디언트, 옵티마이저 상태를 여러 GPU에 나눠 저장해 메모리 부담을 줄이는 PyTorch의 분산 학습 방식이다.2
이 변화와 함께 학습 CLI의 선택지도 정리됐다. main 브랜치에서는 Horovod 지원이 제거됐고, DDP와 FSDP2만 지원된다.1 새 OpenCLIP 학습 환경이 PyTorch 네이티브 분산 학습 흐름에 더 강하게 맞춰지고 있다는 뜻이다.
실무적으로는 대형 모델이나 큰 배치 학습을 고려하는 팀에게 FSDP2가 중요한 선택지가 된다. 반대로 기존 Horovod 기반 학습 스크립트를 유지하고 있다면 main 브랜치 전환 전에 마이그레이션 비용을 확인해야 한다.
이미지-텍스트를 넘어 오디오까지 포함한다
OpenCLIP의 범위도 넓어졌다. CLAP(audio-clip) 모델링, 학습 태스크, 오디오 데이터 파이프라인 통합이 OpenCLIP에 병합됐다.1 CLIP식 대조학습 구조가 이미지·텍스트뿐 아니라 오디오·텍스트 조합까지 포괄하는 방향으로 확장된 것이다.
이미지 파이프라인에도 변화가 있다. OpenCLIP은 학습 및 평가에서 native aspect NaFlex 데이터 파이프라인을 지원하며, timm 기반 NaFlexViT 인코더도 학습과 평가에서 지원한다.1 고정된 이미지 크기와 종횡비에만 맞추기보다, 변수 종횡비를 고려한 이미지 학습·평가 흐름을 반영한 변화다.
업그레이드 전에 무엇을 확인해야 할까
사전학습 이미지·텍스트 모델을 추론에 사용하는 경우에는 부담이 상대적으로 작다. OpenCLIP은 이 사용법의 호환성을 유지하는 방향으로 설계됐다.1
반면 다음에 해당한다면 main 브랜치 전환 전에 코드를 점검하는 편이 좋다.
기존 학습 API에 의존하고 있다
커스텀 데이터로더나 배치 포맷을 사용한다
Horovod 기반 분산 학습을 사용한다
이미지 외에 오디오 등 다른 모달리티를 함께 다루려 한다
NaFlex 데이터 파이프라인이나 NaFlexViT 인코더를 평가·학습에 적용하려 한다
안정적인 구버전 학습 API가 필요하다면 v3 브랜치나 PyPI의 최신 3.x 릴리스를 고정하는 것이 권장된다.1
정리
이번 업데이트의 의미는 분명하다. OpenCLIP은 OpenAI CLIP의 오픈소스 구현체에서 출발했지만, 이제는 대규모 멀티모달 학습을 위한 프레임워크에 더 가까워지고 있다.
추론 중심 사용자라면 큰 변화 없이 기존 흐름을 이어갈 수 있다. 하지만 학습 파이프라인을 직접 운영하는 팀이라면 TrainingTask, dict 기반 배치, DDP/FSDP2, NaFlex, CLAP 통합을 기준으로 코드를 다시 점검해야 한다. OpenCLIP을 앞으로 사용할 때의 핵심 판단 기준은 “모델을 쓸 것인가”보다 “새 학습 스택 위에서 확장할 것인가”에 있다.
1GitHub - mlfoundations/open_clip: An open source implementation of CLIP.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.