이미지 생성 모델 경쟁은 흔히 파라미터 수 경쟁으로 읽힙니다. 더 큰 모델이 더 좋은 이미지를 만든다는 전제입니다. Microsoft Research의 Lens는 이 관점에 다른 질문을 던집니다. 모델을 키우는 것보다, 모델이 학습하는 “설명”의 품질과 학습 방식이 더 중요할 수 있다는 것입니다.
Lens는 38억 개 파라미터를 가진 텍스트-이미지 모델입니다. 논문은 2026년 5월 20일 arXiv에 제출됐으며, Lens가 60억 개 이상 파라미터를 가진 최신 T2I 모델들과 여러 벤치마크에서 경쟁하거나 일부 능가했다고 보고합니다.1 약 800억 개 파라미터 규모로 알려진 Hunyuan-Image-3.0 같은 대형 모델과 비교하면, Lens의 핵심 메시지는 분명합니다. 효율은 단순히 “작게 만든 모델”이 아니라 “무엇을 어떻게 학습시키는가”에서 나온다는 점입니다.
Lens가 주목한 병목: 파라미터보다 데이터 설명력
Lens의 가장 중요한 차이는 학습 데이터에 있습니다. Lens-800M은 8억 개 이미지-텍스트 쌍으로 구성됐고, 캡션은 GPT-4.1이 생성했습니다. 논문에 따르면 이 캡션의 평균 길이는 약 109단어입니다.1
짧은 캡션은 보통 “고양이 사진”, “도시 야경”처럼 이미지의 대략적인 주제만 전달합니다. 반면 긴 캡션은 대상, 배경, 구도, 색감, 질감, 사물 간 관계 같은 정보를 함께 제공합니다. 같은 이미지 한 장이라도 모델이 배울 수 있는 의미 신호가 훨씬 풍부해지는 셈입니다.
이 점이 Lens의 실용적 가치입니다. 생성 모델의 성능을 높이는 방법이 꼭 더 많은 파라미터와 더 많은 컴퓨트만은 아니라는 것을 보여줍니다. 데이터의 양뿐 아니라, 이미지가 얼마나 정확하고 풍부하게 설명되는지가 학습 효율의 핵심 변수가 될 수 있습니다.
학습 효율을 높이는 세 가지 설계
Lens는 긴 캡션만으로 효율을 주장하지 않습니다. 논문은 데이터, 배치 구성, 모델 구조가 함께 학습 효율을 만든다고 설명합니다.
첫째, Lens는 한 학습 배치에 여러 해상도와 다양한 종횡비의 이미지를 함께 구성합니다.1 이는 각 최적화 단계에서 모델이 접하는 시각적 범위를 넓히기 위한 방식입니다. 정사각형 이미지나 특정 해상도에 치우치기보다, 다양한 화면 구성에 적응하도록 훈련하는 전략입니다.
둘째, Lens는 semantic VAE를 채택했습니다.1 VAE는 이미지를 모델이 다루기 쉬운 잠재 표현으로 압축하고 다시 복원하는 구성요소입니다. 여기서 더 나은 잠재 표현을 확보하면 생성 품질과 학습 안정성에 영향을 줄 수 있습니다.
셋째, Lens는 강한 언어 인코더를 사용합니다.1 논문은 이를 통해 최적화 속도를 높이고, 영어 학습 데이터만으로도 다국어 프롬프트에 일반화하도록 설계했다고 설명합니다. 텍스트-이미지 모델에서 언어 이해가 단순한 입력 처리 단계가 아니라, 이미지 생성 품질과 효율에 직접 연결된다는 점을 보여줍니다.
이런 설계의 결과로 논문은 Lens의 학습 컴퓨트가 Z-Image가 사용한 학습 컴퓨트의 약 19.3%라고 제시합니다.1 Lens의 주장은 “작은 모델도 가능하다”가 아니라, 데이터 설명력과 학습 구성을 바꾸면 더 적은 컴퓨트로도 경쟁력 있는 결과를 만들 수 있다는 데 가깝습니다.
실무자가 Lens에서 배울 점
Lens를 볼 때 중요한 판단 기준은 하나입니다. 생성 AI 모델을 평가할 때 “파라미터가 몇 개인가”만 묻지 말고, “어떤 데이터와 어떤 설명으로 학습했는가”를 함께 봐야 합니다.
사내 이미지 생성 모델을 만들거나 기존 모델을 파인튜닝할 때도 같은 원리가 적용됩니다. 단순히 이미지 수를 늘리거나 짧은 태그를 많이 붙이는 것만으로는 한계가 있습니다. 장면을 자세히 설명한 캡션, 다양한 해상도와 종횡비를 반영한 데이터 구성, 프롬프트 이해를 돕는 언어 표현 품질이 실제 효율을 좌우할 수 있습니다.
Microsoft는 Lens의 코드와 모델 체크포인트를 MIT 라이선스로 공개했습니다.2 연구자와 개발자가 직접 검증하고 응용해볼 수 있다는 점도 중요합니다. Lens의 결론은 명확합니다. 이미지 생성의 다음 효율 경쟁은 모델 크기만이 아니라, 데이터를 얼마나 잘 설명하고 학습 과정에 얼마나 잘 반영하느냐에서 갈릴 수 있습니다.
1Lens: Rethinking Training Efficiency for Foundational Text-to-Image Models
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.