Apple의 이미지 생성 AI 혁신: STARFlow의 기술적 도약과 의미

2025년, Apple은 딥러닝 이미지 생성 분야에서 새로운 전환점을 마련했다. 'STARFlow'로 명명된 이 신기술은 오랜 기간 이미지 생성 AI 시장을 지배해 온 확산 모델(diffusion model)의 한계를 뛰어넘고자 한다. 본 문서에서는 STARFlow의 핵심 원리, 기술적 특장점, 산업적 함의 및 향후 과제를 체계적으로 정리한다.

1. 기존 이미지 생성 AI 기술의 한계

현재 이미지 생성 AI의 주류는 확산 모델(diffusion model)이다. 이들 시스템은 '노이즈'로 가득 찬 이미지를 반복적인 디노이징(denoising) 과정을 통해 변환하여 고품질 이미지를 만들어낸다. DALL-E, Midjourney, Stable Diffusion 등 주요 서비스가 이 접근법을 채택하고 있다. 그러나, 뛰어난 품질에도 불구하고 이러한 모델은 막대한 계산 자원과 시간이 소요되며, 생성 과정에 대한 세밀한 제어(control)와 예측 가능성을 제공하는 데 본질적 한계가 존재했다.

2. STARFlow: 정규화 흐름(Normalizing Flow)의 부활

STARFlow는 이미지 생성에 있어 기존의 주류 노선을 과감히 벗어나, 정규화 흐름(normalizing flow, NF)이라는 별도의 생성 모델 패러다임을 재해석했다. 이 방식은 일반적인 분포(예: 가우시안 분포)를 연속적이고 수학적으로 엄밀하게 복잡한 분포로 변환할 수 있다. 이를 통해 생성 과정의 확률적 정밀성(precision in probabilistic inference)과 정확한 최대우도 추정(maximum likelihood estimation)을 구현했다.

STARFlow의 또 다른 핵심은 오토레그레시브 트랜스포머(autoregressive transformer, TARFlow)의 구조적 장점을 적극 계승·확장했다는 점이다. 전통적 픽셀 단위 처리 대신, 사전학습된 오토인코더(autoencoder)의 잠재 공간(latent space)에서 연산을 수행함으로써, 처리 효율은 물론 더 높은 해상도와 품질을 양립하도록 설계되었다.

3. 딥-셸로우(Deep-Shallow) 설계: 효율성과 성능의 균형

STARFlow는 계산 복잡도와 추론 효율성을 극대화하기 위해 '딥-셸로우(Deep-Shallow)' 구조를 채택했다. 구체적으로는 모델 전체 파라미터의 대부분을 하나의 깊은 트랜스포머 블록에 집중시키고, 나머지는 얕은 블록(Shallow block)들에 분산한다. 깊은 블록이 주된 의미 정보를 포착하는 동안, 얕은 블록은 미세한 이미지 조정 및 국소적 정제를 담당한다.

이를 통해 기존 TARFlow의 깊이 균일 설계 대비, 압도적으로 적은 계산으로 동등 혹은 뛰어난 성능을 달성한다. 또한 텍스트 조건 입력도 깊은 블록에만 국한시켜 LLM 기반 인코더 없이도 텍스트-이미지 연동이 가능하다.

4. 잠재 공간 학습 및 디코더 미세 조정

STARFlow는 VAE(Variational Autoencoder) 기반 잠재 공간에서 직접 모델링을 수행한다. 예를 들어, 256×256 해상도 이미지를 32×32 잠재 표현으로 압축해 연산함으로써 계산 부담을 획기적으로 줄였다. 또, 잠재 공간에 노이즈를 주입하며 학습함으로써, 디노이징 단계 없이도 안정적인 고화질 이미지 생성을 실현하였다.

이 과정에서 디코더를 미세 조정(fine-tuning)해, 노이즈가 포함된 잠재값으로부터도 자연스러운 이미지를 복원할 수 있도록 했다. ImageNet-256 기준 FID(Fréchet Inception Distance) 점수는 2.40까지 떨어져, 동급 확산 모델(DiT-XL/2)의 2.27에 근접했다.

5. 새로운 수식 기반 가이던스: 정밀하고 안정적인 조건부 생성

텍스트 조건부 이미지 생성에서 STARFlow는 기존의 선형 보간 기반 보정보다, 가우시안 분포 조합 및 스코어 기반 해석(score-based guidance)을 활용한다. 이로써 생성 도중 조건값(가이던스)을 크게 높여도 품질 저하 없이, 텍스트와 이미지의 정합도가 극대화되는 특징을 보인다. 기존 방법에서 나타나던 과도한 가이던스 시 품질 붕괴 문제가 대폭 완화되었다.

6. 다양한 활용성: 인페인팅·편집·순차적 생성까지

STARFlow는 단순 신규 이미지 생성에 그치지 않는다. 이미지 인페인팅(inpainting), 조건부 편집(interactive editing), 순차적 생성(sequential generation) 등 복수의 비전-언어 태스크를 단일 모델에서 추가 학습 없이 지원한다. 잠재 공간에서 특정 영역을 노이즈로 대체 후, 자연스러운 보정 이미지를 구현하는 방식이 데모로 제시되었다. 모델 가역성(reversibility) 덕분에 실시간 이미지 코딩-디코딩도 가능한 아키텍처를 제공한다.

7. Apple의 AI 전략과 산업적 파장

최근 WWDC(세계개발자대회)에서 공개된 Apple Intelligence는 외부 관찰자들로부터 “혁신이 미미하다”는 평을 들었다. 하지만 STARFlow는 클라우드 기반이 아닌 온디바이스(on-device) AI 처리를 염두에 둔 효율적 구조로 개발되었다는 점에서, 단순 연구에 그치지 않고 Apple 생태계에 실질적 차별화를 제공할 기술로 평가된다. 사용자 프라이버시(privacy)를 전면에 내건 Apple의 철학, 하드웨어·소프트웨어 통합 전략과도 긴밀히 부합한다.

Google, OpenAI 등 경쟁사는 확산 모델의 고도화에 집중하는 반면 Apple은 전혀 다른 수학적 패러다임으로 유사한 수준의 품질·속도를 달성했다. 이는 AI 연구 트렌드 자체에도 변화의 촉매로 작용할 가능성이 크다.

8. 현재 한계와 미래 과제

• VAE 인코더(encoder)의 고정으로 인해 엔드 투 엔드(end-to-end) 학습에는 제약이 있으며, 일부 작업에서 자율 적응(adaptation)이 어렵다는 한계가 있다.

• AR(autoregressive) 기반 일부 모델 대비 추론 속도가 여전히 개선 여지가 남아 있으며, 디노이징 단계 완전 제거 및 더 복잡한 조건부 생성에서의 성능 검증이 추가적으로 필요하다.

• 연구 단계에서 실질적 상품화, 특히 iPhone과 Mac 등 Apple 하드웨어와의 완전한 통합에는 추가 검증과 최적화가 요구된다.

9. 결론: 이미지 생성 AI의 새로운 지평

STARFlow는 정규화 흐름과 오토레그레시브 트랜스포머를 결합해 고해상도 이미지 생성을 실질적으로 스케일업(scaling up)한 최초의 성공적 사례로 기록될 전망이다. 이 기술은 단순히 새로운 AI 아키텍처의 제시에 그치지 않고, 차세대 디지털 크리에이티브 환경 — 온디바이스 실시간 생성, 철저한 개인화, 효과적인 생성 컨트롤—의 실현에 한 걸음 더 다가선 결과라 평가할 수 있다.

AI 이미지 생성 분야가 확산 모델 일변도에서 다양한 수학적·구조적 방법론의 경쟁, 그리고 실제 산업/소비자 서비스를 위한 실용적 발전으로 진화할 수 있음을 STARFlow가 증명하고 있다.

참고: arXiv 논문 STARFlow: Scaling Latent Normalizing Flows for High-resolution Image Synthesis