이미지 생성 모델은 해상도를 올릴수록 쉽게 흔들린다. 캔버스가 커진다고 디테일만 자연스럽게 늘어나는 것은 아니다. 구도가 흐트러지거나 반복적인 패턴이 생기고, 전체 구조와 세부 질감의 균형이 깨질 수 있다.
SEGA(Spectral-Energy Guided Attention)는 이 문제를 파인튜닝으로 해결하려는 방식이 아니다. 확산 트랜스포머(DiT)가 학습 해상도 범위를 넘어 이미지를 만들 때 생기는 성능 저하를, 추론 과정의 어텐션 조정으로 완화하려는 무학습 접근이다.1
왜 고해상도에서 DiT가 약해질까
확산 트랜스포머, 즉 DiT는 텍스트-이미지 생성에서 주요 아키텍처로 쓰인다.1 하지만 학습 때 경험한 해상도보다 더 큰 이미지를 생성할 때는 성능이 떨어질 수 있다.1
핵심 쟁점은 단순히 픽셀 수가 늘어난다는 데 있지 않다. 해상도가 커지면 모델이 다뤄야 하는 토큰 격자와 위치 관계도 함께 달라진다. 특히 RoPE처럼 위치 정보를 어텐션에 반영하는 방식에서는, 학습 범위를 넘어선 위치 관계를 어떻게 다룰지가 중요해진다.
기존의 무학습 고해상도 생성 접근법도 이 지점을 건드려 왔다. 많은 방법이 추론 시점에서 어텐션 동작을 수정하고, RoPE 외삽과 어텐션 스케일링을 함께 사용하는 방식에 의존한다.1 SEGA는 이 흐름 위에서 “어텐션을 어떻게 더 정교하게 조절할 것인가”에 초점을 맞춘다.
SEGA의 관점: 해상도 외삽은 균일한 조절로 충분하지 않다
고해상도 이미지를 만들 때 필요한 것은 두 가지다. 하나는 전체 구도와 형태를 유지하는 능력이고, 다른 하나는 큰 캔버스에 맞는 세부 묘사를 채우는 능력이다. 둘 중 하나만 강해지면 결과는 쉽게 어색해진다.
SEGA의 이름에 들어간 “Spectral-Energy”는 이 문제를 바라보는 관점을 보여준다. 모든 위치 정보나 어텐션 성분을 같은 방식으로 다루기보다, 이미지 생성 과정에서 필요한 구조적 정보와 세부 정보의 균형을 고려해 어텐션을 조정하려는 접근이다.1
따라서 SEGA의 핵심은 “더 큰 해상도를 위해 모델을 다시 학습한다”가 아니라 “학습된 DiT가 더 큰 해상도에서도 위치와 어텐션을 덜 어긋나게 쓰도록 돕는다”에 가깝다. 이 점에서 SEGA는 해상도 외삽 문제를 업스케일링 후처리만의 문제가 아니라, 생성 모델 내부의 어텐션 문제로 본다.
실제로 볼 때 중요한 판단 기준
SEGA를 이해할 때 가장 먼저 확인할 점은 적용 대상이다. 논문이 다루는 중심은 RoPE 기반 확산 트랜스포머의 해상도 외삽이다.1 따라서 어떤 이미지 생성 모델에나 그대로 적용되는 범용 해법으로 보기보다는, RoPE와 DiT 구조를 쓰는 모델에서 고해상도 생성 문제를 다루는 방법으로 이해하는 편이 정확하다.
실무적으로는 다음 질문이 중요하다.
사용하는 모델이 RoPE 기반 DiT인가?
해상도를 올렸을 때 문제가 전체 구도 붕괴인가, 디테일 손실인가, 반복 패턴인가?
단순 업스케일링으로 충분한 문제인가, 생성 단계의 구조적 안정성이 필요한 문제인가?
파인튜닝 없이 추론 단계에서 개선할 수 있는 여지가 필요한가?
이 질문에 “그렇다”가 많다면 SEGA가 다루는 문제의식과 맞닿아 있다. 반대로 특정 모델 구조나 파이프라인이 SEGA의 전제와 다르다면, 논문의 결과를 곧바로 일반화하기는 어렵다.
SEGA가 보여주는 방향
SEGA의 의미는 고해상도 생성의 개선 방향을 넓힌다는 데 있다. 더 큰 모델을 학습하거나, 생성된 이미지를 나중에 키우는 것만이 답은 아닐 수 있다. 학습된 모델의 추론 과정에서 위치 인코딩과 어텐션 동작을 더 세밀하게 다루는 것만으로도 해상도 외삽을 개선할 여지가 있다.
결국 SEGA가 던지는 실용적 메시지는 분명하다. 고해상도 생성 품질을 평가할 때는 출력 크기만 볼 것이 아니라, 모델이 큰 캔버스에서 위치 관계와 어텐션을 어떻게 유지하는지 함께 봐야 한다. 해상도 문제는 픽셀의 문제가 아니라, 생성 과정에서 구조와 디테일을 함께 붙잡는 문제다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.