이미지를 생성하는 모델: GAN과 확산 모델

언어 모델이 다음 단어를 예측하며 문장을 만들어내듯, 이미지 생성 모델은 픽셀이나 그보다 더 압축된 표현의 패턴을 배워 새로운 그림을 만들어낸다. 둘 다 본질은 비슷하다. 세상에 존재하던 데이터를 보고, 그 안에 숨어 있는 규칙을 익힌 뒤, 그 규칙을 따라 그럴듯한 새 샘플을 내놓는 것이다. 다만 이미지 쪽은 훨씬 더 까다롭다. 문장은 단어의 순서로 읽히지만, 이미지는 색, 질감, 형태, 구도, 공간 관계가 한꺼번에 얽혀 있기 때문이다.

이 장에서는 생성 모델이 무엇을 배우는지부터 시작해, 한때 이미지 생성의 상징이었던 GAN, 그리고 오늘날의 중심으로 올라선 확산 모델까지 이어지는 흐름을 살펴본다. 이 흐름을 이해하면 생성형 AI를 언어 모델만의 이야기로 보지 않게 된다. 생성형 AI의 큰 지형도는 텍스트와 이미지가 함께 있을 때 비로소 또렷해진다.

생성 모델은 무엇을 배우는가

분류 모델은 입력을 보고 이름표를 붙인다. 이 사진은 고양이인지, 이 메일은 스팸인지, 이 문장이 긍정인지 부정인지 판단한다. 반면 생성 모델은 한 걸음 더 나아간다. 데이터가 어떤 모습으로 나타나는지 자체를 배우고, 그 분포를 따라 새로운 샘플을 만든다.

여기서 중요한 표현이 바로 분포다. 분포란 데이터가 어떤 패턴으로 나타나는지에 대한 전체적인 지도라고 생각하면 된다. 사람 얼굴 사진 데이터셋에는 눈이 대체로 얼굴 위쪽에 있고, 피부는 완전히 무작위 색이 아니며, 머리카락은 특정 위치와 질감을 가진다. 생성 모델은 이런 구조를 외우는 것이 아니라, 수많은 예시를 통해 "사람 얼굴다운 것"이 어떤 통계적 질서를 가지는지 배운다.

이 점에서 생성은 단순한 복사가 아니다. 훈련 데이터에 없던 새로운 얼굴을 만들 수 있다는 사실이 핵심이다. 정확히 같은 사진을 꺼내는 것이 아니라, 배운 분포 안에서 새로운 샘플을 뽑아내는 것이다. 마치 어떤 화풍을 충분히 익힌 화가가 기존 그림을 베끼지 않고도 그 화풍에 맞는 새 그림을 그릴 수 있는 것과 비슷하다.

이미지 생성이 어려운 이유는 이 분포가 엄청나게 복잡하기 때문이다. 고양이 한 장을 그리는 데도 귀의 위치, 털의 결, 조명 방향, 배경, 시점이 모두 자연스럽게 맞아떨어져야 한다. 조금만 어긋나도 사람 눈은 금세 위화감을 느낀다. 그래서 이미지 생성 모델의 역사는 결국 "이 복잡한 분포를 어떻게 더 잘 배울 것인가"의 역사라고 볼 수 있다.

생성은 왜 이렇게 어려운가

이미지는 숫자의 덩어리다. 예를 들어 512×512 크기의 RGB 이미지는 매우 많은 픽셀 값을 가진다. 하지만 모델이 배워야 하는 것은 단지 픽셀의 나열이 아니다. 진짜 어려운 것은 픽셀들 사이의 관계다.

고양이 사진을 생각해보자. 고양이 귀는 보통 머리 위에 있고, 눈은 좌우로 대칭에 가깝게 놓이며, 수염은 코 주변에서 뻗는다. 빛이 왼쪽에서 오면 그림자는 오른쪽으로 생긴다. 배경이 실내인지 야외인지에 따라 색감과 질감도 달라진다. 즉 이미지는 "이 픽셀 다음에 저 픽셀" 같은 단순한 순서 문제가 아니라, 공간 전체의 구조를 동시에 만족시켜야 하는 문제다.

그래서 초기 이미지 생성은 늘 어딘가 어색했다. 사람처럼 보이지만 눈이 흐릿하거나, 배경은 그럴듯한데 손가락이 이상하거나, 전체 구도는 괜찮지만 질감이 뭉개지는 경우가 많았다. 모델은 데이터 분포를 배우고 있었지만, 그 분포의 정교함을 끝까지 따라잡지 못한 것이다.

이 어려움을 돌파하는 과정에서 두 가지 중요한 흐름이 등장했다. 하나는 경쟁을 통해 더 사실적인 이미지를 만들어낸 GAN, 다른 하나는 노이즈를 제거하는 과정을 학습한 확산 모델이다. 둘 다 "새로운 이미지를 만든다"는 목표는 같지만, 접근 방식은 꽤 다르다.

GAN: 생성자와 판별자의 치열한 경쟁

GAN은 Generative Adversarial Network의 약자로, 우리말로는 적대적 생성 신경망이라고 부른다. 이름이 조금 무섭지만 아이디어는 의외로 직관적이다. 두 모델을 서로 경쟁시키는 것이다.

한 모델은 생성자다. 생성자는 랜덤한 입력을 받아 이미지를 만든다. 처음에는 엉망진창이다. 잡음에 가까운 결과를 내놓는다. 다른 한 모델은 판별자다. 판별자는 입력된 이미지가 진짜 데이터셋에서 온 것인지, 아니면 생성자가 만든 가짜인지 구별하려고 한다.

이 둘의 관계는 위조지폐범과 감식관에 비유할 수 있다. 위조지폐범은 점점 더 정교한 가짜 지폐를 만들고, 감식관은 점점 더 날카롭게 가짜를 잡아낸다. 감식관이 강해질수록 위조지폐범은 더 교묘해져야 한다. 이런 경쟁이 반복되면, 생성자는 점점 진짜처럼 보이는 이미지를 만들어내게 된다.

GAN의 매력은 결과물의 선명함에 있었다. 초기의 많은 생성 모델이 흐릿한 이미지를 만들던 시절, GAN은 놀랄 만큼 또렷하고 사실적인 이미지를 보여주었다. 특히 얼굴 생성, 스타일 변환, 이미지 복원 같은 분야에서 강한 인상을 남겼다. "이 사람은 실제로 존재하지 않지만 너무 자연스럽다"는 충격을 많은 사람에게 안겨준 것도 GAN 계열 모델이었다.

GAN은 어떻게 이미지를 더 그럴듯하게 만드는가

GAN의 학습은 본질적으로 게임이다. 생성자는 판별자를 속이고 싶어 한다. 판별자는 속지 않으려 한다. 생성자가 만든 이미지가 판별자를 잘 속일수록 생성자는 보상을 받는다. 반대로 판별자가 가짜를 정확히 맞힐수록 판별자는 보상을 받는다.

이 구조의 장점은 분명하다. 생성자는 단순히 픽셀 하나하나를 평균적으로 맞추는 대신, "진짜처럼 보이는가"라는 훨씬 날카로운 기준으로 훈련된다. 그 결과 이미지가 덜 흐리고, 더 강한 질감과 디테일을 갖게 된다.

예를 들어 얼굴 이미지를 생성한다고 해보자. 단순한 재구성 방식이라면 눈, 코, 입의 평균적인 모습을 만들기 쉬워 흐릿해질 수 있다. 하지만 GAN의 판별자는 그런 흐릿함을 금방 눈치챈다. 생성자는 판별자를 속이기 위해 더 또렷한 눈썹, 더 자연스러운 피부 질감, 더 일관된 조명을 만들어내야 한다. 이 압박이 이미지 품질을 밀어 올린다.

그래서 GAN은 한동안 "사실감"의 대명사였다. 생성 모델이 예술 작품처럼 보이기 시작한 첫 번째 큰 순간을 만든 셈이다.

GAN의 한계: 잘 그릴 때는 놀랍지만, 다루기는 까다롭다

하지만 GAN에는 뚜렷한 약점이 있었다. 가장 큰 문제는 학습이 불안정하다는 점이다. 생성자와 판별자가 함께 움직이는 구조라서, 둘 사이의 균형이 조금만 무너져도 훈련이 흔들린다.

판별자가 너무 강해지면 생성자는 배울 신호를 거의 받지 못한다. 반대로 생성자가 엉뚱한 방식으로 판별자를 속이기 시작하면, 보기에는 그럴듯해도 다양성이 떨어지는 결과가 나올 수 있다. 이를 대표적으로 설명하는 말이 모드 붕괴다. 모드 붕괴는 생성자가 다양한 샘플을 만들어야 하는데, 몇 가지 안전한 패턴만 반복해서 내놓는 현상이다. 쉽게 말해, 여러 종류의 고양이를 그려야 하는데 유난히 비슷한 고양이만 계속 그리는 상황이다.

또 GAN은 텍스트 조건을 섬세하게 반영하는 데도 어려움이 있었다. "빨간 우산을 쓴 강아지, 눈 오는 거리, 수채화 스타일"처럼 복합적인 요구를 안정적으로 만족시키는 일은 생각보다 까다로웠다. 생성은 잘하는데 제어가 쉽지 않았던 것이다.

이 때문에 연구자들은 더 안정적으로 학습되면서도, 복잡한 조건을 잘 반영하고, 다양한 결과를 낼 수 있는 새로운 생성 방식을 찾게 되었다. 그 흐름 속에서 확산 모델이 급부상했다.

확산 모델: 노이즈를 지우며 이미지를 되찾기

확산 모델의 핵심 발상은 아주 인상적이다. "이미지를 한 번에 그리게 하지 말고, 망가진 이미지를 조금씩 복원하게 하자."

이 아이디어를 이해하려면 먼저 두 과정을 떠올리면 된다. 첫째는 정방향 과정이다. 원래의 깨끗한 이미지에 조금씩 노이즈를 더한다. 한 번만 더하면 아직 원본이 보이지만, 계속 더하다 보면 결국 거의 순수한 잡음이 된다. 둘째는 역방향 과정이다. 모델은 이 잡음을 보고 "여기서 노이즈를 조금 덜어내면 어떤 모습이 될까?"를 반복해서 예측한다. 그리고 그 과정을 수십 번, 수백 번 거치면서 마침내 그럴듯한 이미지를 복원한다.

비유하자면, 완성된 그림을 한 장 주는 대신 점점 더 흐리고 더럽혀진 그림을 보여주면서 "원래 모습을 복원해봐"라고 훈련시키는 셈이다. 모델은 이 복원 규칙을 수없이 학습한 뒤, 나중에는 거의 순수한 노이즈에서 출발해도 차근차근 이미지를 되살릴 수 있게 된다.

이 방식이 강력한 이유는 학습 목표가 비교적 안정적이기 때문이다. GAN처럼 생성자와 판별자가 서로 경쟁하며 흔들리는 구조보다, "이 노이즈를 얼마나 잘 제거하느냐"라는 명확한 문제를 푸는 쪽이 다루기 쉬웠다. 그 결과 확산 모델은 높은 품질과 학습 안정성을 동시에 잡기 시작했다.

확산 모델은 왜 강했는가

확산 모델의 장점은 단지 그림이 잘 나온다는 데 있지 않았다. 생성 과정을 세밀하게 통제하기 좋았다는 점이 매우 중요했다. 노이즈에서 출발해 여러 단계에 걸쳐 이미지를 만든다는 것은, 그 중간 과정에 조건을 넣고 방향을 조절할 여지가 많다는 뜻이다.

예를 들어 "푸른 하늘 아래 바다를 걷는 흰 말"이라는 텍스트 조건을 주면, 모델은 복원 과정 내내 그 조건을 참고하면서 이미지를 만들어갈 수 있다. 어느 단계에서는 전체 구도를 잡고, 어느 단계에서는 말의 형태를 맞추고, 또 어느 단계에서는 털의 질감과 파도의 디테일을 살린다. 즉 이미지가 한 번에 튀어나오는 것이 아니라, 점진적으로 다듬어진다.

이 특성은 다양한 제어 기법과도 잘 맞는다. 특정 스타일을 강화하거나, 구도를 유지한 채 이미지를 바꾸거나, 입력 스케치를 참고해 결과를 만들거나, 일부 영역만 수정하는 작업이 자연스럽게 연결된다. 생성이 단지 "무작위로 그럴듯한 그림 뽑기"가 아니라, "조건에 맞게 원하는 방향으로 조정 가능한 창작 도구"로 확장된 것이다.

물론 확산 모델도 대가를 치른다. 여러 단계를 거쳐 샘플을 생성하므로 계산량이 크고, 속도가 느릴 수 있다. 하지만 이 약점은 이후 다양한 가속 기법과 잠재 공간 학습을 통해 많이 개선되었다.

GAN에서 확산 모델로 중심이 이동한 이유

한 문장으로 요약하면 이렇다. GAN은 번쩍이는 결과를 보여줬지만 다루기 까다로웠고, 확산 모델은 더 안정적으로 고품질의 이미지를 만들며 제어 가능성까지 넓혔다.

GAN은 여전히 중요한 모델이다. 이미지 생성 역사에서 매우 큰 전환점이었고, 특정 문제에서는 지금도 유용하다. 하지만 대규모 텍스트-이미지 생성, 다양한 조건 제어, 안정적인 학습과 확장성이라는 기준으로 보면 확산 모델이 더 유리한 점이 많았다.

특히 생성형 AI가 대중화되면서 요구사항이 바뀌었다. 이제는 단순히 "진짜 같은 얼굴 한 장 생성"이 아니라, 사용자가 문장으로 요구한 복잡한 장면을 만들어야 한다. 게다가 스타일, 배경, 구도, 조명까지 잘 반영해야 한다. 이 수준의 유연성과 제어 가능성을 위해서는 확산 모델의 방식이 훨씬 잘 맞았다.

그래서 이미지 생성의 무게중심은 점차 GAN에서 확산 모델로 이동했다. 생성 모델의 주인공이 바뀐 것이다.

텍스트-이미지 생성: 말로 그림을 그리게 하다

현대 이미지 생성 AI를 특별하게 만든 것은 "이미지 생성" 자체만이 아니다. 텍스트를 조건으로 이미지를 생성할 수 있게 되었다는 점이 결정적이었다.

이전까지는 모델이 이미지를 만들더라도, 사용자가 원하는 것을 정확히 끌어내기 어렵다는 문제가 있었다. 그런데 텍스트 조건부 생성이 가능해지면서 상황이 완전히 달라졌다. 이제 사용자는 그림을 직접 그리지 않아도 된다. "노을이 지는 해변에서 기타를 치는 로봇, 영화 포스터 스타일"이라고 말하면, 모델은 그 문장을 바탕으로 시각적 요소를 조합해 이미지를 만들어낸다.

여기서 중요한 것은 모델이 단어와 이미지 사이의 대응을 배운다는 점이다. "해변"은 모래, 바다, 수평선과 연결되고, "노을"은 따뜻한 색조와 낮은 태양 위치와 연결되며, "영화 포스터 스타일"은 과장된 구도와 강한 대비, 중심 인물 강조 같은 시각적 관습과 이어진다. 즉 모델은 단어 사전이 아니라 개념과 시각 패턴의 연결 지도를 배운다.

이 과정은 언어 모델과도 닮아 있다. 언어 모델이 단어 사이의 관계를 배워 문장을 이어가듯, 텍스트-이미지 모델은 언어와 시각 사이의 관계를 배워 장면을 구성한다. 그래서 생성형 AI의 큰 흐름에서는 언어와 이미지가 따로 놀지 않는다. 결국 둘 다 표현을 배우고, 그 표현을 조건으로 생성한다는 점에서 같은 계열의 문제다.

조건부 생성은 어떻게 이루어지는가

텍스트-이미지 모델에서는 보통 먼저 문장을 모델이 이해할 수 있는 벡터 표현으로 바꾼다. 이를 텍스트 임베딩이라고 생각하면 된다. 그러면 이미지 생성 모델은 노이즈를 제거하는 각 단계에서 이 텍스트 표현을 참고한다.

쉽게 말해, 모델은 매 단계마다 이런 질문을 받는 셈이다. "지금 이 노이즈를 조금 더 선명하게 만들 건데, 최종 결과는 '눈 덮인 산 위의 작은 오두막'이어야 해. 그 조건을 기억하고 다음 모양을 정해." 이 안내가 반복되면서 결과는 점점 텍스트와 맞아떨어지는 방향으로 수렴한다.

이때 조건이 강하면 프롬프트를 잘 따르지만 결과가 다소 경직될 수 있고, 조건이 약하면 더 자유롭지만 사용자의 의도에서 벗어날 수 있다. 그래서 생성 모델에는 늘 충실도와 다양성 사이의 줄다리기가 존재한다. 너무 말을 잘 들으면 비슷한 결과가 반복될 수 있고, 너무 자유로우면 사용자가 원한 그림이 아닐 수 있다.

텍스트 프롬프트를 잘 쓰는 기술이 중요해진 이유도 여기에 있다. 프롬프트는 단순한 명령문이 아니라, 모델이 어떤 장면을 구성해야 하는지 알려주는 조건 설계서다.

잠재 공간: 픽셀 대신 더 압축된 의미의 공간에서 작업하기

현대 이미지 생성 모델이 실용적으로 강해진 또 하나의 이유는 잠재 공간을 잘 활용하기 시작했기 때문이다. 잠재 공간이란 원본 이미지를 더 작고 압축된 표현으로 바꾼 공간이다. 픽셀 전체를 직접 다루는 대신, 이미지의 핵심 구조와 의미를 담은 요약본을 다루는 셈이다.

예를 들어 실제 이미지가 수백만 개의 픽셀 값으로 이루어져 있다면, 잠재 표현은 그 이미지의 본질적인 특징을 더 작은 차원에 담아놓을 수 있다. 사람 얼굴이라면 얼굴의 각도, 표정, 머리 모양, 조명 같은 중요한 요소가 압축되어 들어갈 수 있다. 배경 풍경이라면 하늘, 나무, 강, 원근감 같은 구조가 요약될 수 있다.

이 잠재 공간에서 생성하면 여러 이점이 생긴다. 우선 계산량이 줄어든다. 픽셀 전체에서 노이즈를 제거하는 것보다, 압축된 표현에서 구조를 먼저 만들고 나중에 다시 이미지로 복원하는 편이 훨씬 효율적이다. 또한 의미 단위의 조작이 쉬워진다. 어떤 방향으로 이동하면 "더 웃는 얼굴", 다른 방향으로 이동하면 "더 야간 장면"처럼 해석되는 경우도 생긴다.

여기서 독자는 중요한 감각 하나를 잡아야 한다. 생성 모델은 단순히 픽셀을 뿌리는 기계가 아니다. 좋은 생성 모델일수록 먼저 세상을 의미 있는 표현으로 바꾸고, 그 표현 위에서 생성한다. 이 점은 언어 모델의 임베딩, 트랜스포머의 표현 학습과도 자연스럽게 이어진다.

잠재 확산 모델이 가져온 실용성

확산 모델은 강력했지만 계산량이 컸다. 그래서 등장한 중요한 아이디어가 잠재 확산이다. 원본 고해상도 이미지 공간에서 직접 확산을 수행하는 대신, 먼저 이미지를 압축된 잠재 공간으로 바꾸고 그 공간에서 노이즈 제거를 학습하는 것이다.

이 방식은 말 그대로 효율과 품질의 절충을 훌륭하게 해냈다. 모델은 이미지의 본질적인 구조를 더 작은 공간에서 다루므로 계산 부담이 줄어든다. 동시에 복원 단계에서 다시 고품질 이미지로 되돌릴 수 있다. 덕분에 텍스트-이미지 생성 모델은 대중이 실제로 사용할 수 있는 속도와 비용의 영역으로 내려오게 되었다.

실무 감각으로 보면 이것은 아주 중요하다. 딥러닝 모델이 아무리 훌륭해도, 너무 느리고 비싸면 널리 쓰이기 어렵다. 잠재 공간은 생성 모델을 "연구실의 멋진 시연"에서 "현실의 서비스"로 옮겨오는 데 큰 역할을 했다.

이미지 생성 모델은 무엇을 잘하고, 무엇을 자주 실수하는가

이미지 생성 모델은 놀라울 정도로 창의적인 결과를 낼 수 있다. 존재하지 않는 인물, 상상 속 풍경, 복잡한 스타일 혼합, 콘셉트 아트, 광고 시안, 제품 목업까지 빠르게 만들어낸다. 인간이 손으로 하려면 오래 걸리는 시각적 탐색을 아주 짧은 시간 안에 반복해볼 수 있다는 점이 큰 장점이다.

하지만 잘하는 것과 별개로, 자주 틀리는 지점도 분명하다. 대표적인 문제는 세부 구조의 불안정성이다. 손가락 수가 이상하거나, 글자가 일그러지거나, 복잡한 물체 관계가 뒤엉키는 경우가 있다. 이는 모델이 전체적인 통계 패턴은 잘 배워도, 세밀한 구조적 제약을 항상 정확히 만족시키지는 못하기 때문이다.

또한 프롬프트에 포함되지 않은 사회적 편향이 결과에 스며들 수 있고, 특정 스타일이나 작가성을 둘러싼 저작권 논란도 생긴다. 무엇보다 모델은 장면을 "이해"해서 그린다기보다, 훈련 데이터에서 학습한 패턴을 바탕으로 그럴듯한 시각 결과를 합성한다. 그래서 겉보기에는 멋져도 논리적으로는 이상한 이미지가 나올 수 있다.

이 점은 언어 모델의 환각과도 닮아 있다. 언어에서는 그럴듯한 문장을 지어내고, 이미지에서는 그럴듯한 장면을 합성한다. 생성형 AI의 공통된 매력과 위험이 여기 함께 들어 있다.

생성 모델을 바라보는 더 큰 시야

이미지 생성의 역사를 GAN과 확산 모델 중심으로 살펴보면, 생성형 AI를 보는 눈이 훨씬 넓어진다. 생성형 AI는 갑자기 LLM으로 시작된 유행이 아니다. 그보다 더 긴 시간 동안, 연구자들은 "기계가 데이터를 이해하고 새로운 결과를 만들어내게 하려면 어떻게 해야 하는가"를 여러 방식으로 탐색해왔다.

GAN은 경쟁을 통해 사실감을 끌어올렸고, 확산 모델은 복원 과정을 학습해 안정성과 제어력을 높였다. 그리고 텍스트 조건부 생성과 잠재 공간 학습은 이미지 생성을 훨씬 실용적인 도구로 바꾸었다. 이 흐름은 결국 하나의 방향을 가리킨다. 좋은 생성 모델은 단순히 출력을 잘 뽑는 모델이 아니라, 데이터의 구조를 좋은 표현으로 배우고, 그 표현을 사용자가 원하는 조건에 맞게 조절할 수 있는 모델이라는 것이다.

이제 시야를 조금 더 넓혀보자. 텍스트로 이미지를 만들 수 있다면, 텍스트와 이미지와 음성을 함께 다루는 모델도 가능하지 않을까? 하나의 모델이 여러 감각을 연결해 세상을 더 풍부하게 이해하고 생성하는 방향은 이미 시작되었다. 다음 장에서는 바로 그 확장, 멀티모달 딥러닝으로 넘어간다.