Ideogram 4.0 핵심 정리: 오픈웨이트 이미지 생성 모델과 JSON 프롬프팅

핵심 요약

Ideogram 4.0은 9.3B 규모의 오픈웨이트 텍스트-이미지 생성 모델로, 강점은 정교한 레이아웃 제어, 이미지 속 텍스트 렌더링, 구조화된 JSON 프롬프팅입니다.

일반 문장 프롬프트보다 "무엇을, 어디에, 어떤 색과 스타일로" 배치할지 명시하는 방식에 최적화되어 있습니다.

Ideogram 4.0의 정체

Ideogram 4.0은 텍스트 설명을 이미지로 바꾸는 생성 모델입니다.

핵심 생성기는 34층 Diffusion Transformer, 즉 DiT이며 약 9.3B 파라미터 규모입니다.

오픈웨이트 모델이라는 점이 중요합니다. 단순히 API로만 쓰는 폐쇄형 모델이 아니라, 가중치와 추론 코드, 전체 프롬프팅 가이드, 샘플러 프리셋이 공개되어 직접 내려받아 실험할 수 있는 방향의 모델입니다. 저장소에는 fp8 및 nf4 체크포인트가 함께 제공되며, nf4 변형은 단일 24GB GPU에서도 실행 가능한 구성을 목표로 합니다.

모델을 받으려면 가중치는 Hugging Face에서 확인하고, 추론 코드와 프롬프팅 가이드, 라이선스는 GitHub 저장소에서 확인하면 됩니다.

구조: 텍스트와 이미지를 하나의 흐름으로 처리한다

Ideogram 4.0은 텍스트 토큰과 이미지 토큰을 하나의 시퀀스 안에서 함께 처리합니다.

쉽게 말해, "문장 설명"과 "이미지 조각"을 따로따로 보는 것이 아니라 한 테이블 위에 올려놓고 동시에 관계를 계산하는 방식입니다.

이 구조 덕분에 "오른쪽 위에 작은 로고", "하단 중앙에 제목", "왼쪽에는 인물, 오른쪽에는 창문" 같은 배치 지시를 더 직접적으로 반영할 수 있습니다.

Qwen3-VL 텍스트 인코더를 활용한다

텍스트 인코더로는 Qwen3-VL-8B-Instruct를 사용합니다.

특이한 점은 마지막 출력 하나만 쓰지 않고, 중간 13개 층의 hidden state를 이어 붙여 DiT에 전달한다는 것입니다.

비유하면, 책을 다 읽은 뒤의 최종 감상문만 보는 것이 아니라, 읽는 중간중간의 이해 과정까지 함께 참고하는 방식입니다.

학습 목표: 노이즈에서 이미지로 가는 속도를 배운다

Ideogram 4.0은 flow matching 방식으로 학습됩니다.

이미지를 처음부터 바로 그리는 것이 아니라, 노이즈 상태에서 깨끗한 이미지 잠재 표현으로 이동하는 "방향과 속도"를 예측합니다.

추론 때는 Euler 샘플러가 이 흐름을 따라가며 점점 이미지를 완성합니다.

비대칭 CFG: 조건 없는 경로를 더 가볍게 만든다

Classifier-Free Guidance, 즉 CFG는 프롬프트를 따르는 정도를 조절하는 기법입니다.

Ideogram 4.0의 특징은 unconditional pass에서 텍스트 토큰을 패딩으로 대체하지 않고 아예 제거한다는 점입니다.

즉, 조건이 있는 경로는 "텍스트+이미지 토큰"을 보고, 조건 없는 경로는 "이미지 토큰"만 봅니다. 이를 통해 샘플링 단계별로 프롬프트 충실도와 이미지 품질을 따로 조절할 수 있습니다.

예를 들어 고품질 프리셋은 강한 guidance로 대부분의 이미지를 만든 뒤, 마지막 몇 단계에서 guidance를 낮춰 세부 묘사를 다듬습니다.

JSON 프롬프팅: 문장이 아니라 설계도를 입력한다

Ideogram 4.0의 가장 큰 특징은 구조화된 JSON 프롬프트입니다.

프롬프트는 대략 전체 설명, 스타일 설명, 구성 요소 분석으로 나뉩니다. 각 요소에는 객체인지 텍스트인지, 어디에 둘지, 어떤 색과 형태인지 등을 적을 수 있습니다.

일반 프롬프트가 "멋진 포스터를 만들어줘"라면, JSON 프롬프트는 "제목은 상단 중앙, 부제는 그 아래, 색상은 이 팔레트, 오른쪽에는 유리잔, 하단에는 RSVP 문구"처럼 디자이너의 작업 지시서에 가깝습니다.

{
  "high_level_description": "A cinematic 35mm film photograph of a lone wooden sailboat on a glassy lake at sunset, the boat on a right-third vertical with the horizon at the lower third, in a cool muted blue palette.",
  "style_description": {
    "aesthetics": "Cinematic, minimal, serene, quiet stillness.",
    "lighting": "Cool overcast dusk light with a small warm sun low at the horizon; muted and low-contrast.",
    "photo": "35mm motion-picture film still, 16:9 framing, subtle grain, slightly desaturated.",
    "medium": "Photograph.",
    "color_palette": ["#1B3A5C", "#5B8FB9"]
  },
  "compositional_deconstruction": {
    "background": "Windless evening on a wide lake; horizon at the lower third. Dusty blue-violet sky with a small amber sun at the horizon and a thin gold streak across the glassy teal water. Subtle 35mm grain.",
    "elements": [
      { "type": "obj", "bbox": [380, 590, 660, 720],
        "desc": "Lone wooden sailboat on the right-third vertical in the midground, dark varnished hull and a single tall mast with a slack white sail hanging limp in the still air. No visible crew." },
      { "type": "obj",
        "desc": "Mirror-perfect reflection of the sailboat and its mast doubling straight down into the glassy teal water directly beneath the hull." },
      { "type": "obj",
        "desc": "Out-of-focus reed tips slicing into the lower-left foreground, soft dark blades against the teal water, blurred from proximity to the camera." }
    ]
  }
}

색상, 박스, 텍스트를 직접 제어한다

JSON 프롬프팅은 세 가지 면에서 강력합니다.

첫째, 색상 팔레트를 hex 코드로 직접 줄 수 있습니다. 이미지 전체에는 최대 16개, 개별 요소에는 최대 5개 색을 지정할 수 있습니다.

둘째, bounding box로 요소의 위치를 지정할 수 있습니다. 좌표는 [y_min, x_min, y_max, x_max] 형식이며, 0부터 1000까지의 정규화 좌표를 사용합니다.

셋째, 이미지 안의 글자를 별도 요소로 다룰 수 있습니다. 텍스트 내용과 시각적 스타일을 분리해 지정하므로, 포스터·초대장·광고 이미지처럼 글자가 중요한 작업에 유리합니다.

성능 포인트: 레이아웃과 글자 렌더링에 강하다

벤치마크에서 Ideogram 4.0은 레이아웃 제어, 텍스트 렌더링, 공간 추론, 프롬프트 정렬 능력을 강조합니다.

특히 이미지 속 영어 텍스트 인식 정확도인 X-Omni EN OCR에서 높은 점수를 보이며, 작은 규모 대비 강한 텍스트 렌더링 능력을 내세웁니다.

내부 디자이너 선호도 평가에서도 오픈웨이트 모델 중 상위권으로 제시됩니다.

다양한 해상도를 하나의 모델로 처리한다

Ideogram 4.0은 정사각형, 세로형, 가로형, 울트라와이드, 소셜 배너, 휴대폰 배경화면 등 다양한 비율을 하나의 가중치로 처리합니다.

예시는 1024×1024, 1536×1024, 1024×1536, 2048×768, 1584×396 같은 형태입니다.

해상도에 따라 노이즈 스케줄이 자동 조정되므로, 용도별로 별도 모델을 바꿔 쓸 필요가 줄어듭니다.

안전장치와 배포 조건

안전성은 세 단계로 다룹니다.

먼저 학습 전 데이터에서 NSFW 등 부적절한 콘텐츠를 필터링합니다.

그다음 후처리 학습을 통해 위험한 생성 가능성을 낮춥니다.

마지막으로 추론 단계에서 입력 프롬프트와 출력 이미지를 모두 moderation 시스템으로 검사합니다. 재배포 환경에서도 동등하거나 더 강한 필터링을 요구합니다.

테스트 해보기

ideogram.ai 에서 다음 프롬프트를 입력해 보세요!

{
"high_level_description": "A cheerful and vibrant, stylized illustration capturing a joyful, young human character interacting with a large, glowing, translucent digital cube (AI SQUARE) in a bright, modern, plant-filled tech space. The character is a young person, smiling broadly, wearing a colorful, comfortable outfit, and reaching out to touch one of the glowing nodes on the cube's surface. The entire scene is bathed in warm, bright sunlight filtering through large windows. The style is a playful and friendly 3D illustration.",
"style_description": {
"aesthetics": "Cheerful, vibrant, friendly, modern, playful 3D illustration.",
"lighting": "Bright, warm, diffused sunlight mixed with soft, glowing neon internal lights. Low contrast, optimistic, and inviting.",
"photo": "Still frame from a stylized animated feature, 16:9 framing, clean lines, cheerful color tones.",
"medium": "Digital Illustration.",
"color_palette": ["#FFD700", "#FF6B6B", "#4DB6AC"]
},
"compositional_deconstruction": {
"background": "A bright, open-plan, futuristic 'AI research hub' filled with large windows, modular wooden furniture, thriving indoor plants (potted ferns, monsteras), and soft-focus, cheerful digital screens in the background. The space is sunlit and warm.",
"elements": [
{ "type": "obj", "bbox": [100, 300, 900, 800],
"desc": "A monumental, translucent cube structure (AI SQUARE) in the center, glowing from within with shifting patterns of playful, warm-colored nodes and lines (gold, cyan, magenta). Abstract, friendly symbols of a brain, lightbulb, and smiling face are subtly integrated into the internal light structure. The words 'AI SQUARE' are written in a friendly, stylized font on one visible face." },
{ "type": "obj",
"desc": "A young, smiling human character (perhaps named 'Leo'), around 12 years old, with short, tousled brown hair, wearing a patterned green-and-white t-shirt, cheerful yellow pants, and white sneakers, standing in the midground to the right, looking up and reaching a finger to touch a bright gold glowing node on the lower corner of the cube. They are grinning." },
{ "type": "obj",
"desc": "A small, cute, robot companion character, about the size of a cat, floating slightly behind the human character, watching with large, expressive digital eyes, and reflecting the cube's bright lights." },
{ "type": "obj",
"desc": "Several large potted plants in modern ceramic containers surrounding the cube and the character, adding organic life and greenery to the modern space, catching the warm sunlight." }
]
}
}

인사이트

Ideogram 4.0의 핵심은 "이미지를 말로 설명하는 모델"에서 "이미지를 구조적으로 설계하는 모델"로 이동했다는 점입니다.

활용할 때는 긴 감성 문장보다 요소별 JSON 설계가 더 효과적입니다. 특히 포스터, 배너, 제품 이미지, 인포그래픽처럼 위치·색·글자가 중요한 작업에서는 각 요소를 따로 정의하는 방식이 유리합니다.

좋은 프롬프트의 기준은 "예쁜 말"이 아니라 "모델이 헷갈리지 않을 만큼 명확한 설계도"입니다.

출처 및 참고 : Ideogram 4.0 Technical Details: Open model at the forefront of design