프롬프트 최적화는 더 이상 문장 몇 개를 손으로 다듬는 작업에 그치지 않습니다. GEPA는 프롬프트를 실행하고, 실패 사례를 읽고, 그 피드백을 바탕으로 다음 후보를 만드는 반사적 프롬프트 진화 프레임워크입니다.1
핵심은 점수만 올리는 것이 아닙니다. GEPA는 “틀렸다”는 결과보다 “왜 틀렸는지”에 가까운 텍스트 피드백을 활용해 프롬프트를 개선합니다. 그래서 프롬프트를 임시 문구가 아니라 반복적으로 개선할 수 있는 시스템 구성요소로 다룰 수 있습니다.
GEPA는 프롬프트를 빠르게 바뀌는 학습 대상으로 본다
GEPA는 Genetic-Pareto 기반의 프롬프트 최적화기입니다. LLM 시스템 안의 프롬프트 같은 텍스트 구성요소를 진화시키며, 실행 경로, 추론 과정, 도구 호출, 오류, 피드백 등을 바탕으로 새로운 후보를 만듭니다.2
이 점에서 GEPA는 일반적인 강화학습과 구분됩니다. 강화학습은 보통 스칼라 보상을 통해 모델 파라미터를 업데이트합니다. 반면 GEPA는 풍부한 실행 기록과 구조화된 피드백을 사용해 컨텍스트 계층, 즉 프롬프트 같은 “빠른 가중치”를 바꿉니다.3
Fast-Slow Training 관점에서는 이 차이가 더 분명해집니다. 프롬프트 등 컨텍스트는 빠르게 바뀌는 가중치로, 모델 파라미터는 느리게 바뀌는 가중치로 다룹니다. 이때 빠른 루프에서는 GEPA 기반 프롬프트 최적화를 수행하고, 느린 루프에서는 강화학습 업데이트가 이뤄집니다.5
중요한 것은 하나의 최고 프롬프트가 아니라 후보 집단이다
GEPA의 실용적 장점은 단일한 “최고 프롬프트”만 찾는 데 있지 않습니다. GEPA 프롬프트 최적화기는 파레토 프런트를 이루는 여러 프롬프트 후보를 만들 수 있습니다.3
이는 실제 문제에서 중요합니다. 어떤 프롬프트는 산술 추론에 강하고, 다른 프롬프트는 출력 형식 준수에 강할 수 있습니다. 파레토 프런티어에 있는 후보 집단을 유지하면 서로 다른 컨텍스트가 서로 다른 문제 하위 영역에 특화될 수 있습니다.3
다중 컴포넌트 프롬프트 시스템에서는 이 장점이 더 커집니다. 문제 이해, 풀이, 검증, 출력 형식이 나뉜 구조라면 전체 프롬프트를 한꺼번에 고치기보다 어느 부분이 실패를 만들었는지 따로 추적할 수 있습니다. DSPy의 GEPA도 개별 predictor 수준의 trace와 feedback을 받을 수 있도록 설계되어 있습니다.4
평가 설계가 없으면 최적화는 쉽게 착시가 된다
GEPA를 사용할 때 가장 중요한 판단 기준은 검증입니다. 약한 시드 프롬프트에서 시작하더라도, 최적화 과정에서 본 데이터에만 맞춘 프롬프트는 쉽게 좋아 보일 수 있습니다.
따라서 trainset과 보류 검증 세트를 나누고, 기준 프롬프트와 최적화된 프롬프트를 같은 평가기로 비교해야 합니다. 특히 다단계 산술 문장제처럼 중간 추론과 최종 답이 모두 중요한 과제에서는 결정론적 벤치마크와 구조화된 평가기가 필요합니다. 그래야 개선이 실제 일반화인지, 특정 사례에 맞춘 과적합인지 구분할 수 있습니다.
Fast-Slow Training 연구에서도 비교 대상에는 FST, 강화학습 단독, GEPA 단독이 포함됩니다.5 이는 GEPA를 단순한 프롬프트 자동 생성 도구가 아니라, 다른 학습 방식과 함께 비교·조합해야 할 적응 메커니즘으로 봐야 한다는 점을 보여줍니다.
GEPA를 적용할 때 봐야 할 것
GEPA의 가치를 제대로 얻으려면 다음 조건이 필요합니다.
약한 시드 프롬프트에서 시작하되, 기준선을 명확히 둔다.
최적화 후 좋아졌는지 판단하려면 출발점이 분명해야 합니다.평가기와 검증 세트를 먼저 설계한다.
프롬프트가 학습 데이터에만 맞춰지는지, 보류 검증 세트에서도 성능이 유지되는지 확인해야 합니다.실패 피드백을 구조화한다.
단순 정답 여부보다 어떤 지시가 부족했는지, 어떤 단계에서 오류가 났는지를 남겨야 GEPA가 유용한 후보를 만들 수 있습니다.하나의 프롬프트에 집착하지 않는다.
서로 다른 하위 문제에 강한 후보들이 있을 수 있으므로, 파레토 프런트의 후보 집단을 함께 보는 것이 좋습니다.
결론은 단순합니다. GEPA의 핵심 가치는 “더 좋은 프롬프트 자동 생성”을 넘어섭니다. 좋은 평가기, 구조화된 피드백, 보류 검증 세트를 갖추면 프롬프트는 임시 문구가 아니라 반복 개선 가능한 시스템 자산이 됩니다.
1GEPA: Reflective Prompt Evolution Can Outperform Reinforcement Learning
2Optimize Anything with LLMs - GEPA
3Learning, Fast and Slow: Towards LLMs That Adapt Continually
5Learning, Fast and Slow: Towards LLMs That Adapt Continually
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.