Coding 모델의 수채화 훈련: TRL과 OpenEnv를 연결하는 방법
Coding 모델이 그림을 배운다는 것은 픽셀을 직접 생성한다는 뜻이 아니다. 모델이 브러시 함수를 호출하는 코드를 작성하고, 그 결과물에 대한 보상을 바탕으로 더 나은 행동을 학습한다는 의미다. 핵심은 코딩 능력을 상태가 이어지는 시각적 시행착오와 연결하는 데 있다.
TRL은 학습을, OpenEnv는 상호작용을 담당한다
TRL은 SFT, DPO, GRPO 등 파운데이션 모델의 사후 학습 기법을 지원한다. 이 가운데 GRPOTrainer는 PPO보다 메모리 효율적인 Group Relative Policy Optimization을 구현한다.1
OpenEnv는 모델이 행동하고 결과를 관찰할 환경을 정의·배포·실행하는 프레임워크다. Gymnasium 스타일의 reset(), step(), state() API를 사용하며, 환경은 WebSocket 서버나 컨테이너 방식으로 실행할 수 있다.2
두 구성 요소는 environment_factory를 통해 연결된다. 이를 GRPOTrainer에 전달하면 다음과 같은 다중 턴 루프가 자동으로 처리된다.3
모델의 생성 결과를 파싱한다.
환경에서 도구를 실행한다.
실행 결과를 모델에 다시 입력한다.
다음 행동을 생성한다.
TRL은 각 생성 작업에 별도의 환경 인스턴스를 만들고, 에피소드가 시작될 때 reset()을 호출한다.3 따라서 서로 다른 생성 과정의 상태가 섞이지 않으며, 초기 관찰 문자열이나 None에서 새로운 작업을 시작할 수 있다.
이 상태 유지가 일반적인 도구 호출과 환경 기반 학습의 중요한 차이다. 도구 모드에서는 각 함수 호출이 독립적이지만, 환경 모드에서는 앞서 그은 선과 선택한 색이 다음 관찰과 행동에 영향을 준다. Coding 모델은 한 번에 완성된 코드를 내놓는 대신, 그림의 변화에 따라 후속 행동을 선택하게 된다.
행동 범위는 탐색 난이도와 표현력을 함께 결정한다
실험에서는 p5.brush가 제공하는 47개 메서드 가운데 10개만 모델에 허용했다.4 제한된 행동 공간은 모델이 가능한 조합을 탐색하기 쉽게 만들지만, 표현할 수 있는 기법도 줄인다.
따라서 도구는 많을수록 좋은 것이 아니다. 초기 학습에서는 핵심 메서드만 제공해 탐색 부담을 낮추고, 품질과 안정성을 확인하면서 행동 범위를 조정하는 편이 합리적이다. 평가할 때도 결과 이미지뿐 아니라 모델이 제한된 도구를 얼마나 일관되게 사용하는지 살펴봐야 한다.
보상 설계가 모델이 추구할 그림을 정한다
강화학습 보상은 다음과 같이 구성됐다.4
pairwise judge: 0.60
HPSv3: 0.30
gate: 0.05
length: 0.05
pairwise judge에는 Qwen3-VL-30B-A3B-Instruct가 사용됐다. HPSv3는 인간의 이미지 쌍 선호 데이터로 학습된 오픈 7B 선호 모델이다.4 가장 큰 비중을 비교 평가에 두면서 인간 선호 기반 신호와 보조 기준을 결합한 구성이다.
이처럼 여러 신호를 조합하면 하나의 평가 모델에 전적으로 의존하는 것을 피할 수 있다. 다만 가중치가 달라지면 모델이 선호하는 색감, 구도, 복잡도도 달라질 수 있으므로 총점만으로 보상 설계를 판단해서는 안 된다. 어떤 평가 신호가 실제 행동 변화를 주도했는지 함께 확인해야 한다.
실행 단계 수보다 검증 기준이 중요하다
세 가지 학습 실행 가운데 judge-led와 hps-led는 각각 110단계, hps-only는 60단계에서 종료됐다.4 이 결과는 파이프라인의 작동 가능성을 보여주지만, 특정 보상 구성이 일반화 성능을 높였다고 단정하기에는 충분하지 않다.
유사한 실험을 평가할 때는 최고 보상 점수보다 다음 항목을 우선 확인해야 한다.
학습 과정에서 품질과 보상이 안정적으로 개선되는가
특정 보상 모델의 취향을 과도하게 따르지 않는가
제한된 도구 안에서 다양한 결과를 만들 수 있는가
학습에 사용하지 않은 요청에서도 품질이 유지되는가
요약: Coding 모델의 수채화 훈련에서 중요한 것은 그림 생성 자체보다 TRL의 학습 루프, OpenEnv의 상태 유지 환경, 제한된 행동 범위, 복합 보상을 어떻게 연결하느냐다. 실제 적용 전에는 보상 모델의 편향과 도구 제한의 영향을 검증하고, OpenEnv의 실험적 API가 변경될 가능성도 함께 점검해야 한다.2
1TRL - Transformers Reinforcement Learning
3OpenEnv Integration for Training LLMs with Environments
4Training a coding model to paint watercolours with TRL and OpenEnv
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.