최근 X에 Codex가 Harbor skills repo와 Prime Intellect CLI를 사용해 RL 실험을 설정하고 오류를 디버깅한 사례가 공유됐습니다. 흥미로운 지점은 특정 도구를 썼다는 사실보다, Codex가 실험 과정에서 발생하는 관찰과 오류를 맥락으로 삼아 다음 행동을 이어갔다는 점입니다.
RL 실험 자동화에서 중요한 것은 “한 번에 정답을 내는 프롬프트”가 아닙니다. 설치, 설정, 실행, 실패, 수정, 재실행이 반복되는 작업을 끝까지 밀고 갈 수 있는 구조가 필요합니다. Codex의 인컨텍스트 학습과 Goal 기능은 이 지점에서 실용적인 의미를 갖습니다.
인컨텍스트 학습은 작업을 이어 가는 방식이다
인컨텍스트 학습은 모델 파라미터를 새로 학습시키는 것이 아니라, 현재 대화와 실행 기록을 바탕으로 문제를 푸는 방식입니다. RL 분야에서도 에이전트가 행동과 관찰 이력을 조건으로 새로운 과제를 해결하는 흐름이 연구되고 있습니다.1
개발 작업에서 이 개념은 “맥락을 유지하며 다음 행동을 선택하는 능력”으로 이해하는 편이 더 유용합니다. 에이전트는 이전 명령의 결과, 에러 로그, 파일 변경 사항, 테스트 결과를 보고 다음에 무엇을 확인하거나 수정할지 결정해야 합니다.
Codex의 Goal은 이 흐름을 더 명확한 작업 단위로 만들어 줍니다. Goal은 여러 턴에 걸쳐 스레드가 정의된 결과를 향해 계속 작업하도록 유지하는 지속적 목표입니다.2 일반 프롬프트가 “다음 작업 하나”를 지시한다면, Goal은 특정 결과가 참이 될 때까지 작업을 계속하도록 방향을 잡습니다.2
왜 RL 실험 설정과 잘 맞는가
RL 실험은 경로가 불확실하지만 완료 기준은 비교적 분명한 경우가 많습니다. 의존성을 설치하고, 설정 파일을 맞추고, 학습 스크립트를 실행하고, 오류 로그를 읽고, 다시 수정하는 식으로 진행됩니다. 처음부터 정확한 해결 경로를 알기 어렵지만, “무엇이 되면 완료인지”는 정의할 수 있습니다.
Codex Goal은 이런 작업에 적합합니다. Goal은 성공 조건, 검증 방법, 유지해야 할 제약을 Codex에 제공할 수 있습니다.2 예를 들어 다음과 같은 형태가 더 좋은 목표입니다.
학습 스크립트가 지정된 설정으로 실행되어야 한다. 실행 후 기대한 로그 파일이 생성되어야 한다. 기존 테스트는 깨지면 안 된다. 실패하면 원인, 확인한 증거, 사용자 입력이 필요한 지점을 보고하라.
이런 목표는 “RL 환경을 세팅해줘”보다 훨씬 실행 가능성이 높습니다. Codex가 무엇을 성공으로 볼지, 어떤 명령이나 테스트로 확인할지, 어떤 제약을 지켜야 할지 알 수 있기 때문입니다.
Goal이 활성화되면 Codex는 코드를 검사하고, 관련 명령을 실행하고, 변경을 만들고, 테스트를 반복할 수 있습니다.2 즉, 단발성 응답이 아니라 실행 결과를 다시 맥락으로 가져와 다음 조치를 정하는 루프가 만들어집니다.
자율성이 아니라 검증 가능한 진행이 핵심이다
Codex 인컨텍스트 학습을 과대평가하면 “에이전트가 알아서 모든 것을 끝낸다”는 식으로 이해하기 쉽습니다. 하지만 실무적으로 더 중요한 가치는 자율성 자체가 아니라, 검증 가능한 목표를 향해 맥락을 잃지 않고 진행하는 능력입니다.
Goal도 무제한 실행을 의미하지 않습니다. 성공, 일시정지, 삭제, 인터럽트, 예산 한도, 사용자 입력이 필요한 블로커가 있으면 멈춥니다.2 또한 Codex Goal은 Codex 0.128.0부터 사용할 수 있으며, /goal 명령 뒤에 원하는 결과를 붙여 설정합니다.2 필요하면 /goal pause, /goal resume, /goal clear로 일시정지, 재개, 제거할 수 있습니다.2
따라서 사용자가 해야 할 일은 더 긴 프롬프트를 쓰는 것이 아니라, 더 좋은 완료 기준을 쓰는 것입니다. 특히 RL 실험처럼 반복 실행과 디버깅이 많은 작업에서는 다음 네 가지를 분명히 하는 것이 좋습니다.
어떤 상태가 성공인지
어떤 명령이나 산출물로 검증할지
깨지면 안 되는 제약은 무엇인지
막혔을 때 어떤 정보를 보고해야 하는지
실무적 교훈
Codex의 인컨텍스트 학습은 개발자가 RL 실험의 모든 세부 절차를 미리 나열하지 않아도, 실행 기록을 바탕으로 다음 행동을 이어 갈 수 있게 합니다. 다만 그 성능은 목표가 얼마나 검증 가능하게 정의되어 있는지에 크게 좌우됩니다.
결국 핵심은 “큰 프롬프트”가 아니라 “명확한 Goal”입니다. 경로는 불확실하지만 완료 기준이 분명한 작업, 예를 들어 성능 최적화, flaky 테스트 조사, 의존성 마이그레이션, 버그 재현, 다단계 리팩터링, 벤치마크 기반 튜닝 같은 작업에 Goal이 잘 맞는 이유도 여기에 있습니다.2
RL 실험 자동화에서도 같은 원칙이 적용됩니다. 에이전트에게 “환경을 세팅하라”고 맡기기보다, “무엇이 성공이고, 어떻게 확인하며, 어디서 멈춰야 하는지”를 알려줘야 합니다. Codex 인컨텍스트 학습의 실질적 가치는 그 목표를 향해 실행과 관찰을 반복하며 작업 맥락을 유지하는 데 있습니다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.