LLM 에이전트의 성능을 높일 때 가장 익숙한 방법은 프롬프트나 지침을 사람이 직접 고치는 것입니다. 하지만 이 방식은 금세 한계에 부딪힙니다. 수정한 문장이 실제로 성능을 높였는지, 특정 사례에만 맞춘 임시 처방인지 판단하기 어렵기 때문입니다.
Microsoft SkillOpt는 이 문제를 다른 관점에서 다룹니다. 프롬프트나 스킬 문서를 단순한 설명서가 아니라, 평가하고 갱신할 수 있는 최적화 대상으로 봅니다.
SkillOpt는 모델이 아니라 스킬 문서를 최적화한다
SkillOpt는 동결된 LLM 에이전트의 자연어 스킬을 텍스트 공간에서 최적화하는 도구입니다.1 여기서 “동결된”이라는 말은 모델 가중치를 수정하지 않는다는 뜻입니다. 대신 best_skill.md 같은 스킬 문서를 학습 가능한 상태로 취급합니다.1
즉, SkillOpt의 관심사는 모델 자체를 다시 훈련하는 것이 아닙니다. 이미 있는 에이전트가 더 잘 행동하도록, 자연어로 된 작업 지침을 반복적으로 개선하는 데 있습니다. 최종 결과도 재사용 가능한 스킬 문서 형태로 남습니다.1
이 점은 실무적으로 중요합니다. 모델을 바꾸지 않고도 에이전트의 행동 방식을 개선할 수 있고, 개선된 내용은 문서 파일로 관리할 수 있습니다. 프롬프트 엔지니어링을 “감각적인 문장 수정”에서 “검증 가능한 변경 관리”로 옮기는 셈입니다.
핵심은 자동 수정이 아니라 검증된 수정이다
SkillOpt의 학습 루프는 rollout, reflect, aggregate, select, update, evaluate 단계로 구성됩니다.1 에이전트가 현재 스킬로 작업을 수행하고, 그 결과를 바탕으로 별도의 옵티마이저 모델이 스킬 수정안을 만듭니다.
여기서 중요한 점은 수정 방식이 무제한 재작성에 가깝지 않다는 것입니다. 논문은 옵티마이저 모델이 점수화된 롤아웃을 add, delete, replace 형태의 제한된 텍스트 편집으로 변환한다고 설명합니다.2 그리고 후보 편집은 홀드아웃 검증 점수를 엄격히 개선할 때만 채택됩니다.1
이 구조가 SkillOpt의 핵심 가치입니다. 실패 사례를 볼 때마다 규칙을 덧붙이면 스킬 문서는 쉽게 길어지고 불안정해집니다. SkillOpt는 “그럴듯해 보이는 수정”을 남기는 것이 아니라, 같은 기준에서 검증 점수를 개선한 수정만 받아들입니다.
구현할 때는 모델 연결보다 평가 설계가 먼저다
SkillOpt를 적용할 때 OpenAI 호환 모델 접근을 연결하고, 대상 모델과 옵티마이저 모델을 구성하는 작업은 필요합니다. 하지만 더 중요한 출발점은 기준선을 세우는 일입니다.
먼저 원본 시드 스킬을 기준선으로 평가해야 합니다. 그래야 이후 진화된 스킬이 실제로 나아졌는지 같은 조건에서 비교할 수 있습니다. 롤아웃 로그와 점수를 남기면 어떤 편집이 성능 변화에 영향을 줬는지도 추적할 수 있습니다.
이 계측이 없다면 SkillOpt는 자동화된 프롬프트 수정기에 가까워집니다. 반대로 기준선, 검증 데이터, 비교 절차가 갖춰지면 스킬 문서는 운영 가능한 자산이 됩니다. 어떤 버전이 더 나은지 설명할 수 있고, 성능을 떨어뜨리는 변경은 걸러낼 수 있습니다.
SkillOpt가 주는 실무적 메시지
SkillOpt의 결론은 단순합니다. 에이전트 스킬은 문서이지만, 운영에서는 모델처럼 관리해야 합니다. 버전을 두고, 기준선을 측정하고, 검증 데이터를 통과한 변경만 채택해야 합니다.
프롬프트 엔지니어링의 다음 단계는 더 멋진 문장을 쓰는 일이 아닐 수 있습니다. 어떤 문장이 실제 성능을 올렸는지 측정하고, 그 결과를 바탕으로 스킬을 진화시키는 일입니다. SkillOpt는 그 과정을 텍스트 공간에서 체계화하려는 접근입니다.
2SkillOpt: Executive Strategy for Self-Evolving Agent Skills
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.