AI 생성 이미지
에이전트는 단순히 답변을 생성하는 챗봇이 아닙니다. LLM이 계획을 세우고, 추론하고, 도구를 호출하며, 외부 환경과 여러 차례 상호작용해 복잡한 작업을 해결하는 방식입니다.1
이 구조는 강력하지만 비쌉니다. 그래서 최근 주목할 만한 접근이 Agentic Workflow Distillation입니다. 여러 단계의 LLM 호출, 도구 호출, 중간 스크래치패드, 의사결정 구조로 이루어진 에이전트 워크플로를 모델 가중치로 증류하는 방법입니다. 관련 논문은 이렇게 증류된 모델이 약 100배 낮은 추론 비용으로 실행될 수 있다고 설명합니다.2
핵심은 “복잡한 에이전트 실행 절차를 매번 다시 돌릴 것인가, 아니면 그 절차에서 배운 행동을 모델 안에 압축할 것인가”입니다.
에이전트의 비용은 호출 수보다 크다
에이전트 실행 비용은 단순히 LLM API를 몇 번 호출하느냐의 문제가 아닙니다. 학습과 평가에 필요한 롤아웃 궤적은 샌드박스 실행 환경에서 수십 차례의 순차 상호작용을 포함할 수 있습니다.1
소프트웨어 엔지니어링 에이전트를 예로 들면, 하나의 궤적을 만들기 위해 저장소를 복제하고, 의존성을 설치하고, 코드를 수정하고, 테스트 스위트를 실행해야 할 수 있습니다.1 규모가 커지면 서로 다른 기본 이미지, 리소스 요구사항, 네트워크 격리 제약을 가진 수천 개 환경을 동시에 실행해야 할 수도 있습니다.1
따라서 병목은 모델 추론 비용만이 아닙니다. 도구 실행, 환경 관리, 상태 추적, 실패한 시도의 누적까지 모두 비용입니다. 에이전트가 복잡해질수록 “잘 작동하는 워크플로” 자체가 하나의 고가 자산이 됩니다.
증류는 워크플로의 행동을 모델에 옮기는 일이다
기존 에이전트 시스템은 대체로 “강한 모델 + 복잡한 오케스트레이션”에 가깝습니다. 모델이 여러 번 호출되고, 중간 결과가 스크래치패드에 쌓이며, 조건에 따라 도구를 선택하고 다음 행동을 결정합니다.
Agentic Workflow Distillation은 이 과정을 매번 외부 절차로 실행하는 대신, 성공적인 실행 궤적에서 나온 행동 패턴을 모델 가중치에 학습시키려는 접근입니다. 즉 단순히 결과 답변을 모방하는 것이 아니라, “어떤 순서로 생각하고, 언제 도구를 쓰고, 어떤 판단 뒤에 멈추는가”를 더 짧은 실행 경로로 재현하게 만드는 것입니다.
이 관점은 기존 에이전트 학습 방식과도 연결됩니다. 에이전트 학습은 전문가 궤적을 기반으로 한 지도 미세조정이나, 환경 보상 기반 강화학습으로 수행될 수 있습니다.1 증류는 이런 궤적을 활용해 복잡한 워크플로의 일부를 모델 내부의 능력으로 전환하려는 시도라고 볼 수 있습니다.
언제 유용한가
모든 에이전트 워크플로를 증류해야 하는 것은 아닙니다. 특히 다음 조건에 가까울수록 증류의 실용성이 커집니다.
반복적으로 실행되는 업무
실행 비용이 큰 워크플로
성공 궤적을 충분히 수집할 수 있는 작업
응답 지연 시간이 제품 경험에 중요한 경우
도구 사용과 의사결정 패턴이 비교적 안정적인 경우
반대로 규칙이 자주 바뀌거나, 도구 선택 과정을 명확히 추적해야 하거나, 매번 다른 환경 판단이 중요한 영역에서는 기존 에이전트 워크플로를 유지하는 편이 나을 수 있습니다. 증류는 실행 효율을 얻는 대신, 외부에서 관찰 가능한 절차와 유연성을 일부 줄이는 선택이기 때문입니다.
중요한 것은 궤적을 잘 만들고 평가하는 능력이다
Agentic Workflow Distillation의 전제는 좋은 실행 궤적입니다. 어떤 워크플로가 성공했는지, 어떤 중간 판단이 유효했는지, 어떤 실패를 제외해야 하는지 판단할 수 있어야 합니다. 결국 증류 품질은 원천 워크플로와 데이터 생성·평가 환경의 품질에 크게 의존합니다.
이 지점에서 Orchard 같은 오픈소스 프레임워크가 중요해집니다. Orchard는 확장 가능한 에이전트 모델링을 위한 오픈소스 프레임워크로, 에이전트 학습과 평가에 필요한 복잡한 환경 실행과 롤아웃 생성을 다루는 흐름과 맞닿아 있습니다.1
결론: 에이전트의 절차를 제품 비용으로 볼 것인가
Agentic Workflow Distillation은 에이전트를 없애는 기술이 아닙니다. 오히려 에이전트가 만들어낸 성공적인 절차를 더 저렴하고 빠르게 실행 가능한 형태로 압축하려는 접근입니다.
실무적으로는 이렇게 질문할 수 있습니다.
이 작업은 매번 복잡한 에이전트 워크플로로 풀어야 하는가, 아니면 충분히 학습된 모델이 그 행동을 더 짧게 재현해도 되는가?
반복 실행이 많고 비용이 큰 영역이라면, 이 질문은 곧 제품의 추론 비용과 지연 시간, 운영 복잡도를 좌우합니다. Agentic Workflow Distillation은 에이전트 시대의 다음 과제가 단순히 “더 똑똑한 에이전트”가 아니라 “더 효율적으로 내재화된 에이전트 행동”임을 보여줍니다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.