서비스나우 코어AI(ServiceNow CoreAI)가 기업 환경에 특화된 AI 에이전트 학습용 합성 데이터 생성 프레임워크인 AutoSynthData를 공개했습니다1. 범용 대형 언어 모델(LLM) 기반의 에이전트는 일반적인 지식 교류에는 능숙하지만, 복잡한 조직 내부 워크플로, 독자적인 도구 연동 규격, 엄격한 사내 정책을 준수하며 작동하는 데는 자주 한계를 드러냅니다1. AutoSynthData는 이러한 에이전트의 구체적인 역량 격차(Capability gap)를 체계적으로 진단하고, 실패한 과제를 집중적으로 보완할 수 있는 맞춤형 합성 데이터를 생성하여 미세조정(Fine-tuning) 효율을 높이는 데 초점을 맞춥니다1.
기업들이 실무에 AI 에이전트를 도입할 때 겪는 가장 큰 난관 중 하나는 학습 데이터의 보안 및 프라이버시 문제입니다. 고객 개인정보나 기업 기밀이 포함된 원시 데이터를 외부 학습 파이프라인이나 검증되지 않은 환경에 노출할 수 없기 때문입니다. AutoSynthData는 실제 원시 데이터나 세부적인 실행 경로를 직접 노출하지 않으면서도, 비즈니스 데이터의 통계적 속성과 스키마를 안전하게 모사하여 통제된 학습 환경을 제공함으로써 이 문제를 해결하고자 합니다2.
다중 턴 업무 환경에서의 에이전트 성능 저하와 합성 데이터의 필요성
일반적인 대규모 언어 모델은 인터넷상의 방대한 공개 데이터를 기반으로 학습되었기 때문에 비즈니스 시스템 고유의 메타데이터나 사내 맥락을 깊이 이해하지 못합니다2. 이러한 격차는 단순 단발성 질의응답을 넘어 복잡한 연속 제어가 필요한 에이전트 환경에서 더욱 크게 나타납니다.
세일즈포스(Salesforce) AI 연구팀의 CRM 작업 평가에 따르면, 범용 LLM 에이전트는 단일 턴 시나리오(사용자의 명확한 요구에 즉시 답하는 형태)에서 약 58%의 성공률을 기록했습니다2. 하지만 에이전트가 사용자에게 후속 명확화 질문을 던져 요구사항을 확인하는 다중 턴(Multi-turn) 환경에서는 성공률이 약 35%로 급격히 저하되었습니다2. 실제 기업 업무는 다단계 승인, 데이터베이스 조회, 복잡한 예외 처리 등 다중 턴 상호작용이 필수적이기에 범용 모델만으로는 실제 업무 현장에서 안전성과 신뢰성을 보장하기 어렵습니다.
합성 데이터는 이러한 한계를 안전하게 우회할 대안입니다. 통계적 특성을 정밀하게 복제함으로써 프라이버시 침해 우려 없이 다양한 시나리오를 무한히 재현해 에이전트를 고도화할 수 있습니다2. 그러나 단순히 무작위로 생성된 합성 데이터는 에이전트가 실제 워크플로에서 마주하는 복잡한 지점과 병목 구간을 재현하기 어렵다는 한계가 있었습니다.
AutoSynthData의 작동 방식: 취약점 진단부터 2단계 생성 및 검증까지
AutoSynthData는 학습 대상이 되는 타겟 모델이 자주 실패하는 과제를 진단하고, 더 뛰어난 상위 교사(Teacher) 모델이 이를 성공적으로 해결한 과정을 대조 및 분석하여 학습 커리큘럼을 설계합니다13.
먼저 타겟 에이전트를 테스트 환경에서 평가하여 취약 성능 영역을 선별한 뒤, 이를 비식별화된 '사양 카드(Specification Card)'로 정제합니다1. 이 카드는 민감 정보를 노출하지 않은 채 시스템 제약 조건, 현실적인 사용자 프롬프트, 결과 검증기(Verifier) 사양만을 추상화하여 담습니다1.
이후 데이터 생성 파이프라인은 크게 두 단계로 진행됩니다1.
타겟(Target) 단계: 사양 카드를 바탕으로 타겟 에이전트의 한계를 자극하되, 환경 내에서 실행 가능한 고유의 핵심 기본 샘플들을 생성합니다1.
멀티플라이(Multiply) 단계: 검증 완료된 핵심 샘플을 바탕으로 상태, 엔티티, 어조, 표현 방식 등을 다양하게 변형하여 새로운 파생 작업 데이터셋을 대량으로 확장합니다1. 이때 파생 샘플이 또 다른 샘플의 재생산 시드로 쓰이지 않게 제한하여 전체 데이터의 품질 왜곡과 드리프트 현상을 차단합니다3.
데이터 품질은 엄격한 다단계 검증 시스템으로 제어됩니다. 생성된 작업은 정방향 검증을 통해 솔루션이 실제로 정답에 도달하는지 확인할 뿐만 아니라, 지나치게 모호하거나 느슨한 평가 기준을 제거하는 부역방향 검증(Negative verification)을 거칩니다1. 검증을 통과하지 못한 작업은 단순 폐기되지 않고 '비평 및 수정(Critique and Repair) 루프'에 배치되어 문제를 진단받고 재생성됩니다1.
특히 샘플 난이도를 조절할 때 AutoSynthData는 명확한 조건식 필터를 적용합니다. 3회 시도 중 타겟 모델이 단 1회 이하로만 성공하고, 더 강력한 해결자(Solver) 모델은 최소 2회 이상 성공하는 과제만을 선별하여 커리큘럼으로 사용합니다3. 모델이 이미 완벽히 수행하는 쉬운 과제나, 교사조차 풀지 못하는 지나치게 모호한 과제를 배제하여 학습 자원을 가장 결핍된 성능 구간에 집중하는 원리입니다.
EnterpriseOps Gym 벤치마크를 통한 성능 임증
AutoSynthData의 실제 효용성은 기업 운영 시뮬레이션 환경인 EnterpriseOps Gym(Malay et al., 2026) 데이터셋을 통해 검증되었습니다13. 타겟 모델로는 Gemma-4-26B-A4B-it을 사용했습니다13.
첫 번째 실험은 하이브리드(Hybrid) 도메인에서 교사 모델로 Qwen3.8-27B를 사용하여 수행되었습니다13.
약 18시간 동안 2,000개의 합성 학습 샘플이 성공적으로 생성되었습니다3.
이 합성 데이터셋으로 미세조정(SFT)을 진행한 결과, 5번째 에포크(epoch 5)에서 가장 높은 성능을 내는 체크포인트를 확보했습니다3.
이 SFT 체크포인트는 평균 Pass@1 성능을 기존보다 7.2%포인트 향상(상대적 개선율 35%)시켰으며, 검증 성공률을 63.01%에서 68.55%로 높였습니다3.
이는 Gemma-4-26B-A4B-it과 기준(Reference) 모델 사이에 존재하던 초기 Pass@1 격차의 59%를 좁혀낸 성과입니다3.
두 번째 실험은 IT 서비스 관리(ITSM) 도메인에서 교사 모델로 DeepSeek-V4.1-Flash를 활용해 진행되었습니다13.
66시간에 걸쳐 총 1,994개의 합성 학습 샘플이 구축되었습니다3.
SFT 결과, 타겟 모델의 평균 Pass@1 성공률은 기존 18.77%에서 27.18%로 향상되었습니다3.
해당 실험 결과는 대량의 정형 데이터를 무작위 수집해 학습시키는 대신, 에이전트의 실패 패턴을 조준하는 2,000건 내외의 고품질 데이터셋만으로도 실무 수준의 작업 도달률을 비약적으로 높일 수 있음을 입증합니다13.
실제 기업 도입 시의 한계와 사전 검토 기준
AutoSynthData가 보여준 수치적 지표는 우수하지만, 현업 도입을 결정하기 전 다음과 같은 제약 요소를 신중히 파악해야 합니다.
가장 먼저 고려할 부분은 실험에서 보고된 Pass@1 성능 향상 수치가 가상 운영 환경인 EnterpriseOps Gym의 벤치마크 설계 내에서 도출된 결과라는 점입니다3. 따라서 예기치 않은 사용자 개입과 시스템 장애가 동시다발적으로 일어나는 기업의 레거시 인프라에서도 고스란히 성능이 유지될 것이라고 단정하기는 이릅니다.
또한 작업 도메인에 따라 합성 데이터를 생성하는 과정에 막대한 시간과 하드웨어 연산 자원이 요구될 수 있습니다. 하이브리드 도메인에서는 2,000개 샘플을 생성하는 데 18시간이 소요된 반면, ITSM 도메인에서는 유사한 수량인 1,994개 샘플을 생성하는 데 무려 66시간이 소요되었습니다3. 이는 도메인의 비즈니스 복잡도와 교사 모델의 처리 지연 속도, 검증 과정의 난이도에 따라 구축 비용이 급격하게 늘어날 수 있음을 방증합니다.
마지막으로, 본 파이프라인이 매끄럽게 굴러가려면 타겟 모델보다 정교하게 판단할 수 있는 상위 교사 모델이 준비되어 있어야 하고, 시나리오의 성공 여부를 명확한 코드로 단정할 수 있는 전용 검증기(Verifier)의 구조적 설계가 선행되어야 합니다13. 성공과 실패의 경계가 주관적이거나 모호한 정성 영역의 업무라면 검증기를 논리적으로 완벽히 설계하는 과정에서 심각한 병목 현상이 발생할 수 있습니다.
결론적으로 AutoSynthData는 엄격한 보안 규정 탓에 실제 사용자 로그나 시스템 데이터를 학습에 활용할 수 없거나, 도메인 특화 태스크에서 일반 AI 모델의 다중 턴 오작동률을 확실하게 감소시키고 싶은 기업의 AI 개발팀에 최적화된 프레임워크입니다. 도입을 적극적으로 고려하는 엔지니어링 리더들은 자사의 실무 시나리오를 명확한 검증 기준이 포함된 사양 카드로 표준화할 수 있는지, 그리고 대형 교사 모델과 시뮬레이션을 연속 가동할 물리적 컴퓨팅 리소스가 구비되어 있는지 선제적으로 진단해 보아야 합니다.
참고
1AutoSynthData Generates Targeted Synthetic Data for Enterprise Agents
2The Indispensable Role of Synthetic Data in Enterprise AI
3AutoSynthData: Generating Training Data for Enterprise Agents
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.