ServiceNow, 기업 에이전트의 실패를 학습 과제로 바꾸는 AutoSynthData 공개

ServiceNow가 10월 2일 기업용 에이전트의 취약한 작업을 찾아 학습 데이터를 생성·검증하는 AutoSynthData를 소개했다. 연구진에 따르면 Gemma 모델을 미세조정한 뒤 EnterpriseOps Gym의 ITSM 과제에서 평균 Pass@1이 18.77%에서 27.18%로 올랐다. 실험은 해당 기업 업무 환경에서 진행됐다.

목표 모델의 실패와 더 강한 교사 모델의 성공을 분석해 능력별 명세를 만들며, 생성기에 원래 평가 과제의 프롬프트·실행 경로·검증기 세부사항을 전달하지 않는다.

이번 설정에서는 목표 모델이 3회 중 최대 1회, 교사 모델이 최소 2회 성공하는 과제를 선호했다.

Hybrid 실험은 Gemma-4-26B-A4B-it와 Qwen3.8-27B를 사용해 약 18시간 동안 학습 샘플 2000개를 생성했고, 평균 Pass@1이 7.2%포인트 상승했다.

ITSM 실험은 DeepSeek-V4.1-Flash를 교사로 사용해 66시간 동안 샘플 1994개를 생성했다. 강화학습 적용은 향후 시험할 계획이다.

정답 경로의 실행뿐 아니라 잘못된 결과를 거부하는지도 검사해, 허술한 채점기가 오답을 학습시키는 문제를 줄이는 구조다.