ServiceNow AutoSynthData, 에이전트 실패에서 합성 학습 과제 생성

ServiceNow CoreAI가 10월 2일 기업용 에이전트의 취약한 작업을 학습 데이터로 바꾸는 AutoSynthData를 소개했다. 대상 모델의 실패와 교사 모델의 성공을 분석해 실행 가능한 과제와 판정기를 생성한다. 연구진의 EnterpriseOps Gym 실험에서 Gemma 모델을 미세조정한 뒤 Hybrid 영역의 평균 Pass@1이 7.2%포인트 올랐다.

Hybrid 실험은 Gemma-4-26B-A4B-it를 대상 모델, Qwen3.8-27B를 교사로 사용했고 약 18시간에 학습 샘플 2000개를 생성했다.

해당 설정에서는 대상 모델이 3회 중 최대 1회, 더 강한 모델이 최소 2회 성공하는 과제를 선호했다.

생성기는 원래 평가 과제의 프롬프트·개체·실행 경로·판정기 세부 정보를 받지 않고, 정리된 역량 명세를 사용했다.

ITSM 실험에서는 샘플 1994개를 생성한 뒤 평균 Pass@1이 18.77%에서 27.18%로 올랐다. 결과는 각 실험 환경에서의 지도 미세조정 평가다.

정답 실행뿐 아니라 틀린 결과가 판정기를 통과하는지도 검사해, 잘못된 행동을 학습 보상으로 인정하는 문제를 줄이는 구조다.