ServiceNow, 에이전트 실패에서 학습 과제를 만드는 AutoSynthData 소개

ServiceNow가 10월 2일 기업용 에이전트의 실패를 분석해 학습 과제를 생성·검증하는 AutoSynthData를 소개했다. 더 강한 교사 모델이 풀 수 있는 과제를 골라 미세조정에 사용한다. 연구진의 EnterpriseOps Gym ITSM 실험에서 Gemma 모델의 평균 Pass@1은 18.77%에서 27.18%로 높아졌다.

과제는 시스템 명세·사용자 요청·검증기로 구성되며, 실제 환경에서 실행 가능하고 현실적인 업무여야 한다.

실험에서는 대상 모델이 3회 중 최대 1회, 더 강한 모델이 최소 2회 성공하는 과제를 선호했다.

평가 과제에서 추출한 능력 명세를 생성기에 전달하되, 원래 요청·개체·실행 경로·검증기 세부 정보는 전달하지 않았다.

Hybrid 실험에서는 약 18시간에 학습 샘플 2000개를 생성했고, 최적 체크포인트의 평균 Pass@1이 7.2%포인트 개선됐다.

결과는 EnterpriseOps Gym의 두 환경에서 수행한 SFT 실험이다. 강화학습 적용은 향후 시험할 계획이다.

그럴듯한 요청만 생성하는 대신 잘못된 결과도 검증기가 거부하는지 검사해, 오류를 성공으로 학습하는 문제를 줄이는 방식이다.