ServiceNow, 에이전트의 실패를 학습 과제로 바꾸는 AutoSynthData 소개

ServiceNow가 10월 2일 기업용 에이전트의 취약한 능력을 찾아 합성 학습 과제를 만드는 AutoSynthData를 소개했다. 과제와 정답 경로를 실제 환경에서 실행하고 성공·실패 판정도 검사한다. 회사의 EnterpriseOps Gym 실험에서 Gemma 모델을 미세조정하자 ITSM 영역의 평균 Pass@1이 18.77%에서 27.18%로 올랐다.

학습 과제는 시스템 명세·사용자 요청·검증기로 구성하며, 실행 가능성과 업무 현실성을 함께 요구한다.

실험에서는 대상 모델이 3회 중 최대 1회 성공하고 더 강한 모델은 최소 2회 성공하는 과제를 선호했다.

Hybrid 영역에서는 약 18시간에 2000개 학습 샘플을 생성했고, 평균 Pass@1이 7.2%포인트 개선됐다.

생성기는 원래 평가 과제의 요청·개체·실행 경로·검증기 세부 사항 대신 능력 명세 카드를 받았다.

보고된 결과는 EnterpriseOps Gym의 두 영역에서 수행한 지도 미세조정 실험이며, 강화학습 적용은 향후 시험할 계획이다.

모델이 이미 잘하는 과제보다, 교사는 풀지만 대상 모델은 자주 실패하는 업무에 학습 데이터를 집중하는 방식이다.