Microsoft ThinkingBox 공개, 에이전트가 남긴 DB 상태·반복 성공 평가

Microsoft와 Hugging Face가 10월 3일 업무 에이전트 평가 환경 ThinkingBox를 공개했다. 합성 업무 507개를 각각 20회 실행해 최종 DB 상태와 부수 효과를 검사한다. 연구진의 별도 분석에서 실패 시도의 67.24%는 도구 오류 없이 종료하고 상태 변경까지 수행했지만, 요구한 결과를 남기지 못했다.

각 시도는 동일한 초기 상태의 격리된 MCP 세션에서 실행하며, 잘못된 변경·누락·불필요한 추가 변경을 검사한다.

507개 과제 중 477개는 상태만으로 채점하고, 30개는 응답 내용 평가를 추가한다. 공개 과제는 실제 고객 기록이 아닌 합성 재구성이다.

연구진 평가에서 Claude Opus 5.5의 시도별 성공률은 67.16%였지만, 20회 모두 성공한 과제 비율은 47.53%였다.

OpenEnv 인터페이스로 실행할 수 있다. ThinkingBox 코드는 MIT, 벤치마크 데이터는 CDLA-Permissive-2.0 라이선스로 공개됐다.

업무 완료 메시지나 도구 호출 성공만 확인하는 평가에 최종 레코드 검사를 추가할 수 있다.