Microsoft·Hugging Face, DB 최종 상태로 평가하는 에이전트 벤치마크 공개

Microsoft와 Hugging Face가 10월 3일 에이전트 평가 환경 ThinkingBox의 공개를 알렸다. 합성 업무 507개를 각각 20회 실행해 DB 최종 상태와 부수 효과를 검사한다. 연구진 평가에서 Claude Opus 5·5.5가 모든 반복에 성공한 과제 비율은 공동 최고인 47.53%였다.

각 시도는 동일한 초기 상태의 독립 MCP 세션에서 실행돼 DB 행이나 도구 캐시를 공유하지 않는다.

507개 과제 중 477개는 상태만으로 채점하고, 30개는 응답 내용 평가를 추가한다.

Kimi-K3는 20회 중 한 번 이상 성공한 과제가 93.89%였지만, 20회 모두 성공한 과제는 13.41%였다.

코드는 MIT, 벤치마크 데이터는 CDLA-Permissive-2.0 라이선스로 공개됐다. 실행 환경은 Linux·WSL, Python 3.11 이상과 Docker를 기준으로 시험했다.

업무 완료 메시지뿐 아니라 실제 환불·예약·티켓 상태를 검사하는 평가를 구축하는 데 활용할 수 있다.