Microsoft ThinkingBox, 에이전트의 실제 DB 변경·반복 성공률 평가

Microsoft·Hugging Face가 10월 3일 에이전트의 최종 DB 상태와 부수 효과를 검사하는 ThinkingBox 평가 환경을 공개했다. 합성 업무 507개를 각각 20회 실행한 평가에서 Claude Opus 5.5의 시도당 성공률은 67.16%, 20회 모두 성공한 업무 비율은 47.53%였다. 코드·데이터를 공개했으며 OpenEnv로 자체 모델을 평가할 수 있다.

내용·출처 업데이트 · 2026. 10. 10. 오후 4:31

소매·자동차보험·여행·네오뱅크·컨설팅의 합성 업무 507개를 사용했다. 실제 고객 데이터가 아니라 기업 업무 패턴을 재구성한 벤치마크다.

각 시도는 동일한 초기 상태의 격리된 MCP 세션에서 시작한다. 최종 상태의 잘못된 값, 누락된 변경, 불필요한 추가 효과를 실행 가능한 검사로 판정한다.

507개 중 477개는 상태만으로 채점하고, 30개는 답변 내용에 대한 제한된 평가 기준을 추가한다.

시도당 성공률, 20회 중 한 번이라도 성공한 업무 비율, 실제로 20회 모두 성공한 업무 비율을 구분한다. 20회 전부 성공했다는 결과가 향후 무오류를 보장하는 것은 아니다.

Kimi-K3는 20회 중 한 번 이상 성공한 업무가 93.89%였지만, 20회 모두 성공한 업무는 13.41%였다. Claude Opus 5·5.5는 각각 241개 업무에서 20회 모두 성공했다.

12개 모델·121680개 유효 시도의 별도 분석에서는 실패한 시도의 67.24%가 정상 종료하고 상태 변경 도구를 호출했으며 최종 도구 오류도 보고하지 않았다.

환불·예약 에이전트는 완료 답변뿐 아니라 금액·상태·추가 변경까지 검사해야 잘못된 업무 처리를 잡아낼 수 있다.