Microsoft ThinkingBox, 에이전트의 실제 DB 변경과 반복 성공률 평가

Microsoft·Hugging Face가 10월 3일 ThinkingBox 평가 환경과 결과를 소개했다. 합성 업무 507개를 각각 20회 실행해 최종 DB 상태와 부수 효과를 검사한다. 연구진에 따르면 단일 시도 성공률은 Opus 5.5가 67.16%로 가장 높았지만, 20회 모두 성공한 업무 비율은 47.53%였다.

ThinkingBox 실행 환경과 ThinkingBox-Bench 데이터셋을 Hugging Face에서 제공하며, OpenEnv 인터페이스로 평가할 수 있다.

각 시도는 동일한 초기 상태의 독립 MCP 세션에서 실행한다. 507개 업무 중 477개는 상태만 검사하고, 30개는 응답 평가도 추가한다.

Kimi-K3는 업무의 93.89%를 20회 중 한 번 이상 해결했지만, 20회 모두 성공한 비율은 13.41%였다.

공개 벤치마크는 실제 기업 업무 패턴을 본뜬 합성 시나리오다. 코드는 MIT, 데이터는 CDLA-Permissive-2.0 라이선스로 제공한다.

업무 완료 판정을 에이전트의 답변 대신 실제 레코드 검사에 연결하는 평가 환경으로 활용할 수 있다.