Microsoft·Hugging Face, DB 최종 상태로 에이전트 평가하는 ThinkingBox 공개

Microsoft와 Hugging Face가 10월 3일 ThinkingBox 공개를 소개했다. 합성 업무 507개를 각각 20회 실행해 답변 대신 DB 최종 상태와 부작용을 평가한다. 연구팀 평가에서 Claude Opus 5.5의 시도별 성공률은 67.16%였지만, 20회 모두 성공한 업무 비율은 47.53%였다.

ThinkingBox는 격리된 MCP 세션마다 초기 상태를 새로 만들고, 필요한 변경이 누락되거나 잘못된 변경이 추가됐는지 실행 가능한 검사로 판정한다.

507개 업무 중 477개는 상태만으로 평가하며, 30개는 답변 의미에 대한 평가를 추가한다. 모든 업무는 실제 기업 업무 패턴을 본뜬 합성 사례다.

Kimi-K3는 507개 업무 중 476개를 20회 안에 한 번 이상 해결했지만, 20회 모두 성공한 업무는 68개였다.

평가 환경은 OpenEnv로 실행할 수 있다. Linux·WSL, Python 3.11 이상, uv·Docker와 모델 엔드포인트가 필요하다.

ThinkingBox 코드는 MIT, 벤치마크 데이터는 CDLA-Permissive-2.0 라이선스로 제공된다.

환불·예약처럼 기록을 바꾸는 에이전트는 완료 메시지뿐 아니라 변경된 필드와 불필요한 추가 작업도 평가 대상으로 삼을 수 있다.