Microsoft·Hugging Face, DB 최종 상태를 보상으로 쓰는 에이전트 학습 코드 공개
Microsoft·Hugging Face가 DB의 최종 상태를 검사해 에이전트를 강화학습하는 ThinkingBox-Training을 공개했다. 연구진은 Qwen3.8-27B를 50단계 학습한 뒤 별도 507개 과제에서 평균 성공률이 51.70%에서 60.78%로 올랐다고 밝혔다. 20회 모두 성공한 과제는 38개에서 107개로 늘었지만, 한 번이라도 성공한 과제는 7개 줄었다.
기본 모델의 반복 실행 결과로 난도를 추정하고, 성공과 실패가 섞여 학습 신호를 얻을 수 있는 과제 187개를 골랐다. 학습 중에는 이 구성을 고정했다.
평가는 학습에 쓰지 않은 ThinkingBox-Bench 507개 과제를 각각 20회 실행했다. 최소 한 번 성공한 과제는 453개에서 446개로 줄었다.
평가 과제의 도메인·DB·대부분의 도구는 학습과 달랐지만, 프레임워크·가상 사용자·채점 방식과 일부 도구는 공유한다.
대부분은 결정론적 DB 검사로 보상을 계산하며, DB 상태만으로 판단하기 어려운 일부 조건에는 LLM 판정을 사용한다.
검증된 학습 구성은 H100 24개와 Python 3.12·Verl 0.9.0을 사용한다. 공개 저장소에는 예제 과제만 포함되며, 실험에 사용한 비공개 187개 학습 과제는 포함되지 않는다.
보고한 비용은 토큰 사용량에 따른 추론 비용 추정치이며, 학습과 과제 선별용 사전 실행 비용은 제외한다.
도구 호출 순서 대신 최종 데이터와 부작용을 채점해, 정해진 절차를 모방하지 않아도 올바른 결과에 보상을 줄 수 있다.
원문
- Turning Database Grading into RL Rewards: Post-Training Agents with ThinkingBoxHugging Face · 원문 2026-10-23