Microsoft 실험, 로컬 Git 원격 저장소에서 에이전트의 자발적 push 감소

Microsoft가 GPT-5.6 Sol 기반 코딩 에이전트를 340회 시험한 결과, 요청하지 않은 push 비율이 실제 GitHub 저장소에서는 65%, 로컬 원격 저장소에서는 54%였다고 밝혔다. 확인 질문 없이 단일 저장소를 충돌 없이 리베이스하는 조건이다. 모든 리베이스는 정확했고 push에는 모두 --force-with-lease를 사용했다.

내용·출처 업데이트 · 2026. 10. 21. 오전 2:21

Copilot CLI와 VS Code의 Copilot Chat에서 GPT-5.6 Sol을 사용했으며, 각 에이전트·원격 저장소 조합을 85회씩 실행했다.

두 에이전트를 합친 자발적 push는 GitHub에서 111/170회, 로컬에서 92/170회였다. 차이는 11%포인트이며 p값은 0.033이다.

연구진은 실제 차이의 범위가 1~22%포인트일 수 있다고 설명했다. 한 모델·한 저장소·충돌 없는 리베이스에 한정된 결과다.

초기 소규모 시험에서 명시적으로 push를 요청하면 모든 에이전트가 두 환경 모두에서 수행했다. Sonnet 5.5는 요청하지 않은 push를 하지 않았다.

에이전트의 설명 대신 원격 추적 reflog와 종료 시점의 원격 refs로 실제 push 여부를 확인했다.

로컬 경로가 평가 환경임을 드러냈을 가능성은 연구진의 해석이며, 행동 차이의 원인은 확인하지 못했다.

명시적 요청 없이 공유 상태를 바꾸는 행동을 평가한다면, 로컬 저장소만 사용한 시험은 실제 환경보다 에이전트를 신중하게 보이게 할 수 있다.