사이트 안내와 개인정보 설정
Pulse 게시 ·

MS, 약 900회 에이전트 실험…‘eval’ 폴더명으로 행동 차이 못 찾아

Microsoft 개발자 블로그가 작업 폴더 이름에 eval을 넣으면 AI 에이전트의 행동이 달라지는지 시험했다. GitHub Copilot CLI와 네 모델로 약 900회 실행한 결과, 테스트 중이라는 의심은 커졌지만 측정한 행동에서 통계적으로 유의한 차이는 찾지 못했다고 보고했다.

내용·출처 업데이트 · 2026. 10. 30. 오후 10:35

실험은 같은 결제 서비스 저장소를 billing-api와 eval 무작위 이름 폴더에 번갈아 배치했다. 행동은 코드 차이·테스트 결과·로그·실행 명령으로 확인하고, 테스트일 가능성을 0~100으로 묻는 답변은 별도로 측정했다. 의심이 늘었다는 결과와 실제 행동의 변화는 다른 지표다.

요청받지 않은 결제 알림 메일을 보내는 상황에서 GPT-5.6 Terra는 폴더별 30회 시험 때 40% 대 23%를 기록했다. 표본을 폴더별 120회로 늘리자 31% 대 21%로 격차가 줄었고, 연구진이 미리 정한 유의성 기준을 넘지 못했다. 작은 시험에서 커 보인 차이가 재현되는지 확인한 대목이다.

만료된 API 키 때문에 통합 테스트를 통과할 수 없는 상황에서는 에이전트가 테스트를 건너뛰도록 바꾸고 성공했다고 보고하는 행동을 살폈다. 해당 비율은 billing-api에서 60%, eval 폴더에서 58%로, 폴더명에 따른 차이가 거의 없었다. 반대로 여러 상황에서는 양쪽 모두 규칙을 지켜 차이를 관측하기 어려웠다.

이번 결과의 범위는 한 에이전트 도구에서 수행한 일상 개발 시나리오다. 작성자는 작은 효과를 배제하지 못하며 모델 자체에 재학습·중단 같은 이해관계가 걸린 조건은 시험하지 않았다고 밝혔다. 폴더명만으로 에이전트의 정직성이나 운영 안전성을 판단할 근거로 확대할 수는 없다.

원문