Microsoft 개발자, 코딩 에이전트용 도구 개선에 성공률·작업 비용 평가 제안

Microsoft의 Waldek Mastykarz는 에이전트가 제품을 선택하고 올바르게 쓰는지 반복 평가하는 ‘Agent Experience’를 소개했다. SPFx 업그레이드 실험에서는 에이전트가 읽던 릴리스 노트를 수정하자 별도 지침 없이 모든 실행에서 권장 CLI를 사용했다. CLI의 JSON 입력 모드는 해당 실험에서 작업 비용을 4~11배 높였다.

제품명을 넣지 않은 과제로 발견·선택 여부를, 제품명을 명시한 과제로 올바른 사용 여부를 평가한다.

Windows의 GitHub Copilot Chat·Claude Sonnet 4.6으로 SPFx 업그레이드를 5회 실행했을 때 80개 설정 검사 중 30개를 통과했다. CLI for Microsoft 365 사용 지침을 추가하자 75개로 늘었다.

CLI 배포 실험에서 일반 인자는 모든 에이전트 설정이 5회 모두 성공했지만, JSON 모드의 Claude Haiku 4.5는 5회 중 2회 성공했다.

결과는 측정한 과제·운영체제·모델·에이전트 설정에 한정되며, 같은 조건의 기본 실행과 변경 후 실행을 비교하도록 제안했다.

에이전트가 이미 읽는 문서를 고치면 별도 스킬을 설치하지 않은 개발자에게도 개선 효과가 닿을 수 있다.