Microsoft 개발자 분석, 에이전트용 도구 개선은 작업 성공률·비용으로 평가

Microsoft의 Waldek Mastykarz가 에이전트의 기술 선택과 올바른 사용을 나눠 평가하는 방법을 소개했다. SPFx 업그레이드 실험에서는 릴리스 노트 수정만으로 도구 사용을 유도했다. 별도 CLI 실험의 JSON 입력 모드는 작업당 비용을 4~11배 늘렸으며, 결과는 시험한 작업·에이전트 구성에 한정된다.

제품을 명시하지 않은 과제로 기술 발견·선택을 평가하고, 제품을 지정한 과제로 API·SDK의 올바른 사용을 평가한다.

Windows의 GitHub Copilot Chat·Claude Sonnet 4.6으로 SPFx 업그레이드를 5회 실행했을 때 구성 검사 통과는 80개 중 30개였다. CLI for Microsoft 365 사용을 지시하자 75개로 늘었다.

에이전트가 작업 중 릴리스 노트를 읽는 것을 확인한 뒤 문서를 수정하자, 별도 스킬이나 지시 없이 모든 실행에서 해당 CLI를 사용했다.

CLI의 일반 인자 방식에서는 모든 에이전트 구성이 5회 모두 성공했다. JSON 입력에서는 Haiku 4.5가 5회 중 2회 성공했고, 시험한 모든 모델의 작업당 비용이 4~11배로 늘었다.

같은 운영체제·에이전트 앱·모델·설정에서 변경 전후를 반복 실행하고, 결과 품질과 전체 토큰 가격을 반영한 작업당 비용을 함께 비교하도록 제안한다.

에이전트가 이미 읽는 문서를 고치면 별도 스킬을 설치하지 않은 개발자에게도 개선 효과를 전달할 수 있다.