JetBrains, 코딩 요구를 나눠 전달하면 에이전트 비용 2~2.6배 증가 보고

JetBrains가 요구사항을 순차 전달하고 코드 질문을 끼워 넣는 평가 데이터셋 SWE-TaskFlow를 공개했다. 연구진이 700개 과제에서 모델 4종을 시험한 결과, 같은 요구를 세 번에 나눠 전달하면 과제당 비용이 2~2.6배 늘었다. 해결률 변화는 상대적으로 작았으며 모델 순위를 가릴 결과는 아니라고 설명했다.

내용·출처 업데이트 · 2026. 10. 21. 오전 3:21

JetBrains IDE의 에이전트 세션 4782개를 분석했다. 전체 메시지에서 버그 수정은 26%, 새 기능은 19%였으며 나머지에는 설명·계획·검토·실행 등이 포함됐다.

SWE-Bench Pro의 저장소·환경·원래 요구사항·최종 테스트를 유지하면서 사용자 메시지만 재구성했다. 검사를 통과한 700개 과제를 제공한다.

모델 4종을 설정별로 세 번씩 실행했다. 순차 전달에서 GPT-5.6 Terra의 해결률은 유지됐고 나머지는 평균 4~5%포인트 하락했지만 실행 간 변동과 비슷한 규모였다.

재작성한 세 부분을 한 메시지로 합친 대조 조건은 GPT 모델 3종에서 각각 한 번 시험했다. 비용과 해결률이 원래 단일 요청에 가까워 순차 전달이 비용 증가의 원인임을 뒷받침했다.

저장소 질문 추가 비용은 순차 전달 대비 4~24%였다. 메시지는 실행 전에 고정되며, 에이전트 행동에 반응하는 사용자 피드백은 평가하지 않는다.

한 번에 완성된 요청을 주는 벤치마크만으로는, 개발자가 요구를 추가하는 실제 대화의 비용을 과소평가할 수 있다.