Cloudflare, AI 코드 리뷰 비용 68% 절감…추론 강도별 품질 차이도 보고
Cloudflare가 자체 AI 코드 리뷰의 평균 비용을 2.43달러에서 0.77달러로, 처리시간 중앙값을 4분 9초에서 1분 32초로 줄였다고 밝혔다. 공통 프롬프트 캐시와 호출 흐름·모델 설정을 손봤다. 코드 품질 검토는 높은 추론 강도에서 유효한 지적 수를 유지했지만, 중간 강도의 성능 검토는 중요한 문제 탐지가 줄었다.
비용 비교 기준은 최적화 전 가장 비쌌던 2주 평균 2.43달러이며, 현재 수치는 코드 품질 검토를 높은 추론 강도로 설정한 조건이다.
OpenCode v1이 공통 지침 뒤에 작업 경로·날짜를 붙이고 캐시 경계를 둬 저장소 간 재사용을 막고 있었다. 공통 부분을 별도 블록으로 나눴다.
사용할 수 없는 도구 제거, 파일 병렬 읽기, 변경 없는 하위 검토 생략, 최종 게시 후 불필요한 호출 제거와 취소된 작업 중단 등을 적용했다.
회사 분석에서 절감액의 약 40%는 코드 최적화, 나머지는 모델·추론 강도 변경에서 나왔다. 변경 전후 시간대를 비교한 분석으로 통제 실험은 아니다.
Sonnet 5.5 코드 품질 검토의 중간·높은 추론 강도 무작위 비교에서는 높은 강도가 비용 61%와 심각한 지적 수 58%를 더 기록했다. 회사는 코드 품질 검토를 높은 강도로 전환한다.
작성자의 후속 수정과 모델 심사로 품질을 평가했다. 성능 검토의 중요한 지적은 약 64% 줄었고, 보안 검토 감소는 통계적으로 유의하지 않았다.
캐시 적중률이 높아도 매번 보내는 문맥과 호출 수가 늘면 비용이 커진다. 저장소별 정보 앞에 공통 지침의 캐시 경계를 두면 여러 작업이 같은 캐시를 재사용할 수 있다.
원문
- Cutting our inference bill by 68% by being obsessive about optimizationCloudflare · 원문 2026-10-20