Cloudflare, 인증 봇의 사이트 규칙 준수 이력 평가 도입

Cloudflare가 Verified Bot의 robots.txt 준수와 HTTP 429 응답 후 요청 감속 여부를 지속 평가하는 시스템을 내부 운영 중이라고 밝혔다. 일회성 위반보다 반복 행동을 바탕으로 신뢰 구간을 산정한다. 향후 Radar에 점수를 공개하고, 고객이 봇 트래픽 처리에 쓸 신뢰 기준을 선택하도록 제공할 계획이다.

내용·출처 업데이트 · 2026. 10. 17. 오전 12:41

robots.txt에 게시된 사이트 선호와 실제 봇 트래픽이 시간에 걸쳐 일치하는지 살핀다.

HTTP 429를 받은 뒤 요청을 줄이거나 멈추는 행동은 신뢰를 높이고, 반복적으로 무시하는 행동은 낮춘다.

신뢰 구간에는 평가에 사용한 관찰 행동을 함께 설명할 예정이다.

현재는 내부 평가·이력 축적 단계이며, 전체 고객 제공과 Radar 공개의 구체적인 일정은 밝히지 않았다.

신원 인증을 통과한 크롤러도 요청 제한을 반복해서 무시하면 트래픽 처리 기준이 달라질 수 있다.