Cloudflare·OpenAI, 웹 탐색 시범사업으로 수억 페이지 신규 색인 발표

Cloudflare와 OpenAI가 웹 탐색 연구 시범사업의 초기 결과를 공개했다. 양사에 따르면 Cloudflare 전체 네트워크의 약 1%에 해당하는 참여 집단의 신호로 수억 개 새 페이지를 검색 색인에 추가했다. 검색·발견용 메타데이터를 활용하며, 페이지 내용을 모델 학습용으로 공유하는 방식은 아니다.

내용·출처 업데이트 · 2026. 10. 16. 오전 12:31

시범사업은 2026년 7월 시작했으며 Cloudflare 네트워크 신호를 OpenAI 검색 크롤러의 페이지 발견에 활용한다.

존재하지 않는 주소의 반복 요청, 홈페이지로의 리디렉션, 중복 콘텐츠를 구분해 불필요한 수집을 줄인다.

사이트 전체가 아니라 공격자가 변조한 개별 페이지를 식별·표시하는 신호도 시험하고 있다.

변경 신호로 재수집 필요성을 판단하지만, 새 페이지를 평가하고 색인하는 초기에는 크롤링이 늘 수 있다.

다음 단계에서는 페이지 선택과 변경 신호를 개선하고, 발견 이후 실제 사업 성과를 측정할 계획이다.

페이지 관련 신호가 접근 권한을 부여하지는 않는다. 사이트 운영자는 AI Crawl Control로 접근을 관리할 수 있다.

외부 링크가 적은 매뉴얼·지역 정보도 발견 대상으로 넓히되, 실제 검색 노출 순위는 OpenAI가 별도로 평가한다.