Cloudflare, 복제·샘플링·집계 구조 변경으로 전송량 절감

Cloudflare가 2026년 봄부터 가을까지 데이터 파이프라인을 바꿔 백본의 압축 데이터 전송량을 초당 약 70GB 줄였다고 밝혔다. 원천에서 두 벌 보내던 데이터를 한 번 전송한 뒤 중앙에서 복제하고, 샘플링·집계를 앞단으로 옮겼다. HTTP 집계 데이터셋에서는 압축 전송량이 초당 9GB 이상에서 2GB 미만으로 줄었다.

내용·출처 업데이트 · 2026. 10. 14. 오전 1:01

2026년 5월 기준 파이프라인은 고객 트래픽과 내부 데이터를 합쳐 초당 약 20억 이벤트를 전달했다고 설명했다.

지역 제한이 없는 분석 이벤트는 중앙 수신지에 한 번만 전송하고, 샘플링 후 버퍼 계층을 거쳐 다른 데이터센터로 복제한다. 지역 경계가 지정된 데이터는 해당 지역에만 저장한다.

중앙 리전 장애 시 생존 리전으로 전송하며, 데이터센터 간 연결 장애가 복구되면 버퍼에 남은 데이터로 복제를 따라잡는다.

원천과 중앙에서 두 번 샘플링한 상위 데이터셋 3개는 각각 압축 전송량이 절반 이하로 줄었다. 빈도가 낮은 키의 표본은 상대적으로 더 많이 유지한다.

HTTP 집계 데이터셋에 앞단 집계를 적용해 압축 전송량을 약 80% 줄였다. 정확한 답을 유지하려면 집계할 차원과 지표를 미리 정해야 한다.

Ready-Analytics 수신기의 CPU·메모리 사용량은 약 50% 줄어 CPU 약 750개와 메모리 3.5TiB의 여유를 확보했다고 밝혔다.

샘플링은 다양한 질문에 추정값을 제공하지만, 집계는 미리 정한 항목의 합계·개수를 정확히 유지하는 데 적합하다.