Estuary PostgreSQL CDC, 필요한 행만 백필…실시간 변경 수집은 유지
Estuary가 PostgreSQL 변경 데이터 캡처(CDC) 커넥터에 테이블별 백필 필터와 탐색 범위 설정을 추가했다. SQL 조건으로 기존 데이터 중 다시 읽을 행을 고를 수 있으며, 이후 발생하는 추가·수정·삭제를 받는 실시간 CDC에는 이 필터를 적용하지 않는다.
백필은 기존 테이블 내용을 처음 가져오거나 복구할 때 다시 읽는 과정이다. Additional Backfill Filter는 테이블별 SQL 조건을 백필 쿼리에 적용한다. 새 필터를 설정하거나 조건을 바꾸면 해당 테이블을 다시 백필해야 하지만, 완료 뒤 필터를 비울 때는 재백필이 필요 없다.
스키마를 포함·제외하거나 glob 패턴으로 테이블 탐색 범위를 정할 수 있다. PostgreSQL publication에 아직 들어가지 않은 테이블도 탐색 결과에 표시하는 옵션을 추가했고, 테이블 메타데이터 조회는 작은 묶음으로 처리한다.
새 테이블과 스키마 변경을 찾는 재탐색 주기는 기본 15분이며 조정할 수 있다. 이 주기는 데이터 변경을 실시간으로 받는 CDC와 별도로, 스키마 변화를 얼마나 자주 확인할지 정하는 설정이다.
공식 문서는 백필 필터가 SQL 쿼리에 그대로 적용되는 고급 옵션이라고 설명한다. 잘못된 조건은 백필 대상 행을 빠뜨릴 수 있어 Estuary 지원팀과 확인하도록 안내한다.
원문
- Estuary Expands PostgreSQL CDC with Targeted Backfills and Scalable Discovery PostgreSQL · 원문 2026-10-28