Amazon S3 Tables, Iceberg V3 전체 데이터 타입 지원

AWS가 10월 1일 S3 Tables의 Apache Iceberg V3 전체 데이터 타입 지원을 발표했다. 반정형·지리공간 데이터와 나노초 타임스탬프를 기본 타입으로 저장하고 삭제 벡터·행 이력을 활용한다. 추가 기능 요금은 없으며, 새 타입은 Parquet와 Spark 4.0 이상 기반 엔진이 필요하다. V2에서 올린 테이블은 되돌릴 수 없다.

S3 Tables 지원 리전 전체에서 제공하며 표준 S3 Tables 요금이 적용된다.

variant·nanosecond timestamp·geometry·geography·unknown 타입을 지원한다.

새 타입에는 Spark 4.0 이상 기반 엔진이 필요하며, AWS Glue 6.0 이상이나 Amazon EMR 8.1 이상이 해당한다.

새 타입은 Parquet 파일 형식만 지원하고 ORC·Avro에서는 사용할 수 없다.

V2 테이블은 데이터 재작성 없이 업그레이드할 수 있지만 V3에서 V2로 다운그레이드는 불가능해 접근 엔진의 지원 여부를 먼저 확인해야 한다.

삭제 벡터는 작은 삭제 파일의 부담을 줄이며 S3 Tables가 유지관리 주기에 자동 압축 처리한다.

행 이력의 변경 시퀀스를 체크포인트로 저장하면, 후속 파이프라인이 전체 테이블 대신 이전 실행 이후 바뀐 행만 처리할 수 있다.