일반 테이블 압축 속성 또는 Storage Information의 compressed 표시를 기준으로 Iceberg 파일 압축을 판단한다.
원본에서 Iceberg 전용 속성으로 변경한 뒤 정상 적용을 확인했다. 사용 중인 writer가 해당 속성을 지원하는지 확인해야 한다.
write.parquet.compression-codec=zstd를 설정하고 변경 이후 생성된 파일의 column chunk 압축을 확인한다.
확인 수준: 원본에서 해결 확인 · 실행 절차 보강
적용 조건: <...>와 예시 DB·테이블·경로·수치는 실제 확인값으로 바꾼다. 명령과 메뉴는 참고 문서를 바탕으로 보강한 예시이며 대상 시스템에서 실행하지 않았다. 버전·원인에 따른 분기와 남은 확인 사항은 아래에 명시한다.
SHOW TBLPROPERTIES db.iceberg_table;
ALTER TABLE db.iceberg_table
SET TBLPROPERTIES ('write.parquet.compression-codec'='zstd');
parquet-tools가 HDFS scheme을 지원하지 않으면 파일을 읽기 권한이 있는 로컬 임시 디렉터리에 복사한 뒤 metadata를 확인한다.hdfs dfs -get '<new-parquet-file>' '<local-review-directory>/'
parquet-tools meta '<local-review-directory>/<file-name>'
DESCRIBE FORMATTED에 있는 일반 compressed 플래그는 실제 Parquet codec 판정 기준으로 사용하지 않는다. 기존 데이터 재압축이 필요하면 별도 rewrite 작업으로 계획한다.설정 변경 뒤 새로 쓴 파일의 codec, 읽기 성공, 행 수를 확인한다. 예전 파일의 codec이 그대로 남는 것은 정상이다.