Hive Parquet 테이블이 Sqoop 원본 파일보다 크게 저장되는 증상이 나타난다.
Parquet 압축 설정을 명시한 뒤 원본과 Hive 테이블 크기 차이 문제가 해결되었다.
데이터를 쓰는 Hive 세션에서 SET parquet.compression=snappy;를 적용한다.
명령 예시는 문서 작성 시 보강한 것이며 대상 시스템에서 실행 검증하지 않았다.
<db>, <table> 등은 실제 식별자로 바꾼다.SET parquet.compression=snappy;
기존 파일은 SET만으로 다시 압축되지 않는다. INSERT OVERWRITE를 사용할 경우 실제 대상 파티션을 지정하고 기존 데이터 백업·복구 경로를 확보한다.
새로 쓴 시험 파티션의 파일 압축과 크기를 비교한다.