현행 버전: Hive 4.2.1 (2026-08-24) — Hadoop 3.4.1 · Java 21 이상 · Tez 0.10.5. 3.x 는 2024-10-08 EOL.
Apache Hive는 방대한 규모에서 분석할 수 있는 내결함성을 갖춘 분산 데이터 웨어하우스 시스템이다. 데이터 웨어하우스는 정보에 입각한 데이터 중심 의사 결정을 내릴 수 있도록 쉽게 분석할 수 있는 정보의 중앙 스토어를 제공하며, 사용자가 SQL를 사용하여 페타바이트 데이터를 읽고 쓰고 관리할 수 있도록 한다.
쉽게 이해하면 HDFS에 저장된 데이터에 대해 SQL을 통해 접근하고자 만들어진 기술이다. Read On Schema SQL 엔진. 근래에는 trino 등이 사용되며 Hive SQL 엔진보다는 Hive Metastore를 활용하는 추세이다.
- 바이너리 내려받기부터 설정 파일 · 스키마 생성 · 구동 스크립트까지.
- 메타데이터 저장소의 역할과 standalone Metastore 설치 절차.
- embedded · local · remote 세 방식의 차이와 Hive 전체 패키지 대신 standalone 을 쓸 때.
hive-site.xml 의 접속 정보를 찾고 스키마 초기화 계정과 런타임 계정을 나눈다.
- JDBC · ODBC 접속을 받는 서비스. 기본 포트와 상태 확인.
- Tez 를 빌드해 HDFS 에 올리고 실행 엔진으로 붙이는 절차.
- HiveServer2 프로토콜을 Spark 로 제공하는 서비스. 설치와 하위 문서.
- Metastore · HiveServer2 의 systemd 유닛 파일.
- LDAP error code 49 읽는 법과 jaydebeapi · JDBC 드라이버에서 걸리는 지점.
- 인증 방식별 접속 코드와 pandas 연동, 자주 걸리는 의존성 문제.
- 두 테이블의 차이와
external.table.purge · TRANSLATED_TO_EXTERNAL 동작.
- 구분자와 따옴표가 섞인 CSV 를 OpenCSVSerde 로 읽는 정의.
- PK · NOT NULL 같은 제약이 외부 테이블에서 어디까지 허용되는지.
- 트랜잭션 테이블을 만드는 조건과 compaction 을 신경 써야 하는 이유.
- Iceberg 테이블 생성 · 메타데이터 조회와 Hive 에 없는 명령.
MSCK REPAIR 와 파티션 직접 등록, 엔진별 차이.
- Hive · Impala · Spark · NiFi 중 어느 경로로 바꿀지 고르는 기준.
- LOCATION 을 지정해 데이터베이스를 만들 때 생기는 HDFS · Ranger 권한 문제.
- COUNT 가 실제 스캔을 건너뛰는 이유와 통계 수집 · 삭제.
- 인덱스가 제거된 뒤의 대체 수단과 파티션 프루닝이 깨지는 패턴.
- 세션 단위
SET 과 CONCATENATE 로 작은 파일을 줄이는 방법.
- 하둡 클라이언트 라이브러리를 찾지 못해 기동이 멈추는 경우.
- 컴파일 단계에서 메모리를 먹는 이유와 클라이언트 힙 늘리기.
- 파티션 미등록 · 통계 오류 · 경로 불일치를 순서대로 가른다.
- Input path does not exist 메시지가 실제로 무엇을 가리키는지와 우회.
- Vertex failed 아래에 숨은 INIT_FAILURE · 클래스 누락 · 메모리 부족을 갈라 본다.
- Metastore 가 스키마를 읽지 못하는 예외와 월 단위 버킷 수식 메모.
- 접속 URL 을 매번 길게 치는 것이 번거롭다. Beeline 에도 설정 파일이 있는지, 클러스터에 이미 깔린 Beeline 은 어디에서 왔는…
- 트랜잭셔널(ACID) 테이블의 HDFS 디렉터리를 통째로 복사해 다른 클러스터의 같은 이름 테이블 경로에 넣었는데 조회하면 0 건이 나온다.…
DROP TABLE 을 했을 때 데이터 파일이 휴지통으로 가는지 즉시 사라지는지가 테이블 종류와 옵션에 따라 다르다. 실수로 지운 뒤 `/…
- 보고서용 질의에서 열 별칭을 한글이나 공백이 들어간 문구로 주고 싶다. 어떤 클러스터에서는 되는데 다른 클러스터에서는 다음이 난다.
NOTIFICATION_LOG 는 메타스토어의 DDL 이벤트를 쌓는 테이블이다. 테이블 생성, 파티션 추가·삭제 같은 변경이 한 건씩 기록…
- HDFS 에서 파티션 디렉터리를 직접 지웠는데
SHOW PARTITIONS 에는 그대로 남아 있다. 디렉터리 이름을 보면 `dt=2022-…
- 에포크 초가 담긴
BIGINT 열을 시각으로 바꾸려고 캐스팅했더니 막힌다.
STORED AS 에 올 수 있는 값은 TEXTFILE · SEQUENCEFILE · RCFILE · ORC · `PARQU…
- Hive 쿼리를 던지면 콘솔에
dag_1698...._0001_1 같은 DAG ID 만 찍히고 끝난다. yarn logs 는 애플리케이…
- Spark 잡에서 파티션 테이블에 적재할 때 다음과 같이 끝난다.