"HDFS 는 웨어하우스인가", "Snowflake 나 Redshift 는 분산 저장을 안 하는가" 같은 질문이 반복된다. 셋을 가르는 기준이 저장 기술이 아니라는 점을 짚지 않으면 계속 헷갈린다.
셋 다 분산 저장을 한다. 규모가 커지면 어느 제품이든 데이터를 여러 노드에 쪼개 둘 수밖에 없다. 따라서 "분산 저장 여부"는 구분 기준이 되지 못한다.
실제 기준은 스키마와 품질을 언제 확정하는가다.
| 데이터 웨어하우스 | 데이터 레이크 | 레이크하우스 | |
|---|---|---|---|
| 스키마 | 적재 시점에 확정 (schema-on-write) | 읽는 시점에 해석 (schema-on-read) | 열린 형식 위에 테이블 규격을 얹음 |
| 담는 것 | 정제된 구조화 데이터 | 원본 그대로. 로그·이미지·반정형 포함 | 둘 다 |
| 주 사용자 | 분석가, BI 도구 | 데이터 엔지니어, 데이터 과학자 | 양쪽 |
| 강점 | 질의 성능, 일관성, 거버넌스 | 저장 비용, 유연성 | 하나의 사본으로 둘을 겸함 |
| 약점 | 비정형에 약하고 비용이 비쌈 | 관리 안 하면 늪이 됨 | 성숙도가 상대적으로 낮음 |
HDFS 는 분산 파일 시스템이다. 레이크도 웨어하우스도 아니다. 그 위에 무엇을 올리느냐가 성격을 정한다.
HDFS 에 로그와 CSV 를 원본 그대로 쌓아 두면 그 구성은 데이터 레이크다. 같은 HDFS 위에 Hive 메타스토어로 스키마를 정의하고 Parquet 으로 정규화해 적재하면 그 부분은 웨어하우스처럼 동작한다. 즉 HDFS 는 둘 다의 저장 계층이 될 수 있는 기반이지, 그 자체로 분류되는 대상이 아니다.
클라우드에서는 같은 자리를 S3 · ADLS · GCS 가 맡는다. 요즘 새로 짓는 레이크는 HDFS 보다 오브젝트 스토리지를 고른다. 저장과 계산을 따로 늘릴 수 있고 운영 부담이 적기 때문이다.
Redshift · Snowflake · BigQuery · Synapse 가 대표적이고, 온프레미스에는 Teradata · Greenplum 계열이 있다.
이들도 내부적으로는 분산 저장을 한다. 다만 저장 구조를 사용자에게 드러내지 않고 SQL 인터페이스만 제공한다는 점이 HDFS 와 다르다. Snowflake 나 BigQuery 는 한 걸음 더 나가, 실제 파일은 오브젝트 스토리지에 두고 계산 노드를 따로 띄우는 저장·계산 분리 구조를 쓴다. 그래서 "웨어하우스는 분산 저장을 안 한다"는 말은 맞지 않고, "분산 저장을 감추고 SQL 만 노출한다"가 맞다.
레이크의 열린 파일 형식(Parquet 등) 위에 트랜잭션·스키마 변경·시점 조회 같은 테이블 기능을 얹은 구조다. 이를 가능하게 하는 것이 테이블 형식(table format)이다.
| 테이블 형식 | 주도 |
|---|---|
| Apache Iceberg | 넓은 진영. 여러 엔진이 지원 |
| Delta Lake | Databricks |
| Apache Hudi | 갱신·삭제가 잦은 적재에 강점 |
이 형식들은 파일 목록과 스냅숏을 메타데이터로 관리해, 같은 파일을 Spark · Trino · Flink 등 여러 엔진이 일관되게 읽게 한다. 데이터를 웨어하우스로 한 번 더 복사하지 않아도 되는 것이 핵심 이점이다.
Databricks 는 Spark 를 만든 팀이 세운 회사이고 Delta Lake 기반의 레이크하우스를 내세운다. 노트북 중심의 개발 경험과 ML 워크플로가 강점이고, 순수 BI 조회만 놓고 보면 전용 웨어하우스보다 손이 더 간다.
Snowflake 는 SQL 웨어하우스로 출발했고 저장·계산 분리와 운영 편의가 강점이다. 비정형 데이터와 ML 쪽은 나중에 붙인 영역이다.
둘을 함께 쓰는 구성도 흔하다. 원본 적재와 변환·ML 은 레이크(또는 Databricks)에서 하고, 정제된 결과만 웨어하우스에 올려 BI 도구가 보게 한다. Iceberg 같은 공용 형식을 쓰면 복사 없이 양쪽이 같은 테이블을 보는 구성도 가능하다.
"레이크를 만들었다"는 말이 "아무렇게나 쌓아도 된다"는 뜻이 되면 곧 아무도 못 쓰는 상태가 된다. 카탈로그·계보·보존 정책은 레이크에서 더 중요하다.
제품 이름으로 분류하려 들면 계속 어긋난다. 같은 제품이 구성에 따라 레이크로도 웨어하우스로도 쓰인다.