Databricks 는 데이터 엔지니어링, 데이터 과학, 기계 학습 및 분석을 지원하는 클라우드 기반 데이터 플랫폼이다. 대규모 데이터 처리를 위한 Apache Spark 를 기반으로 하며, 데이터 파이프라인, 분석, AI 모델 개발, 데이터 시각화 등 다양한 작업을 통합된 환경에서 수행할 수 있도록 설계되어 있다.
컴퓨트를 만들 때 고르는 실행 환경(DBR)이다. Spark 버전이 묶여 있다. 운영 워크로드는 LTS 를 고른다[1].
| DBR | Spark | 출시 | 지원 종료 |
|---|---|---|---|
| 18 LTS | 4.1.0 | 2026-06-10 | 2029-06-10 |
| 17.3 LTS | 4.0.0 | 2025-10-22 | 2028-10-22 |
| 16.4 LTS | 3.5.2 | 2025-05-09 | 2028-05-09 |
| 15.4 LTS | 3.5.0 | 2024-08-19 | 2027-08-19 |
| 14.3 LTS | 3.5.0 | 2024-02-01 | 2027-02-01 |
| 19 (비 LTS) | 4.2.0 | 2026-06-15 | LTS 전환 시 결정 |
컴퓨트 접근 모드 이름이 바뀌었다 — 예전 Shared 는 Standard, Single user 는 Dedicated 다. 기본값 Auto 는 ML 런타임 · GPU · DBR 14.3 미만이면 Dedicated, 그 밖에는 Standard 를 고른다[2].
%fs · %sh · %sql), dbutils.dbutils.secrets.get() 으로 꺼낸 값은 노트북에서 print 해도 자동으로 [REDACTED] 로 가려진다. 한 글…/Volumes/<catalog>/<schema>/<volume>/... 형태의 POSIX 경로로…Databricks Runtime release notes versions and compatibility — 2026-09-20 확인. https://docs.databricks.com/aws/en/release-notes/runtime/ ↩︎
Compute configuration reference — 2026-09-20 확인. https://docs.databricks.com/aws/en/compute/configure ↩︎