Hue PySpark Editor에서 Spark3 코드가 실행되지 않는 증상이 나타난다.
Spark3와 Livy for Spark3는 이미 설치·구성되어 있었으며 Python 실행기 설정을 추가한 뒤 정상 동작이 확인되었다.
Spark3의 spark-defaults.conf에 spark.pyspark.python=python3을 설정한다.
명령 예시는 문서 작성 시 보강한 것이며 대상 시스템에서 실행 검증하지 않았다.
- CM에서 Clusters → 대상 클러스터 → Spark 3 → Configuration으로 이동한다.
- Scope에서 Gateway 또는 해당 역할 그룹을 선택하고 Spark Client Advanced Configuration Snippet (Safety Valve) for spark-defaults.conf를 검색한다. 역할별 override가 있으면 실제 대상 역할의 값도 확인한다.
- 기존 값을 기록한 뒤 아래 내용을 반영한다. Safety Valve는 기존의 다른 설정을 지우지 않고 해당 키만 추가·수정한다.
spark.pyspark.python=python3
- Save Changes를 누르고 변경 사유를 기록한다. Instances → 대상 역할 선택 → Actions for Selected → Restart로 해당 역할을 재시작한다. 클라이언트 설정 변경 표시가 있으면 Actions → Deploy Client Configuration도 실행한다.
- 실패하거나 기존 기능에 영향이 있으면 같은 화면에서 이전 값을 복원하고 해당 역할을 재시작한다.
클라이언트 설정 배포 후 기존 Livy 세션을 종료하고 새 세션으로 시험한다.
Hue에서 새 PySpark/Livy 세션을 만들고 import sys; print(sys.version) 및 간단한 Spark action을 실행한다.