CDSW에서 잘못된 Hadoop 설정 때문에 SparkSession 생성이 실패하는 증상이 나타난다.
기존 설정의 LDAP bind password가 마스킹된 값으로 들어 있었고 정상 설정 디렉터리로 바꾼 뒤 PySpark·Spark 세션 실행이 확인되었다.
프로젝트 환경 변수에 HADOOP_CONF_DIR=/etc/spark/conf/yarn-conf를 설정해 정상 core-site.xml을 참조하게 한다.
명령 예시는 문서 작성 시 보강한 것이며 대상 시스템에서 실행 검증하지 않았다.
HADOOP_CONF_DIR의 기존 값을 기록한다./etc/spark/conf/yarn-conf로 설정하고 저장한다. 새 세션에서 실제 파일을 확인한다.printf '%s
' "$HADOOP_CONF_DIR"
test -r "$HADOOP_CONF_DIR/core-site.xml"
SparkSession 생성과 HDFS 접근을 실제 작업 사용자로 확인한다.