Spark가 이전 Hadoop 설정·배포 JAR 또는 Python 경로를 참조한다.
이 절차는 stale 설정 또는 framework 불일치가 확인된 경우다. 성능 문제 전체를 같은 원인으로 보지 않는다.
현재 cluster의 client configuration과 framework를 재배포하고 새 세션에 올바른 HADOOP_CONF_DIR·Python을 적용한다.
확인 수준: 추가 조사 해법 · 해당 케이스 적용 결과 미확인
적용 조건: <...>와 예시 DB·테이블·경로·수치는 실제 확인값으로 바꾼다. 명령과 메뉴는 참고 문서를 바탕으로 보강한 예시이며 대상 시스템에서 실행하지 않았다. 버전·원인에 따른 분기와 남은 확인 사항은 아래에 명시한다.
spark-submit --version
printf '%s\n' "$HADOOP_CONF_DIR"
test -r "$HADOOP_CONF_DIR/core-site.xml"
새 ApplicationMaster와 Executor가 현재 cluster에 등록되고 간단한 HDFS 읽기/쓰기와 Spark action이 성공하는지 확인한다.