PySpark session을 반복 생성하면 DIR handle이 닫히지 않아 idle 상태에서도 FD 수가 감소하지 않는다.
원본에는 우회 적용 계획만 있고 최종 성공 확인은 없다. 공식 LIVY-763에 같은 FD 경로와 빈 archive 우회가 기록돼 있다.
LIVY-763 수정 포함 빌드로 갱신하거나 해당 구버전에서 livy.rsc.pyspark.archives를 빈 값으로 설정한다.
확인 수준: 추가 조사 해법 · 해당 케이스 적용 결과 미확인
적용 조건: <...>와 예시 DB·테이블·경로·수치는 실제 확인값으로 바꾼다. 명령과 메뉴는 참고 문서를 바탕으로 보강한 예시이며 대상 시스템에서 실행하지 않았다. 버전·원인에 따른 분기와 남은 확인 사항은 아래에 명시한다.
spark/python/lib 디렉터리인지 확인한다.lsof -p '<livy-pid>' | grep 'spark/python/lib'
ls '/proc/<livy-pid>/fd' | wc -l
""가 아닌 값이 비어 있는 설정이다.livy.rsc.pyspark.archives=
같은 횟수의 session 생성 후 DIR FD가 지속 증가하지 않고 PySpark import·실행도 정상인지 확인한다.