AmazonHttpClient·PoolingClientConnectionManager 경로에서 S3A HTTP connection 대기가 발생한다.
원본에는 S3A pool 오류와 별도의 metastore DB lock 오류가 함께 있었다. 이 문서는 S3A 오류에만 적용하며 DB lock 문제는 별도다.
S3A connection pool과 업로드 thread 수를 함께 조정하고 닫히지 않는 입력 스트림과 S3 지연을 해결한다.
확인 수준: 추가 조사 해법 · 해당 케이스 적용 결과 미확인
적용 조건: <...>와 예시 DB·테이블·경로·수치는 실제 확인값으로 바꾼다. 명령과 메뉴는 참고 문서를 바탕으로 보강한 예시이며 대상 시스템에서 실행하지 않았다. 버전·원인에 따른 분기와 남은 확인 사항은 아래에 명시한다.
AmazonHttpClient가 보이면 JDBC pool만 늘려 해결하려 하지 않는다.SET fs.s3a.connection.maximum;
SET fs.s3a.threads.max;
<property><name>fs.s3a.threads.max</name><value>32</value></property>
<property><name>fs.s3a.connection.maximum</name><value>96</value></property>
동일 S3 부하에서 pool 대기가 사라지고 처리량·메모리·연결 수가 안정적인지 확인한다.