NiFi PutKudu가 큰 파일을 처리할 때 Heap OOM이 발생하는 증상이 나타난다.
PutKudu가 행별 처리 결과와 PendingRowErrors를 모으면서 Heap 사용량이 증가했다. 소스 수정도 수행되었으나 패치 전문이 없으므로 문서에서는 확인된 파일 분할 우회 방법만 남긴다.
대용량 입력 파일을 작은 단위로 Split한 뒤 PutKudu로 처리한다.
명령 예시는 문서 작성 시 보강한 것이며 대상 시스템에서 실행 검증하지 않았다.
splits 관계를 PutKudu로 연결하고 original·failure 관계의 처리 경로를 지정한다. 작은 입력으로 정상 동작을 확인한 뒤 실제 파일을 투입한다.분할 전후 총 행 수가 같고 PutKudu failure·PendingRowErrors 및 OOM이 재발하지 않는지 확인한다.