호스트 20대 가운데 한 대에서만 Cloudera Manager 의 Certificate Expiration 상태 점검이 해제 상태로 표시된다.
Test is disabled because no metrics are being reported.
likely certificates are not in use.
Test alert on Cloudera Manager Agent certificate close to expiry.
이 문구는 인증서가 만료됐다는 뜻이 아니라 그 호스트에서 Agent 메트릭이 전혀 올라오지 않아 인증서 사용 여부를 판단할 수 없어 점검 자체를 끈 상태라는 뜻이다. 즉 인증서는 원인이 아니라 결과다.
메트릭이 끊기는 실제 원인은 대개 다음 네 가지다.
| 상황 | 확인 지점 |
|---|---|
cloudera-scm-agent 가 죽었거나 기동 실패 |
systemctl status cloudera-scm-agent |
| Agent ↔ CM Server 통신 실패 (방화벽 · TLS · 인증서 손상) | Agent 로그의 handshake · connect 오류 |
| 호스트가 이미지 복제본이라 Agent 식별자가 겹침 | CM Hosts 에 같은 이름이 둘로 보이는지 |
| CM Server 와 시간이 크게 어긋남 | timedatectl |
Hosts 목록에서 다음을 본다.
| 항목 | 정상 | 비정상일 때의 의미 |
|---|---|---|
| Health | Good · Concerning | Unknown 이면 Agent 통신 두절 |
| Last Heartbeat | 수 초 ~ 수 분 | N/A 이거나 오래되면 Agent 미등록 |
| Agent Version | 값이 있음 | 비어 있으면 등록 자체가 안 된 상태 |
| Roles | 1개 이상 | 0개면 잔존 호스트일 수 있음 |
Health 가 Unknown 이고 Last Heartbeat 가 비어 있으면 Agent 재등록 대상으로 판단한다. Certificate Expiration 이 해제로 보이는 것은 그 결과이므로 인증서부터 손대지 않는다.
systemctl status cloudera-scm-agent
tail -200 /var/log/cloudera-scm-agent/cloudera-scm-agent.log
grep -E 'server_host|server_port|use_tls' /etc/cloudera-scm-agent/config.ini
hostname -f
timedatectl
hostname -f 결과는 CM 에 등록된 호스트 이름과 정확히 같아야 한다. 다르면 재등록해도 붙지 않는다. Agent 는 CM Server 의 7182 포트로 heartbeat 를 보내므로 그 경로가 막혀 있지 않은지도 확인한다.
재기동만으로 복구되지 않으면 Agent 식별자와 인증서를 지우고 다시 붙인다.
systemctl stop cloudera-scm-agent
rm -f /var/lib/cloudera-scm-agent/uuid
rm -f /var/lib/cloudera-scm-agent/cm_guid
rm -rf /var/lib/cloudera-scm-agent/agent-cert
systemctl start cloudera-scm-agent
tail -f /var/log/cloudera-scm-agent/cloudera-scm-agent.log
/var/lib/cloudera-scm-agent/ 를 통째로 지우지 않는다. 이 디렉터리에는 활성 파셀 정보와 프로세스 디렉터리가 함께 들어 있어 전부 지우면 그 호스트의 역할이 모두 다시 배포될 때까지 기동되지 않는다. 지우는 대상은 호스트 식별자(uuid), CM 식별자(cm_guid), Agent 인증서(agent-cert) 로 한정한다.
기동 후 CM Hosts 화면에서 해당 호스트의 Last Heartbeat 가 갱신되는지 확인한다. 같은 호스트 이름이 둘로 보이면 heartbeat 가 없는 쪽을 제거한다.
Last Heartbeat 가 갱신되고 Health 가 Good 또는 Concerning 으로 바뀌며, Certificate Expiration 점검이 해제 상태에서 정상 판정으로 돌아오는지 확인한다. 이 점검이 다시 동작한다는 것 자체가 메트릭 수집이 복구됐다는 신호다.
cm_guid 불일치로 붙지 않는 경우.