0023-HOSTS配置問題導(dǎo)致集群異常故障分析

溫馨提示：要看高清無碼套圖，請使用手機(jī)打開并單擊圖片放大查看。

1.問題現(xiàn)象

Hadoop集群HDFS、YARN、Hive等服務(wù)出現(xiàn)異常告警

重啟集群異常告警任然存在大量告警

Cluster 1

HDFS

可用空間抑制...

NameNode 運(yùn)行狀況抑制...

HDFS 金絲雀抑制...

DataNode (ip-172-31-10-118) 日志文件

NameNode 連接抑制...

DataNode (ip-172-31-5-190) 日志文件

NameNode 連接抑制...

DataNode (ip-172-31-9-33) 日志文件

NameNode 連接抑制...

Hive Metastore Server (ip-172-31-6-148)  日志文件

Hive Metastore Canary 抑制...

Impala Daemon (ip-172-31-10-118)  日志文件

進(jìn)程狀態(tài)抑制...

Impala Daemon (ip-172-31-5-190)  日志文件

進(jìn)程狀態(tài)抑制...

Impala Daemon (ip-172-31-9-33)  日志文件

進(jìn)程狀態(tài)抑制...

NameNode (ip-172-31-6-148) 日志文件

安全模式狀態(tài)抑制...

Server (ip-172-31-5-190) 日志文件

Quorum 成員資格抑制...

Zookeeper服務(wù)“Quorum 成員資格”告警

CM節(jié)點上的所有服務(wù)的角色日志不能正常通過ClouderaManager控制臺查看，顯示如下錯誤：

2.問題復(fù)現(xiàn)

集群環(huán)境：

• CDH5.12.0
• 集群服務(wù)（HDFS/Hive/YARN/Zookeeper/Hue/Impala/Kudu/Oozie）

1.還原現(xiàn)場配置，所有服務(wù)器hosts配置文件配置

127.0.0.1   ip-172-31-10-156.ap-southeast-1.compute.internal
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

172.31.8.141 ip-172-31-8-141.ap-southeast-1.compute.internal
172.31.1.175 ip-172-31-1-175.ap-southeast-1.compute.internal
172.31.9.186 ip-172-31-9-186.ap-southeast-1.compute.internal
172.31.10.156 ip-172-31-10-156.ap-southeast-1.compute.internal

配置中的第一行配置為多出的異常配置。

在主機(jī)上ping自己的hostname顯示

2.重啟集群服務(wù)

CM出現(xiàn)如下大量告警

Cluster 1

HDFS
可用空間抑制...
    NameNode 運(yùn)行狀況抑制...
    HDFS 金絲雀抑制...
DataNode (ip-172-31-10-118)  日志文件
NameNode 連接抑制...
DataNode (ip-172-31-5-190)  日志文件
NameNode 連接抑制...
DataNode (ip-172-31-9-33)  日志文件
NameNode 連接抑制...
    Hive Metastore Server (ip-172-31-6-148)  日志文件
Hive Metastore Canary 抑制...
HiveServer2 (ip-172-31-6-148)  日志文件
進(jìn)程狀態(tài)抑制...
    Impala Daemon (ip-172-31-10-118)  日志文件
進(jìn)程狀態(tài)抑制...
    Impala Daemon (ip-172-31-5-190)  日志文件
進(jìn)程狀態(tài)抑制...
    Impala Daemon (ip-172-31-9-33)  日志文件
進(jìn)程狀態(tài)抑制...
NameNode (ip-172-31-6-148)  日志文件
安全模式狀態(tài)抑制...
Server (ip-172-31-5-190)  日志文件
Quorum 成員資格抑制...
    ip-172-31-10-118
代理狀態(tài)抑制...
    ip-172-31-5-190
代理狀態(tài)抑制...
    ip-172-31-9-33
代理狀態(tài)抑制...

Zookeeper與現(xiàn)場告警一致，且Zookeeper服務(wù)如下狀態(tài)

在查看CM節(jié)點的日志出現(xiàn)如下異?！癈onnection refused”

Host列表監(jiān)控狀態(tài)

3.問題原因

集群在運(yùn)行正常的情況下，所有節(jié)點的hosts文件被修改為127.0.0.1導(dǎo)致

4.解決方法

修改所有節(jié)點的hosts文件，將127.0.0.1行配置注釋

重啟集群服務(wù)恢復(fù)正常；

醉酒鞭名馬，少年多浮夸！ 嶺南浣溪沙，嘔吐酒肆下！摯友不肯放，數(shù)據(jù)玩的花！

溫馨提示：要看高清無碼套圖，請使用手機(jī)打開并單擊圖片放大查看。

推薦關(guān)注Hadoop實操，第一時間，分享更多Hadoop干貨，歡迎轉(zhuǎn)發(fā)和分享。

原創(chuàng)文章，歡迎轉(zhuǎn)載，轉(zhuǎn)載請注明：轉(zhuǎn)載自微信公眾號Hadoop實操