溫馨提示×

溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊×
其他方式登錄
點(diǎn)擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》

hadoop2.x常用端口及定義方法有哪些

發(fā)布時間：2021-12-09 15:35:28 來源：億速云 閱讀：204 作者：小新 欄目：云計算

這篇文章主要為大家展示了“hadoop2.x常用端口及定義方法有哪些”，內(nèi)容簡而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領(lǐng)大家一起研究并學(xué)習(xí)一下“hadoop2.x常用端口及定義方法有哪些”這篇文章吧。

Hadoop集群的各部分一般都會使用到多個端口，有些是daemon之間進(jìn)行交互之用，有些是用于RPC訪問以及HTTP訪問。而隨著Hadoop周邊組件的增多，完全記不住哪個端口對應(yīng)哪個應(yīng)用，特收集記錄如此，以便查詢。

這里包含我們使用到的組件：HDFS, YARN, HBase, Hive, ZooKeeper:

組件節(jié)點(diǎn)默認(rèn)端口配置用途說明
HDFSDataNode50010dfs.datanode.addressdatanode服務(wù)端口，用于數(shù)據(jù)傳輸
HDFSDataNode50075dfs.datanode.http.addresshttp服務(wù)的端口
HDFSDataNode50475dfs.datanode.https.addresshttps服務(wù)的端口
HDFSDataNode50020dfs.datanode.ipc.addressipc服務(wù)的端口
HDFSNameNode50070dfs.namenode.http-addresshttp服務(wù)的端口
HDFSNameNode50470dfs.namenode.https-addresshttps服務(wù)的端口
HDFSNameNode8020fs.defaultFS接收Client連接的RPC端口，用于獲取文件系統(tǒng)metadata信息。
HDFSjournalnode8485dfs.journalnode.rpc-addressRPC服務(wù)
HDFSjournalnode8480dfs.journalnode.http-addressHTTP服務(wù)
HDFSZKFC8019dfs.ha.zkfc.portZooKeeper FailoverController，用于NN HA
YARNResourceManager8032yarn.resourcemanager.addressRM的applications manager(ASM)端口
YARNResourceManager8030yarn.resourcemanager.scheduler.addressscheduler組件的IPC端口
YARNResourceManager8031yarn.resourcemanager.resource-tracker.addressIPC
YARNResourceManager8033yarn.resourcemanager.admin.addressIPC
YARNResourceManager8088yarn.resourcemanager.webapp.addresshttp服務(wù)端口
YARNNodeManager8040yarn.nodemanager.localizer.addresslocalizer IPC
YARNNodeManager8042yarn.nodemanager.webapp.addresshttp服務(wù)端口
YARNNodeManager8041yarn.nodemanager.addressNM中container manager的端口
YARNJobHistory Server10020mapreduce.jobhistory.addressIPC
YARNJobHistory Server19888mapreduce.jobhistory.webapp.addresshttp服務(wù)端口
HBaseMaster60000hbase.master.portIPC
HBaseMaster60010hbase.master.info.porthttp服務(wù)端口
HBaseRegionServer60020hbase.regionserver.portIPC
HBaseRegionServer60030hbase.regionserver.info.porthttp服務(wù)端口
HBaseHQuorumPeer2181hbase.zookeeper.property.clientPortHBase-managed ZK mode，使用獨(dú)立的ZooKeeper集群則不會啟用該端口。
HBaseHQuorumPeer2888hbase.zookeeper.peerportHBase-managed ZK mode，使用獨(dú)立的ZooKeeper集群則不會啟用該端口。
HBaseHQuorumPeer3888hbase.zookeeper.leaderportHBase-managed ZK mode，使用獨(dú)立的ZooKeeper集群則不會啟用該端口。
HiveMetastore9083/etc/default/hive-metastore中export PORT=<port>來更新默認(rèn)端口
HiveHiveServer10000/etc/hive/conf/hive-env.sh中export HIVE_SERVER2_THRIFT_PORT=<port>來更新默認(rèn)端口
ZooKeeperServer2181/etc/zookeeper/conf/zoo.cfg中clientPort=<port>對客戶端提供服務(wù)的端口
ZooKeeperServer2888/etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn]，標(biāo)藍(lán)部分follower用來連接到leader，只在leader上監(jiān)聽該端口。
ZooKeeperServer3888/etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn]，標(biāo)藍(lán)部分用于leader選舉的。只在electionAlg是1,2或3(默認(rèn))時需要。

所有端口協(xié)議均基于TCP。

對于存在Web UI（HTTP服務(wù)）的所有hadoop daemon，有如下url：

/logs 
日志文件列表，用于下載和查看

/logLevel 
允許你設(shè)定log4j的日志記錄級別，類似于hadoop daemonlog

/stacks 
所有線程的stack trace，對于debug很有幫助

/jmx 
服務(wù)端的Metrics，以JSON格式輸出。

/jmx?qry=Hadoop:*會返回所有hadoop相關(guān)指標(biāo)。 
/jmx?get=MXBeanName::AttributeName 查詢指定bean指定屬性的值，例如/jmx?get=Hadoop:service=NameNode,name=NameNodeInfo::ClusterId會返回ClusterId。 
這個請求的處理類：org.apache.hadoop.jmx.JMXJsonServlet

而特定的Daemon又有特定的URL路徑特定相應(yīng)信息。

NameNode:http://:50070/

/dfshealth.jsp 
HDFS信息頁面，其中有鏈接可以查看文件系統(tǒng)

/dfsnodelist.jsp?whatNodes=(DEAD|LIVE) 
顯示DEAD或LIVE狀態(tài)的datanode

/fsck 
運(yùn)行fsck命令，不推薦在集群繁忙時使用！

DataNode:http://:50075/

/blockScannerReport 
每個datanode都會指定間隔驗(yàn)證塊信息

以上是“hadoop2.x常用端口及定義方法有哪些”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對大家有所幫助，如果還想學(xué)習(xí)更多知識，歡迎關(guān)注億速云行業(yè)資訊頻道！

向AI問一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場，如果涉及侵權(quán)請聯(lián)系站長郵箱：is@yisu.com進(jìn)行舉報，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手