Hadoop NameNode是什么

這篇文章主要介紹“Hadoop NameNode是什么”，在日常操作中，相信很多人在Hadoop NameNode是什么問題上存在疑惑，小編查閱了各式資料，整理出簡(jiǎn)單好用的操作方法，希望對(duì)大家解答”Hadoop NameNode是什么”的疑惑有所幫助！接下來，請(qǐng)跟著小編一起來學(xué)習(xí)吧！

"運(yùn)行Hadoop"是什么意思？

這意味著在網(wǎng)絡(luò)分布的不同服務(wù)器上運(yùn)行一組守護(hù)進(jìn)程(daemons)。這些守護(hù)進(jìn)程有特殊的角色，一些僅存在于單個(gè)服務(wù)器上，一些則運(yùn)行在多個(gè)服務(wù)器上。

這些角色都有誰？

NameNode（名稱節(jié)點(diǎn)）

DataNode（數(shù)據(jù)節(jié)點(diǎn)）

Secondary NameNode（次名稱節(jié)點(diǎn)）

JobTracker（作業(yè)跟蹤節(jié)點(diǎn)）

TaskTracker（任務(wù)跟蹤節(jié)點(diǎn)）

分布式存儲(chǔ)采用了神馬結(jié)構(gòu)？

分布式存儲(chǔ)系統(tǒng)被稱為Hadoop文件系統(tǒng)，或簡(jiǎn)稱為HDFS。

Hadoop Distribution File System

Hadoop在分布式計(jì)算與分布式存儲(chǔ)中都采用了主/從(master/slave)結(jié)構(gòu)。

NameNode是什么，干啥的？

Hadoop守護(hù)進(jìn)程中最重要的一個(gè)。

NameNode位于HDFS的主端，它指導(dǎo)從端的DataNode執(zhí)行底層的I/O任務(wù)。

NamNode跟蹤文件如何被分割成文件塊，而這些塊又被哪些節(jié)點(diǎn)存儲(chǔ)，以及分布式文件系統(tǒng)的整體運(yùn)行狀態(tài)是否正常。

運(yùn)行NameNode消耗大量的內(nèi)存和I/O資源。因此，為了減輕機(jī)器的負(fù)債，駐留NameNode的服務(wù)器通常不會(huì)存儲(chǔ)用戶數(shù)據(jù)或者執(zhí)行MapReduce程序的計(jì)算任務(wù)。這意味著NameNode服務(wù)器不會(huì)同時(shí)是DataNode或者TaskTracker

不過NameNode的重要性也帶來了一個(gè)負(fù)面影響-Hadoop集群的單點(diǎn)失效。對(duì)于任何其他的守護(hù)進(jìn)程，如果它們所駐留的節(jié)點(diǎn)發(fā)生軟件或硬件失效，Hadoop集群很可能還會(huì)繼續(xù)平穩(wěn)運(yùn)行，不然你還可以快速重啟這個(gè)節(jié)點(diǎn)。但這樣的方法并不適用于NameNode。

DataNode是什么，干啥的？

每個(gè)從節(jié)點(diǎn)會(huì)駐留一個(gè)DataNode守護(hù)進(jìn)程，來執(zhí)行分布式文件系統(tǒng)的繁重工作-將HDFS數(shù)據(jù)塊讀取或者寫入到本地文件系統(tǒng)的實(shí)際文件中。

當(dāng)對(duì)HDFS文件進(jìn)行讀寫時(shí)，文件被分割為多個(gè)塊，由NameNode告知客戶端每個(gè)數(shù)據(jù)塊駐留在哪個(gè)DataNode?？蛻舳酥苯优cDataNode守護(hù)進(jìn)程通信，來處理與數(shù)據(jù)塊相對(duì)應(yīng)的本地文件。而后，DataNode會(huì)與其他DataNode進(jìn)行通信，復(fù)制這些數(shù)據(jù)塊以實(shí)現(xiàn)冗余。

NameNode和DataNode交互？

在HDFS中交互，NameNode跟蹤文件的元數(shù)據(jù)。

NameNode持有的文件的元數(shù)據(jù)是？

描述系統(tǒng)中所包含的文件以及每個(gè)文件如何被分割為數(shù)據(jù)塊。DataNode提供數(shù)據(jù)塊的備份存儲(chǔ)，并持續(xù)不斷地向NameNode報(bào)告，以保持元數(shù)據(jù)為最新狀態(tài)。

DataNode上的文件存儲(chǔ)是怎么存的？

在HDFS上文件是被分成數(shù)據(jù)塊存儲(chǔ)的，默認(rèn)大?。?4MB），由NameNode指定這些文件塊存儲(chǔ)在哪些DataNode中，每個(gè)文件塊默認(rèn)有3個(gè)副本，確保如果一個(gè)DataNode垮掉，數(shù)據(jù)不會(huì)丟失。初始化時(shí)，每個(gè)DataNode將當(dāng)前存儲(chǔ)的數(shù)據(jù)塊告知NameNode，初始化完成之后，DataNode也會(huì)不斷的更新本地信息給NameNode，并接收指令。

Secondary NameNode是干什么的？

Secondary NameNode （SNN）是一個(gè)用于監(jiān)測(cè)HDFS集群狀態(tài)的輔助守護(hù)進(jìn)程。就像NameNode一樣，每個(gè)集群有一個(gè)SNN，它通常也獨(dú)占一臺(tái)服務(wù)器，該服務(wù)器不會(huì)運(yùn)行其他的DataNode或TaskTacker守護(hù)進(jìn)程。SNN與NameNode的不同在于它不接收或記錄HDFS的任何實(shí)時(shí)變化。相反，它與NameNode通信，根據(jù)集群所配置的時(shí)間間隔獲取HDFS元數(shù)據(jù)快照。

如前所述，NameNode是Hadoop集群的單一故障點(diǎn)，而SNN的快照可以有助于減少停機(jī)的時(shí)間并降低數(shù)據(jù)丟失的風(fēng)險(xiǎn)。然而，NameNode的失效處理需要人工干預(yù)，即手動(dòng)地重新配置集群，將SNN用作主要得NameNode。

JobTracker是什么？

JobTracker守護(hù)進(jìn)程是應(yīng)用程序和Hadoop之間的紐帶。

JobTracker做了些什么？

一旦提交代碼到集群上，JobTracker就會(huì)確定執(zhí)行計(jì)劃，包括決定處理哪些文件、為不同的任務(wù)分配節(jié)點(diǎn)以及監(jiān)控所有任務(wù)的運(yùn)行。如果任務(wù)失敗，JobTacker將自動(dòng)重啟任務(wù)，但所分配的節(jié)點(diǎn)可能會(huì)不同，同時(shí)受到預(yù)定義的重試次數(shù)限制。

一個(gè)Hadoop集群有幾個(gè)JobTracker的守護(hù)進(jìn)程？

每個(gè)Hadoop集群只有一個(gè)JobTracker守護(hù)進(jìn)程，它通常運(yùn)行在服務(wù)器集群的主節(jié)點(diǎn)上。

TaskTracker是什么？

與存儲(chǔ)的守護(hù)進(jìn)程一樣，計(jì)算的守護(hù)進(jìn)程也遵循主/從架構(gòu)：JobTracker作為主節(jié)點(diǎn)，檢測(cè)MapReduce作業(yè)的整個(gè)執(zhí)行過程，同時(shí)，TaskTracker管理各個(gè)任務(wù)在每個(gè)從節(jié)點(diǎn)上的執(zhí)行情況。

每個(gè)TaskTracker負(fù)責(zé)執(zhí)行由JobTracker分配的單項(xiàng)任務(wù)。雖然每個(gè)從節(jié)點(diǎn)上僅有一個(gè)TaskTracker，但每個(gè)TaskTracker可以生產(chǎn)多個(gè)JVM(Java虛擬機(jī))來并行地處理許多map或reduce任務(wù)。

TaskTracker的一個(gè)職責(zé)是持續(xù)不斷地與JobTracker通信。如果JobTracker在指定得時(shí)間內(nèi)沒有收到來自TaskTracker的"心跳"，它會(huì)假定TaskTracker已經(jīng)崩潰了，進(jìn)而重新提交相應(yīng)的任務(wù)到集群中的其他節(jié)點(diǎn)。

JobTracker是如何調(diào)用TaskTracker的？

JobTracker和TaskTracker的交互，當(dāng)客戶端調(diào)用JobTracker來啟動(dòng)一個(gè)數(shù)據(jù)處理作業(yè)時(shí)，JobTacker會(huì)將工作切分，并分配不同的map和reduce任務(wù)到集群中的每個(gè)TaskTracker上。

一個(gè)典型的Hadoop拓?fù)浣Y(jié)構(gòu)特點(diǎn)是？

在主節(jié)點(diǎn)上運(yùn)行NameNode和JobTracker的守護(hù)進(jìn)程，并使用獨(dú)立的節(jié)點(diǎn)運(yùn)行SNN以防主節(jié)點(diǎn)失效。在小型集群中，SNN也可以駐留在某一個(gè)從節(jié)點(diǎn)上，而在大型集群中，連NameNode和JobTracker都會(huì)分別駐留在兩臺(tái)機(jī)器上。每個(gè)從節(jié)點(diǎn)均駐留一個(gè)DataNode和TaskTracker，從而在存儲(chǔ)數(shù)據(jù)的同一節(jié)點(diǎn)上執(zhí)行任務(wù)。

到此，關(guān)于“Hadoop NameNode是什么”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識(shí)，請(qǐng)繼續(xù)關(guān)注億速云網(wǎng)站，小編會(huì)繼續(xù)努力為大家?guī)砀鄬?shí)用的文章！