hadoop的使用方法

這篇文章主要講解了“hadoop的使用方法”，文中的講解內(nèi)容簡單清晰，易于學(xué)習(xí)與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學(xué)習(xí)“hadoop的使用方法”吧！

框架簡介

Hadoop使用主/從（Master/Slave）架構(gòu)，主要角色有NameNode，DataNode，secondary NameNode，JobTracker，TaskTracker組成。

其中NameNode，secondary NameNode，JobTracker運(yùn)行在Master節(jié)點(diǎn)上，DataNode和TaskTracker運(yùn)行在Slave節(jié)點(diǎn)上。

1，NameNode

NameNode是HDFS的守護(hù)程序，負(fù)責(zé)記錄文件是如何分割成數(shù)據(jù)塊的，以及這些數(shù)據(jù)塊被存儲(chǔ)到哪些數(shù)據(jù)節(jié)點(diǎn)上。它的功能是對內(nèi)存及I/O進(jìn)行集中管理。

2，DataNode

集群中每個(gè)從服務(wù)器都運(yùn)行一個(gè)DataNode后臺(tái)程序，后臺(tái)程序負(fù)責(zé)把HDFS數(shù)據(jù)塊讀寫到本地文件系統(tǒng)。需要讀寫數(shù)據(jù)時(shí)，由NameNode告訴客戶端去哪個(gè)DataNode進(jìn)行具體的讀寫操作。

3，Secondary NameNode

Secondary NameNode是一個(gè)用來監(jiān)控HDFS狀態(tài)的輔助后臺(tái)程序，如果NameNode發(fā)生問題，可以使用Secondary NameNode作為備用的NameNode。

4，JobTracker

JobTracker后臺(tái)程序用來連接應(yīng)用程序與Hadoop，用戶應(yīng)用提交到集群后，由JobTracker決定哪個(gè)文件處理哪個(gè)task執(zhí)行，一旦某個(gè)task失敗，JobTracker會(huì)自動(dòng)開啟這個(gè)task。

5，TaskTracker

TaskTracker負(fù)責(zé)存儲(chǔ)數(shù)據(jù)的DataNode相結(jié)合，位于從節(jié)點(diǎn)，負(fù)責(zé)各自的task。

windows下使用hadoop

1.Cygwin下用Open SSH啟動(dòng)SSH服務(wù)

2.運(yùn)行命令

cd ./bin
./hadoop namenode -format
./start-all.sh
#啟動(dòng)成功后測試
./hadoop fs -mkdir In
./hadoop dfs -ls /

感謝各位的閱讀，以上就是“hadoop的使用方法”的內(nèi)容了，經(jīng)過本文的學(xué)習(xí)后，相信大家對hadoop的使用方法這一問題有了更深刻的體會(huì)，具體使用情況還需要大家實(shí)踐驗(yàn)證。這里是億速云，小編將為大家推送更多相關(guān)知識點(diǎn)的文章，歡迎關(guān)注！