hadoop2.7.1環(huán)境的搭建方法

這篇文章主要介紹“hadoop2.7.1環(huán)境的搭建方法”，在日常操作中，相信很多人在hadoop2.7.1環(huán)境的搭建方法問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”hadoop2.7.1環(huán)境的搭建方法”的疑惑有所幫助！接下來，請跟著小編一起來學(xué)習(xí)吧！

在老板的支持下，陸續(xù)劃拉到了10幾臺機器，綁定了固定IP，工作之余開始了Hadoop之旅。將要點記錄下來，以備查閱。

硬件構(gòu)成：

軟件構(gòu)成：

整體架構(gòu)：

DFS和Yarn構(gòu)成：

各個節(jié)點需要的配置：

調(diào)試hadoop節(jié)點用到的命令：

sbin/hadoop-daemon.sh start journal
bin/hdfs namenode format
sbin/hadoop-daemon.sh start namenode
bin/hdfs namenode -bootstrapStandby
sbin/hadoop-daemon.sh start namenode
bin/hdfs haadmin -transitionToActive nn1
sbin/hadoop-daemons.sh start datanode
sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager

調(diào)試完畢后的集群啟動/關(guān)閉命令：

sbin/start-dfs.sh
sbin/start-yarn.sh
bin/hdfs haadmin -transitionToActive nn1

sbin/stop-dfs.sh
sbin/stop-yarn.sh

DFS管理界面：

YARN管理界面：

正在把150G日志手動導(dǎo)入DFS，暫時還沒用上Flume，后面逐步集成進來。

MR運行結(jié)果存入DFS或者灌入MySQL都試驗成功，回頭整理。

Yarn的資源隊列臨時配置了一個，現(xiàn)在只是能跑，還不明白咋回事，抽時間繼續(xù)研究。

在4個data node節(jié)點上（昨晚才湊到9節(jié)點）對15G日志跑一個過濾useragent的MR，需要8分鐘，這樣算下來需要1天時間才能對1個月的日志解析完，孰能忍！性能優(yōu)化需要陸續(xù)展開。

到此，關(guān)于“hadoop2.7.1環(huán)境的搭建方法”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識，請繼續(xù)關(guān)注億速云網(wǎng)站，小編會繼續(xù)努力為大家?guī)砀鄬嵱玫奈恼拢?/p>