64位linux下的Hadoop分布式集群怎么配置

這篇文章主要講解了“64位linux下的Hadoop分布式集群怎么配置”，文中的講解內(nèi)容簡單清晰，易于學(xué)習(xí)與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學(xué)習(xí)“64位linux下的Hadoop分布式集群怎么配置”吧！

        搭建Hadoop總的來說分為以下步驟：

1. 檢查集群機子環(huán)境，準(zhǔn)備合適的Hadoop部署文件，一般有以下內(nèi)容：

1. 檢查Java安裝（一般不用自帶的openJDK，具體原因暫不清楚）；

2. 自編譯Hadoop 64位部署文件（32bit Hadoop部署文件在x64機子上會有些小問題）

3. 分布式環(huán)境下對機子進行整理，羅列其ip（更改/ect/hosts文件需要），劃分其Master、Slaver職責(zé)（也可以劃分更細(xì)的ResourceManager、SecondNameNode等，一般來說每個機子都充分利用，均充當(dāng)DataNode）

4. “規(guī)劃”Hadoop文件夾結(jié)構(gòu)，包括安裝目錄、數(shù)據(jù)文件（hadoop_data）、臨時文件（hadoop_tmp）等；一般來說，建議一個hadoop x.x.0目錄下，分別設(shè)立hadoop x.x.0目錄（解壓的Hadoop部署文件存放位置）、hadoop-data（數(shù)據(jù)文件）、hadoop_tmp（臨時文件）；當(dāng)然這是筆者自己的實踐，如果不是“行業(yè)標(biāo)準(zhǔn)”，請勿見笑；
   

2. 配置運行環(huán)境，這里指的是除Hadoop部署文件中配置文件之外的與系統(tǒng)相關(guān)的配置：

1. 修改/etc/hosts文件；

2. 對各Master-Slaver設(shè)置ssh無密碼訪問；

3. 配置Hadoop參數(shù)：

1. 對{Hadoop_Home}/etc/hadoop/下的配置文件進行修改，包括hadoop-env.sh、yarn-env.sh、core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml，以及slaves文件（hadoop 2.2.0中無masters，參考 masters 和 slaves 文件）。

2. 初次安裝，參數(shù)盡量最小化配置，少配就行，之后集群優(yōu)化的工作多得是；

4. 配置支持lzo（這次正是太拘泥于細(xì)節(jié)，栽在了這個上面，其實分兩個步驟）：
   

1. 安裝lzo（因為集群需要原生lzo安裝目錄下的一些庫）；

2. 安裝hadoop-lzo（集群需要一些針對Hadoop的hadoop-lzo下的一些庫）；

3. lzop（可選，如果需要測試效果，可用該工具生成一些.lzo文件）
   

5. 啟動集群：

1. 格式化NameNode：${Hadoop_Home}/bin/hdfs namenode –format

2. 一鍵式啟動：${Hadoop_Home}/sbin/start-all.sh（該方法官方不建議使用，但還是能用：This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh）

3. 檢查進程狀況： jps（來自JDK的工具）

4. 細(xì)化步驟：
   

1. 開啟守護進程

1. [hadoop@hadoop01 ~]$ hadoop-daemon.sh start namenode

2. [hadoop@hadoop01 ~]$ hadoop-daemon.sh start datanode

2. 開啟yarn守護進程

1. [hadoop@hadoop01 ~]$ yarn-daemon.sh start resourcemanager

2. [hadoop@hadoop01 ~]$ yarn-daemon.sh start nodemanager

3. [hadoop@hadoop01 ~]$ start-yarn.sh

感謝各位的閱讀，以上就是“64位linux下的Hadoop分布式集群怎么配置”的內(nèi)容了，經(jīng)過本文的學(xué)習(xí)后，相信大家對64位linux下的Hadoop分布式集群怎么配置這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。這里是億速云，小編將為大家推送更多相關(guān)知識點的文章，歡迎關(guān)注！