您好,登錄后才能下訂單哦!
HDFS(NameNode)的聯(lián)盟:Federation,配置HDFS聯(lián)盟,多個NameNode節(jié)點(diǎn)同時存活,根據(jù)代理配置的路由規(guī)則處理客戶端不同的請求,實現(xiàn)負(fù)載均衡,同時也可以緩存更多的元信息,它與HA的區(qū)別在于,聯(lián)盟是多個NameNode都是active,可以存儲更多的元信息。
1、也有多個NameNode
2、跟HA的區(qū)別:這些NameNode都是active狀態(tài)
3、作用:
(1)緩存更多的元信息
(2)實現(xiàn)負(fù)載均衡
(1)規(guī)劃
NameNode:bigdata112 bigdata113
DataNode:bigdata114 bigdata115
(2)在bigdata112上配置安裝hadoop
(2.1)解壓
(2.2)配置hadoop-env.sh中的java環(huán)境
export JAVA_HOME=/training/jdk1.8.0_144
(2.3)配置core-site.xml
<!-- 指定hadoop臨時目錄 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/training/hadoop-2.7.3/tmp</value>
</property>
(2.4)配置mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
(2.5)配置yarn-site.xml
<property>
<name>yarn.resourcemanager.hostname</name>
<value>bigdata12</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
(2.6)配置slaves
bigdata14
bigdata15
(2.7)配置hdfs-site.xml
<!--指定hdfs的nameservice,聯(lián)盟是ns1,ns2-->
<property>
<name>dfs.nameservices</name>
<value>ns1,ns2</value>
</property>
<!-- ns1的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.ns1</name>
<value>bigdata112:9000</value>
</property>
<!-- ns1的http通信地址 -->
<property>
<name>dfs.namenode.http-address.ns1</name>
<value>bigdata112:50070</value>
</property>
<property>
<name>dfs.namenode.secondaryhttp-address.ns1</name>
<value>bigdata112:50090</value>
</property>
<!-- ns2的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.ns2</name>
<value>bigdata113:9000</value>
</property>
<!-- ns2的http通信地址 -->
<property>
<name>dfs.namenode.http-address.ns2</name>
<value>bigdata113:50070</value>
</property>
<property>
<name>dfs.namenode.secondaryhttp-address.ns2</name>
<value>bigdata113:50090</value>
</property>
<!--副本-->
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<!--權(quán)限-->
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
(2.8)配置core-site.xml,增加路由規(guī)則
<property>
<name>fs.viewfs.mounttable.xdl1.homedir</name>
<value>/home</value>
</property>
<property>
<name>fs.viewfs.mounttable.xdl1.link./movies</name>
<value>hdfs://bigdata114:9000/movies</value>
</property>
<property>
<name>fs.viewfs.mounttable.xdl1.link./mp3</name>
<value>hdfs://bigdata115:9000/mp3</value>
</property>
<property>
<name>fs.default.name</name>
<value>viewfs://xdl1</value>
</property>
注意:如果路由規(guī)則太多,可以單獨(dú)創(chuàng)建一個xml文件(mounTable.xml)
(3)將112上的hadoop拷貝到113、114、115上
(4)對NameNode進(jìn)行格式化
在112和113兩個namenode節(jié)點(diǎn)上格式化hdfs namenode -format -clusterId xdl1
(5)啟動
在112上啟動Hadoopstart-all.sh
(6)在DataNode節(jié)點(diǎn)上創(chuàng)建響應(yīng)的目錄
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報,并提供相關(guān)證據(jù),一經(jīng)查實,將立刻刪除涉嫌侵權(quán)內(nèi)容。