Hadoop集群該怎么搭建

本篇內容主要講解“Hadoop集群該怎么搭建”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實用性強。下面就讓小編來帶大家學習“Hadoop集群該怎么搭建”吧!

一、Hadoop集群的基本概念。

Hadoop的運行模式分為3種：本地運行模式，偽分布運行模式，集群運行模式，相應概念如下：

1、獨立模式即本地運行模式（standalone或local mode）無需運行任何守護進程（daemon），所有程序都在單個JVM上執(zhí)行。由于在本機模式下測試和調試MapReduce程序較為方便，因此，這種模式適宜用在開發(fā)階段。單機模式是Hadoop的默認模式。當首次解壓Hadoop的源碼包時，Hadoop無法了解硬件安裝環(huán)境，便保守地選擇了最小配置。在這種默認模式下所有3個XML文件均為空。當配置文件為空時，Hadoop會完全運行在本地。因為不需要與其他節(jié)點交互，單機模式就不使用HDFS，也不加載任何Hadoop的守護進程。該模式主要用于開發(fā)調試MapReduce程序的應用邏輯。

2、偽分布運行模式偽分布:如果Hadoop對應的Java進程都運行在一個物理機器上,稱為偽分布運行模式。

3、集群模式如果Hadoop對應的Java進程運行在多臺物理機器上,稱為集群模式。

二、Hadoop集群搭建步驟。

1.服務器準備

本案例使用虛擬機服務器來搭建HADOOP集群，所用軟件及版本：

Vmware 14.0

Centos 6.7 64bit

2.配置網(wǎng)卡

終端輸入 vi /etc/sysconfig/neywork-scripts/ifcfg-eth0

輸入IP地址，子網(wǎng)掩碼，網(wǎng)卡，域名服務器

3.測試網(wǎng)卡配置是否正確

重啟網(wǎng)絡服務 輸入 service network restart

輸入 ping www.baidu.com 如果能ping通，則網(wǎng)卡配置成功

4.修改主機名

輸入 vi /etc/sysconfig/network ,修改主機名

5.關閉防火墻

service iptables stop 僅僅關閉一次

chkconfig iptables off 永久關閉

6.安裝ssh客戶端

執(zhí)行yum install -y openssh-clients

7.克隆服務器

關閉虛擬機，右鍵 > 管理 > 克隆，選擇完整克隆

為克隆好的機子配置網(wǎng)卡，執(zhí)行 vi /etc/udev/rules.d/70-persistent-net.rules

執(zhí)行 vi /etc/sysconfig/neywork-scripts/ifcfg-eth0，修改IP地址即可

執(zhí)行 vi /etc/sysconfig/network ,修改主機名為hadoop02

重復上述步驟，建立hadoop03服務器

重啟每部機子，使網(wǎng)卡生效

8.hosts映射

執(zhí)行 vi /etc/hosts,輸入以下內容，在Windows的 C:\Windows\System32\drivers\etc\hosts下也輸入以下內容

9.ssh鏈接及免密登錄

在hadoop01服務器上輸入 ssh hadoop02,測試ssh連接是否成功，

在hadoop01服務器上新建 vi Auto.sh文件，文件中寫入免密腳本

執(zhí)行腳本即可實現(xiàn)免密登錄(只是單項免密)

10.安裝JDK

1：把JDK安裝包上傳到linux

2 : 解壓文件到安裝目錄 tar -zxvf /root/jdk-8u102-linux-x64.tar.gz -C /usr/local/

3 : 配置環(huán)境變量 vi /etc/profile,在末尾輸入

export PATH=$PATH:$JAVA_HOME/bin

11.安裝Hadoop

1 : 上傳hadoop安裝包

2 : 解壓文件到安裝目錄 tar -zxvf /root/hadoop-2.8.3.tar.gz -C /usr/local/

3 : 進入hadoop安裝目錄下，cd hadoop-2.8.3/etc/hadoop下開始配置文件

4 : 執(zhí)行vi /etc/hadoop/hadoop-env.sh JAVA_HOME在哪里

The java implementation to use.

export JAVA_HOME=/usr/local/jdk1.7.0_51

export JAVAHOME改為絕對路徑

5 : 執(zhí)行vi core-site.xml

6 : vi hdfs-site.xml

7 : 執(zhí)行改名cp mapred-site.xml.tmp* mapred-site.xml

vi mapred-site.xml

8 : vi yarn-site.xml

9 : vi salves

10 : 配置環(huán)境變量 vi /etc/profile

12.另外兩臺服務器的JDK和hadoop安裝

把第一臺安裝好的jdk和hadoop以及配置文件發(fā)送給另外兩臺

hosts文件 scp -r /etc/hosts/ hadoop02:/etc/

jdk安裝后的文件夾 scp -r /usr/local/jdk1.8.0_102 hadoop02:/usr/local/

Hadoop安裝后的文件夾scp -r /usr/local/hadoop-2.8.3 hadoop02:/usr/local/

/etc/profile 配置文件 scp -r /etc/profile hadoop02:/etc/

hadoop03做同樣操作

13.啟動Hadoop集群

初始化HDFS(在hadoop01進行操作)

bin/hadoop namenode -format

啟動HDFS

啟動YARN

hadoop集群搭建成功！

三、Hadoop集群搭建注意事項。

在初次搭建hadoop的過程難免會出現(xiàn)一些問題。諸如集群突然顯示虛擬機出現(xiàn)了問題，導致某一個DataNode數(shù)據(jù)丟失 并且無法通過Xshell遠程訪問其他的DataNode 主機和虛擬機無法互相ping通，如果網(wǎng)上能找的解決辦法基本都找了，卻依然無法解決，就可以刪除虛擬機，重新克隆一臺機器。

到此，相信大家對“Hadoop集群該怎么搭建”有了更深的了解，不妨來實際操作一番吧！這里是億速云網(wǎng)站，更多相關內容可以進入相關頻道進行查詢，關注我們，繼續(xù)學習！