Hadoop的安裝步驟

本篇內(nèi)容主要講解“Hadoop的安裝步驟”，感興趣的朋友不妨來(lái)看看。本文介紹的方法操作簡(jiǎn)單快捷，實(shí)用性強(qiáng)。下面就讓小編來(lái)帶大家學(xué)習(xí)“Hadoop的安裝步驟”吧!

環(huán)境：

Ubuntu14.04

Hadoop 2.4.0,Hive  0.13.1

一.單機(jī)模式

1.安裝全新的Ubuntu系統(tǒng),用sudo apt-get update 和 sudo apt-get upgrade 更新系統(tǒng)，這步屬個(gè)人習(xí)慣，可以不做。

2.創(chuàng)建hadoop用戶組和hadoop帳號(hào)：

   sudo addgroup hadoop

   sudo adduser -ingroup hadoop hadoop

3.編輯/etc/sudoer文件給hadoop帳號(hào)開(kāi)與root一樣的權(quán)限 hadoop  ALL=(ALL:ALL) ALL

4.用hadoop用戶登錄：su hadoop

5.確認(rèn)openssh已經(jīng)安裝如未安裝則安裝：

     sudo apt-get install openssh-server

     sudo /etc/init.d/ssh start

6.創(chuàng)建免密碼登錄，生成私鑰和公鑰

ssh-keygen -t rsa -P ""

7.將公鑰追加到authorized_keys中，它用戶保存所有允許以當(dāng)前用戶身份登錄到ssh客戶端用戶的公鑰內(nèi)容。

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

8.ssh localhost 測(cè)試無(wú)密碼登錄。

9.安裝java環(huán)境（最好安裝sunjdk，不要安裝openjdk）

    a. 下載最新版的jdk，并解壓

    b.創(chuàng)建安裝目錄mkdir /usr/lib/jvm

    c.將解壓好的jdk移動(dòng)到安裝目錄，如：sudo mv jdk1.7/ /usr/lib/jvm/java-7-sun

    d. 編輯~/.bashrc以配置java的環(huán)境：

          export JAVA_HOME=/usr/lib/jvm/java-7-sun 
          export JRE_HOME=${JAVA_HOME}/jre 
          export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

          export PATH=${JAVA_HOME}/bin:$PATH 

    e. source ~/.bashrc 使配置生效，env查看結(jié)果，

    f.配置默認(rèn)程序

      sudo update-alternatives --install /usr/bin/java java /usr/lib/jvm/java-7-sun/bin/java 300 
      sudo update-alternatives --install /usr/bin/javac javac /usr/lib/jvm/java-7-sun/bin/javac 300 
      sudo update-alternatives --config java                                                                                                                     sudo update-alternatives --config javac

   g.java -version;avac -version 查看java版本號(hào)是否正確。

(Ps: 之前我裝的是java1.8版本，但是在后面編譯hadoop的時(shí)候保存了，然后果斷換成1.7版本，一切正常）

10.下載hadoop 最新版 http://mirror.bit.edu.cn/apache/hadoop/common/ 并解壓；

11.創(chuàng)建hadoop安裝目錄 sudo mkdir /usr/local/hadoop,將解壓后的hadoop文件夾移過(guò)去 sudo mv ./hadoop-2.4.0/* /usr/local/hadoop;修改hadoop安裝目錄權(quán)限 sudo chmod 774 /usr/local/hadoop

12.配置haoop環(huán)境變量，vi ~/.bashrc 

14.測(cè)試

單機(jī)模式安裝完成，下面通過(guò)執(zhí)行hadoop自帶實(shí)例WordCount驗(yàn)證是否安裝成功

    /usr/local/hadoop路徑下創(chuàng)建input文件夾    

mkdir input

    拷貝README.txt到input    

cp README.txt input

    執(zhí)行WordCount

    bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.4.0-sources.jar org.apache.hadoop.examples.WordCount input output

至此，單機(jī)版配置完成，其實(shí)還是很簡(jiǎn)單的。

二.偽分布式

15.

設(shè)定*-site.xml
這里需要設(shè)定3個(gè)文件：core-site.xml,hdfs-site.xml,mapred-site.xml，都在/usr/local/Hadoop/conf目錄下
core-site.xml:  Hadoop Core的配置項(xiàng)，例如HDFS和MapReduce常用的I/O設(shè)置等。
hdfs-site.xml:  Hadoop 守護(hù)進(jìn)程的配置項(xiàng)，包括namenode，輔助namenode和datanode等。
mapred-site.xml： MapReduce 守護(hù)進(jìn)程的配置項(xiàng)，包括jobtracker和tasktracker。   

首先在hadoop目錄下新建幾個(gè)文件夾

~/hadoop$ mkdir tmp
~/hadoop$ mkdir hdfs
~/hadoop$ mkdir hdfs/name
~/hadoop$ mkdir hdfs/data

編輯配置文件：

core-site.xml:

<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/tmp</value>
    </property>
</configuration>

hdfs-site.xml:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.name.dir</name>
        <value>/usr/local/hadoop/hdfs/name</value>
    </property>
    <property>
        <name>dfs.data.dir</name>
        <value>/usr/local/hadoop/hdfs/data</value>
    </property>
</configuration>

16.格式化 hdfs /usr/local/hadoop/bin/hadoop namenode -format 結(jié)果類似

17.啟動(dòng)hadoop  /usr/local/hadoop/sbin/start-all.sh (老版本啟動(dòng)程序是在/usr/local/hadoop/bin目錄里)，運(yùn)行jps，出現(xiàn)如下結(jié)果說(shuō)明成功：

首先在dfs中創(chuàng)建input目錄

Hadoop@Ubuntu:/usr/local/hadoop$ bin/hadoop dfs -mkdir input 

將conf中的文件拷貝到dfs中的input

hadoop@ubuntu :/usr/local/hadoop$ hadoop dfs -copyFromLocal conf/* input

在偽分布式模式下運(yùn)行WordCount

hadoop@ubuntu :/usr/local/hadoop$ hadoop jar hadoop-examples-1.0.2.jar wordcount input output

18.運(yùn)行 /usr/local/hadoop/bin/hadoop dfsadmin -report 查看運(yùn)行狀態(tài) 或輸入http://ip:50070查看web版運(yùn)行狀態(tài)

19.運(yùn)行測(cè)試?yán)?/p>

首先在dfs中創(chuàng)建input目錄

Hadoop@Ubuntu:/usr/local/hadoop$ bin/hadoop dfs -mkdir input 

將conf中的文件拷貝到dfs中的input

hadoop@ubuntu :/usr/local/hadoop$ hadoop dfs -copyFromLocal conf/* input

在偽分布式模式下運(yùn)行WordCount

hadoop@ubuntu :/usr/local/hadoop$ hadoop jar hadoop-examples-1.0.2.jar wordcount input output

PS：在64位版本下會(huì)報(bào)“WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable”的錯(cuò)誤，這是因?yàn)閔adoop網(wǎng)站提供的是32位版本，在64位下需要自己下在hadoop源碼重新編譯，但我重新編譯了以后仍然報(bào)錯(cuò)，打開(kāi)debug模式后發(fā)現(xiàn)是lib的路徑錯(cuò)了，于是cp /usr/local/hadoop/lib/native/* /usr/local/hadoop/lib/ 問(wèn)題解決。

到此，相信大家對(duì)“Hadoop的安裝步驟”有了更深的了解，不妨來(lái)實(shí)際操作一番吧！這里是億速云網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！