Hadoop怎樣安裝

本篇內容介紹了“Hadoop怎樣安裝”的有關知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領大家學習一下如何處理這些情況吧！希望大家仔細閱讀，能夠學有所成！

1、用vmware workstation建立虛擬機，開始先不選擇安裝包

內存選擇：如果本機是4G內存，則分配虛擬機1G內存

2、按默認要求來，完成虛擬機的初步配置

【大數(shù)據(jù)開發(fā)學習資料領取方式】：加入大數(shù)據(jù)技術學習交流群458345782，點擊加入群聊，私信管理員即可免費領取

3、開始ubuntu的安裝

選擇鏡像文件（我用的版本也在上面的網(wǎng)盤里下載），然后一步步的安裝

4、選擇電腦名稱為hd1，密碼為123456。注意Your name設置為ubuntu

5、打開Ubuntu虛擬機，打開終端編輯器

6、安裝并進入VMware Tools。安裝通過點擊虛擬機->安裝VMware Tools進行安裝。

7、復制VMware Tools的壓縮包到另一個文件目錄下。這里放到了tmp目錄下。

8、解壓VMWare Tools

9、解壓后進入vmware-tools-distrib

10、繼續(xù)編寫命令進行安裝 sudo./vmware-install.pl

11、安裝VMware Tools成功

12、利用 sudo aptinstall vim安裝vim。安裝完成后如下圖。

13、輸入reboot重啟，同時重啟后輸入init 0關閉虛擬機

14、復制hd1文件夾，命名為hd2，放在存虛擬機的文件夾下

15、用記事本打開hd2文件夾下的hd1.vmx。修改其中的displayName為hd2.

再用VMware WorkStation打開hd1.vmx

16、分別啟動兩臺虛擬機

17、根據(jù)電腦的ip配置/etc/hosts文件，給IP地址一個別名，方便后面操作。注意ip地址為你兩臺虛擬機的ip地址。用ifconfig命令可以查看本機IP。一般是191.168.開頭的一串IP地址。我配置如下。

sudo vim /etc/hosts

192.168.241.132 hd1

192.168.241.130 hd2

18、安裝openssh-server

19、啟動ssh

20、保證每次開機時自動啟動ssh

21、多機互信，兩臺虛擬機都要執(zhí)行ssh-keygen-t rsa命令。

22、進行密鑰的互信，兩臺虛擬機都要執(zhí)行cat id_rsa.pub >> authorized_keys命令。

23、將hd1的文件拷到hd2上，同時把hd2的文件拷到hd1上

24、驗證已經(jīng)實現(xiàn)雙機互信

25、在hd1上進行hadoop的安裝

26、在hd1和hd2上進行java的安裝。

兩臺主機都要執(zhí)行sudo apt install default-jre命令。

27、在hd1和hd2上分別進行相關目錄的創(chuàng)建

接下來需要配置hadoop集群文件

配置文件有7個：

/home/ubuntu/hadoop/hadoop/etc/hadoop/hadoop-env.sh

/home/ubuntu/hadoop/hadoop/etc/hadoop/yarn-env.sh

/home/ubuntu/hadoop/hadoop/etc/hadoop/slaves

/home/ubuntu/hadoop/hadoop/etc/hadoop/core-site.xml

/home/ubuntu/hadoop/hadoop/etc/hadoop/hdfs-site.xml

/home/ubuntu/hadoop/hadoop/etc/hadoop/mapred-site.xml

/home/ubuntu/hadoop/hadoop/etc/hadoop/yarn-site.xml

28、配置env文件。28-34步只在hd1上完成

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64/

export HADOOP_HOME=/home/hadoop/hadoop

29、配置yarn-env文件

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64/

30、配置slave文件

hd1

hd2

31、配置core-site文件

<property>

    <name>fs.defaultFS</name>

    <value>hdfs://hd1:9000</value>

</property>

<property> 

    <name>io.file.buffer.size</name>

    <value>131072</value>

</property>

<property>

    <name>hadoop.tmp.dir</name>

    <value>file:/home/ubuntu/hadoop/tmp</value>

</property>

<property>

    <name>hadoop.proxyuser.hduser.hosts</name>

    <value>*</value>

</property>

<property>

    <name>hadoop.proxyuser.hduser.groups</name>

    <value>*</value>

</property>

32、配置hdfs-site文件

<configuration>

    <property>

        <name>dfs.namenode.http-address</name>

        <value>hd1:50070</value>

    </property>

    <property>

        <name>dfs.namenode.secondary.http-address</name>

        <value>hd1:9001</value>

    </property>

    <property>

        <name>dfs.namenode.name.dir</name>

        <value>file:/home/ubuntu/hadoop/namenode</value>

    </property>

    <property>

        <name>dfs.datanode.data.dir</name>

        <value>file:/home/ubuntu/hadoop/hdfs</value>

    </property>

    <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

    <property>

        <name>dfs.webhdfs.enabled</name>

        <value>true</value>

    </property>

    <property>

        <name>dfs.support.append</name>

        <value>true</value>

    </property>

    <property>

        <name>dfs.support.broken.append</name>

        <value>true</value>

    </property>

    <property>

        <name>dfs.permissions.enabled</name>

        <value>false</value>

    </property>

</configuration>

33、配置mapred-site文件

注意先將mapred-site.xml.template文件拷出，然后再使用vim命令

<property>

    <name>mapreduce.framework.name</name>

    <value>yarn</value>

</property>

<property>

    <name>mapreduce.jobhistory.address</name>

    <value>hd1:10020</value>

</property>

<property>

    <name>mapreduce.jobhistory.webapp.address</name>

    <value>hd1:19888</value>

</property>

【大數(shù)據(jù)開發(fā)學習資料領取方式】：加入大數(shù)據(jù)技術學習交流群458345782，點擊加入群聊，私信管理員即可免費領取

34、配置yarn-site文件

<property>

    <name>yarn.nodemanager.aux-services</name>

    <value>mapreduce_shuffle</value>

</property>

<property>

    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

    <value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

<property>

    <name>yarn.resourcemanager.address</name>

    <value>hd1:8032</value>

</property>

<property>

    <name>yarn.resourcemanager.scheduler.address</name>

    <value>hd1:8030</value>

</property>

<property>

    <name>yarn.resourcemanager.resource-tracker.address</name>

    <value>hd1:8031</value>

</property>

<property>

    <name>yarn.resourcemanager.admin.address</name>

    <value>hd1:8033</value>

</property>

<property>

    <name>yarn.resourcemanager.webapp.address</name>

    <value>hd1:8088</value>

</property>

35、在hd1和hd2上配置路徑文件。執(zhí)行下面兩條命令

sudo vim /etc/profile

export PATH=$PATH:/home/ubuntu/hadoop/hadoop/bin:/home/ubuntu/hadoop/hadoop/sbin

36、在hd1上加入hadoop路徑到path路徑下

37、在hd1上格式化namenode，執(zhí)行hadoop namenode -format命令

38、在hd1上進行文件的分發(fā)，注意命令行當前所在的位置。

39、驗證是否安裝成功

在hd1上建一個a.txt文件

拷到hdfs文件里面去

打印顯示

自此安裝成功

“Hadoop怎樣安裝”的內容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關的知識可以關注億速云網(wǎng)站，小編將為大家輸出更多高質量的實用文章！