Linux下安裝Hadoop集群的步驟是什么

Linux下安裝Hadoop集群的步驟是什么，針對這個問題，這篇文章詳細介紹了相對應的分析和解答，希望可以幫助更多想解決這個問題的小伙伴找到更簡單易行的方法。

1.在usr目錄下創(chuàng)建Hadoop目錄，將安裝包導入目錄中并解壓文件

2.進入vim /etc/profile文件并編輯配置文件

#hadoop
export HADOOP_HOME=/usr/hadoop/hadoop-2.6.0
export CLASSPATH=$CLASSPATH:$HADOOP_HOME/lib
export PATH=$PATH:$HADOOP_HOME/bin

3.使文件生效

source /etc/profile

4.進入Hadoop目錄下

cd /usr/hadoop/hadoop-2.6.0/etc/hadoop

5.編輯配置文件

（1）進入vim hadoop-env.sh文件添加（java jdk文件所在位置）

export JAVA_HOME=/usr/java/jdk1.8.0_181

 （2）進入 vim core-site.xml（z1:在主節(jié)點的ip或者映射名(改成自己的)）

<configuration>
<property>
        <name>hadoop.tmp.dir</name>
        <value>file:/root/hadoop/tmp</value>
</property>
<!--端口號9000-->
<property>
        <name>fs.default.name</name>
        <value>hdfs://z1:9000</value>
</property>
<!--開啟垃圾桶機制單位分鐘-->
<property>
    <name>fs.trash .insterval</name>
    <value>10080</value>
</property>
<!--緩沖區(qū)大小，實際工作根據(jù)服務器性能-->
<property>
    <name>io.file. buffer.sizei</name>
    <value>4096</value>
</property>
</configuration>
                                                                                                                                                                  39,9         底端

（3）Hadoop沒有mapred-site.xml這個文件現(xiàn)將文件復制到這然后進入mapred-site.xml

cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml

 （z1:在主節(jié)點的ip或者映射名(改成自己的)）

<configuration>
<property>
<!--指定Mapreduce運行在yarn上-->
   <name>mapreduce.framework.name</name>
   <value>yarn</value>
 </property>
<!--開啟MapReduce的小任務模式-->
<property>
      <name>mapred.job.ubertask.enable</name>
      <value>true</value>
</property>
<property>
      <name>mapred.job.tracker</name>
      <value>z1:9001</value>
</property>
 
<property>
<name>mapreduce.jobhistory.address</name>
<value>CMaster:10020</value>
</property>
</configuration>

 （4）進入yarn-site.xml

vim yarn-site.xml

  （z1:在主節(jié)點的ip或者映射名(改成自己的)）

<configuration>
 
<!-- Site specific YARN configuration properties -->
 
<!--配置yarn主節(jié)點的位置-->
<property>
        <name>yarn.resourcemanager.hostname</name>
        <value>z1</value>
</property>
<property>
<!-- mapreduce ,執(zhí)行shuff1e時獲取數(shù)據(jù)的方式.-->
<description>The address of the appiications manager interface inthe RM.</description>
     <name>yarn.resourcemanager.address</name>
     <value>z1:8032</value>
</property>
<property>
  <name>yarn.resourcemanager.scheduler.address</name>
  <value>z1:8030</value>
</property>
 
<property>
  <name>yarn.resourcemanager.webapp.address</name>
  <value>z1:8088</value>
</property>
 
<property>
  <name>yarn.resourcemanager.webapp.https.address</name>
  <value>z1:8090</value>
</property>
<property>
  <name>yarn.resourcemanager.resource-tracker.address</name>
  <value>z1:8031</value>
</property>
<property>
  <name>yarn.resourcemanager.admin.address</name>
  <value>z1:8033</value>
</property>
<property><!--mapreduce執(zhí)行shuff1e時獲取數(shù)據(jù)的方式，-->
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>
<property>
<!--設置內存，yarn的內存分配-->
  <name>yarn.scheduler.maximum-a11ocation-mb</name>
  <value>2024</value>
  <discription>每個節(jié)點可用內存,單位M,默認8182MB</discription>
</property>
<property>
  <name>yarn.nodemanager.vmem-pmem-ratio</name>
  <value>2.1</value>
</property>
<property>
  <name>yarn.nodemanager.resource.memory-mb</name>
  <value>1024</value>
</property>
<property>
  <name>yarn.nodemanager.vmem-check-enabled</name>
  <value>false</value>
</property>
 
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
 
 
</configuration>

(5)進入hdfs-site.xml

vim hdfs-site.xml

<configuration>
<property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/hadoop/hadoop-2.6.0/hadoopDesk/namenodeDatas</value>
</property>
 <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/hadoop/hadoop-2.6.0/hadoopDatas/namenodeDatas</value>
    </property>
<property>
<!--副本個數(shù)-->
<name>dfs.replication</name>
<value>3</value>
</property>
<!--設置hdfs的文件權限-->
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
<!--設置一個文件切片的大?。?28m-->
<property>
<name>dfs.bloksize</name>
<value>134217728</value>
</property>
</configuration>

6.進入slaves添加主節(jié)點和從節(jié)點

vim slaves

 添加自己的主節(jié)點和從節(jié)點（我的是z1,z2,z3）

7.將各個文件復制到其他虛擬機上

scp -r /etc/profile root@z2:/etc/profile #將環(huán)境變量profile文件分發(fā)到z2節(jié)點
scp -r /etc/profile root@z3:/etc/profile #將環(huán)境變量profile文件分發(fā)到z3節(jié)點
scp -r /usr/hadoop root@z2:/usr/   #將hadoop文件分發(fā)到z2節(jié)點
scp -r /usr/hadoop root@z3:/usr/   #將hadoop文件分發(fā)到z3節(jié)點

生效兩個從節(jié)點的環(huán)境變量

source /etc/profile

8.格式化hadoop (僅在主節(jié)點中進行操作)

首先查看jps是否啟動hadoop

hadoop namenode -format

當看到Exiting with status 0時說明格式化成功

9.回到Hadoop目錄下（僅在主節(jié)點操作）

cd /usr/hadoop/hadoop-2.6.0
sbin/start-all.sh  啟動Hadoop僅在主節(jié)點操作

主節(jié)點輸入jps效果： 

從節(jié)點輸jps效果：

關于Linux下安裝Hadoop集群的步驟是什么問題的解答就分享到這里了，希望以上內容可以對大家有一定的幫助，如果你還有很多疑惑沒有解開，可以關注億速云行業(yè)資訊頻道了解更多相關知識。