hadoop怎樣安裝與配置

這篇文章主要為大家展示了“hadoop怎樣安裝與配置”，內(nèi)容簡而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領(lǐng)大家一起研究并學習一下“hadoop怎樣安裝與配置”這篇文章吧。

##1.hadoop簡介
hadoop有什么作用？應用于哪些領(lǐng)域？解決什么問題?
1.hadoop的三大核心組件
1>HDFS(分布式文件系統(tǒng))，解決海量數(shù)據(jù)存儲。  
2>YARN(作業(yè)調(diào)度和集群資源管理)，解決資源任務調(diào)度問題。   3>MAPReduce(分布式變成模型) ， 解決海量數(shù)據(jù)計算問題。
2.hadoop應用領(lǐng)域
1>日志分析處理
2>ETL，數(shù)據(jù)抽取到mysql、mongdb、hive等數(shù)據(jù)庫。
3>機器學習，如Apache Mahout項目，這個點目前比較火爆。
4>數(shù)據(jù)挖掘，其實就是數(shù)據(jù)分析，如智能推薦。
3.hadoop解決問題
舉例說明：需求方要求在100M的文件中統(tǒng)計分析出某些特殊字符的位置以及個數(shù)等，這個時候用java文件流的方式可以實現(xiàn)，去讀取這個文件，然后寫邏輯代碼分析統(tǒng)計。但是需求方如果給10個100M，或者是1w個100M的文件呢，這個時候就只能依靠一些大數(shù)據(jù)框架來處理了，hadoop應運而生，它解決的問題就是 海量數(shù)據(jù)存儲及海量數(shù)據(jù)分析。
##2.安裝hadoop
1.下載hadoop，官網(wǎng)地址:https://archive.apache.org/dist/hadoop/common/hadoop-2.10.1/
2.解壓hadoop，tar -zxvf hadoop-2.10.1.tar.gz，如下圖

這里簡要說明下hadoop目錄結(jié)構(gòu)
1>bin目錄，存放hadoop相關(guān)服務(hdfs、mapred、yarn)的操作腳本。
2>etc目錄，存放hadoop的配置文件，后面會大量修改這里配置文件
3>lib目錄，存放hadoop的本地庫，對數(shù)據(jù)進行壓縮與解壓功能
4>sbin目錄，存放hadoop所有服務的啟動或者停止腳本
5>share目錄，存放hadoop的依賴jar包，文檔與官方樣例
3.配置hadoop環(huán)境變量
vi /etc/profile
#hadoop環(huán)境變量 export HADOOP_HOME=/usr/java/hadoop/hadoop-2.10.1
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

4.測試是否安裝成功
hadoop version

很明顯，出來了版本信息，說明環(huán)境變量配置沒得問題
5.修改hadoop配置文件
1>修改配置文件hadoop-env.sh
打開該配置文件，發(fā)現(xiàn)有一行是配置java環(huán)境變量的，初始值是${JAVA_HOME}，這里改成具體的jdk所在目錄。查看jdk安裝目錄采用echo $JAVA_HOME命令，

修改hadoop-env.sh之后，如下

2>修改配置文件core-site.xml
主要設置兩個屬性，1.HDFS的NameNode的地址；2.指定hadoop運行時產(chǎn)生的臨時文件目錄  

<configuration>
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://localhost:9090</value>
        </property>
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/usr/java/hadoop/hadoop-2.10.1/tmp</value>
        </property>
</configuration>

修改后如下

3>修改hdfs-site.xml文件

主要設置3個屬性，1.namenode產(chǎn)生的文件存放路徑，2.datanode產(chǎn)生的文件存放路徑，3.replication表示HDFS保存數(shù)據(jù)副本的數(shù)量。

<configuration>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:/usr/java/hadoop/hadoop-2.10.1/hdfs/name</value>
	</property>
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:/usr/java/hadoop/hadoop-2.10.1/hdfs/data</value>
	</property>
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
</configuration>

4>修改配置文件mapred-site.xml

我們在hadoop目錄下沒有發(fā)現(xiàn)mapred-site.xml，但是有mapred-site.xml.template，如下圖

所以我們需要去掉 .template。采用mv mapred-site.xml.template mapred-site.xml。

該配置文件我們只設置一個屬性，用于指定mapreduce運行在yarn上，即mapreduce使用yarn框架。

<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
</configuration>

5>修改配置文件yarn-site.xml

主要配置是nodemanager獲取數(shù)據(jù)的方式是shuffle。

<configuration>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>	
	<property>
		<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
		<value>org.apache.hadoop.mapred.ShuffleHandle</value>
	</property>
</configuration>

以上是“hadoop怎樣安裝與配置”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對大家有所幫助，如果還想學習更多知識，歡迎關(guān)注億速云行業(yè)資訊頻道！