Linux下Hadoop?2.7.3如何安裝搭建

這篇文章將為大家詳細講解有關(guān)Linux下Hadoop 2.7.3如何安裝搭建，小編覺得挺實用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。

Linux Hadoop 2.7.3 安裝搭建

Hadoop實現(xiàn)了一個分布式文件系統(tǒng)（Hadoop Distributed File System），簡稱HDFS。

HDFS有高容錯性的特點，并且設(shè)計用來部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）來訪問應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集（large data set）的應(yīng)用程序。HDFS放寬了（relax）POSIX的要求，可以以流的形式訪問（streaming access）文件系統(tǒng)中的數(shù)據(jù)。

Hadoop的框架最核心的設(shè)計就是：HDFS和MapReduce。HDFS為海量的數(shù)據(jù)提供了存儲，則MapReduce為海量的數(shù)據(jù)提供了計算。

Hadoop解決哪些問題？

海量數(shù)據(jù)需要及時分析和處理

海量數(shù)據(jù)需要深入分析和挖掘

數(shù)據(jù)需要長期保存

海量數(shù)據(jù)存儲的問題：

磁盤IO稱為一種瓶頸，而非CPU資源

網(wǎng)絡(luò)帶寬是一種稀缺資源

硬件故障成為影響穩(wěn)定的一大因素

安裝流程

安裝JAVA 1.8

下載：

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

Java 環(huán)境安裝配置 /etc/profile：

export JAVA_HOME=/usr/jdk/jdk1.8.0_112
export JRE_HOME=/usr/jdk/jdk1.8.0_112/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH

安裝Hadoop2.7.3

下載：http://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/

配置啟動Hadoop

1、修改hadoop 2.7.3/etc/hadoop/hadoop-env.sh 指定JAVA_HOME

# The java implementation to use.
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.171-8.b10.el6_9.x86_64

2、修改hdfs的配置文件

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://0.0.0.0:9000</value>
    </property>
    <!-- 指定hadoop運行時產(chǎn)生文件的存儲路徑 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/tmp/hadoop</value>
    </property>
</configuration>

3、啟動

第一次啟動得先格式化

/usr/hadoop/bin/hdfs namenode -format

啟動hdfs

/usr/hadoop/sbin/start-dfs.sh

用jps命令查看啟動的Java進程

預(yù)覽地址：http://127.0.0.1:50070/dfshealth.html

4、停止

/usr/hadoop/sbin/stop-dfs.sh

關(guān)于“Linux下Hadoop 2.7.3如何安裝搭建”這篇文章就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，使各位可以學到更多知識，如果覺得文章不錯，請把它分享出去讓更多的人看到。