溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》

如何安裝單機(jī)版hadoop相關(guān)套件

發(fā)布時(shí)間：2021-11-26 14:47:36 來(lái)源：億速云 閱讀：134 作者：小新 欄目：大數(shù)據(jù)

這篇文章主要介紹如何安裝單機(jī)版hadoop相關(guān)套件，文中介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們一定要看完！

hdfs 和 yarn

配置文件在 $HADOOP_HOME/etc/hadoop 目錄下。

配置 hadoop-env.sh ，添加屬性

# The java implementation to use.
export JAVA_HOME=/home/java/jdk1.8.0_191
export HADOOP_OPTS="$HADOOP_OPTS -Duser.timezone=GMT+08"

配置 core-site.xml

<configuration>
	  <!-- 用來(lái)指定hdfs的NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop-standalone:9000</value>
    </property>
	  <!-- 用來(lái)指定Hadoop運(yùn)行時(shí)產(chǎn)生文件的存放目錄 -->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/home/data/hadoop</value>
	</property>
	
	<property>
　　    <name>hadoop.proxyuser.hadoop.hosts</name>
		<value>*</value>
	</property>
	<property>
　　    <name>hadoop.proxyuser.hadoop.groups</name>
　      <value>*</value>
	</property>
</configuration>


配置 hdfs-site.xml

<configuration>
   <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
	
	<property>
        <name>dfs.permissions.enabled</name>
        <value>false</value>
    </property>
	
	<property>
		<name>dfs.webhdfs.enabled</name>
		<value>true</value>
	</property>

</configuration>

配置 mapred-site.xml 

<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>

	<!-- 日志查看頁(yè)面. -->
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>hadoop-standalone:10020</value>
	</property>

	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>hadoop-standalone:19888</value>
	</property>

	<!-- 配置正在運(yùn)行中的日志在hdfs上的存放路徑 -->
	<property>
		<name>mapreduce.jobhistory.intermediate-done-dir</name>
		<value>/history/done_intermediate</value>
	</property>

	<!-- 配置運(yùn)行過(guò)的日志存放在hdfs上的存放路徑 -->
	<property>
		<name>mapreduce.jobhistory.done-dir</name>
		<value>/history/done</value>
	</property>

</configuration>

配置 yarn-site.xml

<configuration>

	  <!-- NodeManager獲取數(shù)據(jù)的方式是shuffle-->
	<property>
			<name>yarn.nodemanager.aux-services</name>
			<value>mapreduce_shuffle</value>
	</property>
	  <!-- 指定YARN的老大（resourcemanager）的地址 -->
	<property>
			<name>yarn.resourcemanager.hostname</name>
			<value>hadoop-standalone</value>
	</property>
	
	 <property>
      <name>yarn.log-aggregation-enable</name>
      <value>true</value>
     </property>

     <property>
      <name>yarn.nodemanager.log-aggregation.debug-enabled</name>
      <value>true</value>
     </property>

     <property>
      <name>yarn.nodemanager.log-aggregation.roll-monitoring-interval-seconds</name>
      <value>3600</value>
     </property>
	 
	<property>
         <name>yarn.log.server.url</name>
         <value>http://hadoop-standalone:19888/jobhistory/logs</value>
	</property>	
</configuration>

yarn-env.sh 配置中添加

YARN_OPTS="$YARN_OPTS -Duser.timezone=GMT+08"

格式化namenode

hdfs namenode -format

分別啟動(dòng) hdfs / yarn / jobhistory服務(wù)器

$HADOOP_HOME/sbin/start-dfs.sh
$HADOOP_HOME/sbin/start-yarn.sh
$HADOOP_HOME/sbin/mr-jobhistory-daemon.sh start historyserver

分別訪問(wèn)

http://hadoop-standalone:50070
http://hadoop-standalone:8088

spark on yarn

先安裝scala, 再在系統(tǒng)的環(huán)境變量中配置SPARK_HOME

然后配置 spark-env.sh

export JAVA_HOME=/home/java/jdk1.8.0_191
export SCALA_HOME=/home/scala2.11.12
export HADOOP_HOME=/home/hadoop-2.7.7
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

export SPARK_LOCAL_DIRS=/home/data/spark

配置 spark-defaults.conf

spark.yarn.jars    hdfs://hadoop-standalone:9000/spark/share/lib/*.jar

spark.eventLog.enabled           true
spark.eventLog.dir               hdfs://hadoop-standalone:9000/spark/spark-events
spark.history.ui.port            18080
spark.history.retainedApplications    10
spark.history.fs.logDirectory    hdfs://hadoop-standalone:9000/spark/spark-events

spark的運(yùn)行包上傳到dfs

hdfs dfs -put $SPARK_HOME/jars/* /spark/share/lib

啟動(dòng) spark history 服務(wù)器

$SPARK_HOME/sbin/start-history-server.sh

spark standalone 集群

master和slave都是同一臺(tái)機(jī)子, 即管理者和工人都是自己

啟動(dòng) spark master 和 slaves服務(wù)

$SPARK_HOME/sbin/start-master.sh
$SPARK_HOME/sbin/start-slaves.sh

下面是默認(rèn)的端口

SPARK_MASTER_PORT=7077 # 提交任務(wù)的端口
SPARK_MASTER_WEBUI_PORT=8080 # webui端口，查看任務(wù)進(jìn)程

打開頁(yè)面 http://hadoop-standalone:8080/ , 可以看到有worker已經(jīng)加入到集群

如何安裝單機(jī)版hadoop相關(guān)套件

mysql

用于一些組件的元數(shù)據(jù) ，需要事先啟動(dòng)

hive

添加環(huán)境變量

#hive
export HIVE_HOME=/usr/local/hive
export PATH=$PATH:$HIVE_HOME/bin

復(fù)制mysql的驅(qū)動(dòng)程序到hive/lib

配置hive.env.sh

export HADOOP_HOME=/opt/hadoop-2.6.5 
# Hive Configuration Directory can be controlled by: export 
HIVE_CONF_DIR=/opt/hive-2.3.5/conf

修改log生成的目錄。配置文件hive-log4j.properties。修改到你所需的目錄

property.hive.log.dir = /opt/hive-2.3.5/logs

配置 hive-site.xml 

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration> 

	<!--hdfs上hive數(shù)據(jù)存放位置 --> 
	<property>  
	  <name>hive.metastore.warehouse.dir</name>  
	  <value>/user/hive/warehouse</value>   
	</property>
	<!--連接數(shù)據(jù)庫(kù)地址，名稱 -->  
	<property>
	  <name>javax.jdo.option.ConnectionURL</name>
	  <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false</value>  
	</property>  
	<!--連接數(shù)據(jù)庫(kù)驅(qū)動(dòng) --> 
	<property>
	  <name>javax.jdo.option.ConnectionDriverName</name>  
	  <value>com.mysql.jdbc.Driver</value>  
	</property> 
	<!--連接數(shù)據(jù)庫(kù)用戶名稱 -->  
	<property>  
	  <name>javax.jdo.option.ConnectionUserName</name>  
	  <value>root</value>
	</property> 
	<!--連接數(shù)據(jù)庫(kù)用戶密碼 -->  
	<property>  
	  <name>javax.jdo.option.ConnectionPassword</name>  
	  <value>123456</value>
	</property>
	<!--客戶端顯示當(dāng)前查詢表的頭信息 --> 
	 <property>
	  <name>hive.cli.print.header</name>
	  <value>true</value>
	</property>
	<!--客戶端顯示當(dāng)前數(shù)據(jù)庫(kù)名稱信息 --> 
	<property>
	  <name>hive.cli.print.current.db</name>
	  <value>true</value>
	</property> 
	
	  <property>
	    <name>hive.metastore.port</name>
	    <value>9083</value>
	    <description>Hive metastore listener port</description>
	  </property>
	  <property>
	    <name>hive.server2.thrift.port</name>
	    <value>10000</value>
	    <description>Port number of HiveServer2 Thrift interface when hive.server2.transport.mode is 'binary'.</description>
	  </property>
	
	<!-- 客戶端配置，連接遠(yuǎn)端的metadata -->
	<property> 
		<name>hive.metastore.local</name> 
		<value>false</value> 
	</property> 
	<property> 
		<name>hive.metastore.uris</name> 
		<value>thrift://192.168.56.140:9083</value> 
	</property>
	
	<property>
	  <name>hive.metastore.schema.verification</name>
	  <value>false</value>
	</property>
</configuration>

初始化hive的meta數(shù)據(jù)庫(kù)(mysql)

schematool -dbType mysql -initSchema

如何安裝單機(jī)版hadoop相關(guān)套件

啟動(dòng)hive的命令行客戶端，試運(yùn)行

hive

創(chuàng)建個(gè)數(shù)據(jù)庫(kù)測(cè)試下：

create database test_connect_hive;

如何安裝單機(jī)版hadoop相關(guān)套件

使用jdbc客戶端連接hiveserver2

在hadoop/core-site.xml 添加配置。其中 root 是現(xiàn)在用的用戶名（報(bào)錯(cuò)那里有）

	<property>
　　    <name>hadoop.proxyuser.root.hosts</name>
		<value>*</value>
	</property>
	<property>
　　    <name>hadoop.proxyuser.root.groups</name>
　      <value>*</value>
	</property>

修改hadoop要重啟.

下面分別啟動(dòng) metastore 訪問(wèn)服務(wù)和hiveserver2服務(wù)

nohup hive --service metastore >> /home/data/hive/metastore.log 2>&1 &
nohup  hive --service hiveserver2 >> /home/data/hive/hiveserver2.log 2>&1 &

通過(guò) beelines 客戶端連接 hiveserver2 測(cè)試。

beeline

輸入連接的地址

!connect jdbc:hive2://localhost:10000

將hive的配置文件拷貝給spark

將 $HIVE_HOME/conf/hive-site.xml copy $SPARK_HOME/conf/

各資源的訪問(wèn)端口

dfs:  http://hadoop-standalone:50070/explorer.html#/
spark master(standalone): http://hadoop-standalone:8080
spark history: http://hadoop-standalone:18080/

以上是“如何安裝單機(jī)版hadoop相關(guān)套件”這篇文章的所有內(nèi)容，感謝各位的閱讀！希望分享的內(nèi)容對(duì)大家有幫助，更多相關(guān)知識(shí)，歡迎關(guān)注億速云行業(yè)資訊頻道！

向AI問(wèn)一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手