如何進(jìn)行spark2.0.1安裝部署及使用jdbc連接基于hive的sparksql

如何進(jìn)行spark2.0.1安裝部署及使用jdbc連接基于hive的sparksql，相信很多沒(méi)有經(jīng)驗(yàn)的人對(duì)此束手無(wú)策，為此本文總結(jié)了問(wèn)題出現(xiàn)的原因和解決方法，通過(guò)這篇文章希望你能解決這個(gè)問(wèn)題。

1、安裝    

如下配置，除了配置spark還配置了spark history服務(wù)

#先到http://spark.apache.org/根據(jù)自己的環(huán)境選擇編譯好的包，然后獲取下載連接
cd /opt
mkdir spark
wget http://d3kbcqa49mib13.cloudfront.net/spark-2.0.1-bin-hadoop2.6.tgz
tar -xvzf spark-2.0.1-bin-hadoop2.6.tgz
cd spark-2.0.1-bin-hadoop2.6/conf

復(fù)制一份spark-env.sh.template，改名為spark-env.sh。然后編輯spark-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_111
export SPARK_MASTER_HOST=hadoop-n

復(fù)制一份spark-defaults.conf.template，改成為spark-defaults.conf，然后編輯spark-defaults.conf

#指定master地址，以便在啟動(dòng)的時(shí)候不用再添加--master參數(shù)來(lái)啟動(dòng)集群
spark.master                     			        spark://hadoop-n:7077
#對(duì)sql查詢進(jìn)行字節(jié)碼編譯，小數(shù)據(jù)量查詢建議關(guān)閉
spark.sql.codegen                			        true
#開啟任務(wù)預(yù)測(cè)執(zhí)行機(jī)制，當(dāng)出現(xiàn)比較慢的任務(wù)時(shí)，嘗試在其他節(jié)點(diǎn)執(zhí)行該任務(wù)的一個(gè)副本，幫助減少大規(guī)模集群中個(gè)別慢任務(wù)的影響
spark.speculation		 			                true
#默認(rèn)序列化比較慢，這個(gè)是官方推薦的
spark.serializer		 			                org.apache.spark.serializer.KryoSerializer
#自動(dòng)對(duì)內(nèi)存中的列式存儲(chǔ)進(jìn)行壓縮
spark.sql.inMemoryColumnarStorage.compressed		true
#是否開啟event日志
spark.eventLog.enabled				            	true
#event日志記錄目錄，必須是全局可見(jiàn)的目錄，如果在hdfs需要先建立文件夾
spark.eventLog.dir				                	hdfs://hadoop-n:9000/spark_history_log/spark-events
#是否啟動(dòng)壓縮
spark.eventLog.compress					true

復(fù)制一份slaves.template，改成為slaves，然后編輯slaves

hadoop-d1
hadoop-d2

從$HIVE_HOME/conf下拷貝一份hive-site.xml到當(dāng)前目錄下。

編輯/etc/下的profile，在末尾處添加

export SPARK_HOME=/opt/spark/spark-2.0.1-bin-hadoop2.6
export PATH=$PATH:$SPARK_HOME/bin
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs://hadoop-n:9000/spark_history_log/spark-events"

為了保證絕對(duì)生效，/etc/bashrc也做同樣設(shè)置，然后刷新設(shè)置

source /etc/profile
source /etc/bashrc

2、啟動(dòng)

a）首先啟動(dòng)hadoop；

cd $HADOOP_HOME/sbin
./start-dfs.sh

訪問(wèn)http://ip:port：50070查看是否啟動(dòng)成功

b）然后啟動(dòng)hive

cd $HIVE_HOME/bin
./hive --service metastore

執(zhí)行beeline或者h(yuǎn)ive命令查看是否啟動(dòng)成功，默認(rèn)hive日志在/tmp/${username}/hive.log

c）最后啟動(dòng)spark

cd $SPARK_HOME/sbin
./start-all.sh

sprark ui ：http://hadoop-n:8080

spark客戶端

cd $SPARK_HOME/bin
./spark-shell

sparksql客戶端

cd $SPARK_HOME/bin
./spark-sql

注意執(zhí)行命令后提示的webui的端口號(hào)，通過(guò)webui可以查詢對(duì)應(yīng)監(jiān)控信息。

啟動(dòng)thriftserver

cd $SPARK_HOME/sbin
./start-thriftserver.sh

spark thriftserver ui：http://hadoop-n:4040

啟動(dòng)historyserver

cd $SPARK_HOME/sbin
./start-history-server.sh

spark histroy ui：http://hadoop-n:18080

3、使用jdbc連接基于hive的sparksql

a）如果hive啟動(dòng)了hiveserver2，關(guān)閉

b）執(zhí)行如下命令啟動(dòng)服務(wù)

cd $SPARK_HOME/sbin
./start-thriftserver.sh

執(zhí)行如下命令測(cè)試是否啟動(dòng)成功

cd $SPARK_HOME/bin
./beeline -u jdbc:hive2://ip:10000
#如下是實(shí)際輸出
[root@hadoop-n bin]# ./beeline -u jdbc:hive2://hadoop-n:10000
Connecting to jdbc:hive2://hadoop-n:10000
16/11/08 21:03:05 INFO jdbc.Utils: Supplied authorities: hadoop-n:10000
16/11/08 21:03:05 INFO jdbc.Utils: Resolved authority: hadoop-n:10000
16/11/08 21:03:05 INFO jdbc.HiveConnection: Will try to open client transport with JDBC Uri: jdbc:hive2://hadoop-n:10000
Connected to: Spark SQL (version 2.0.1)
Driver: Hive JDBC (version 1.2.1.spark2)
Transaction isolation: TRANSACTION_REPEATABLE_READ
Beeline version 1.2.1.spark2 by Apache Hive
0: jdbc:hive2://hadoop-n:10000> show databases;
+---------------+--+
| databaseName  |
+---------------+--+
| default       |
| test          |
+---------------+--+
2 rows selected (0.829 seconds)
0: jdbc:hive2://hadoop-n:10000>

編寫代碼連接sparksql

按照自己的環(huán)境添加依賴

<dependencies>
		<dependency>
			<groupId>jdk.tools</groupId>
			<artifactId>jdk.tools</artifactId>
			<version>1.6</version>
			<scope>system</scope>
			<systemPath>${JAVA_HOME}/lib/tools.jar</systemPath>
		</dependency>
		<dependency>
			<groupId>org.apache.hive</groupId>
			<artifactId>hive-jdbc</artifactId>
			<version>1.2.1</version>
		</dependency>

		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-common</artifactId>
			<version>2.6.0</version>
		</dependency>
	</dependencies>

然后編寫類

/**   
 *
 * @Title: HiveJdbcTest.java 
 * @Package com.scc.hive 
 * @Description: TODO(用一句話描述該文件做什么) 
 * @author scc
 * @date 2016年11月9日 上午10:16:32   
 */
package com.scc.hive;

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;

/**
 *
 * @ClassName: HiveJdbcTest
 * @Description: TODO(這里用一句話描述這個(gè)類的作用)
 * @author scc
 * @date 2016年11月9日 上午10:16:32
 * 
 */
public class HiveJdbcTest {
    private static String driverName = "org.apache.hive.jdbc.HiveDriver";

    public static void main(String[] args) throws SQLException {
        try {
            Class.forName(driverName);
        } catch (ClassNotFoundException e) {
            e.printStackTrace();
            System.exit(1);
        }

        Connection con = DriverManager.getConnection("jdbc:hive2://10.5.3.100:10000", "", "");
        Statement stmt = con.createStatement();
        String tableName = "l_access";
        String sql = "";
        ResultSet res = null;
        sql = "describe " + tableName;
        res = stmt.executeQuery(sql);
        while (res.next()) {
            System.out.println(res.getString(1) + "\t" + res.getString(2));
        }

        sql = "select * from " + tableName + " limit 10;";
        res = stmt.executeQuery(sql);
        while (res.next()) {
            System.out.println(res.getObject("id"));
        }

        sql = "select count(1) from " + tableName;
        res = stmt.executeQuery(sql);
        while (res.next()) {
            System.out.println("count:" + res.getString(1));
        }
    }
}

下面是控制臺(tái)輸出

log4j:WARN No appenders could be found for logger (org.apache.hive.jdbc.Utils).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
id	int
req_name	string
req_version	string
req_param	string
req_no	string
req_status	string
req_desc	string
ret	string
excute_time	int
req_time	date
create_time	date
212
213
214
215
216
217
218
219
220
221
count:932

4、注意事項(xiàng)

• 集群要配置ssh免密碼登錄

• 不要忘記拷貝hive的配置文件，不然spark會(huì)在本地創(chuàng)建物理數(shù)據(jù)庫(kù)文件

• hive啟動(dòng)時(shí)提示ls: cannot access /opt/spark/spark-2.0.1-bin-hadoop2.6/lib/spark-assembly-*.jar: No such file or directory，不影響程序運(yùn)行。

看完上述內(nèi)容，你們掌握如何進(jìn)行spark2.0.1安裝部署及使用jdbc連接基于hive的sparksql的方法了嗎？如果還想學(xué)到更多技能或想了解更多相關(guān)內(nèi)容，歡迎關(guān)注億速云行業(yè)資訊頻道，感謝各位的閱讀！