HIVE體系架構(gòu)是怎么樣的

這篇文章主要介紹了HIVE體系架構(gòu)是怎么樣的，具有一定借鑒價值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

*注：本文基于hive-0.8.1寫的

架構(gòu)圖：

一、   service

1、       hive有三種service，分別是cli，hiveserver和hwi。

2、       cli是命令行工具，為默認服務(wù)，啟動方式$HIVE_HOME/bin/hive 或 $HIVE_HOME/bin/hive --service cli。

3、       hiverserver通過thrift對外提供服務(wù)，默認端口10000，啟動方式為$HIVE_HOME/bin/hive--service hiveserver。

4、       hwi為web接口，可以通過瀏覽器訪問hive，默認端口9999，啟動方式為$HIVE_HOME/bin/hive--service hwi。

5、       每個服務(wù)間互相獨立，有各自的配置文件(配置metasotre/namenode/jobtracker等)，如果metasotre的配置一樣則物理上對應(yīng)同一hive庫。

6、       Driver用于解釋、編譯、優(yōu)化、執(zhí)行HQL，每個service的Driver相互獨立。

7、       CLI為用戶提供命令行接口，每個CLI獨享配置，即在一個CLI里修改配置不影響別的CLI。

8、       多個JDBC可同時連到同一HiveServer上，所有會話共享一份配置。(注:從0.9.0起hiveserver配置已經(jīng)從global降為session，即每個session的配置相互獨立，見 [HIVE-2503])

9、       多個瀏覽器可同時連到同一HWI上，所有會話共享一份配置。

二、MetaStore

MetaStore位置通過參數(shù)javax.jdo.option.ConnectionURL來指定，可在會話中自由修改。相關(guān)的參數(shù)包括：

javax.jdo.option.ConnectionDriverName#數(shù)據(jù)庫驅(qū)動
javax.jdo.option.ConnectionURL          #數(shù)據(jù)庫ip端口庫名等
javax.jdo.option.ConnectionUserName   #用戶名
javax.jdo.option.ConnectionPassword    #密碼

通過修改這些參數(shù)可以在多個MetaStore間熱切換，可用于HA。

三、NameNode與JobTracker

NameNode由fs.default.name指定，JobTracker由mapred.job.tracker指定，這兩個參數(shù)都可以在會話中自由修改來指向不同的NameNode和JobTracker。

配合MetaStore可以有多種組合出現(xiàn)，例如在同一個MetaStore里讓table1的數(shù)據(jù)存在HDFS1，用JobTracker1計算，table2的數(shù)據(jù)存在HDFS2，用JobTracker2計算，或者讓兩個表都在JobTracker3上計算。

四、注意事項

1、       NameNode和JobTracker最好指向同一個集群，否則計算的時候需要跨集群復(fù)制數(shù)據(jù)。

2、       在MetaStore存儲的是表數(shù)據(jù)文件的絕對路徑，當(dāng)心其與NameNode/JobTracker不再同一個集群里導(dǎo)致夸集群復(fù)制。

3、       對hiveserver與hwi配置的修改會作用到同一service上的所有會話。 (注:從0.9.0起hiveserver配置已經(jīng)從global降為session，即每個session的配置相互獨立

感謝你能夠認真閱讀完這篇文章，希望小編分享的“HIVE體系架構(gòu)是怎么樣的”這篇文章對大家有幫助，同時也希望大家多多支持億速云，關(guān)注億速云行業(yè)資訊頻道，更多相關(guān)知識等著你來學(xué)習(xí)!