hive和mysql的關(guān)系

這篇文章主要講解了“hive和mysql的關(guān)系”，文中的講解內(nèi)容簡(jiǎn)單清晰，易于學(xué)習(xí)與理解，下面請(qǐng)大家跟著小編的思路慢慢深入，一起來(lái)研究和學(xué)習(xí)“hive和mysql的關(guān)系”吧！

Hive是一個(gè)基于Hadoop的數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)。通過(guò)hive，我們可以方便地進(jìn)行ETL的工作。hive定義了一個(gè)類似于SQL的查詢語(yǔ)言：HQL，能 夠?qū)⒂脩艟帉懙腝L轉(zhuǎn)化為相應(yīng)的Mapreduce程序基于Hadoop執(zhí)行。

Hive是Facebook 2008年8月剛開源的一個(gè)數(shù)據(jù)倉(cāng)庫(kù)框架，其系統(tǒng)目標(biāo)與 Pig 有相似之處，但它有一些Pig目前還不支持的機(jī)制，比如：更豐富的類型系統(tǒng)、更類似SQL的查詢語(yǔ)言、Table/Partition元數(shù)據(jù)的持久化等。

Hive 可以看成是從SQL到Map-Reduce的 映射器
 

hive的組件和體系架構(gòu)：

hive web接口啟動(dòng)：./hive --service hwi

瀏覽器訪問(wèn)：http://localhost:9999/hwi/

默認(rèn)情況下，Hive元數(shù)據(jù)保存在內(nèi)嵌的 Derby 數(shù)據(jù)庫(kù)中，只能允許一個(gè)會(huì)話連接，只適合簡(jiǎn)單的測(cè)試。為了支持多用戶多會(huì)話，則需要一個(gè)獨(dú)立的元數(shù)據(jù)庫(kù)，我們使用 MySQL 作為元數(shù)據(jù)庫(kù)，Hive 內(nèi)部對(duì) MySQL 提供了很好的支持。

Hive安裝

內(nèi)嵌模式：元數(shù)據(jù)保持在內(nèi)嵌的Derby模式，只允許一個(gè)會(huì)話連接

本地獨(dú)立模式：在本地安裝Mysql，把元數(shù)據(jù)放到Mysql內(nèi)

遠(yuǎn)程模式：元數(shù)據(jù)放置在遠(yuǎn)程的Mysql數(shù)據(jù)庫(kù)。

Hive的數(shù)據(jù)放在哪兒？

數(shù)據(jù)在HDFS的warehouse目錄下，一個(gè)表對(duì)應(yīng)一個(gè)子目錄。

本地的/tmp目錄存放日志和執(zhí)行計(jì)劃

hive的表分為兩種，內(nèi)表和外表。
Hive 創(chuàng)建內(nèi)部表時(shí)，會(huì)將數(shù)據(jù)移動(dòng)到數(shù)據(jù)倉(cāng)庫(kù)指向的路徑；若創(chuàng)建外部表，僅記錄數(shù)據(jù)所在的路徑，不對(duì)數(shù)據(jù)的位置做任何改變。
在刪除表的時(shí)候，內(nèi)部表的元數(shù)據(jù)和數(shù)據(jù)會(huì)被一起刪除， 而外部表只刪除元數(shù)據(jù)，不刪除數(shù)據(jù)。這樣外部表相對(duì)來(lái)說(shuō)更加安全些，數(shù)據(jù)組織也更加靈活，方便共享源數(shù)據(jù)。

使用Mysql作為Hive metaStore的存儲(chǔ)數(shù)據(jù)庫(kù)

其中主要涉及到的表如下：

感謝各位的閱讀，以上就是“hive和mysql的關(guān)系”的內(nèi)容了，經(jīng)過(guò)本文的學(xué)習(xí)后，相信大家對(duì)hive和mysql的關(guān)系這一問(wèn)題有了更深刻的體會(huì)，具體使用情況還需要大家實(shí)踐驗(yàn)證。這里是億速云，小編將為大家推送更多相關(guān)知識(shí)點(diǎn)的文章，歡迎關(guān)注！