hive架構(gòu)及知識(shí)體系的示例分析

這篇文章主要介紹了hive架構(gòu)及知識(shí)體系的示例分析，具有一定借鑒價(jià)值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

1、Hive架構(gòu)與基本組成

Hive的體系結(jié)構(gòu)可以分為以下幾部分：

    （1）用戶接口主要有三個(gè)：CLI，Client 和 WUI。其中最常用的是CLI。Client是Hive的客戶端，用戶連接至Hive Server。在啟動(dòng) Client模式的時(shí)候，需要指出Hive Server所在節(jié)點(diǎn)，并且在該節(jié)點(diǎn)啟動(dòng)Hive Server。 WUI是通過瀏覽器訪問Hive。
    （2）Hive將元數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)庫(kù)中，如mysql、derby。hive 的元數(shù)據(jù)結(jié)構(gòu)描述信息庫(kù)，可選用不同的關(guān)系型數(shù)據(jù)庫(kù)來存儲(chǔ)，通過配置文件修改、查看數(shù)據(jù)庫(kù)配置信息。（hive-site.xml   統(tǒng)一元數(shù)據(jù)管理）Hive中的元數(shù)據(jù)包括表的名字，表的列和分區(qū)及其屬性，表的屬性（是否為外部表等），表的數(shù)據(jù)所在目錄等。

hive-site.xml  
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
<property>
  <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://localhost:3306/ruozedata_basic02?createDatabaseIfNotExist=true</value>
    </property>
    <property>
      <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
        </property>

<property>
  <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
    </property>

<property>
  <name>javax.jdo.option.ConnectionPassword</name>
    <value>root</value>
    </property>
</configuration>

    （3）解釋器、編譯器、優(yōu)化器完成HQL查詢語句從詞法分析、語法分析、編譯、優(yōu)化以及查詢計(jì)劃的生成。生成的查詢計(jì)劃存儲(chǔ)在HDFS中，并在隨后有MapReduce調(diào)用執(zhí)行。
    （4）Hive的數(shù)據(jù)存儲(chǔ)在HDFS中，大部分的查詢、計(jì)算由MapReduce完成（包含*的查詢，比如select * from tbl不會(huì)生成MapRedcue任務(wù)）。

    Hive將元數(shù)據(jù)存儲(chǔ)在RDBMS中

2.知識(shí)體系

感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享的“hive架構(gòu)及知識(shí)體系的示例分析”這篇文章對(duì)大家有幫助，同時(shí)也希望大家多多支持億速云，關(guān)注億速云行業(yè)資訊頻道，更多相關(guān)知識(shí)等著你來學(xué)習(xí)!