hive sql的執(zhí)行及編譯過程

一、hive在執(zhí)行sql時會以mapreduce的方式對數(shù)據(jù)進(jìn)行接入和處理，其主要包含以下幾個階段：

1.hive首先根據(jù)sql語句中的表從hdfs文件中獲取數(shù)據(jù)，對數(shù)據(jù)文件進(jìn)行split操作，使其可以一行一行將所需數(shù)據(jù)讀入內(nèi)存；
2.map函數(shù)將內(nèi)存中的數(shù)據(jù)按照key值進(jìn)行映射，形成一行一行的key-value值，比如用戶表中的性別字段，內(nèi)存中map處理后的記錄如下：

3.在實際應(yīng)用中會有多臺機(jī)器參與map處理，map完成后需要將帶有相同key的數(shù)據(jù)分發(fā)到同一臺集群去進(jìn)行后續(xù)處理，此時的操作稱為shuffle；
4.如果sql中包含有join、count、sum，此時還會進(jìn)行reduce操作，比如count，其完成reduce后數(shù)據(jù)情況如下：

二、在hive底層，同時還會將上面的sql進(jìn)行編譯，其過程主要包含以下六點：

為便于理解，我們拿一個簡單的查詢語句進(jìn)行展示，對5月30號的地區(qū)維表進(jìn)行查詢：

select * from dim.dim_region where dt = '2019-05-30'

1.根據(jù)Antlr定義的sql語法規(guī)則，將相關(guān)sql進(jìn)行詞法、語法解析，轉(zhuǎn)化為抽象語法樹AST Tree

ABSTRACT SYNTAX TREE:
TOK_QUERY
    TOK_FROM 
    TOK_TABREF
           TOK_TABNAME
               dim
                 dim_region
    TOK_INSERT
      TOK_DESTINATION
          TOK_DIR
              TOK_TMP_FILE
        TOK_SELECT
          TOK_SELEXPR
              TOK_ALLCOLREF
        TOK_WHERE
          =
              TOK_TABLE_OR_COL
                  dt
                    '2019-05-30'

2.遍歷AST Tree，抽象出查詢的基本組成單元QueryBlock
AST Tree生成后由于其復(fù)雜度依舊較高，不便于翻譯為mapreduce程序，需要進(jìn)行進(jìn)一步抽象和結(jié)構(gòu)化，形成QueryBlock。QueryBlock是一條SQL最基本的組成單元，包括三個部分：輸入源，計算過程，輸出。簡單來講一個QueryBlock就是一個子查詢。QB的生成過程為一個遞歸過程，先序遍歷 AST Tree ，遇到不同的Token 節(jié)點(理解為特殊標(biāo)記)，保存到相應(yīng)的屬性中，主要包含以下幾個過程：

• TOK_QUERY：創(chuàng)建 QB 對象，循環(huán)遞歸子節(jié)點
• TOK_FROM：將表名語法部分保存到 QB 對象的 aliasToTabs 等屬性中
• TOK_INSERT：循環(huán)遞歸子節(jié)點
• TOK_DESTINATION：將輸出目標(biāo)的語法部分保存在 QBParseInfo 對象的nameToDest 屬性中
• TOK_SELECT：分別將查詢表達(dá)式的語法部分保存在 destToSelExpr 、destToAggregationExprs 、 destToDistinctFuncExprs 三個屬性中
• TOK_WHERE：將 Where 部分的語法保存在 QBParseInfo 對象的destToWhereExpr 屬性中

3.遍歷QueryBlock，翻譯為執(zhí)行操作樹OperatorTree
Hive最終生成的MapReduce任務(wù)，Map階段和Reduce階段均由OperatorTree組成。邏輯操作符，就是在Map階段或者Reduce階段完成單一特定的操作。
基本的操作符包括TableScanOperator，SelectOperator，F(xiàn)ilterOperator，JoinOperator，GroupByOperator，ReduceSinkOperator
ReduceSinkOperator將Map端的字段組合序列化為Reduce Key/value, Partition Key，只可能出現(xiàn)在Map階段，同時也標(biāo)志著Hive生成的MapReduce程序中Map階段的結(jié)束。
Operator在Map Reduce階段之間的數(shù)據(jù)傳遞都是一個流式的過程。每一個Operator對一行數(shù)據(jù)完成操作后之后將數(shù)據(jù)傳遞給childOperator計算。
由于Join/GroupBy/OrderBy均需要在Reduce階段完成，所以在生成相應(yīng)操作的Operator之前都會先生成一個ReduceSinkOperator，將字段組合并序列化為Reduce Key/value, Partition Key。

4..Logical Optimizer對OperatorTree進(jìn)行優(yōu)化操作
使用ReduceSinkOperator，減少shuffle數(shù)據(jù)量。大部分邏輯層優(yōu)化器通過變換 OperatorTree ，合并操作符，達(dá)到減少 MapReduce Job ，減少 shuffle 數(shù)據(jù)量的目的。

5.遍歷OperatorTree，并翻譯為MapReduce任務(wù)
OperatorTree 轉(zhuǎn)化為 Task tree的過程分為下面幾個階段

對輸出表生成 MoveTask
從 OperatorTree 的其中一個根節(jié)點向下深度優(yōu)先遍歷
ReduceSinkOperator 標(biāo)示 Map/Reduce 的界限，多個 Job 間的界限
遍歷其他根節(jié)點，遇過碰到 JoinOperator 合并 MapReduceTask
生成 StatTask 更新元數(shù)據(jù)
剪斷 Map 與 Reduce 間的 Operator 的關(guān)系

6.物理層優(yōu)化器對MapReduce任務(wù)進(jìn)行優(yōu)化，生成最終的執(zhí)行計劃