Hive中InputFormat、OutputFormat與SerDe怎么用

這篇文章主要介紹Hive中InputFormat、OutputFormat與SerDe怎么用，文中介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們一定要看完！

Hive中，默認(rèn)使用的是TextInputFormat，一行表示一條記錄。在每條記錄(一行中)，默認(rèn)使用^A分割各個(gè)字段。

在有些時(shí)候，我們往往面對(duì)多行，結(jié)構(gòu)化的文檔，并需要將其導(dǎo)入Hive處理，此時(shí)，就需要自定義InputFormat、OutputFormat，以及SerDe了。

首先來理清這三者之間的關(guān)系，我們直接引用Hive官方說法：

SerDe is a short name for “Serializer and Deserializer.”
Hive uses SerDe (and !FileFormat) to read and write table rows.
HDFS files –> InputFileFormat(RecordReader) –> <key, value> –> Deserializer –> Row object
Row object –> Serializer –> <key, value> –> OutputFileFormat(recordwriter) –> HDFS files

總結(jié)一下，當(dāng)面臨一個(gè)HDFS上的文件時(shí)，Hive將如下處理（以讀為例）：

(1) 調(diào)用InputFormat，將文件切成不同的文檔。每篇文檔即一行(Row)。
(2) 調(diào)用SerDe的Deserializer，將一行(Row)，切分為各個(gè)字段。

當(dāng)HIVE執(zhí)行INSERT操作，將Row寫入文件時(shí)，主要調(diào)用OutputFormat、SerDe的Seriliazer，順序與讀取相反

以上是“Hive中InputFormat、OutputFormat與SerDe怎么用”這篇文章的所有內(nèi)容，感謝各位的閱讀！希望分享的內(nèi)容對(duì)大家有幫助，更多相關(guān)知識(shí)，歡迎關(guān)注億速云行業(yè)資訊頻道！