Hive數(shù)倉開發(fā)的基本流程

本篇內(nèi)容介紹了“Hive數(shù)倉開發(fā)的基本流程”的有關(guān)知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

1.從業(yè)務(wù)系統(tǒng)獲取數(shù)據(jù)

Sqoop 導(dǎo)入數(shù)據(jù)庫的數(shù)據(jù)：spoop 可以在 Hive 與傳統(tǒng)的數(shù)據(jù)庫間進行數(shù)據(jù)的傳遞，可以將一個關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)導(dǎo)進到 Hadoop 的HDFS中，也可以將 HDFS 的數(shù)據(jù)導(dǎo)進到關(guān)系型數(shù)據(jù)庫中。

Flume 采集文本數(shù)據(jù)：Flume 可以將各類型的文件進行采集，存放入 hdfs中。

Ftp 文件服務(wù)器：從文件服務(wù)器上下載分析所需的源數(shù)據(jù)（增量數(shù)據(jù)、全量數(shù)據(jù)）。

2.數(shù)據(jù)存儲

數(shù)據(jù)倉庫分層 ods 層、dw 層、da 層：

源數(shù)據(jù)層 ODS ：直接引用外圍的數(shù)據(jù) 沒有統(tǒng)一格式化的 不會直接應(yīng)用使用不利于分析。

數(shù)據(jù)倉庫層 DW ：來自于 ODS 要經(jīng)過 ETL 的過程 格式統(tǒng)一 數(shù)據(jù)規(guī)整 干凈清潔。

數(shù)據(jù)應(yīng)用層 DA ：要去用 DW 層數(shù)據(jù)真正的數(shù)據(jù)使用者。

數(shù)據(jù)集市：也叫數(shù)據(jù)市場，數(shù)據(jù)集市就是滿足特定的部門或者用戶的需求，按照多維的方式進行存儲，包括定義維度、需要計算的指標(biāo)、維度的層次等，生成面向決策分析需求的數(shù)據(jù)立方體。

3.配置調(diào)度系統(tǒng)

4.導(dǎo)出數(shù)據(jù)&展示

“Hive數(shù)倉開發(fā)的基本流程”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識可以關(guān)注億速云網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實用文章！