大數(shù)據(jù)的數(shù)倉(cāng)平臺(tái)設(shè)計(jì)思路是什么

這篇文章主要講解了“大數(shù)據(jù)的數(shù)倉(cāng)平臺(tái)設(shè)計(jì)思路是什么”，文中的講解內(nèi)容簡(jiǎn)單清晰，易于學(xué)習(xí)與理解，下面請(qǐng)大家跟著小編的思路慢慢深入，一起來(lái)研究和學(xué)習(xí)“大數(shù)據(jù)的數(shù)倉(cāng)平臺(tái)設(shè)計(jì)思路是什么”吧！

下圖為數(shù)倉(cāng)整體的技術(shù)架構(gòu)：

一個(gè)優(yōu)秀可靠的數(shù)倉(cāng)，一定要結(jié)構(gòu)、分層清晰，而不是越多的分層和主題越好，保障清晰的狀態(tài)下，能夠快速找到數(shù)據(jù)的位置。主題域的劃分，完全可按照公司內(nèi)部的業(yè)務(wù)線和結(jié)構(gòu)去劃分。

圖中BDL層，作為緩沖數(shù)據(jù)層，其實(shí)就是貼數(shù)據(jù)層，和源數(shù)據(jù)表相同的表。直接用源庫(kù)（傳統(tǒng)關(guān)系型業(yè)務(wù)庫(kù)）抽取數(shù)據(jù)，只存每天最新的數(shù)據(jù)快照（主要是增量數(shù)據(jù)）

BAK層是BDL層抽數(shù)，保存的是全歷史業(yè)務(wù)數(shù)據(jù)，起備份和查錯(cuò)的作用。

FDL層是基礎(chǔ)數(shù)據(jù)層，是基于主題、數(shù)倉(cāng)模型開(kāi)發(fā)的基礎(chǔ)數(shù)據(jù)表。這里主要用到了范式建模法和維度建模法（即星型模型）包含最細(xì)粒度的數(shù)據(jù)，故稱基礎(chǔ)數(shù)據(jù)層，通俗的理解，這才是整個(gè)數(shù)倉(cāng)的最核心的基礎(chǔ)數(shù)據(jù)層，因?yàn)锽AK層和BDL層的數(shù)據(jù)表結(jié)構(gòu)跟業(yè)務(wù)庫(kù)的數(shù)據(jù)是完全一致的，而FDL層的數(shù)據(jù)才是開(kāi)始進(jìn)行真正意義上的第一次清洗，不要的字段去除，不規(guī)范的字段命名去除，統(tǒng)一數(shù)據(jù)，規(guī)范標(biāo)準(zhǔn)化的一個(gè)過(guò)程。

GDL層是通用數(shù)據(jù)層，就是寬表層。也是基于主題、數(shù)倉(cāng)模型開(kāi)發(fā)的寬表?？赡軙?huì)犧牲第三范式，將相關(guān)的各維度或?qū)傩哉系揭粡埍砝铩＿@種表的特點(diǎn)就是字段較多，數(shù)據(jù)量較大，但它能幫助消除重復(fù)查詢。由于這種表會(huì)被各種需求用到，故稱通用數(shù)據(jù)層。

ADL層是匯總數(shù)據(jù)層，是基于主題、數(shù)倉(cāng)模型開(kāi)發(fā)的匯總數(shù)據(jù)表。這里只用到維度建模法（即星型模型）。指標(biāo)庫(kù)可以放到這一層。

APP層是開(kāi)放給用戶，用戶可以在此層自己開(kāi)發(fā)數(shù)據(jù)，提數(shù)。給用戶的脫敏數(shù)據(jù)也可以放到這一層。我們開(kāi)發(fā)的數(shù)據(jù)產(chǎn)品所需數(shù)據(jù)也可以在這一層做。

還有兩層比較特殊： 
一個(gè)是TMP（臨時(shí)層），說(shuō)白了就是存儲(chǔ)中間結(jié)果表，有些業(yè)務(wù)場(chǎng)景比較復(fù)雜，需要拆表，多次計(jì)算，要用到一些中間結(jié)果集表，因此這層也是輔助層。

DIM層是維表層，各種時(shí)間維，省市區(qū)維度都可以存放，根據(jù)公司的業(yè)務(wù)形態(tài)去劃分，ADL層可以跟DIM層的多維度關(guān)聯(lián)，做各種報(bào)表，手到擒來(lái)。

以下是數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)流架構(gòu)圖： 

感謝各位的閱讀，以上就是“大數(shù)據(jù)的數(shù)倉(cāng)平臺(tái)設(shè)計(jì)思路是什么”的內(nèi)容了，經(jīng)過(guò)本文的學(xué)習(xí)后，相信大家對(duì)大數(shù)據(jù)的數(shù)倉(cāng)平臺(tái)設(shè)計(jì)思路是什么這一問(wèn)題有了更深刻的體會(huì)，具體使用情況還需要大家實(shí)踐驗(yàn)證。這里是億速云，小編將為大家推送更多相關(guān)知識(shí)點(diǎn)的文章，歡迎關(guān)注！