Redash+kettle的解決方案是什么

本篇文章為大家展示了Redash+kettle的解決方案是什么，內(nèi)容簡明扼要并且容易理解，絕對能使你眼前一亮，通過這篇文章的詳細(xì)介紹希望你能有所收獲。

Redash自帶簡單的結(jié)果集再運(yùn)算能力，提供從數(shù)據(jù)抽取、數(shù)據(jù)建模、數(shù)據(jù)分析，到數(shù)據(jù)可視化、預(yù)警分發(fā)的一站式數(shù)據(jù)分析應(yīng)用能力； 即便試用專業(yè)的ETL工具，也可實(shí)現(xiàn)多數(shù)據(jù)源的聯(lián)合動態(tài)分析（聯(lián)動、鉆取、動態(tài)參數(shù)等交互分析功能）。允許用戶快速接入各類數(shù)據(jù)源，無需借助數(shù)倉即可實(shí)現(xiàn)數(shù)據(jù)導(dǎo)入-處理-分析的流程，因此Redash可以在沒有數(shù)據(jù)倉庫的前提下實(shí)現(xiàn)實(shí)時(shí)智能數(shù)據(jù)分析為主、輔以簡單數(shù)據(jù)處理加工的應(yīng)用場景。

但是，隨著企業(yè)用戶數(shù)據(jù)量、分析復(fù)雜度的不斷提升，數(shù)據(jù)分析平臺上輕量式數(shù)據(jù)存儲與數(shù)據(jù)流處理模塊是難以承受巨大的計(jì)算壓力的，需要大量指標(biāo)運(yùn)算、大量歷史數(shù)據(jù)同比/環(huán)比運(yùn)算的，還是需要有計(jì)劃地建設(shè)數(shù)據(jù)倉庫或數(shù)據(jù)平臺。Redash能完美集成開源ETL工具Kettle，構(gòu)建企業(yè)級數(shù)據(jù)倉庫和BI系統(tǒng)。

數(shù)據(jù)不會像水一樣從源頭直接流進(jìn)BI系統(tǒng)。通常我們需要ETL（即數(shù)據(jù)抽取、轉(zhuǎn)換、裝載的過程）工具來把數(shù)據(jù)從源頭抓取到BI的數(shù)據(jù)倉庫，ETL工具能將企業(yè)中的分散、零亂、標(biāo)準(zhǔn)不統(tǒng)一的數(shù)據(jù)整合到一起。

Kettle是一款高效易用的ETL工具，可以實(shí)現(xiàn)數(shù)據(jù)從多個(gè)異構(gòu)數(shù)據(jù)源加載到目標(biāo)地址。Kettle可以在Windows、Linux、Unix上運(yùn)行，支持圖形化的GUI設(shè)計(jì)界面，以工作流的形式流轉(zhuǎn)，數(shù)據(jù)抽取、質(zhì)量檢測、數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)過濾等方面高效穩(wěn)定。

Kettle介紹

Kettle是一個(gè)組件化的集成系統(tǒng)，包括如下幾個(gè)主要部分：

1.Spoon：圖形化界面工具(GUI方式)，Spoon允許你通過圖形界面來設(shè)計(jì)Job和 Transformation，可以保存為文件或者保存在數(shù)據(jù)庫中。也可以直接在Spoon圖形化界面中運(yùn)行Job和Transformation，

2.Pan：Transformation執(zhí)行器(命令行方式)，Pan用于在終端執(zhí)行Transformation，沒有圖形界面。

3.Kitchen：Job執(zhí)行器(命令行方式)，Kitchen用于在終端執(zhí)行Job，沒有圖形界面。

4.Carte：嵌入式Web服務(wù)，用于遠(yuǎn)程執(zhí)行Job或Transformation，Kettle通過Carte建立集群。

5.Encr：Kettle用于字符串加密的命令行工具，如：對在Job或Transformation中定義的數(shù)據(jù)庫連接參數(shù)進(jìn)行加密。

應(yīng)用案例

某超市應(yīng)用redash制作實(shí)時(shí)數(shù)據(jù)分析報(bào)表，前期主要獲取最新實(shí)時(shí)數(shù)據(jù)，時(shí)效性要求高，因此采用redash直接動態(tài)獲取數(shù)據(jù)庫數(shù)據(jù)實(shí)時(shí)展示。

但是后期隨著業(yè)務(wù)發(fā)展，數(shù)據(jù)取數(shù)越來越復(fù)雜，需要分析大量數(shù)據(jù)的指標(biāo)和同比環(huán)比情況，而且數(shù)據(jù)即時(shí)性要求并不高時(shí)，采用redash多種結(jié)果集查詢運(yùn)算反復(fù)取數(shù)據(jù)，數(shù)據(jù)分析效率比較低。數(shù)據(jù)量非常大的情況，使用kettle可以直接作業(yè)和轉(zhuǎn)換，一個(gè)作業(yè)里可以執(zhí)行多個(gè)轉(zhuǎn)換，這樣數(shù)據(jù)分析效率就會大大提升，最后配合Redash進(jìn)行可視化分析，制作報(bào)表進(jìn)行展示。

Kettle可以簡化數(shù)據(jù)倉庫的創(chuàng)建，更新和維護(hù)，幫助企業(yè)快速搭建異構(gòu)數(shù)據(jù)源之間的數(shù)據(jù)管道，讓復(fù)雜的數(shù)據(jù)項(xiàng)目不再成為瓶頸，Redash+kettle=完整的BI項(xiàng)目解決方案，實(shí)現(xiàn)一站式打造企業(yè)級數(shù)據(jù)可視化分析云平臺。

上述內(nèi)容就是Redash+kettle的解決方案是什么，你們學(xué)到知識或技能了嗎？如果還想學(xué)到更多技能或者豐富自己的知識儲備，歡迎關(guān)注億速云行業(yè)資訊頻道。