Hadoop技術(shù)在商業(yè)智能BI中的應(yīng)用分析

本篇內(nèi)容主要講解“Hadoop技術(shù)在商業(yè)智能BI中的應(yīng)用分析”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實用性強。下面就讓小編來帶大家學習“Hadoop技術(shù)在商業(yè)智能BI中的應(yīng)用分析”吧!

Hadoop是個很流行的分布式計算解決方案，是Apache的一個開源項目名稱，核心部分包括HDFS及MapReduce。其中，HDFS是分布式文件系統(tǒng)，MapReduce是分布式計算引擎。時至今日，Hadoop在技術(shù)上已經(jīng)得到驗證、認可甚至到了成熟期，同時也衍生出了一個龐大的生態(tài)圈，比較知名的包括HBase、Hive、Spark等。HBase是基于HDFS的分布式列式數(shù)據(jù)庫，HIVE是一個基于HBase數(shù)據(jù)倉庫系統(tǒng)。Impala為存儲在HDFS和HBase中的數(shù)據(jù)提供了實時SQL查詢功能，基于HIVE服務(wù)，并可共享HIVE的元數(shù)據(jù)。Spark是一個類似MapReduce的并行計算框架，也提供了類似的HIVE的Spark SQL查詢接口，Hive是基于hadoop的數(shù)據(jù)分析工具。

很多企業(yè)比如銀行流水作業(yè)很多，數(shù)據(jù)都是實時更新且數(shù)據(jù)量很大。會采用hadoop作為底層數(shù)據(jù)庫，借由中間商處理底層數(shù)據(jù)，然后通過BI系統(tǒng)去連接這些中間數(shù)據(jù)處理廠商的中間表，接入處理數(shù)據(jù)，尤其以星環(huán)、華為這類hadoop大數(shù)據(jù)平臺商居多，使用也較為廣泛。

這里以星環(huán)大數(shù)據(jù)平臺與帆軟大數(shù)據(jù)BI工具FineBI的結(jié)合應(yīng)用來簡單介紹下。

由于星環(huán)也是處理hadoop下的hive數(shù)據(jù)庫，其本質(zhì)都是差不多的，可以使用Hive提供的jdbc驅(qū)動，這個驅(qū)動同樣可以讓FineBI連接星環(huán)的數(shù)據(jù)庫并進行一些類關(guān)系型數(shù)據(jù)庫的sql語句查詢等操作，部分特殊sql的公式需要與星環(huán)人員確認是否可以使用。

首先將這些驅(qū)動拷貝到報表工程下面，然后重啟BI服務(wù)器。重啟后可以建立與星環(huán)數(shù)據(jù)庫的數(shù)據(jù)連接，最后通過連接進行數(shù)據(jù)查詢。

1、本地部署

下圖是FineBI內(nèi)部測試用的hadoop的jar包（將以下jar包放置于webinf-lib文件夾下），親測，可連接成功，如下圖所示：

2、數(shù)據(jù)連接

數(shù)據(jù)連接如下圖所示：

測試連接成功之后，點擊確定，可直接選擇數(shù)據(jù)庫中對應(yīng)的表加入業(yè)務(wù)包中，類似于Mysql這些最常見的數(shù)據(jù)庫取表方式。

3、實際分析案例

某銀行的總行層面-機構(gòu)維度-四象限圖

（2）總行層面-機構(gòu)維度-趨勢分析

（3）總行層面-產(chǎn)品維度-盈利產(chǎn)品

4．關(guān)于FineBI的FineIndex和FineDirect功能

hadoop是底層，hive是數(shù)據(jù)庫，上述案例采用的是FineIndex（cube連）連接，用的是hiveserver的方式進行數(shù)據(jù)連接的；數(shù)據(jù)連接成功之后，將hive數(shù)據(jù)庫中的表添加到業(yè)務(wù)包中，也就是將庫中數(shù)據(jù)拿到我們的多維數(shù)據(jù)庫（FineIndex），當然抓取的過程中也可以讀取數(shù)據(jù)庫關(guān)聯(lián)和轉(zhuǎn)義，也可以手動轉(zhuǎn)義和進行關(guān)聯(lián)，同時也可以做一些etl操作如新增公式列/行列轉(zhuǎn)換/join/union/過濾/分組統(tǒng)計/自循環(huán)列/新增分組列/使用部分字段等，做過處理的這些數(shù)據(jù)表用于前端分析。

也就是說數(shù)據(jù)庫-FineIndex-前端分析，這里的FineIndex相當于一個中間庫的形式，用來存儲數(shù)據(jù)表，關(guān)聯(lián)轉(zhuǎn)義索引等。這些都對后續(xù)前臺分析處理數(shù)據(jù)效率有很大的提升（因為直接sql取數(shù)，效率受數(shù)據(jù)庫本身的限制，數(shù)據(jù)量大時，一般分析工具很容易就卡死升職內(nèi)存溢出導致系統(tǒng)無響應(yīng)），這也是FineIndex方案的初衷。FineIndex存在有兩個意義，一個是提升效率，一個就是對數(shù)據(jù)進行二次整合處理。

FineBI還有一個連接方式FineDirect（數(shù)據(jù)庫直連），主要是應(yīng)對如下需求：

• 分析結(jié)果的實時性

企業(yè)用戶在使用BI工具的時候，多數(shù)情況下是對大量的歷史數(shù)據(jù)進行OLAP分析，但是也有部分用戶需要展現(xiàn)結(jié)果的實時性。例如金融行業(yè)對于交易風險的分析，是對每一筆流水實時進行分析的，如果需要經(jīng)過構(gòu)建多維數(shù)據(jù)庫的過程，數(shù)據(jù)到來就會有延遲，影響分析結(jié)果的準確性。但是因為計算的過程交給了數(shù)據(jù)庫，響應(yīng)速度更多的取決于數(shù)據(jù)庫的性能。

• 大數(shù)據(jù)平臺的充分利用

隨著各種分布式計算方案的不斷優(yōu)化，數(shù)據(jù)的計算性能也有了快速的發(fā)展，計算能力有了顯著的提高，不少企業(yè)已經(jīng)有了自己的大數(shù)據(jù)計算平臺，例如hadoop，kylin，greenplum，vertica等，這些平臺的對于大數(shù)據(jù)量的處理性能已經(jīng)足以滿足使用需求，不再有建模的需求，因此FineBI直連引擎提供了對接這些數(shù)據(jù)平臺的功能。

到此，相信大家對“Hadoop技術(shù)在商業(yè)智能BI中的應(yīng)用分析”有了更深的了解，不妨來實際操作一番吧！這里是億速云網(wǎng)站，更多相關(guān)內(nèi)容可以進入相關(guān)頻道進行查詢，關(guān)注我們，繼續(xù)學習！