數(shù)據(jù)驅(qū)動企業(yè)二次騰飛

數(shù)據(jù)中心整體解決方案

1      前言

隨著全球經(jīng)濟的發(fā)展、互聯(lián)網(wǎng)時代向DT時代的快速轉(zhuǎn)變，企業(yè)發(fā)展到一定階段，一體化、產(chǎn)業(yè)化、互聯(lián)化勢必成為二次騰飛的新的機遇。但是在企業(yè)內(nèi)部，長久以來的業(yè)務(wù)分散發(fā)展、導(dǎo)致信息孤島、業(yè)務(wù)鏈斷點等等問題，這些問題本質(zhì)上是數(shù)據(jù)的問題，數(shù)據(jù)沒有實現(xiàn)深層次的價值。企業(yè)實現(xiàn)快速發(fā)展，解決數(shù)據(jù)的問題，挖掘數(shù)據(jù)的價值是勢在必行的一條道路。其中，數(shù)據(jù)價值發(fā)現(xiàn)的三個主要思路是：

1. 解決企業(yè)信息孤島，實現(xiàn)業(yè)務(wù)一體化貫通；該思路是目前企業(yè)解決信息孤島的主要解決方案。

2. 數(shù)據(jù)一體化，為企業(yè)發(fā)展提供深層次價值挖掘；該思路的本質(zhì)是以數(shù)據(jù)為現(xiàn)象發(fā)現(xiàn)企業(yè)內(nèi)在本質(zhì)，解決企業(yè)問題。

3. 數(shù)據(jù)運營化，自身數(shù)據(jù)的對外服務(wù)和運營，掌控入口；該思路目前在互聯(lián)網(wǎng)行業(yè)和掌握了數(shù)據(jù)的行業(yè)開展的比較多，通過挖掘數(shù)據(jù)的價值，實現(xiàn)數(shù)據(jù)增值。

結(jié)合當前數(shù)據(jù)增值的幾種思路，以及目前大型集團企業(yè)遇到的問題，北京京航計算通訊研究所經(jīng)過幾年的研究實踐，成功發(fā)布了企業(yè)數(shù)據(jù)資源管理與分析平臺V2.0，目標是為企業(yè)解決數(shù)據(jù)問題，實現(xiàn)數(shù)據(jù)增值。

2      飛航企業(yè)數(shù)據(jù)中心整體解決方案

飛航數(shù)據(jù)中心整體解決方案1.0版本從2011年開始項目落地，從用戶的基礎(chǔ)數(shù)據(jù)管理需求開始，經(jīng)過幾年的發(fā)展和實踐，創(chuàng)新性的提出了業(yè)務(wù)主題數(shù)據(jù)、數(shù)據(jù)全周期采集、管理、應(yīng)用、分析一體化管理的理念。在航天科工集團及下屬各級單位得到了成功的應(yīng)用。

在2015年，經(jīng)過近5年的經(jīng)驗積累，成功發(fā)布飛航企業(yè)數(shù)據(jù)資源管理與分析平臺，實現(xiàn)了企業(yè)級數(shù)據(jù)中心的一鍵式解決方案，同時，向不同行業(yè)提供最佳業(yè)務(wù)實踐。

2.1    以元數(shù)據(jù)為核心的數(shù)據(jù)資源建模方法

圖一：元數(shù)據(jù)為核心的理念

京航所結(jié)合多年的信息化建設(shè)經(jīng)驗，提出了一套符合集團型企業(yè)的飛航數(shù)據(jù)資源建模方法可以適應(yīng)不同項目對元數(shù)據(jù)模型描述方法的差異化定義，以及系統(tǒng)的不同應(yīng)用階段對元數(shù)據(jù)模型描述方法的調(diào)整。同時該建模方法為用戶提供了自定義的擴展接口。

數(shù)據(jù)建模是數(shù)據(jù)對象的描述，包括數(shù)據(jù)標識、數(shù)據(jù)構(gòu)成的元素，元數(shù)據(jù)模型是一種數(shù)據(jù)規(guī)范，涵蓋了數(shù)據(jù)的命名、解釋、數(shù)據(jù)結(jié)構(gòu)等信息，可用于創(chuàng)建數(shù)據(jù)庫結(jié)構(gòu)、了解數(shù)據(jù)模型，執(zhí)行跨系同數(shù)據(jù)交換與共享。在資源目錄下創(chuàng)建元數(shù)據(jù)模型，進行主數(shù)據(jù)模型管理。引用元數(shù)據(jù)模型定義，對主數(shù)據(jù)元素進行數(shù)據(jù)描述，形成完整的數(shù)據(jù)信息、數(shù)據(jù)模型信息、數(shù)據(jù)引用關(guān)系信息等，支持數(shù)據(jù)的管理應(yīng)用。同時，對元數(shù)據(jù)模型進行版本管理，以適應(yīng)數(shù)據(jù)管理變動的需求，同時對數(shù)據(jù)實體模型、數(shù)據(jù)內(nèi)容產(chǎn)生影響。

基于數(shù)據(jù)資源建模方法，通過平臺實現(xiàn)數(shù)據(jù)資源對象的數(shù)據(jù)建模，通過數(shù)據(jù)模型建立數(shù)據(jù)資源的存儲結(jié)構(gòu)、數(shù)據(jù)格式、與其他模型的關(guān)系等。適應(yīng)隨時間、管理方法的變化而需要進行的數(shù)據(jù)模型調(diào)整，通過系統(tǒng)配置可實現(xiàn)模型的變更、升級，并保證數(shù)據(jù)資源的安全性、數(shù)據(jù)模型的平穩(wěn)變化。

2.2    以數(shù)據(jù)模型為依托的數(shù)據(jù)資源管理與應(yīng)用

以數(shù)據(jù)模型為基礎(chǔ)實現(xiàn)數(shù)據(jù)的維護、管理、查詢檢索，支持數(shù)據(jù)的流程審核，實現(xiàn)多角色的數(shù)據(jù)協(xié)同管理。通過配置實現(xiàn)數(shù)據(jù)資源管理界面、數(shù)據(jù)項的定制，不同的界面數(shù)據(jù)內(nèi)容應(yīng)用于不同的管理場景。

同時，京航所結(jié)合多年經(jīng)驗，提出了一套以企業(yè)經(jīng)營管理為核心的數(shù)據(jù)模型集，提供了標準的數(shù)據(jù)模型。同時，平臺提供靈活的模型關(guān)系定義，實現(xiàn)企業(yè)數(shù)據(jù)的統(tǒng)一視圖。

2.3    靈活多變的編碼引擎

對于企業(yè)，特別是集團型企業(yè)，需要進行編碼管理的基礎(chǔ)數(shù)據(jù)不勝枚舉，人員需要唯一編碼、合同需要編碼、物資需要編碼、產(chǎn)品需要編碼等等，編碼數(shù)據(jù)是企業(yè)業(yè)務(wù)貫通的關(guān)鍵節(jié)點，好比人體的關(guān)節(jié)，是串聯(lián)所有業(yè)務(wù)的關(guān)鍵生命線。

飛航數(shù)據(jù)資源管理與分析平臺結(jié)合企業(yè)編碼數(shù)據(jù)需求，同時結(jié)合了由于業(yè)務(wù)發(fā)展導(dǎo)致編碼變更、新舊編碼同時存在、多編碼規(guī)則等問題，提供了一套靈活多變、可配置的編碼引擎。該引擎支持支持多種形式的碼段規(guī)則管理，如固定碼段、特征碼段、日期碼段、流水碼段等。其中，特征碼段管理特征屬性的特征值與特征碼對照表。通過該編碼引擎，滿足企業(yè)的編碼數(shù)據(jù)要求。

2.4    基于規(guī)則引擎的數(shù)據(jù)質(zhì)量提升

為了保證數(shù)據(jù)中心的有效性和準確性，平臺提供了基于規(guī)則引擎的數(shù)據(jù)質(zhì)量管理模塊，即通過質(zhì)量規(guī)則的定義以及將規(guī)則與數(shù)據(jù)模型進行關(guān)聯(lián)，通過評估調(diào)度產(chǎn)生評估報告和分析結(jié)果。

質(zhì)量規(guī)則定義中創(chuàng)建針對數(shù)據(jù)評估需要的質(zhì)量規(guī)則，在數(shù)據(jù)模型規(guī)則設(shè)置中將系統(tǒng)中每類數(shù)據(jù)模型中需要校驗的元素與校驗規(guī)則配置起來。在質(zhì)量評估調(diào)度中設(shè)置生成評估結(jié)果的頻率和校驗內(nèi)容。數(shù)據(jù)質(zhì)量評估提供對數(shù)據(jù)模型的元素手動生成評估報告。

2.5    基于MPP的數(shù)據(jù)集市

采用自研的MPP數(shù)據(jù)集市方案，該方案采用類似MapReduce計算框架，借鑒增量流計算理念，采用內(nèi)存計算，庫內(nèi)計算，分布式通訊，列存儲分布式文件系統(tǒng)等新技術(shù)開發(fā)實現(xiàn)的一個具備分布式并行實時處理，復(fù)雜查詢優(yōu)化，復(fù)雜分析支持的大數(shù)據(jù)計算處理數(shù)據(jù)庫系統(tǒng)。

2.6    基于敏捷式的快速分析與持續(xù)迭代

數(shù)據(jù)倉庫＋OLAP時代的商業(yè)智能系統(tǒng)，要求用戶預(yù)先提出的分析及統(tǒng)計的需求。以此為基礎(chǔ)，展開數(shù)據(jù)建模工作，進而導(dǎo)入數(shù)據(jù)，然后再創(chuàng)建Cube。這些工作完成以后，才能開發(fā)商業(yè)智能應(yīng)用，這是典型的數(shù)據(jù)驅(qū)動模式。業(yè)務(wù)驅(qū)動的商業(yè)智能系統(tǒng)，則直接導(dǎo)入細節(jié)數(shù)據(jù)，不再要求用戶預(yù)先提出具體的分析及統(tǒng)計需求，也不再有創(chuàng)建Cube的過程，這大大簡化了數(shù)據(jù)層的工作，縮短了數(shù)據(jù)層的響應(yīng)周期，整個商業(yè)智能系統(tǒng)由數(shù)據(jù)驅(qū)動轉(zhuǎn)化為業(yè)務(wù)驅(qū)動。

 在數(shù)據(jù)倉庫＋OLAP時代，一個新的分析需求也許要用一個月的時間去實現(xiàn)，現(xiàn)在只需一周甚至一天。以前建設(shè)一個商業(yè)智能系統(tǒng)也許需要一年，而如今不到一周我們就能開發(fā)出第一個數(shù)據(jù)分析應(yīng)用。

2.7    基于探索式的用戶自服務(wù)商業(yè)智能

探索型BI系統(tǒng)認為Reporting、Dashboard等數(shù)據(jù)應(yīng)用是商業(yè)智能系統(tǒng)的門戶、入口而不是終點。在這樣的系統(tǒng)中，基于過濾(Filter)、鉆取(Drill)、刷取(Brush)、關(guān)聯(lián)(Associate)、變換(Transform)、動態(tài)計算（Dynamic Calculation）等等分析技術(shù)，用戶可以進一步與數(shù)據(jù)互動(Interactive)。

  數(shù)據(jù)層薄了，業(yè)務(wù)層就有條件厚實起來。行業(yè)領(lǐng)先的企業(yè)在良好的分級規(guī)劃和分級管理下，上至總經(jīng)理下至一線員工，各級部門都能提出并開發(fā)自己的數(shù)據(jù)分析應(yīng)用，最終打造出隨需應(yīng)變的自服務(wù)商業(yè)智能系統(tǒng)。由于大部分數(shù)據(jù)分析應(yīng)用由用戶或者靠近用戶的人員自行開發(fā)，開發(fā)應(yīng)用的關(guān)聯(lián)人員減少，整個機構(gòu)管理更加扁平化，而響應(yīng)時間卻大大縮短，企業(yè)的經(jīng)營管理能力和戰(zhàn)略決策水平隨之提升。相比傳統(tǒng)的商業(yè)智能系統(tǒng)，自服務(wù)商業(yè)智能系統(tǒng)更優(yōu)化，更有效率。

  直接導(dǎo)入細節(jié)數(shù)據(jù)的這一數(shù)據(jù)建模技術(shù)，將數(shù)據(jù)和應(yīng)用之間的關(guān)系從緊耦合改造成松耦合，讓大多數(shù)分析應(yīng)用不引起數(shù)據(jù)層的任何改變；而基于MPP架構(gòu)的商業(yè)智能系統(tǒng)，能夠直接對細節(jié)數(shù)據(jù)進行高性能分析。這樣一來，用戶可以快速開發(fā)出數(shù)據(jù)應(yīng)用，并隨即進行實時分析。

3      結(jié)束語

DT時代的到來，數(shù)據(jù)的價值會越來越被人發(fā)現(xiàn)，特別是對于大型集團企業(yè)，數(shù)據(jù)從產(chǎn)生、傳輸、使用、復(fù)制、報表、圖形等全生命周期過程中，每個階段都會發(fā)揮不同的作用，只有更深的發(fā)現(xiàn)數(shù)據(jù)的角色，賦予數(shù)據(jù)更多的作用，數(shù)據(jù)就會為企業(yè)產(chǎn)生更多的作用。

飛航數(shù)據(jù)中心正是為此而生的！