像Google一樣玩轉(zhuǎn)大數(shù)據(jù)

隨著生活的豐富，產(chǎn)生數(shù)據(jù)的設備也是愈來愈多，同樣需要處理的數(shù)據(jù)體積也是日益激增，各個機構也紛紛把眼光投向“大數(shù)據(jù)”這個術語。在這場數(shù)據(jù)的淘金中許多公司滿載而歸，然而“大數(shù)據(jù)”投資失敗的公司也不可謂不多，所以就有了之前的一篇文章“ Why Big Data Projects Fail”。對此，商業(yè)智能工具研發(fā)總監(jiān)、esProc、esCalc高級顧問Jim King否認了這個看法，并以Google為例給大數(shù)據(jù)投資者提出了一些警示。

以下為譯文：

首先看一下大數(shù)據(jù)成功典范Google，看看他們是如何玩轉(zhuǎn)大數(shù)據(jù)的：

1. 收集數(shù)據(jù)，捕捉每個網(wǎng)站、電子郵件、Cookie內(nèi)容，并提取關鍵信息。

2. 為信息創(chuàng)建復合索引。不用說，廣告相關索引是必不可少的。

3. 將目錄和內(nèi)容儲存在分布式服務器中。

4. 當用戶瀏覽網(wǎng)站以及搜索或訪問電子郵件時，Google會對這些請求做復雜的轉(zhuǎn)換處理，同時幾個索引項會隨之確定。

5. 根據(jù)索引在服務器中查詢數(shù)據(jù)，返回搜索結果或者廣告。

在這里不難發(fā)現(xiàn)，與Hadoop有關的只有3和5，也就是數(shù)據(jù)儲存和查詢。而這兩項也是最容易實現(xiàn)的兩項，比如Hadoop就是個具有良好擴展性及低成本的解決方案。

那么實現(xiàn)3和5就可以像Google一樣發(fā)玩轉(zhuǎn)大數(shù)據(jù)了？很顯然不行，因為關鍵選項2和4并沒有實現(xiàn)，而2和4就是所謂的業(yè)務分析算法。這些算法由業(yè)務專家根據(jù)數(shù)據(jù)、業(yè)務知識、市場趨勢精心打造，是許多企業(yè)商業(yè)策略制定的重要手段及核心。這才是4V理論中的“Value”。

這也是現(xiàn)下許多大數(shù)據(jù)投資失敗的原因，因為當下的大數(shù)據(jù)只提供了數(shù)據(jù)存儲和查詢的策略，缺乏了提高企業(yè)競爭力的業(yè)務分析解決方案，而恰恰這才是最重要的。事實上，現(xiàn)在的大數(shù)據(jù)工具都是為IT專家打造的，他們可以通過C++或者Java實現(xiàn)MapReduce功能，但是卻無法提供有價值的商業(yè)算法。

因此大數(shù)據(jù)成功的關鍵不在于Hadoop是否部署成功，而在于對業(yè)務有幫助算法的制定，而在人才嚴重缺乏的當下，不妨從數(shù)據(jù)工具入手。降低工具使用的門檻，讓業(yè)務專家可以參與其中，才能發(fā)揮大數(shù)據(jù)真正的作用，對業(yè)務起到立竿見影的改善。

總結

工具的部署誰都可以，關鍵在于業(yè)務算法的制定，讓業(yè)務專家無縫的參與數(shù)據(jù)的分析才是成功之始。