大數(shù)據(jù)技術(shù)的4個(gè)E

大數(shù)據(jù)的4個(gè)V說法在業(yè)界已經(jīng)盡人皆知，這是指的大數(shù)據(jù)本身的特征?，F(xiàn)在我們來考察一下用于處理大數(shù)據(jù)的技術(shù)應(yīng)該具有的特性。為方便記憶，類似4個(gè)V，我們把這些特性總結(jié)成4個(gè)E，用戶在選擇大數(shù)據(jù)技術(shù)解決方案時(shí)可作為參考。

1. Easy 大數(shù)據(jù)技術(shù)要足夠簡(jiǎn)單易用

這個(gè)E很容易理解。

要進(jìn)行大數(shù)據(jù)處理的場(chǎng)景很多，涉及工作人員也是各種各樣的。如果技術(shù)的難度太大，那會(huì)導(dǎo)致只有少數(shù)人能應(yīng)用，而且實(shí)施復(fù)雜度較高，這樣大數(shù)據(jù)的應(yīng)用就會(huì)大打折扣了。

大數(shù)據(jù)領(lǐng)域這種例子并不少，Hadoop剛出來時(shí)只有MapReduce，相對(duì)于完全用Java硬寫，MapReduce已經(jīng)簡(jiǎn)單了很多，所以會(huì)積累出一批擁躉。但MapReduce的難度仍然不小，所以逐步被后來封裝出來的HIVE SQL替代。Spark上的Scala也風(fēng)靡過一陣，但難度仍然不少，目前也逐步歸于平靜，更多的人還是愿意使用更簡(jiǎn)單的Spark SQL。

2. Elastic 大數(shù)據(jù)技術(shù)要具有彈性擴(kuò)展能力

這個(gè)E也容易理解。

很多情況下，大數(shù)據(jù)并不是一下子就很大，而是逐步變大的。即使已經(jīng)較大的數(shù)據(jù)，也還會(huì)進(jìn)一步變得更大。因此要求大數(shù)據(jù)處理技術(shù)有一定的彈性擴(kuò)展能力就是很自然的事情，這一點(diǎn)一般都不會(huì)被大數(shù)據(jù)技術(shù)提供商忽略掉。

當(dāng)然，任何技術(shù)都有局限性，面向一般規(guī)模和面向超大規(guī)模的技術(shù)相差是很大的，不大可能有一種技術(shù)能夠有效適應(yīng)數(shù)據(jù)規(guī)模從0到無窮大的各個(gè)階段(所謂有效適應(yīng)是在各個(gè)階段該技術(shù)都能達(dá)到相當(dāng)優(yōu)良的性能，而不只是可以處理），用戶在選擇技術(shù)時(shí)還要對(duì)自己的數(shù)據(jù)規(guī)模變化范圍有一個(gè)預(yù)估。

3. Embeddable 大數(shù)據(jù)技術(shù)應(yīng)可以被嵌入集成

這個(gè)E需要特別指出，常常不被重視。

大數(shù)據(jù)處理經(jīng)常并不是一件獨(dú)立的事情，它需要和具體的應(yīng)用配合工作才能發(fā)揮其業(yè)務(wù)價(jià)值，這些處理常常在應(yīng)用執(zhí)行到某個(gè)環(huán)節(jié)時(shí)就需要進(jìn)行，這樣就要求相應(yīng)的技術(shù)能夠被方便地嵌入集成到應(yīng)用程序中，隨時(shí)隨地被主程序調(diào)用。

特別地，大部分應(yīng)用程序建立在J2EE架構(gòu)上，因而對(duì)Java應(yīng)用的可集成性就是個(gè)特別重要的指標(biāo)。一般基于Java或SQL體系的大數(shù)據(jù)技術(shù)在集成方面都沒太大問題，而其它技術(shù)體系的就難說了。而且，大多數(shù)大數(shù)據(jù)技術(shù)常常需要獨(dú)立部署，即使其計(jì)算能力可以被集成，但必須依賴于外部的獨(dú)立進(jìn)程，不能被應(yīng)用完全控制，有時(shí)會(huì)顯得非常累贅。

4. Environment-friendly 大數(shù)據(jù)技術(shù)對(duì)數(shù)據(jù)環(huán)境要求盡量低

這個(gè)E是很多大數(shù)據(jù)技術(shù)不具有但卻很重要的。

目前的大數(shù)據(jù)技術(shù)，如Hadoop和MPP等，都要求先把數(shù)據(jù)放進(jìn)該技術(shù)規(guī)定的某種存儲(chǔ)體系中。這樣當(dāng)然有意義，數(shù)據(jù)事先組織之后會(huì)獲得更高的性能。但是，經(jīng)常的情況是，我們需要處理的大數(shù)據(jù)事先并不在這些存儲(chǔ)體系中，而且把外部數(shù)據(jù)搬進(jìn)這些存儲(chǔ)體系本身也是一種大數(shù)據(jù)處理，這些場(chǎng)景下都無法利用這些大數(shù)據(jù)技術(shù)了。

更好的大數(shù)據(jù)技術(shù)應(yīng)當(dāng)能不挑數(shù)據(jù)源，隨便什么來源的數(shù)據(jù)都可以處理，只是有可能因?yàn)閿?shù)據(jù)源的限制而一定程度地降低性能，但并不要求必須先做好ETL才能處理。

其實(shí)最后那個(gè)特性用E并不是很貼切，但為了湊4個(gè)E就對(duì)付了。這個(gè)詞本來是環(huán)保的意思，開放的大數(shù)據(jù)技術(shù)可以少復(fù)制一些數(shù)據(jù)，少部署一些硬件，省點(diǎn)電，也算環(huán)保吧。