什么是大數(shù)據(jù)概念

　　現(xiàn)在說(shuō)起大數(shù)據(jù)，那是相當(dāng)火的“時(shí)髦詞”，大家在炒概念，大數(shù)據(jù)并不難，怎樣利用大數(shù)據(jù)還是很難得，在我看來(lái)，目前很多人都在吹噓大數(shù)據(jù)。但是真正懂大數(shù)據(jù)的人卻寥寥無(wú)幾，下面我們來(lái)聊聊大數(shù)據(jù)概念：

　　大數(shù)據(jù)(big data),簡(jiǎn)單來(lái)說(shuō)就是巨量數(shù)據(jù)集合(IT行業(yè)術(shù)語(yǔ))，百度百科詞條的解釋是這樣的：指無(wú)法在可承受的時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力來(lái)適應(yīng)海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。

　　在維克托·邁爾-舍恩伯格及肯尼斯·庫(kù)克耶編寫(xiě)的《大數(shù)據(jù)時(shí)代》中是這樣定義大數(shù)據(jù)的：指不用隨機(jī)分析法(抽樣調(diào)查)這樣的捷徑，而采用所有數(shù)據(jù)進(jìn)行分析處理。大數(shù)據(jù)的5V特點(diǎn)(IBM提出)：Volume(大量)、Velocity(高速)、Variety(多樣)、Value(價(jià)值)Veracity(真實(shí)性)。

　　大數(shù)據(jù)是需要更新模式才能具有更強(qiáng)大的決策力，洞察發(fā)現(xiàn)力和流程優(yōu)化能力來(lái)適應(yīng)海量，高增長(zhǎng)和多樣化的信息資產(chǎn)。大數(shù)據(jù)有以下幾點(diǎn)內(nèi)涵吧:

　　1. 數(shù)據(jù)量大，TB，PB，乃至EB等數(shù)據(jù)量的數(shù)據(jù)需要分析處理。

　　2. 要求快速響應(yīng)，市場(chǎng)變化快，要求能及時(shí)快速的響應(yīng)變化，對(duì)數(shù)據(jù)的分析也要快，在性能上有更高要求，所以數(shù)據(jù)量顯得對(duì)速度要求有些“大”。

　　3. 數(shù)據(jù)多樣性：不同的數(shù)據(jù)源，非結(jié)構(gòu)化數(shù)據(jù)越來(lái)越多，需要進(jìn)行清洗，整理，篩選等操作，變?yōu)榻Y(jié)構(gòu)數(shù)據(jù)。

　　4. 價(jià)值密度低，由于數(shù)據(jù)采集的不及時(shí)，數(shù)據(jù)樣本不全面，數(shù)據(jù)可能不連續(xù)等等，數(shù)據(jù)可能會(huì)失真，但當(dāng)數(shù)據(jù)量達(dá)到一定規(guī)模，可以通過(guò)更多的數(shù)據(jù)達(dá)到更真實(shí)全面的反饋。

　　現(xiàn)在的社會(huì)是一個(gè)快速發(fā)展的時(shí)代，科技發(fā)達(dá)，信息流通，人們之家的交流越來(lái)越密切呢，生活也是越來(lái)越方便，大數(shù)據(jù)就是這個(gè)高科技時(shí)代的產(chǎn)物;很多行業(yè)都會(huì)有大數(shù)據(jù)需求，譬如電信行業(yè)，互聯(lián)網(wǎng)行業(yè)等等容易產(chǎn)生大量數(shù)據(jù)的行業(yè)，很多傳統(tǒng)行業(yè)，譬如醫(yī)藥，教育，采礦，電力等等任何行業(yè)，都會(huì)有大數(shù)據(jù)需求。大數(shù)據(jù)與各個(gè)行業(yè)的深度融會(huì)，將發(fā)生出前所未有的社會(huì)和商業(yè)價(jià)值。

　　馬云曾說(shuō)過(guò)，未來(lái)時(shí)代將不是IT時(shí)代，而是DT(Data Technology數(shù)據(jù)科技)的時(shí)代，顯示大數(shù)據(jù)對(duì)于阿里巴巴企業(yè)來(lái)說(shuō)舉足輕重。

　　這是本人理解的大數(shù)據(jù)概念， 如果有不對(duì)的地方，希望諒解，也希望你們多多補(bǔ)充，讓我們感受和期待大數(shù)據(jù)未來(lái)的發(fā)展

　　本文出自檸檬派(http://www.lemonpai.com/1419.html 在Apache Hive中輕松生存的12個(gè)技巧 )轉(zhuǎn)載請(qǐng)務(wù)必保留此出處 ，否則將追究法律責(zé)任!