精通大數(shù)據(jù)需要學(xué)會哪些核心技術(shù)？

　　程序員必須掌握的大數(shù)據(jù)分析核心技術(shù)有哪些？大數(shù)據(jù)分析技術(shù)現(xiàn)是一種傳統(tǒng)的技術(shù)分析模型，主要對數(shù)據(jù)進(jìn)行篩選、過濾之后進(jìn)行分析。隨著銀行業(yè)、保險業(yè)，電子商務(wù)的不斷發(fā)展，非結(jié)構(gòu)數(shù)據(jù)的數(shù)量越來越多，增加了大數(shù)據(jù)分析的難度，對于大數(shù)據(jù)方面的程序員要求越來越高。

　　想提高核心業(yè)務(wù)能力的程序員需要掌握大數(shù)據(jù)分析核心技術(shù)，接下來我們就具體來看下：

　　一、大數(shù)據(jù)生命周期

　　底層是基礎(chǔ)設(shè)施，涵蓋計算資源、內(nèi)存與存儲和網(wǎng)絡(luò)互聯(lián)，具體表現(xiàn)為計算節(jié)點(diǎn)、集群、機(jī)柜和數(shù)據(jù)中心。在此之上是數(shù)據(jù)存儲和管理，包括文件系統(tǒng)、數(shù)據(jù)庫和類似YARN的資源管理系統(tǒng)。然后是計算處理層，如hadoop、MapReduce和Spark，以及在此之上的各種不同計算范式，如批處理、流處理和圖計算等，包括衍生出編程模型的計算模型，如BSP、GAS 等。數(shù)據(jù)分析和可視化基于計算處理層。分析包括簡單的查詢分析、流分析以及更復(fù)雜的分析。

　　查詢分析多基于表結(jié)構(gòu)和關(guān)系函數(shù)，流分析基于數(shù)據(jù)、事件流以及簡單的統(tǒng)計分析，而復(fù)雜分析則基于更復(fù)雜的數(shù)據(jù)結(jié)構(gòu)與方法，如圖、矩陣、迭代計算和線性代數(shù)。一般意義的可視化是對分析結(jié)果的展示。但是通過交互式可視化，還可以探索性地提問，使分析獲得新的線索，形成迭代的分析和可視化?；诖笠?guī)模數(shù)據(jù)的實(shí)時交互可視化分析以及在這個過程中引入自動化的因素是目前研究的熱點(diǎn)。

　　二、大數(shù)據(jù)技術(shù)生態(tài)

　　大數(shù)據(jù)的基本處理流程與傳統(tǒng)數(shù)據(jù)處理流程并無太大差異，主要區(qū)別在于：由于大數(shù)據(jù)要處理大量、非結(jié)構(gòu)化的數(shù)據(jù)，所以在各處理環(huán)節(jié)中都可以采用并行處理。目前，Hadoop、MapReduce和Spark等分布式處理方式已經(jīng)成為大數(shù)據(jù)處理各環(huán)節(jié)的通用處理方法。

　　三、大數(shù)據(jù)采集與預(yù)處理

　　在大數(shù)據(jù)的生命周期中，數(shù)據(jù)采集處于第一個環(huán)節(jié)。根據(jù)MapReduce產(chǎn)生數(shù)據(jù)的應(yīng)用系統(tǒng)分類，大數(shù)據(jù)的采集主要有4種來源：管理信息系統(tǒng)、Web信息系統(tǒng)、物理信息系統(tǒng)、科學(xué)實(shí)驗(yàn)系統(tǒng)。對于不同的數(shù)據(jù)集，可能存在不同的結(jié)構(gòu)和模式，如文件、XML 樹、關(guān)系表等，表現(xiàn)為數(shù)據(jù)的異構(gòu)性。

　　對多個異構(gòu)的數(shù)據(jù)集，需要做進(jìn)一步集成處理或整合處理，將來自不同數(shù)據(jù)集的數(shù)據(jù)收集、整理、清洗、轉(zhuǎn)換后，生成到一個新的數(shù)據(jù)集，為后續(xù)查詢和分析處理提供統(tǒng)一的數(shù)據(jù)視圖。針對管理信息系統(tǒng)中異構(gòu)數(shù)據(jù)庫集成技術(shù)、Web 信息系統(tǒng)中的實(shí)體識別技術(shù)和DeepWeb集成技術(shù)、傳感器網(wǎng)絡(luò)數(shù)據(jù)融合技術(shù)已經(jīng)有很多研究工作，取得了較大的進(jìn)展，已經(jīng)推出了多種數(shù)據(jù)清洗和質(zhì)量控制工具。

　　四、大數(shù)據(jù)存儲與管理

　　傳統(tǒng)的數(shù)據(jù)存儲和管理以結(jié)構(gòu)化數(shù)據(jù)為主，因此關(guān)系數(shù)據(jù)庫系統(tǒng)（RDBMS）可以一統(tǒng)天下滿足各類應(yīng)用需求。大數(shù)據(jù)半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)為主，結(jié)構(gòu)化數(shù)據(jù)為輔，而且各種大數(shù)據(jù)應(yīng)用通常是對不同類型的數(shù)據(jù)內(nèi)容檢索、交叉比對、深度挖掘與綜合分析。面對這類應(yīng)用需求，傳統(tǒng)數(shù)據(jù)庫無論在技術(shù)上還是功能上都難以為繼。因此，近幾年出現(xiàn)了oldSQL、NoSQL 與NewSQL 并存的局面?？傮w上，按數(shù)據(jù)類型的不同，大數(shù)據(jù)的存儲和管理采用不同的技術(shù)路線。

　　五、大數(shù)據(jù)計算模式與系統(tǒng)

　　計算模式的出現(xiàn)有力推動了大數(shù)據(jù)技術(shù)和應(yīng)用的發(fā)展，使其成為目前大數(shù)據(jù)處理最為成功、最廣為接受使用的主流大數(shù)據(jù)計算模式。然而，現(xiàn)實(shí)世界中的大數(shù)據(jù)處理問題復(fù)雜多樣，難以有一種單一的計算模式能涵蓋所有不同的大數(shù)據(jù)計算需求。研究和實(shí)際應(yīng)用中發(fā)現(xiàn)，由于MapReduce主要適合于進(jìn)行大數(shù)據(jù)線下批處理，在面向低延遲和具有復(fù)雜數(shù)據(jù)關(guān)系和復(fù)雜計算的大數(shù)據(jù)問題時有很大的不適應(yīng)性。

　　越來越多的行業(yè)和技術(shù)領(lǐng)域需求大數(shù)據(jù)分析系統(tǒng)，例如金融行業(yè)需要使用大數(shù)據(jù)系統(tǒng)結(jié)合 VaR 或者機(jī)器學(xué)習(xí)方案進(jìn)行信貸風(fēng)控，零售、餐飲行業(yè)需要大數(shù)據(jù)系統(tǒng)實(shí)現(xiàn)輔助銷售決策，各種 IOT 場景需要大數(shù)據(jù)系統(tǒng)持續(xù)聚合和分析時序數(shù)據(jù)，各大科技公司需要建立大數(shù)據(jù)分析中臺等。

　　業(yè)務(wù)分析的數(shù)據(jù)范圍橫跨實(shí)時數(shù)據(jù)和歷史數(shù)據(jù)，既需要低延遲的實(shí)時數(shù)據(jù)分析，也需要對 PB 級的歷史數(shù)據(jù)進(jìn)行探索性的數(shù)據(jù)分析。可靠性和可擴(kuò)展性問題，用戶可能會存儲海量的歷史數(shù)據(jù)，同時數(shù)據(jù)規(guī)模有持續(xù)增長的趨勢，需要引入分布式存儲系統(tǒng)來滿足可靠性和可擴(kuò)展性需求，同時保證成本可控。技術(shù)棧深，需要組合流式組件、存儲系統(tǒng)、計算組件和?？蛇\(yùn)維性要求高，復(fù)雜的大數(shù)據(jù)架構(gòu)難以維護(hù)和管控。