大數(shù)據(jù)科學(xué)新發(fā)展展望：不得不知的四大趨勢(shì)

從2012年開始，幾乎人人（至少是互聯(lián)網(wǎng)界）言必稱大數(shù)據(jù)，似乎不和大數(shù)據(jù)沾點(diǎn)邊都不好意思和別人聊天。從2016年開始，大數(shù)據(jù)系統(tǒng)逐步開始在企業(yè)中進(jìn)入部署階段，大數(shù)據(jù)的炒作逐漸散去，隨之而來的是應(yīng)用的蓬勃發(fā)展期，一些代表成熟技術(shù)的標(biāo)志性IPO在國(guó)內(nèi)外資本市場(chǎng)也不斷出現(xiàn)。轉(zhuǎn)眼間，大數(shù)據(jù)幾年前經(jīng)歷的泡沫正在無可爭(zhēng)議地轉(zhuǎn)移到人工智能身上?？梢哉f，在過去的一年，AI所經(jīng)歷的共同意識(shí)“大爆炸”與當(dāng)年的大數(shù)據(jù)相比，有過之而無不及。最近風(fēng)口又轉(zhuǎn)移到區(qū)塊鏈上了，某種程度上也成為業(yè)內(nèi)人士焦慮的一種誘因了。

但無論技術(shù)熱點(diǎn)如何變換，我們能看到的是，隨著行業(yè)沉下心來進(jìn)行實(shí)質(zhì)的落地，大數(shù)據(jù)生態(tài)也越來越細(xì)分。今天就我和大家來談?wù)劥髷?shù)據(jù)領(lǐng)域的一些新變化、新趨勢(shì)。

在這里還是要推薦下我自己建的大數(shù)據(jù)學(xué)習(xí)交流群:529867072，群里都是學(xué)大數(shù)據(jù)開發(fā)的，如果你正在學(xué)習(xí)大數(shù)據(jù) ，小編歡迎你加入,大家都是軟件開發(fā)黨，不定期分享干貨（只有大數(shù)據(jù)軟件開發(fā)相關(guān)的），包括我自己整理的一份最新的大數(shù)據(jù)進(jìn)階資料和高級(jí)開發(fā)教程，歡迎進(jìn)階中和進(jìn)想深入大數(shù)據(jù)的小伙伴加入。

一、數(shù)據(jù)治理與安全 Data Governance& Security

就發(fā)展趨勢(shì)而言，這個(gè)可以放在第一位來講講。

多年來，數(shù)據(jù)已經(jīng)在企業(yè)中不斷快速積累。物聯(lián)網(wǎng)(IoT) 更是不斷加速數(shù)據(jù)的生成。

對(duì)于許多企業(yè)來說，大數(shù)據(jù)的解決方案就是利用類似于開源的Apache Hadoop等技術(shù)作為基礎(chǔ)支持，創(chuàng)建數(shù)據(jù)湖(Data Lake)，即創(chuàng)建整個(gè)企業(yè)的數(shù)據(jù)管理平臺(tái)，用于以本機(jī)格式存儲(chǔ)企業(yè)的所有數(shù)據(jù)。數(shù)據(jù)湖將通過提供一個(gè)單一的數(shù)據(jù)存儲(chǔ)庫(kù)來消除信息孤島，整個(gè)組織都可以使用該存儲(chǔ)庫(kù)來進(jìn)行業(yè)務(wù)分析、數(shù)據(jù)挖掘等各種應(yīng)用。當(dāng)有了數(shù)據(jù)湖之后，大家會(huì)傾向于認(rèn)為這東西將會(huì)成為一個(gè)全方位和萬能的大數(shù)據(jù)集，例如點(diǎn)擊流數(shù)據(jù)、物聯(lián)網(wǎng)數(shù)據(jù)、日志數(shù)據(jù)等都會(huì)被要求進(jìn)入這個(gè)湖中，而這些數(shù)據(jù)很難處理的問題卻會(huì)被忽略。

但是，除非你知道數(shù)據(jù)湖里具體有什么，并且能夠訪問到合適的數(shù)據(jù)進(jìn)行分析，否則數(shù)據(jù)湖再大也沒有意義。因此，最后大家都會(huì)意識(shí)到許多數(shù)據(jù)湖是表現(xiàn)不佳的資源，人們不知道其中存儲(chǔ)著什么內(nèi)容，如何進(jìn)行訪問，或者如何從這些數(shù)據(jù)中獲取洞察力。

但是，方便地找到想要的東西、同時(shí)管理好權(quán)限并不容易。除了數(shù)據(jù)湖以外，治理的另一個(gè)主題是以安全的、可審計(jì)的方式為任何人提供對(duì)可靠數(shù)據(jù)的便捷訪問。

所以，站在管理并使用好公司數(shù)據(jù)資產(chǎn)的角度而言，數(shù)據(jù)治理猶如公司的頂層制度和宣言一樣需要被重視，并且用相應(yīng)的策略、流程等來進(jìn)行落實(shí)。最終目的是通過實(shí)現(xiàn)數(shù)據(jù)治理，來提升數(shù)據(jù)管理、確保數(shù)據(jù)質(zhì)量、形成開放共享的新局面等。此外，數(shù)據(jù)治理也是決策、職能以及操作流程有機(jī)組合的系統(tǒng)，并且人們對(duì)這些數(shù)據(jù)資產(chǎn)承擔(dān)責(zé)任。

二、致力于協(xié)作的數(shù)據(jù)工作臺(tái)發(fā)展

在大多數(shù)大型企業(yè)里，大數(shù)據(jù)的采用是從少數(shù)獨(dú)立項(xiàng)目開始的，個(gè)推也是如此：譬如這里做一點(diǎn)Hadoop集群，那里用一用分析工具，跑一個(gè)簡(jiǎn)單業(yè)務(wù)模型，以及意識(shí)到需要設(shè)立一些新的職位（數(shù)據(jù)科學(xué)家、首席數(shù)據(jù)官）等等。

現(xiàn)在，業(yè)務(wù)場(chǎng)景越來越豐富，異質(zhì)性也越來越突出，各種各樣的工具在整個(gè)企業(yè)范圍內(nèi)得到了使用。在公司的組織范圍內(nèi)，集中化的“數(shù)據(jù)科學(xué)部門”正在逐漸讓位于更加去中心化的組織，原因在于集中化的部門越來越走向瓶頸，也更容易造成資源的流失。

這個(gè)由數(shù)據(jù)科學(xué)家、數(shù)據(jù)工程師以及數(shù)據(jù)分析師組成的群體，正日益嵌入到不同的業(yè)務(wù)部門里。因此，對(duì)于平臺(tái)來說需求已經(jīng)很明顯了，那就是要讓一切都能協(xié)作到一起來，因?yàn)榇髷?shù)據(jù)的成功正是建立在設(shè)立一條由技術(shù)、人以及流程組成的裝配線基礎(chǔ)之上的。

因此，一些全新的協(xié)作平臺(tái)類型（譬如 Jupyter等）正在加快出現(xiàn)，引領(lǐng)著所謂的DataOps（與DevOps對(duì)應(yīng)）領(lǐng)域的發(fā)展。

三、數(shù)據(jù)科學(xué)自動(dòng)化

數(shù)據(jù)科學(xué)家(Data Scientist)依然是市場(chǎng)上炙手可熱的爭(zhēng)奪對(duì)象。但是我們?cè)谥車鷧s很少見到這類人，哪怕是財(cái)富前1000強(qiáng)的公司也為無法招到更多“數(shù)據(jù)科學(xué)家”而感到困擾。而在一些組織里，數(shù)據(jù)科學(xué)部門正在從使能者演變?yōu)槠款i。

與此同時(shí)，AI的大眾化以及自服務(wù)工具的蔓延使得數(shù)據(jù)科學(xué)技能有限的數(shù)據(jù)工程師，甚至是數(shù)據(jù)分析師在執(zhí)行一些基本操作時(shí)變得更加容易了，而這些操作直到最近仍然是數(shù)據(jù)科學(xué)家的領(lǐng)地。在自動(dòng)化工具的幫助下，企業(yè)大量的大數(shù)據(jù)工作，尤其是那些簡(jiǎn)單枯燥的工作，將由數(shù)據(jù)工程師和數(shù)據(jù)分析師進(jìn)行處理，而不必麻煩有著深厚技術(shù)技能的數(shù)據(jù)科學(xué)家。當(dāng)然，即便如此，數(shù)據(jù)科學(xué)家目前還不需要太過“恐懼”。

在可預(yù)見的未來里，自服務(wù)工具和自動(dòng)化模型將會(huì)“增強(qiáng)”數(shù)據(jù)科學(xué)家而不是消滅他們，會(huì)解放他們，讓他們把焦點(diǎn)放在需要判斷、創(chuàng)造力、社會(huì)化技能或者需要垂直行業(yè)知識(shí)的任務(wù)上，那樣才能更加體現(xiàn)科學(xué)家的名號(hào)。

四、大數(shù)據(jù)管理員的崛起

大數(shù)據(jù)管理員(BDA)也對(duì)標(biāo)于數(shù)據(jù)庫(kù)管理員(DBA)，雖然兩個(gè)英文字母只是變換了一下順序，但是其內(nèi)涵相差甚遠(yuǎn)。一個(gè)非常明顯的趨勢(shì)是，企業(yè)將對(duì)一個(gè)新崗位角色產(chǎn)生需求，即大數(shù)據(jù)管理員。DBA大家已經(jīng)非常熟悉，但它與大數(shù)據(jù)時(shí)代下的數(shù)據(jù)管理員，有非常大的差別。大數(shù)據(jù)學(xué)習(xí)交流群：251956502

數(shù)據(jù)管理員處于數(shù)據(jù)使用者和數(shù)據(jù)工程師之間。為了取得成功，數(shù)據(jù)管理員在進(jìn)行大數(shù)據(jù)系統(tǒng)的維護(hù)工作之外，還必須了解數(shù)據(jù)的含義以及掌握應(yīng)用于數(shù)據(jù)中的一些技術(shù)。

數(shù)據(jù)管理員需要清楚整個(gè)組織內(nèi)需要執(zhí)行的數(shù)據(jù)分析類型，哪些數(shù)據(jù)集非常適用于這項(xiàng)工作，以及如何將數(shù)據(jù)從原始狀態(tài)轉(zhuǎn)換為數(shù)據(jù)使用者執(zhí)行這項(xiàng)工作所需的形態(tài)和形式。數(shù)據(jù)管理員應(yīng)使用像自助服務(wù)數(shù)據(jù)平臺(tái)這樣的系統(tǒng)來加快數(shù)據(jù)使用者訪問基本數(shù)據(jù)集的端到端流程，而無需制作無數(shù)的數(shù)據(jù)副本。

結(jié)語

以上四個(gè)方面是數(shù)據(jù)科學(xué)在實(shí)踐發(fā)展中提出的新需求，誰能在這些方面得到好的成績(jī)，誰便會(huì)在這個(gè)大數(shù)據(jù)時(shí)代取得領(lǐng)先的位置。