CTO爆料：程序員不得不了解的行業(yè)前沿技術(shù)

安森，個(gè)推CTO
畢業(yè)于浙江大學(xué)，現(xiàn)全面負(fù)責(zé)個(gè)推技術(shù)選型、研發(fā)創(chuàng)新、運(yùn)維管理等工作，已帶領(lǐng)團(tuán)隊(duì)開發(fā)出針對(duì)移動(dòng)互聯(lián)網(wǎng)、金融風(fēng)控等行業(yè)的多項(xiàng)前沿?cái)?shù)據(jù)智能解決方案。

曾任MSN中國(guó)首席架構(gòu)師，擁有十余年資深技術(shù)開發(fā)與項(xiàng)目管理經(jīng)驗(yàn)，在大數(shù)據(jù)處理系統(tǒng)、大規(guī)模并發(fā)平臺(tái)、分布搜索系統(tǒng)、手機(jī)應(yīng)用開發(fā)、無(wú)線通信領(lǐng)域和智慧金融系統(tǒng)等領(lǐng)域擁有豐富實(shí)踐經(jīng)驗(yàn)。

引言
中國(guó)移動(dòng)互聯(lián)網(wǎng)的發(fā)展見證了中國(guó)大數(shù)據(jù)行業(yè)的蓬勃發(fā)展。數(shù)據(jù)智能作為移動(dòng)互聯(lián)網(wǎng)時(shí)代的自然產(chǎn)物，也是未來(lái)很長(zhǎng)一段發(fā)展階段的核心所在。個(gè)推（每日互動(dòng)）和業(yè)界的共識(shí)不謀而合，從2010年成立到現(xiàn)在，經(jīng)過(guò)多年的發(fā)展，從一家移動(dòng)互聯(lián)網(wǎng)時(shí)代服務(wù)于開發(fā)者的基礎(chǔ)推送平臺(tái)服務(wù)商，已經(jīng)成長(zhǎng)為創(chuàng)業(yè)板的上市公司，也是國(guó)內(nèi)首家在A股上市的數(shù)據(jù)智能公司。作為專業(yè)的數(shù)據(jù)智能服務(wù)商，個(gè)推立足開發(fā)者服務(wù)，將不斷致力于用數(shù)據(jù)推動(dòng)產(chǎn)業(yè)智變。

圍繞“數(shù)據(jù)智能”主題，我將通過(guò)一系列文章進(jìn)行闡述。本文主要從技術(shù)角度來(lái)探討數(shù)據(jù)智能中涉及的各個(gè)方面，希望通過(guò)這一系列內(nèi)容，能讓大家對(duì)數(shù)據(jù)智能以及所涉及的技術(shù)體系有一個(gè)比較清晰的了解。

本系列將從以下五方面展開：
01數(shù)據(jù)智能時(shí)代的來(lái)臨：本質(zhì)和技術(shù)體系要求
核心內(nèi)容：我們根據(jù)個(gè)推在數(shù)據(jù)智能領(lǐng)域多年的實(shí)踐來(lái)講講我們對(duì)于數(shù)據(jù)智能的理解，并且從總體上提出對(duì)應(yīng)的技術(shù)體系要求。

02數(shù)據(jù)智能下的數(shù)據(jù)資產(chǎn)治理思路

核心內(nèi)容：主要探討作為資產(chǎn)后的數(shù)據(jù)如何進(jìn)行治理，需要具備的基礎(chǔ)，具體如何實(shí)施，最終保證數(shù)據(jù)資產(chǎn)的安全、合理使用、以及價(jià)值創(chuàng)造。

03數(shù)據(jù)智能下的安全計(jì)算體系

核心內(nèi)容：在保證數(shù)據(jù)資產(chǎn)的所有權(quán)和使用權(quán)分開的前提下，目前可以采用的技術(shù)和方法論。

04數(shù)據(jù)智能下的數(shù)據(jù)質(zhì)量保證體系

核心內(nèi)容：大數(shù)據(jù)之所以為大，是因?yàn)槠湟?guī)模以及多樣性，不同于傳統(tǒng)的小數(shù)據(jù)，可以很快去驗(yàn)證其正確性，那么可以采取什么方法去保證數(shù)據(jù)的質(zhì)量及可檢驗(yàn)性呢？

05數(shù)據(jù)智能下的不同行業(yè)的業(yè)務(wù)探索實(shí)踐
核心內(nèi)容：隔行如隔山，數(shù)據(jù)智能也具有鮮明的行業(yè)區(qū)分性，這個(gè)主題會(huì)講述幾個(gè)我們涉及比較深的行業(yè)的探索實(shí)踐，并總結(jié)一些經(jīng)驗(yàn)和教訓(xùn)。

正文
大數(shù)據(jù)的發(fā)展歷程
本文是系列文章的開篇，首先聊一聊我們理解中的數(shù)據(jù)智能的本質(zhì)；同時(shí)作為公司技術(shù)負(fù)責(zé)人，和大家探討一下基于技術(shù)體系的要求，也就是數(shù)據(jù)智能時(shí)代，要從數(shù)據(jù)中體現(xiàn)智能，從技術(shù)方面需要做哪些事情。

什么是數(shù)據(jù)智能，這個(gè)概念怎么來(lái)的呢？

記得從2010年開始，隨著移動(dòng)互聯(lián)網(wǎng)的興起，大數(shù)據(jù)也隨之出現(xiàn)在各個(gè)媒體網(wǎng)站和行業(yè)論壇，大家見面都會(huì)問(wèn)一句：“你們搞大數(shù)據(jù)了嗎？” 其實(shí)大家對(duì)大數(shù)據(jù)該如何加以應(yīng)用都不太清楚。

大數(shù)據(jù)的發(fā)展過(guò)程是什么樣的呢？下圖比較清楚地對(duì)此進(jìn)行了詮釋。

我把它稱之為大數(shù)據(jù)成熟度模型。這個(gè)過(guò)程實(shí)質(zhì)上我們理解也是數(shù)據(jù)從工具變成為資產(chǎn)的過(guò)程，從一個(gè)輔助的東西變成生產(chǎn)資料的過(guò)程。現(xiàn)在在提的數(shù)字經(jīng)濟(jì)，很多人試圖對(duì)此進(jìn)行理論定義，以便把數(shù)字經(jīng)濟(jì)和實(shí)體經(jīng)濟(jì)從概念上區(qū)分開來(lái)，我的建議是就從數(shù)字是否作為主要生產(chǎn)資料，是否作為核心資產(chǎn)這個(gè)角度去界定，會(huì)比較簡(jiǎn)單明了。

從這幾年的實(shí)際發(fā)展來(lái)看，大數(shù)據(jù)基本上按照上圖的這個(gè)模型在演進(jìn)發(fā)展。

2013年左右，企業(yè)已經(jīng)開始認(rèn)知到數(shù)據(jù)價(jià)值，各個(gè)具有大數(shù)據(jù)生產(chǎn)環(huán)境的行業(yè)如電信運(yùn)營(yíng)商、政府、公安、金融等開始建設(shè)大數(shù)據(jù)平臺(tái)，收集并存儲(chǔ)企業(yè)業(yè)務(wù)產(chǎn)生的數(shù)據(jù)。同時(shí)，金融等行業(yè)也開始大量購(gòu)買外部數(shù)據(jù)，希望通過(guò)外部數(shù)據(jù)快速挖掘數(shù)據(jù)的價(jià)值，彌補(bǔ)自身數(shù)據(jù)短缺的問(wèn)題，不少?gòu)氖聰?shù)據(jù)聚合和相關(guān)服務(wù)公司獲得了發(fā)展機(jī)遇。

2015年，大數(shù)據(jù)進(jìn)入到了監(jiān)測(cè)階段，通過(guò)數(shù)據(jù)大屏等形式，實(shí)現(xiàn)對(duì)業(yè)務(wù)的監(jiān)測(cè)，這是大數(shù)據(jù)最早、最先成熟的應(yīng)用方向。對(duì)于政府、央企及大型國(guó)企而言，數(shù)據(jù)大屏、領(lǐng)導(dǎo)看板等數(shù)據(jù)展現(xiàn)應(yīng)用是大數(shù)據(jù)最直接能夠反映價(jià)值的方式。

2017年，大數(shù)據(jù)平臺(tái)建設(shè)基本完善，單純數(shù)據(jù)展現(xiàn)開始難以滿足企業(yè)的多樣化需求，大數(shù)據(jù)開始與業(yè)務(wù)場(chǎng)景結(jié)合，基于大數(shù)據(jù)實(shí)現(xiàn)對(duì)業(yè)務(wù)問(wèn)題的洞察，呈現(xiàn)出百花齊放的局面，分別應(yīng)用在金融領(lǐng)域的精準(zhǔn)營(yíng)銷和風(fēng)控反欺詐，公安領(lǐng)域的刑偵破案，工業(yè)領(lǐng)域的故障預(yù)測(cè)預(yù)警等。

企業(yè)對(duì)業(yè)務(wù)場(chǎng)景的洞察，單純靠簡(jiǎn)單的數(shù)理統(tǒng)計(jì)已經(jīng)不足以滿足要求，因此，數(shù)據(jù)挖掘、數(shù)據(jù)建模技術(shù)應(yīng)運(yùn)而生。AI建模平臺(tái)、數(shù)據(jù)科學(xué)平臺(tái)開始進(jìn)入人們的視野，出現(xiàn)了一些主打建模平臺(tái)的創(chuàng)業(yè)公司，但更多公司將AI建模平臺(tái)內(nèi)化成自身的能力，基于AI建模平臺(tái)，形成解決方案，幫助企業(yè)客戶落地大數(shù)據(jù)應(yīng)用。

在2019年左右，大數(shù)據(jù)開始進(jìn)入到業(yè)務(wù)決策階段，也就是說(shuō)，由機(jī)器形成數(shù)據(jù)報(bào)表或者數(shù)據(jù)報(bào)告，業(yè)務(wù)人員進(jìn)行決策變成機(jī)器直接給出決策建議，讓機(jī)器具備推理能力。例如，在外賣、出行場(chǎng)景，美團(tuán)和滴滴的系統(tǒng)直接形成最佳調(diào)度方式，系統(tǒng)自動(dòng)完成決策環(huán)節(jié)，將任務(wù)下發(fā)給騎手和司機(jī)。這種消費(fèi)互聯(lián)網(wǎng)相對(duì)常見的場(chǎng)景，將在產(chǎn)業(yè)互聯(lián)網(wǎng)、企業(yè)業(yè)務(wù)場(chǎng)景中逐漸出現(xiàn)。也就是說(shuō)，大數(shù)據(jù)開始從業(yè)務(wù)數(shù)字化階段向數(shù)據(jù)智能化階段邁進(jìn)。

數(shù)據(jù)智能的特征和定義
從上節(jié)中的大數(shù)據(jù)發(fā)展歷程中，我們看到數(shù)據(jù)智能目前對(duì)應(yīng)的是決策、優(yōu)化以及商業(yè)重塑階段，也就是說(shuō)讓機(jī)器具備推理能力；而這些能力意味著自然語(yǔ)言處理(NLP)、知識(shí)圖譜(Knowledge Graph) 等認(rèn)知技術(shù)的逐漸成熟，這也是為何2018年NLP、知識(shí)圖譜成為市場(chǎng)的熱點(diǎn)的原因。因此，數(shù)據(jù)驅(qū)動(dòng)決策，數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)發(fā)展的企業(yè)新需求，也必然會(huì)帶動(dòng)一批數(shù)據(jù)智能公司的興起。

未來(lái)，隨著技術(shù)更加成熟，大數(shù)據(jù)會(huì)從決策進(jìn)入到最后一個(gè)環(huán)節(jié)，也就是業(yè)務(wù)重塑。很多執(zhí)行環(huán)節(jié)可以由機(jī)器來(lái)實(shí)現(xiàn)，但仍然有很多環(huán)節(jié)需要人參與其中。因此，人機(jī)協(xié)同會(huì)迎來(lái)迅猛發(fā)展，從人工智能 AI (Artificial Intelligence ) 向人類智力增強(qiáng) IA (Intelligence Augmented) 進(jìn)發(fā)。

至此， 我們?cè)囍o數(shù)據(jù)智能做一個(gè)定義：數(shù)據(jù)智能就是以數(shù)據(jù)作為生產(chǎn)資料，通過(guò)結(jié)合大規(guī)模數(shù)據(jù)處理、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、人機(jī)交互、可視化等多種技術(shù)，從大量的數(shù)據(jù)中提煉、發(fā)掘、獲取知識(shí)，為人們?cè)谥贫Q策時(shí)提供有效的數(shù)據(jù)智能支持，減少或者消除不確定性。

大數(shù)據(jù)的發(fā)展歷程
數(shù)據(jù)智能首先需要有數(shù)據(jù)提供，而且數(shù)據(jù)在其中充當(dāng)著核心資產(chǎn)和生產(chǎn)資料的角色，那么對(duì)于數(shù)據(jù)的治理就顯得尤為重要。什么是數(shù)據(jù)治理(Data Governance) 呢? 我們經(jīng)常聽到公司治理這個(gè)詞，公司治理在經(jīng)濟(jì)學(xué)上主要解決幾個(gè)問(wèn)題：
所有權(quán)和經(jīng)營(yíng)權(quán)如何分離？
公司所有者如何向職業(yè)經(jīng)理人進(jìn)行科學(xué)的授權(quán)及監(jiān)督？
那么對(duì)應(yīng)地，數(shù)據(jù)治理也要解決類似的幾個(gè)問(wèn)題：
數(shù)據(jù)（資產(chǎn)）有哪些？
如何讓數(shù)據(jù)所有權(quán)和使用權(quán)分離？
數(shù)據(jù)資產(chǎn)所有者如何向數(shù)據(jù)使用者進(jìn)行科學(xué)的授權(quán)及監(jiān)督？

數(shù)據(jù)智能的所有手段其實(shí)都是在解決上述的幾個(gè)問(wèn)題。關(guān)于數(shù)據(jù)治理方面的內(nèi)容我將在本系列的第二部分進(jìn)行詳細(xì)描述。

同時(shí)，我們知道窮人和富人之間的差別在于對(duì)待財(cái)富的態(tài)度，富人更多的是從資產(chǎn)增值的角度去對(duì)待財(cái)富，想的是如何創(chuàng)造更多資產(chǎn)，并且讓資產(chǎn)不斷增值；窮人更偏向于從消費(fèi)的角度去看待財(cái)富，賺來(lái)的錢更多的是用于消費(fèi)。那么在數(shù)據(jù)智能時(shí)代，如果我們想成為一個(gè)“富人”，就需要考慮如何讓數(shù)據(jù)發(fā)揮更大的價(jià)值，如何找到其他合作者去聯(lián)合創(chuàng)造價(jià)值，但是數(shù)據(jù)不同于別的資產(chǎn)，其具有可復(fù)制性、難確權(quán)的性質(zhì)，這就需要我們?nèi)ソ鉀Q數(shù)據(jù)安全問(wèn)題，也就是目前行業(yè)內(nèi)比較關(guān)注的安全計(jì)算技術(shù)，在本系列的第三部分我將對(duì)此進(jìn)行詳細(xì)闡述。

還有一個(gè)需要我們關(guān)注的點(diǎn)是：大數(shù)據(jù)由于其具備的 4V 特性，特別是量大、種類多，有時(shí)候會(huì)讓我們對(duì)于其聚合或者產(chǎn)生的結(jié)果存疑，雖然有一些可以通過(guò)常識(shí)或者直覺(jué)去判斷，但是總是有說(shuō)不出的味道。這就需要有一個(gè)質(zhì)量保證體系來(lái)讓我們對(duì)于數(shù)據(jù)從產(chǎn)生到最終的各個(gè)環(huán)節(jié)有一個(gè)完整的檢驗(yàn)過(guò)程，本系列的第四部分會(huì)對(duì)質(zhì)量保證體系進(jìn)行詳細(xì)描述。

在這里小結(jié)一下，數(shù)據(jù)智能的技術(shù)體系至少需要包含三個(gè)方面：
數(shù)據(jù)治理系統(tǒng)
數(shù)據(jù)質(zhì)量保證系統(tǒng)
數(shù)據(jù)安全計(jì)算體系

結(jié)語(yǔ)
數(shù)據(jù)智能作為大數(shù)據(jù)時(shí)代一個(gè)重要且激動(dòng)人心的階段，機(jī)會(huì)與挑戰(zhàn)并存。作為本系列開篇文章，本文對(duì)該主題內(nèi)容進(jìn)行了一個(gè)整體概述，后續(xù)會(huì)對(duì)具體內(nèi)容逐步展開，希望對(duì)大家有所幫助。

番外

文章構(gòu)思于2019年7月24日，忽然發(fā)現(xiàn)這個(gè)數(shù)字很應(yīng)景。7*24 是很多行業(yè)中服務(wù)的態(tài)度和承諾，表示一周每天24小時(shí)提供服務(wù)。在數(shù)據(jù)智能時(shí)代，個(gè)推的產(chǎn)品和服務(wù)也必定是全天在線，一周七天！

我們一直深耕于開發(fā)者服務(wù)領(lǐng)域，以消息推送為基礎(chǔ)，發(fā)展了“用戶畫像”、“應(yīng)用統(tǒng)計(jì)”、“一鍵認(rèn)證”等一系列面向APP開發(fā)和運(yùn)營(yíng)的產(chǎn)品，構(gòu)建開發(fā)者新生態(tài)。同時(shí)，個(gè)推不斷拓寬以數(shù)據(jù)智能為核心的服務(wù)邊界，以創(chuàng)新的技術(shù)為移動(dòng)互聯(lián)網(wǎng)、品牌營(yíng)銷、金融風(fēng)控、智慧城市和公共服務(wù)等各垂直領(lǐng)域提供定制化的大數(shù)據(jù)解決方案。未來(lái)，個(gè)推希望用數(shù)據(jù)和技術(shù)的力量與更多的行業(yè)共筑數(shù)據(jù)智能共贏生態(tài)！

更多精彩內(nèi)容，請(qǐng)關(guān)注：個(gè)推技術(shù)學(xué)院