以智能數(shù)據(jù)架構(gòu)，挖掘增長(zhǎng)金礦

對(duì)很多技術(shù)團(tuán)隊(duì)來說，在搭建智能數(shù)據(jù)架構(gòu)的過程中，或多或少會(huì)遇到一些疑惑和挑戰(zhàn)，經(jīng)過多次實(shí)踐后，有些團(tuán)隊(duì)已經(jīng)破除疑惑，成功探索出一條搭建智能數(shù)據(jù)架構(gòu)之路，那么他們是如何實(shí)現(xiàn)這一技術(shù)的呢？在近日的個(gè)推技術(shù)沙龍成都站，幾位架構(gòu)大師在現(xiàn)場(chǎng)開啟了數(shù)據(jù)技術(shù)的“腦暴時(shí)間”。

諾基亞網(wǎng)絡(luò)成都研發(fā)中心研發(fā)經(jīng)理

劉朋 《數(shù)據(jù)增長(zhǎng)時(shí)代的研發(fā)管理》

企業(yè)在應(yīng)對(duì)數(shù)據(jù)增長(zhǎng)帶來的巨大挑戰(zhàn)時(shí)，需在研發(fā)和管理方面做好充足準(zhǔn)備。

研發(fā)方面，提升數(shù)據(jù)存儲(chǔ)的擴(kuò)展性；管理方面，除了增加對(duì)人和設(shè)備的管理外，要努力打造一支具有數(shù)據(jù)驅(qū)動(dòng)型領(lǐng)導(dǎo)力的團(tuán)隊(duì)，讓團(tuán)隊(duì)中的決策以數(shù)據(jù)為依據(jù)，同時(shí)創(chuàng)造出以數(shù)據(jù)為核心的文化氛圍。

大數(shù)據(jù)時(shí)代，想要成為一名數(shù)據(jù)驅(qū)動(dòng)型領(lǐng)導(dǎo)(Data-Driver Leader)，需要具備三大招式。

第一招：關(guān)注研發(fā)團(tuán)隊(duì)的經(jīng)濟(jì)效益數(shù)據(jù)（Take an Economic View）

研發(fā)團(tuán)隊(duì)不僅是成本中心，他們也具有創(chuàng)造經(jīng)濟(jì)效益的能力，作為一名數(shù)據(jù)驅(qū)動(dòng)型領(lǐng)導(dǎo)，在日常工作中要關(guān)注相關(guān)技術(shù)實(shí)踐能否為公司帶來經(jīng)濟(jì)利益。

第二招：讓團(tuán)隊(duì)數(shù)據(jù)可視化(Transparency)

在一支研發(fā)團(tuán)隊(duì)中，部門領(lǐng)導(dǎo)需要將數(shù)據(jù)可視化，讓團(tuán)隊(duì)中的每個(gè)人都對(duì)核心數(shù)據(jù)有所了解，這樣一來，當(dāng)問題出現(xiàn)時(shí)，每個(gè)人都有能力去解決。

第三招：基于數(shù)據(jù)，及時(shí)快速反饋(Fast Feedback)

在團(tuán)隊(duì)運(yùn)行過程中，作為領(lǐng)導(dǎo)者，不僅要制定好相應(yīng)規(guī)劃，同時(shí)要不斷分析數(shù)據(jù)查找問題，并基于數(shù)據(jù)以及KPI給成員提供反饋。

雖然數(shù)據(jù)驅(qū)動(dòng)型領(lǐng)導(dǎo)在推動(dòng)公司決策方面具有重要作用，但隨著公司人員的擴(kuò)充，部門墻和局部?jī)?yōu)化（Sub-optimization）越來越明顯，此時(shí)需要打破部門墻，讓各個(gè)部門和團(tuán)隊(duì)都能圍繞一個(gè)共同的目標(biāo)進(jìn)行協(xié)作，以達(dá)到效益最大化的目標(biāo)。

個(gè)推大數(shù)據(jù)架構(gòu)師

袁凱 《機(jī)器學(xué)習(xí)平臺(tái)建設(shè)與實(shí)踐》

機(jī)器學(xué)習(xí)工作的常規(guī)流程：運(yùn)營(yíng)者首先要將商業(yè)問題轉(zhuǎn)化為機(jī)器學(xué)習(xí)能夠解決的問題，然后再進(jìn)行數(shù)據(jù)收集以及清洗和聚合的工作，接下來開啟數(shù)據(jù)探索和特征工程，經(jīng)過上述步驟，便能得到事物預(yù)測(cè)所需要的全部因素，此時(shí)，運(yùn)營(yíng)者可以選用不同的算法，并將算法進(jìn)行訓(xùn)練，得到相應(yīng)的應(yīng)用模型。最后，運(yùn)營(yíng)者還需要利用真實(shí)的數(shù)據(jù)進(jìn)行驗(yàn)證，確保模型的可行性。

機(jī)器學(xué)習(xí)作為一門多領(lǐng)域交叉學(xué)科，是解決許多實(shí)際問題的有效工具。個(gè)推通過機(jī)器學(xué)習(xí)，構(gòu)建了獨(dú)有的冷、熱、溫標(biāo)簽，用以分析不同群體的基礎(chǔ)屬性和行為特征，描繪用戶的精準(zhǔn)畫像，最終運(yùn)用于智能推送和精準(zhǔn)營(yíng)銷。

想要完成機(jī)器學(xué)習(xí)平臺(tái)的建設(shè)，需要注意三大要點(diǎn)：

1.只有端到端的平臺(tái)建設(shè)才會(huì)真正產(chǎn)生價(jià)值，同時(shí)，特征工程的數(shù)據(jù)和代碼沉淀需要共享運(yùn)營(yíng)。

2.從成效出發(fā)，聚焦痛點(diǎn)，不要盲目跟隨行業(yè)，做好系統(tǒng)和培訓(xùn)的一體化。

3.謹(jǐn)慎引入新技術(shù)棧。

為了避免機(jī)器學(xué)習(xí)平臺(tái)建設(shè)中出現(xiàn)的常見問題，個(gè)推的建模平臺(tái)會(huì)提供相應(yīng)的IDE以及呈現(xiàn)相應(yīng)特征的管理系統(tǒng)，同時(shí)還能提供標(biāo)準(zhǔn)化的ID匹配服務(wù)和數(shù)據(jù)抽取服務(wù)，減少工程師的重復(fù)工作。此外，個(gè)推提供的打包部署服務(wù)和后續(xù)監(jiān)控服務(wù)，也能夠幫助企業(yè)保證平臺(tái)的順利運(yùn)行。

聚美優(yōu)品大數(shù)據(jù)高級(jí)工程師

賀鵬《大數(shù)據(jù)3.0流計(jì)算與智能決策》

大數(shù)據(jù)3.0時(shí)期，Hadoop第一代、Spark內(nèi)存計(jì)算第二代，早期流計(jì)算以及人工智能流計(jì)算同時(shí)并存。

早期流計(jì)算具有強(qiáng)一致性、數(shù)據(jù)亂序與延遲等五大困難點(diǎn)，F(xiàn)link的出現(xiàn)，有效解決了這些難題，同時(shí)Flink還兼具了可以實(shí)時(shí)增量計(jì)算、SQL支持以及CEP支持等六大優(yōu)點(diǎn)。

流計(jì)算發(fā)展至今，已經(jīng)具備了CEP這一強(qiáng)大功能，這也是支撐流計(jì)算智能化的關(guān)鍵因素所在?，F(xiàn)實(shí)生活中，很多復(fù)雜的場(chǎng)景無法通過顯式規(guī)則來進(jìn)行判斷(傳統(tǒng)編程為規(guī)則編程、指令編程以及if else編程)，比如你無法用if else寫出如何判斷哪一張圖片是樹葉，你無法用有限的規(guī)則寫出如何判斷數(shù)據(jù)流中哪些是人為操作、哪些是機(jī)器人刷單，此時(shí)需要用機(jī)器學(xué)習(xí)模型來檢測(cè)和匹配，同時(shí)需要ML和流計(jì)算相結(jié)合使用。

通常情況下， ML模型主流場(chǎng)景有分類和回歸兩大場(chǎng)景，他們可以檢查抽象中無狀態(tài) f = fx(x1,x2 ..)無狀態(tài)模型(有狀態(tài)的模型典型代表rnn)，而在SQL語義中 UDF剛好與之對(duì)應(yīng)(無狀態(tài))，需要把模型放入流處理系統(tǒng)中，也就是將tensorflow PB model模型注冊(cè)為udf，完成上述步驟后，數(shù)據(jù)流會(huì)進(jìn)入ML檢測(cè)階段。

使用流計(jì)算相關(guān)功能時(shí)，需要強(qiáng)大的平臺(tái)予以支持，以便在上面實(shí)施SQL開發(fā)、授權(quán)等操作。