數(shù)據(jù)工作本質(zhì)：從業(yè)務(wù)中來(lái)，到業(yè)務(wù)中去

引言：數(shù)據(jù)工作就組成結(jié)構(gòu)和流程來(lái)說(shuō)還是比較簡(jiǎn)單的，因?yàn)檫@個(gè)工作本來(lái)就很年輕，分工還沒(méi)有很細(xì)?？傮w來(lái)講，我把數(shù)據(jù)工作看成相互連接的三部分：取數(shù)、理數(shù)、用數(shù)，這是一個(gè)閉環(huán)。用數(shù)的需求會(huì)驅(qū)動(dòng)取數(shù)工作，并對(duì)取數(shù)工作提出具體操作性要求。
《數(shù)源思維》一書(shū)正是以此本質(zhì)為核心內(nèi)容，提出了一套簡(jiǎn)便實(shí)用的方法來(lái)實(shí)現(xiàn)對(duì)數(shù)據(jù)工作價(jià)值的把控。

取數(shù)

　　取數(shù)工作解決的是數(shù)據(jù)源的問(wèn)題，具體來(lái)講是由下面的一系列工作組成：

[1]設(shè)計(jì)并實(shí)現(xiàn)產(chǎn)品中取數(shù)的方法和規(guī)則
[2]產(chǎn)品運(yùn)行過(guò)程中，實(shí)時(shí)的或周期性的從產(chǎn)品端獲取數(shù)據(jù)。
[3]傳輸、接收、校驗(yàn)數(shù)據(jù)
[4]格式化歸檔存儲(chǔ)數(shù)據(jù)。

　　經(jīng)過(guò)取數(shù)工作后，就形成了由業(yè)務(wù)運(yùn)行產(chǎn)生的原始數(shù)據(jù)。原始數(shù)據(jù)是極其豐富的，有很多種分類方法，而從用戶的觀點(diǎn)來(lái)看可以大致分為兩種。一種是用戶意識(shí)到的主動(dòng)提供的，如注冊(cè)數(shù)據(jù)，發(fā)表的文字等；另一種是用戶不容易意識(shí)到的被動(dòng)提供的，如上網(wǎng)IP地址，操作動(dòng)作（像PC上的鼠標(biāo)移動(dòng)，手機(jī)上的滑動(dòng)）。

　　之所以用這個(gè)數(shù)據(jù)工作者不常用的維度來(lái)分類原始數(shù)據(jù)是想提醒產(chǎn)品經(jīng)理在產(chǎn)品設(shè)計(jì)時(shí)也需要一點(diǎn)數(shù)據(jù)思維。能采用第二種方式得到數(shù)據(jù)，就不用第一種方式去麻煩用戶。

理數(shù)

　　整理數(shù)據(jù)。這一步并不是必須的，尤其對(duì)初創(chuàng)企業(yè)來(lái)說(shuō)，直接用原始數(shù)據(jù)是更經(jīng)常的事。一方面因?yàn)槌鮿?chuàng)時(shí)期的業(yè)務(wù)重點(diǎn)還不在于數(shù)據(jù)問(wèn)題，另一方面也因?yàn)橐恍┰紨?shù)據(jù)是結(jié)構(gòu)化的，直接入數(shù)據(jù)庫(kù)的，已經(jīng)能用，比如用戶注冊(cè)數(shù)據(jù)。但隨著數(shù)據(jù)的豐富和業(yè)務(wù)重點(diǎn)的變化，理數(shù)就變得越來(lái)越重要，因?yàn)榇蟛糠衷紨?shù)據(jù)是無(wú)法直接用于分析和再產(chǎn)品化的，比如IP地址，比如文字。

　　理數(shù)標(biāo)志性的工作就是對(duì)原始數(shù)據(jù)進(jìn)行多層抽取、歸納、抽象的數(shù)據(jù)倉(cāng)庫(kù)建設(shè)。如果說(shuō)取數(shù)是從用戶中來(lái)，用數(shù)是到業(yè)務(wù)中去，那理數(shù)就是兩者的橋梁，是將來(lái)自用戶的數(shù)據(jù)原料轉(zhuǎn)換為可供研究、分析或形成數(shù)據(jù)產(chǎn)品使用的數(shù)據(jù)零部件、半成品。這其中就會(huì)涉及數(shù)據(jù)挖掘工作。比如上面提到的IP地址，其本身并不能被直接使用，所以一般就會(huì)根據(jù)一個(gè)IP地址數(shù)據(jù)庫(kù)將IP轉(zhuǎn)換為地區(qū)名稱。這就是將一個(gè)原始技術(shù)數(shù)據(jù)轉(zhuǎn)為一個(gè)有意義的業(yè)務(wù)信息。

　　理數(shù)階段的數(shù)據(jù)挖掘與用數(shù)階段的數(shù)據(jù)挖掘并沒(méi)有嚴(yán)格的區(qū)分，一般認(rèn)為這個(gè)階段的主要任務(wù)是將需求更普遍，應(yīng)用更廣泛的信息從原始數(shù)據(jù)中挖掘出來(lái)以減輕后面用數(shù)的工作量。比如像用戶性別、年齡等基本屬性的挖掘。盡管大部分互聯(lián)網(wǎng)產(chǎn)品都會(huì)讓用戶填寫(xiě)這些字段，但用戶填的叫原始數(shù)據(jù)。如果你直接使用原始數(shù)據(jù)，看上去是跳過(guò)了理數(shù)工作，但實(shí)際你是啟用了一個(gè)理數(shù)的規(guī)則或模型，只不過(guò)輸入和輸出是一樣的。這個(gè)模型的開(kāi)發(fā)和應(yīng)用成本為0，但機(jī)會(huì)成本是多少就要自己判斷了。

　　當(dāng)數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)準(zhǔn)備好了零部件、半成品后，數(shù)據(jù)工作就要進(jìn)入最眼花繚亂的用數(shù)階段了。

用數(shù)

　　使用數(shù)據(jù)有2個(gè)方向，一是為企業(yè)內(nèi)部工作提供決策支持，二是直接為用戶提供獨(dú)立數(shù)據(jù)產(chǎn)品或數(shù)據(jù)支持下的產(chǎn)品新功能。

　　說(shuō)到?jīng)Q策支持可能最先想到的是BI。狹義的傳統(tǒng)BI主要使用企業(yè)運(yùn)行產(chǎn)生的內(nèi)部數(shù)據(jù)，然后做些表單，柱狀、條形、折線等各式樣的圖，比較無(wú)聊的?，F(xiàn)代互聯(lián)網(wǎng)化的決策支持，因?yàn)閿?shù)據(jù)源的不同而變得有趣的多得多。

　　比如我們?cè)?jīng)給公司人力資源部的招聘提供過(guò)一個(gè)產(chǎn)品，就是根據(jù)招聘要求利用微博數(shù)據(jù)精準(zhǔn)尋找候選人。當(dāng)然找人只是第一步，評(píng)估人才能力，行為習(xí)慣，行業(yè)薪資水平等等數(shù)據(jù)工作都能發(fā)揮作用。甚至可以收集多方數(shù)據(jù)來(lái)做員工流失預(yù)警。所以互聯(lián)網(wǎng)數(shù)據(jù)基礎(chǔ)上的決策支持是可以支持到企業(yè)方方面面的工作，比如在互聯(lián)網(wǎng)公司中，決策支持類的數(shù)據(jù)應(yīng)用就會(huì)有：

1. 產(chǎn)品優(yōu)化決策

　　產(chǎn)品經(jīng)理最主要的工作就是抓到用戶需求點(diǎn)，然后設(shè)計(jì)出產(chǎn)品/服務(wù)來(lái)滿足它。雖然說(shuō)需求點(diǎn)的發(fā)現(xiàn)往往是經(jīng)驗(yàn)性的定性的工作，但數(shù)據(jù)工作依然可以在兩方面給予優(yōu)化決策：

　　一是，給出市場(chǎng)中主流用戶或某一分類用戶的總體偏好和習(xí)慣，幫助產(chǎn)品經(jīng)理加深對(duì)用戶的理解。比如哪類用戶在什么場(chǎng)景下喜歡聽(tīng)音頻，在什么場(chǎng)景下喜歡看文字，在什么場(chǎng)景下打開(kāi)視頻的可能更高等等。這對(duì)于產(chǎn)品經(jīng)理選擇用戶群的需求切入點(diǎn)至關(guān)重要。

　　二是，評(píng)估可能的市場(chǎng)規(guī)模和增長(zhǎng)曲線。

　　新產(chǎn)品或新功能上線后，產(chǎn)品經(jīng)理需要數(shù)據(jù)反饋來(lái)判斷用戶對(duì)自己設(shè)計(jì)的接受度。盡管PV、DAU等總體性指標(biāo)是能反應(yīng)用戶對(duì)新產(chǎn)品/功能的態(tài)度，但因?yàn)槭强傮w性的指標(biāo)，它們的變化包含了太多的因素，比如推廣力度、運(yùn)營(yíng)活動(dòng)等等。所以要更精確的看產(chǎn)品，一般更好的選擇是回訪率、使用時(shí)長(zhǎng)、頻次、退出/跳出、轉(zhuǎn)化等用戶個(gè)體性指標(biāo)的變化來(lái)衡量用戶反饋。

　　除了事后的監(jiān)測(cè)，有時(shí)還會(huì)使用AB測(cè)試來(lái)檢驗(yàn)不同設(shè)計(jì)的效果，以便提前獲知用戶偏好，降低新產(chǎn)品/功能的市場(chǎng)風(fēng)險(xiǎn)。這里就會(huì)涉及到與取數(shù)工作的配合，AB測(cè)試進(jìn)行部署時(shí)要根據(jù)需要選擇一定條件的兩組類似用戶推送測(cè)試內(nèi)容，在用戶不知情的情況下看實(shí)際效果。

2. 運(yùn)營(yíng)支持

　　互聯(lián)網(wǎng)產(chǎn)品的運(yùn)營(yíng)工作主要包括用戶運(yùn)營(yíng)、內(nèi)容運(yùn)營(yíng)、活動(dòng)運(yùn)營(yíng)和客戶服務(wù)。在每一塊上數(shù)據(jù)工作都能給予基礎(chǔ)性的支持。

　　比如用戶促活當(dāng)中有一個(gè)重要工作就是防流失。這里就會(huì)碰到一個(gè)流失判斷標(biāo)準(zhǔn)的問(wèn)題。多長(zhǎng)時(shí)間不來(lái)算流失？這個(gè)課題研究的關(guān)注點(diǎn)實(shí)際不是流失的那群用戶，因?yàn)槟銖乃麄兩砩鲜侨〔怀隽魇r(shí)點(diǎn)信息的，我們的關(guān)注點(diǎn)在那些很長(zhǎng)時(shí)間沒(méi)有來(lái)，但最終在自然狀態(tài)（注：沒(méi)有召回和活動(dòng)影響）下又回來(lái)的非流失用戶。從這群用戶身上我們才能發(fā)現(xiàn)一個(gè)用戶最多經(jīng)歷多長(zhǎng)時(shí)間的沉寂后還有可能回來(lái)了，反過(guò)來(lái)長(zhǎng)于這個(gè)時(shí)間就可以判斷流失。在實(shí)際研究中，你會(huì)發(fā)現(xiàn)有用戶在半年甚至更長(zhǎng)時(shí)間后還會(huì)回來(lái)，這些從經(jīng)驗(yàn)上來(lái)說(shuō)肯定不是自然狀態(tài)下回流的。于是判斷是否自然狀態(tài)又成為新問(wèn)題，解決這個(gè)問(wèn)題的一個(gè)數(shù)據(jù)來(lái)源是訪問(wèn)來(lái)源。

　　當(dāng)然算出流失標(biāo)準(zhǔn)時(shí)間界限對(duì)防流失來(lái)說(shuō)并沒(méi)有什么直接的作用，這個(gè)標(biāo)準(zhǔn)實(shí)際的用途是篩出流失研究樣本，通過(guò)樣本數(shù)據(jù)來(lái)得出流失預(yù)警模型，通過(guò)用戶還活躍時(shí)的行為變化來(lái)預(yù)測(cè)他們流失的概率，進(jìn)而提供給用戶運(yùn)營(yíng)來(lái)做下一步工作的決策。

3. 市場(chǎng)推廣反作弊

　　反作弊與作弊是一個(gè)工作對(duì)，基本上是處在道高一尺魔高一丈不斷相互學(xué)習(xí)相互克制的狀態(tài)中。所以隨著作弊方法的不斷更新，反作弊和識(shí)別虛假用戶的方法也累計(jì)了很多種。大部分的方法都是基于人工或機(jī)器學(xué)習(xí)經(jīng)驗(yàn)建立起的判別模型。這些方法判別效率高，實(shí)施成本低，使用廣泛，但也有致命缺點(diǎn)。因?yàn)檫@些方法都屬于有監(jiān)督的方式，形成的經(jīng)驗(yàn)來(lái)自歷史數(shù)據(jù)，如果渠道作弊方法不變，這些反作弊識(shí)別手段就會(huì)保持較高的有效性。但問(wèn)題是當(dāng)你識(shí)別渠道作弊并且拒絕為其付費(fèi)時(shí)，渠道立刻就知道你存在針對(duì)當(dāng)前作弊方法的識(shí)別手段，他們就會(huì)進(jìn)行作弊升級(jí)。同時(shí)他們還會(huì)要求你拿出他們作弊的證據(jù)，如果你告之了他們，就意味著你透露了識(shí)別方法，他們就能更容易的繞過(guò)你原有的反作弊方法，實(shí)現(xiàn)魔高一丈。最后你必須要想出無(wú)監(jiān)督的方法來(lái)實(shí)現(xiàn)反作弊。

　　此外，銷售、人力、戰(zhàn)略決策等等都會(huì)是數(shù)據(jù)應(yīng)用的舞臺(tái)。

　　而除了作為配角的決策支持外，數(shù)據(jù)應(yīng)用也有當(dāng)主角的時(shí)候。比如百度搜索風(fēng)云榜，微博熱詞等等數(shù)據(jù)產(chǎn)品。還有更常見(jiàn)的是在數(shù)據(jù)工作的直接支持下呈現(xiàn)給用戶的“猜你喜歡”“相關(guān)商品”這些數(shù)據(jù)類產(chǎn)品。

　　從上面對(duì)數(shù)據(jù)工作的介紹中不知你是否體會(huì)到了數(shù)據(jù)工作“從業(yè)務(wù)中來(lái)，回業(yè)務(wù)中去”的本質(zhì)或者說(shuō)根本存在價(jià)值。如果你不是一個(gè)僅滿足于完成數(shù)據(jù)內(nèi)部技術(shù)處理工作的從業(yè)者，那你必須要對(duì)這個(gè)本質(zhì)有清晰的認(rèn)識(shí)。

　　《數(shù)源思維》一書(shū)將會(huì)是很好的選擇，點(diǎn)此鏈接可在博文視點(diǎn)官網(wǎng)查看此書(shū)。
　　　　　　　　　　　　　　　　　　　　　
　　想及時(shí)獲得更多精彩文章，可在微信中搜索“博文視點(diǎn)”或者掃描下方二維碼并關(guān)注。