對大數(shù)據(jù)知識架構(gòu)的梳理

     近期交接了前期的大數(shù)據(jù)項目，對之前的項目內(nèi)容做一個總結(jié)。也算是梳理一下項目的架構(gòu)，對前期也算是一個總結(jié)，為后期的學(xué)習(xí)打下一個基礎(chǔ)。

清理數(shù)據(jù)

     對傳統(tǒng)行業(yè)來說，上來就說要搞大數(shù)據(jù)，一般都會是一種噱頭，因為之前的數(shù)據(jù)量不會很大，所以基本上都是一些統(tǒng)計分析內(nèi)容為主。在這一階段，你對數(shù)據(jù)理解就尤為重要！這里邊牽扯到的知識有數(shù)據(jù)清理，相關(guān)的ETL技術(shù)。也就是說你要做數(shù)據(jù)分析，數(shù)據(jù)在哪里很是重要，當你不清楚你的數(shù)據(jù)的位置的時候，你的分析也就無所談起。而原始數(shù)據(jù)里邊一定會有許多的問題。而此時，你的清理過程就是要深入了解原始數(shù)據(jù)。為什么說一個好的數(shù)據(jù)分析人員一定是一個好的業(yè)務(wù)人員，這點也尤為重要。因為只有你對數(shù)據(jù)更為了解的時候，你才能更好的補全，替代。說和通俗一點，就是你要將原始的數(shù)據(jù)轉(zhuǎn)換成PC能讀懂的數(shù)據(jù)。

    這里也有一個4：3：3的原則，你原始的數(shù)據(jù)要從測試，訓(xùn)練，驗證這三個維度來訓(xùn)練你的數(shù)據(jù)，這樣構(gòu)成一個循環(huán)，好讓你的數(shù)據(jù)最終的成功度提高。而當你的數(shù)據(jù)入庫的時候，就采用結(jié)構(gòu)化還是非結(jié)構(gòu)化的時候，這點也非常重要。也是決定著你后期讀取的快慢！

分析數(shù)據(jù)

　　這一步是要結(jié)合著業(yè)務(wù)來做的，你對業(yè)務(wù)理解多少。結(jié)合著業(yè)務(wù)需求來分析數(shù)據(jù)，而不是單純理解數(shù)據(jù)，不同行業(yè)不同工種對同一數(shù)據(jù)的理解是不同的。相比之下，業(yè)務(wù)人員要對數(shù)據(jù)的理解更加深入幾分。你如何分析你的數(shù)據(jù)，如何理解里邊的特殊值。如何去找到你所要求的目標數(shù)據(jù)，這一點尤其重要。

　　分析數(shù)據(jù)，這一點也關(guān)系到你的項目的成敗。這一點個人感覺也是產(chǎn)品經(jīng)理需要重要把握的地方。首先，做為產(chǎn)品經(jīng)理，你不可能對所有行業(yè)都了解的很清楚，在這種情況下，就勢必要求你能夠最大限度的來理解數(shù)據(jù)的價值。在這一步，你要與業(yè)務(wù)人員深入交流，確保對數(shù)據(jù)的詳細了解，然后才能夠在接下的環(huán)節(jié)中脫穎而出。

算法選取

　　有人說這一點都涉及研發(fā)了，作為產(chǎn)品經(jīng)理是不需求去重點關(guān)注的。但從個人角度來說，這一點也同樣重要。因為你初期的算法選取不當會造成后期的結(jié)果錯誤。也就相當于說，基本的東西，你一上來就要選好。

　　而在算法選取方面，個人感覺也是要結(jié)合業(yè)務(wù)來實施。首先，要弄清楚業(yè)務(wù)那邊主要關(guān)注的是什么指標。而與這一個指標相關(guān)的參數(shù)有那些，這些參數(shù)都是如何來影響這些指標的。至于算法的準確度，這一點，可以通過對數(shù)據(jù)顆粒度的細化來不斷提高。不同的代碼對系統(tǒng)的資源調(diào)度是不同的，而若你對算法的了解程度最大限度決定了你最終產(chǎn)品的反應(yīng)快慢！

需求分析

　　有人說，這一塊是最為重要的。為什么你不是放在第一部分來講，而是放在最后一部分了。因為深刻的感受到，在傳統(tǒng)行業(yè)，用戶的需求不明確，或者說不是那么明確。又或者是用戶的需求是可以被引導(dǎo)的。一直以來，個人都將用戶的需求分為四種：強需，弱需，真需，假需。

　　有的時候，要分辯這些需求。是要求產(chǎn)品經(jīng)理具有相關(guān)行業(yè)的背景的。因為不同行業(yè)，不同公司對人的需求是不同的。如何去挖掘用戶的需求，并將這些需求轉(zhuǎn)換成為可以落地實現(xiàn)的產(chǎn)品。這點對產(chǎn)品經(jīng)理的要求是很高的。

部門溝通

　　大數(shù)據(jù)產(chǎn)品，我將它分為三個線，一個是產(chǎn)品，一個是業(yè)務(wù)，一個是研發(fā)。這樣就涉及到了部門之間的溝通。業(yè)務(wù)有許多的用戶需求要經(jīng)過產(chǎn)品的人來向研發(fā)反饋，而研發(fā)也需要產(chǎn)品的人把自己的工作落實到實際的項目中來。

　　大數(shù)據(jù)，對上來說。領(lǐng)導(dǎo)層也許不懂大數(shù)據(jù)能夠做什么。這就需要產(chǎn)品人員來給領(lǐng)導(dǎo)層以通俗的語言來講明白。而對合作廠家來說，要有正確的引導(dǎo)，才能夠讓對方看到合作的可能。從而為項目的發(fā)展提供動力。

　　大數(shù)據(jù)項目，以一個產(chǎn)品經(jīng)理的角度來參于到這個項目中，才發(fā)現(xiàn)，自己曾經(jīng)學(xué)到的內(nèi)容到實際的應(yīng)用中是那么的微乎其微。傳統(tǒng)行業(yè)對大數(shù)據(jù)的渴求不再單單的基于概念而是真正的落地，真正的輔助業(yè)務(wù)創(chuàng)造價值。而這一方面，對一個產(chǎn)品經(jīng)理的要求只會越來越高。

　　很高興前段時間論文的開題也順利通過了，大數(shù)據(jù)的路還有很遠，且行且珍惜吧！