大數(shù)據(jù)和數(shù)據(jù)分析有什么區(qū)別？

企業(yè)可以通過手中的數(shù)據(jù)，或挖掘用戶需求，或優(yōu)化產(chǎn)品，或搶奪市場(chǎng)，或減少運(yùn)營(yíng)成本等等……一個(gè)優(yōu)秀的數(shù)據(jù)分析師能為企業(yè)帶來巨大的潛在利潤(rùn)。隨著企業(yè)對(duì)數(shù)據(jù)分析師的需求逐年增加，數(shù)據(jù)分析師的薪酬待遇也水漲船高。

當(dāng)我們打開招聘網(wǎng)站，看著數(shù)據(jù)分析師誘人的薪資的時(shí)候，會(huì)發(fā)現(xiàn)數(shù)據(jù)分析崗有“數(shù)據(jù)分析師”和“大數(shù)據(jù)分析師”之分，那大數(shù)據(jù)和數(shù)據(jù)分析有什么區(qū)別呢？

CDA數(shù)據(jù)分析研究院于2018年8月對(duì)智聯(lián)招聘網(wǎng)站中關(guān)鍵字“數(shù)據(jù)分析”的招聘信息進(jìn)行爬取，在對(duì)數(shù)據(jù)進(jìn)行清洗后，排除了一萬多條低相關(guān)度的招聘以及虛假招聘，對(duì)剩下的5706條相關(guān)招聘信息進(jìn)行分析。

通過對(duì)招聘信息中 “崗位職責(zé)”和“任職要求”兩個(gè)字段作詞頻分析，我們可以得知兩者的區(qū)別。

1.崗位職責(zé)區(qū)別

首先我們對(duì)數(shù)據(jù)分析崗位的字段“崗位職責(zé)”生成詞云（涉及813條數(shù)據(jù)）：?

我們可以總結(jié)出數(shù)據(jù)分析崗位的主要工作職責(zé)：

1、負(fù)責(zé)日常的需求調(diào)研、數(shù)據(jù)分析、商業(yè)分析。這過程的日常任務(wù)可能包括提交日?qǐng)?bào)、周報(bào)、月報(bào)、年報(bào)等數(shù)據(jù)報(bào)表；

2、根據(jù)業(yè)務(wù)需求，制定相關(guān)數(shù)據(jù)的采集策略，設(shè)計(jì)、建立、測(cè)試相關(guān)的數(shù)據(jù)模型，從而從數(shù)據(jù)中提取決策價(jià)值。這過程可能需要撰寫特定分析需求的報(bào)告；

3、研究數(shù)據(jù)挖掘模型，參與數(shù)據(jù)挖掘模型的構(gòu)建、維護(hù)、部署和評(píng)估工作。?

而當(dāng)我們對(duì)大數(shù)據(jù)分析崗位的字段“崗位職責(zé)”生成詞云（涉及508條數(shù)據(jù)），我們可以明顯看到兩類數(shù)據(jù)崗位的區(qū)別：?

我們可以歸納出大數(shù)據(jù)分析崗的主要工作職責(zé)：

1、參與大數(shù)據(jù)平臺(tái)的設(shè)計(jì)與開發(fā)，解決海量數(shù)據(jù)面臨的挑戰(zhàn)；?

2、精通Java編程，能基于Hadoop/Hive/Spark/Storm/HBase等構(gòu)建公司的大數(shù)據(jù)分析平臺(tái)；?

3、管理、優(yōu)化并維護(hù)Hadoop、Spark等集群，保證集群規(guī)模持續(xù)、穩(wěn)定；?

4、負(fù)責(zé)HDFS/hive/HBase的功能、性能和擴(kuò)展，解決并實(shí)現(xiàn)業(yè)務(wù)需求。

2.從業(yè)者專業(yè)背景要求區(qū)別

通過對(duì)數(shù)據(jù)分析崗的字段“任職要求”（涉及999條數(shù)據(jù)），CDA數(shù)據(jù)分析研究院發(fā)現(xiàn)目前招聘需求中，對(duì)數(shù)學(xué)、統(tǒng)計(jì)學(xué)、計(jì)算機(jī)這三個(gè)專業(yè)背景的應(yīng)聘者的需求最高，其次是經(jīng)濟(jì)類專業(yè)。?

而當(dāng)我們對(duì)大數(shù)據(jù)崗位的專業(yè)背景作詞頻分析時(shí)發(fā)現(xiàn)（涉及658條數(shù)據(jù)），大數(shù)據(jù)分析崗位對(duì)計(jì)算機(jī)專業(yè)背景要求最高，詞頻幾乎是統(tǒng)計(jì)學(xué)專業(yè)的兩倍多。對(duì)數(shù)學(xué)專業(yè)的需求排第二，對(duì)經(jīng)濟(jì)類專業(yè)的需求極少。?

3.使用分析工具區(qū)別

那兩類崗位在工作中使用的軟件工具有什么區(qū)別呢？?

CDA數(shù)據(jù)分析研究院先對(duì)“任職要求”中的數(shù)據(jù)分析工具作詞頻分析（涉及999條）：?

我們會(huì)發(fā)現(xiàn)將近一半的崗位要求掌握SQL語言和EXCEL，排在第三位的是當(dāng)前數(shù)據(jù)科學(xué)界的“當(dāng)紅炸子雞”Python。緊隨其后的是傳統(tǒng)的統(tǒng)計(jì)軟件R、SPSS、SAS。當(dāng)然也會(huì)有少部分企業(yè)要求懂得大數(shù)據(jù)平臺(tái)架構(gòu)軟件Hadoop、Storm等。?

而當(dāng)CDA數(shù)據(jù)分析研究院對(duì)大數(shù)據(jù)分析崗位作詞頻分析時(shí)發(fā)現(xiàn)(涉及658條)，崗位要求中詞頻最高的是Hadoop、Spark、Hive、HBase、Storm等大數(shù)據(jù)平臺(tái)工具。

超過六成的大數(shù)據(jù)分析崗要求對(duì)Java編程熟練，近三分之一崗位要求對(duì)Linux開發(fā)環(huán)境熟悉。

除了要求掌握海量數(shù)據(jù)處理的軟件工具以外，Python和SQL的詞頻也很高，近三分之一的崗位要求掌握。但是我們能明顯看到大數(shù)據(jù)分析工作中所使用的軟件均偏向于大數(shù)據(jù)平臺(tái)的開發(fā)和架構(gòu)，要處理的數(shù)據(jù)量也遠(yuǎn)超普通數(shù)據(jù)分析崗。