從BAT大數(shù)據(jù)工程師那里總結的大數(shù)據(jù)學習方法

認識大數(shù)據(jù)

什么是大數(shù)據(jù)？可能有人會說寫字樓的所有人的資料信息就是個大數(shù)據(jù)。NO！這里的數(shù)據(jù)只能說比較大，但卻不能稱之為大數(shù)據(jù)。百度百科上給出了很明確的解釋“大數(shù)據(jù)（big data），指無法在一定時間范圍內用常規(guī)軟件工具進行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)?！?/p>

在這里還是要推薦下我自己建的大數(shù)據(jù)學習交流群:529867072，群里都是學大數(shù)據(jù)開發(fā)的，如果你正在學習大數(shù)據(jù) ，小編歡迎你加入,大家都是軟件開發(fā)黨，不定期分享干貨（只有大數(shù)據(jù)軟件開發(fā)相關的），包括我自己整理的一份最新的大數(shù)據(jù)進階資料和高級開發(fā)教程，歡迎進階中和進想深入大數(shù)據(jù)的小伙伴加入。

大數(shù)據(jù)有五個特點（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（低價值密度）、Veracity（真實性）。其中Volume就是普遍認為的數(shù)據(jù)足夠大，因此數(shù)據(jù)大并不能說就是大數(shù)據(jù)，話句話說數(shù)據(jù)大只是大數(shù)據(jù)其中的一個特點。

大數(shù)據(jù)技術的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息，而在于對這些含有意義的數(shù)據(jù)進行專業(yè)化處理。換而言之，如果把大數(shù)據(jù)比作一種產(chǎn)業(yè)，那么這種產(chǎn)業(yè)實現(xiàn)盈利的關鍵，在于提高對數(shù)據(jù)的“加工能力”，通過“加工”實現(xiàn)數(shù)據(jù)的“增值”。

現(xiàn)在我們“從相認到相識”，清楚的認識什么是大數(shù)據(jù)，如果區(qū)分大數(shù)據(jù)和數(shù)據(jù)大，是我們學習大數(shù)據(jù)走的第一步。

怎么開始學

擁有了“第一磚”后就是你即將選擇師門的時候了，敲開山門的“第二磚”則是學習大數(shù)據(jù)的基礎，就如同在門派中修煉內功，有助你行走江湖，話不多說我們來看看會涉及到哪些基礎吧！

1、 javaSE，EE(SSM)

90%的大數(shù)據(jù)框架都是java寫的。

如：MongoDB--最受歡迎的，跨平臺的，面向文檔的數(shù)據(jù)庫。 Hadoop--用Java編寫的開源軟件框架，用于分布式存儲，并對非常大的數(shù)據(jù)集進行分布式處理。

Spark --Apache Software Foundation中最活躍的項目，是一個開源集群計算框架。

Hbase--開放源代碼，非關系型，分布式數(shù)據(jù)庫，采用Google的BigTable建模，用Java編寫，并在HDFS上運行。

2、就是大數(shù)據(jù)里面的基礎和工具

要想建一座穩(wěn)固的高樓大廈基礎是必須打好的，掌握好Linux必備知識，熟悉python的使用與爬蟲的編寫搭建Hadoop（CHD）基礎，為學習大數(shù)據(jù)技術打好基礎

進階技術

1、大數(shù)據(jù)離線分析

掌握大數(shù)據(jù)核心基礎組件：HDFS，MapReduce及yarn。掌握MapReduce編程思想及通用大數(shù)據(jù)計算平臺：“spark”

可以通過實戰(zhàn)項目熟悉用戶行為分析業(yè)務的背景，掌握離線數(shù)據(jù)處理的流程（用戶分析項目是離線處理經(jīng)典的項目）、架構及相關技術的運用。

2、、大數(shù)據(jù)實時計算

掌握實時處理主流技術組件：kafka，spark streaming，flink，storm，hbase

再通過實時交易監(jiān)控項目來融合自己學習的

總結：希望能對大數(shù)據(jù)有興趣的朋友一種啟發(fā)式作用，方法的學習還需要在有興趣的基礎上刻苦專研、融會貫通。