大數(shù)據(jù)技術(shù)學(xué)習(xí)路線，該怎么學(xué)？

如果你看完有信心能堅持學(xué)習(xí)的話，那就當(dāng)下開始行動吧！

一、大數(shù)據(jù)技術(shù)基礎(chǔ)
1、linux操作基礎(chǔ)

linux系統(tǒng)簡介與安裝
linux常用命令–文件操作
linux常用命令–用戶管理與權(quán)限
linux常用命令–系統(tǒng)管理
linux常用命令–免密登陸配置與網(wǎng)絡(luò)管理
linux上常用軟件安裝
linux本地yum源配置及yum軟件安裝
linux防火墻配置
linux高級文本處理命令cut、sed、awk
linux定時任務(wù)crontab
2、shell編程

shell編程–基本語法
shell編程–流程控制
shell編程–函數(shù)
shell編程–綜合案例–自動化部署腳本
3、內(nèi)存數(shù)據(jù)庫redis

redis和nosql簡介
redis客戶端連接
redis的string類型數(shù)據(jù)結(jié)構(gòu)操作及應(yīng)用-對象緩存
redis的list類型數(shù)據(jù)結(jié)構(gòu)操作及應(yīng)用案例-任務(wù)調(diào)度隊列
redis的hash及set數(shù)據(jù)結(jié)構(gòu)操作及應(yīng)用案例-購物車
redis的sortedset數(shù)據(jù)結(jié)構(gòu)操作及應(yīng)用案例-排行榜
4、布式協(xié)調(diào)服務(wù)zookeeper

zookeeper簡介及應(yīng)用場景
zookeeper集群安裝部署
zookeeper的數(shù)據(jù)節(jié)點(diǎn)與命令行操作
zookeeper的java客戶端基本操作及事件監(jiān)聽
zookeeper核心機(jī)制及數(shù)據(jù)節(jié)點(diǎn)
zookeeper應(yīng)用案例–分布式共享資源鎖
zookeeper應(yīng)用案例–服務(wù)器上下線動態(tài)感知
zookeeper的數(shù)據(jù)一致性原理及l(fā)eader選舉機(jī)制
還是要推薦下我自己創(chuàng)建的大數(shù)據(jù)學(xué)習(xí)交流Qun: 710219868 有大佬有資料， 進(jìn)Qun聊邀請碼填寫 南風(fēng)（必填 ）
有學(xué)習(xí)路線的分享公開課，聽完之后就知道怎么學(xué)大數(shù)據(jù)了
5、java高級特性增強(qiáng)

Java多線程基本知識
Java同步關(guān)鍵詞詳解
java并發(fā)包線程池及在開源軟件中的應(yīng)用
Java并發(fā)包消息隊里及在開源軟件中的應(yīng)用
Java JMS技術(shù)
Java動態(tài)代理反射
6、輕量級RPC框架開發(fā)

RPC原理學(xué)習(xí)
Nio原理學(xué)習(xí)
Netty常用API學(xué)習(xí)
輕量級RPC框架需求分析及原理分析
輕量級RPC框架開發(fā)
二、離線計算系統(tǒng)
1、hadoop快速入門

hadoop背景介紹
分布式系統(tǒng)概述
離線數(shù)據(jù)分析流程介紹
集群搭建
集群使用初步
2、HDFS增強(qiáng)

HDFS的概念和特性
HDFS的shell(命令行客戶端)操作
HDFS的工作機(jī)制
NAMENODE的工作機(jī)制
java的api操作
案例1：開發(fā)shell采集腳本
3、MAPREDUCE詳解

自定義hadoop的RPC框架
Mapreduce編程規(guī)范及示例編寫
Mapreduce程序運(yùn)行模式及debug方法
mapreduce程序運(yùn)行模式的內(nèi)在機(jī)理
mapreduce運(yùn)算框架的主體工作流程
自定義對象的序列化方法
MapReduce編程案例
4、MAPREDUCE增強(qiáng)

Mapreduce排序
自定義partitioner
Mapreduce的combiner
mapreduce工作機(jī)制詳解
5、MAPREDUCE實戰(zhàn)

maptask并行度機(jī)制-文件切片
maptask并行度設(shè)置
倒排索引
共同好友
6、federation介紹和hive使用

Hadoop的HA機(jī)制
HA集群的安裝部署
集群運(yùn)維測試之Datanode動態(tài)上下線
集群運(yùn)維測試之Namenode狀態(tài)切換管理
集群運(yùn)維測試之?dāng)?shù)據(jù)塊的balance
HA下HDFS-API變化
hive簡介
hive架構(gòu)
hive安裝部署
hvie初使用
7、hive增強(qiáng)和flume介紹

HQL-DDL基本語法
HQL-DML基本語法
HIVE的join
HIVE 參數(shù)配置
HIVE 自定義函數(shù)和Transform
HIVE 執(zhí)行HQL的實例分析
HIVE最佳實踐注意點(diǎn)
HIVE優(yōu)化策略
HIVE實戰(zhàn)案例
Flume介紹
Flume的安裝部署
案例：采集目錄到HDFS
案例：采集文件到HDFS
三、流式計算
1、Storm從入門到精通

Storm是什么
Storm架構(gòu)分析
Storm架構(gòu)分析
Storm編程模型、Tuple源碼、并發(fā)度分析
Storm WordCount案例及常用Api分析
Storm集群部署實戰(zhàn)
Storm+Kafka+Redis業(yè)務(wù)指標(biāo)計算
Storm×××編譯
Strom集群啟動及源碼分析
Storm任務(wù)提交及源碼分析
Storm數(shù)據(jù)發(fā)送流程分析
Storm通信機(jī)制分析
Storm消息容錯機(jī)制及源碼分析
Storm多stream項目分析
編寫自己的流式任務(wù)執(zhí)行框架
2、Storm上下游及架構(gòu)集成

消息隊列是什么
Kakfa核心組件
Kafka集群部署實戰(zhàn)及常用命令
Kafka配置文件梳理
Kakfa JavaApi學(xué)習(xí)
Kafka文件存儲機(jī)制分析
Redis基礎(chǔ)及單機(jī)環(huán)境部署
Redis數(shù)據(jù)結(jié)構(gòu)及典型案例
Flume快速入門
Flume+Kafka+Storm+Redis整合
四、內(nèi)存計算體系Spark
1、scala編程

scala編程介紹
scala相關(guān)軟件安裝
scala基礎(chǔ)語法
scala方法和函數(shù)
scala函數(shù)式編程特點(diǎn)
scala數(shù)組和集合
scala編程練習(xí)（單機(jī)版WordCount）
scala面向?qū)ο?br/>scala模式匹配
actor編程介紹
option和偏函數(shù)
實戰(zhàn)：actor的并發(fā)WordCount
柯里化
隱式轉(zhuǎn)換
2、AKKA與RPC

Akka并發(fā)編程框架
實戰(zhàn)：RPC編程實戰(zhàn)
3、Spark快速入門

spark介紹
spark環(huán)境搭建
RDD簡介
RDD的轉(zhuǎn)換和動作
實戰(zhàn)：RDD綜合練習(xí)
RDD高級算子
自定義Partitioner
實戰(zhàn)：網(wǎng)站訪問次數(shù)
廣播變量
實戰(zhàn)：根據(jù)IP計算歸屬地
自定義排序
利用JDBC RDD實現(xiàn)數(shù)據(jù)導(dǎo)入導(dǎo)出
WorldCount執(zhí)行流程詳解
4、RDD詳解

RDD依賴關(guān)系
RDD緩存機(jī)制
RDD的Checkpoint檢查點(diǎn)機(jī)制
Spark任務(wù)執(zhí)行過程分析
RDD的Stage劃分
5、Spark-Sql應(yīng)用

Spark-SQL
Spark結(jié)合Hive
DataFrame
實戰(zhàn)：Spark-SQL和DataFrame案例
6、SparkStreaming應(yīng)用實戰(zhàn)

Spark-Streaming簡介
Spark-Streaming編程
實戰(zhàn)：StageFulWordCount
Flume結(jié)合Spark Streaming
Kafka結(jié)合Spark Streaming
窗口函數(shù)
ELK技術(shù)棧介紹
ElasticSearch安裝和使用
Storm架構(gòu)分析
Storm編程模型、Tuple源碼、并發(fā)度分析
Storm WordCount案例及常用Api分析
7、Spark核心源碼解析

Spark源碼編譯
Spark遠(yuǎn)程debug
Spark任務(wù)提交行流程源碼分析
Spark通信流程源碼分析
SparkContext創(chuàng)建過程源碼分析
DriverActor和ClientActor通信過程源碼分析
Worker啟動Executor過程源碼分析
Executor向DriverActor注冊過程源碼分析
Executor向Driver注冊過程源碼分析
DAGScheduler和TaskScheduler源碼分析
Shuffle過程源碼分析
Task執(zhí)行過程源碼分析
五、機(jī)器學(xué)習(xí)算法
1、python及numpy庫

機(jī)器學(xué)習(xí)簡介
機(jī)器學(xué)習(xí)與python
python語言–快速入門
python語言–數(shù)據(jù)類型詳解
python語言–流程控制語句
python語言–函數(shù)使用
python語言–模塊和包
phthon語言–面向?qū)ο?br/>python機(jī)器學(xué)習(xí)算法庫–numpy
機(jī)器學(xué)習(xí)必備數(shù)學(xué)知識–概率論
2、常用算法實現(xiàn)

knn分類算法–算法原理
knn分類算法–代碼實現(xiàn)
knn分類算法–手寫字識別案例
lineage回歸分類算法–算法原理
lineage回歸分類算法–算法實現(xiàn)及demo
樸素貝葉斯分類算法–算法原理
樸素貝葉斯分類算法–算法實現(xiàn)
樸素貝葉斯分類算法–垃圾郵件識別應(yīng)用案例
kmeans聚類算法–算法原理
kmeans聚類算法–算法實現(xiàn)
kmeans聚類算法–地理位置聚類應(yīng)用
決策樹分類算法–算法原理
決策樹分類算法–算法實現(xiàn)