大數(shù)據(jù)基礎(chǔ)學(xué)習(xí)

什么是大數(shù)據(jù)？

舉例：

1、商品推薦：?jiǎn)栴}：

（1）大量的訂單如何存儲(chǔ)？

（2）大量的訂單如何計(jì)算？

2、天氣預(yù)報(bào)：?jiǎn)栴}：

（1）大量的天氣數(shù)據(jù)如何存儲(chǔ)？

（2）大量的天氣數(shù)據(jù)如何計(jì)算？

如果你想要學(xué)好大數(shù)據(jù)最好加入一個(gè)好的學(xué)習(xí)環(huán)境，可以來(lái)這個(gè)Q群251956502 這樣大家學(xué)習(xí)的話就比較方便，還能夠共同交流和分享資料

什么是大數(shù)據(jù)，本質(zhì)？

（1）數(shù)據(jù)的存儲(chǔ)：分布式文件系統(tǒng)（分布式存儲(chǔ)）

（2）數(shù)據(jù)的計(jì)算：分布式計(jì)算

Java和大數(shù)據(jù)是什么關(guān)系？

1、Hadoop：基于Java語(yǔ)言開(kāi)發(fā)

2、Spark：基于Scala語(yǔ)言，Scala基于Java語(yǔ)言

學(xué)習(xí)大數(shù)據(jù)需要的基礎(chǔ)和路線

1、學(xué)習(xí)大數(shù)據(jù)需要的基礎(chǔ)：

Java基礎(chǔ)（JavaSE）---> 類、繼承、I/O、反射、泛型*****

Linux基礎(chǔ)（Linux的操作） ---> 創(chuàng)建文件、目錄、vi編輯器***

2、學(xué)習(xí)路線：

（1）Java基礎(chǔ)和Linux基礎(chǔ)

（2）Hadoop的學(xué)習(xí)：體系結(jié)構(gòu)、原理、編程

（*）第一階段：HDFS、MapReduce、HBase（NoSQL數(shù)據(jù)庫(kù)）

（*）第二階段：數(shù)據(jù)分析引擎 ---> Hive、Pig

數(shù)據(jù)采集引擎 ---> Sqoop、Flume

（*）第三階段：HUE：Web管理工具

ZooKeeper：實(shí)現(xiàn)Hadoop的HA

Oozie： 工作流引擎

（3）Spark的學(xué)習(xí)

（*）第一個(gè)階段：Scala編程語(yǔ)言

（*）第二個(gè)階段：Spark Core-----> 基于內(nèi)存，數(shù)據(jù)的計(jì)算

（*）第三個(gè)階段：Spark SQL -----> 類似Oracle中的SQL語(yǔ)句

（*）第四個(gè)階段：Spark Streaming--->

進(jìn)行實(shí)時(shí)計(jì)算（流式計(jì)算）比如：自來(lái)水廠

（4）Apache Storm：類似Spark Streaming ---> 進(jìn)行實(shí)時(shí)計(jì)算 （流式計(jì)算）：比如：自來(lái)水廠

（*）NoSQL：Redis基于內(nèi)存的數(shù)據(jù)庫(kù)