認清Hadoop和Spark的這幾點區(qū)別，學習時才能事半功倍

很多初學Hadoop開發(fā)的同學分不清Hadoop和Spark究竟有什么聯(lián)系？

搞不清Hadoop和Spark是兩個獨立的框架，還是必須相互依存才能完成工作？

今天就給大家分析一下Hadoop和Spark幾點區(qū)別。

Hadoop和Spark各是什么？

• Hadoop
  

Hadoop是一分布式系統(tǒng)基礎架構。用戶可以在不了解分布式底層細節(jié)的情況下，開發(fā)分布式程序。

利用集群的威力進行高速運算和存儲。Hadoop的框架最核心的設計就是：HDFS和MapReduce。HDFS為海量的數(shù)據(jù)提供存儲，MapReduce為海量的數(shù)據(jù)提供計算。

• Spark

Spark 是專為大規(guī)模數(shù)據(jù)處理而設計的快速通用的計算引擎。是類Hadoop MapReduce的通用并行框架，擁有Hadoop MapReduce所具有的優(yōu)點。

Hadoop和Spark的異同大致可以分為以下幾點

1.處理問題的層面不同

• hadoop

Hadoop實質上更多是一個分布式數(shù)據(jù)基礎設施: 它將巨大的數(shù)據(jù)集分派到一個由普通計算機組成的集群中的多個節(jié)點進行存儲，同時還會索引和跟蹤這些數(shù)據(jù)，大幅度提升大數(shù)據(jù)處理和分析效率。

• spark

Spark，是一個專門用來對那些分布式存儲的大數(shù)據(jù)進行處理的工具，自身不會進行數(shù)據(jù)的存儲。

2.即可搭配工作，也可獨立運行

• hadoop

Hadoop可以獨立完成數(shù)據(jù)的存儲和處理工作，因為其除了提供HDFS分布式數(shù)據(jù)存儲功能，還提供MapReduce數(shù)據(jù)處理功能。

• spark

Spark沒有提供文件管理系統(tǒng)，它必須和其他的分布式文件系統(tǒng)進行集成才能運作?？梢赃x擇Hadoop的HDFS,也可以選擇其他平臺。

3.Spark數(shù)據(jù)處理速度遠超MapReduce

• hadoop

Hadoop是磁盤級計算，計算時需要在磁盤中讀取數(shù)據(jù)；其采用的是MapReduce的邏輯，把數(shù)據(jù)進行切片計算用這種方式來處理大量的離線數(shù)據(jù).

• spark

Spark，它會在內存中以接近“實時”的時間完成所有的數(shù)據(jù)分析。Spark的批處理速度比MapReduce快近10倍，內存中的數(shù)據(jù)分析速度則快近100倍。

比如實時的市場活動，在線產(chǎn)品推薦等需要對流數(shù)據(jù)進行分析場景就要使用Spark。

4.災難恢復

• hadoop

Hadoop將每次處理后的數(shù)據(jù)寫入磁盤中，對應對系統(tǒng)錯誤具有天生優(yōu)勢。

• spark

Spark的數(shù)據(jù)對象存儲在彈性分布式數(shù)據(jù)集(RDD:)中?！斑@些數(shù)據(jù)對象既可放在內存，也可以放在磁盤，所以RDD也提供完整的災難恢復功能。

如何用4個月學會Hadoop開發(fā)并找到年薪25萬工作？

免費分享一套17年最新Hadoop大數(shù)據(jù)教程和100道Hadoop大數(shù)據(jù)必會面試題。

因為鏈接經(jīng)常被和諧，需要的朋友請加微信 ganshiyun666 來獲取最新下載鏈接，注明“51CTO”

教程已幫助300+人成功轉型Hadoop開發(fā)，90%起薪超過20K，工資比之前翻了一倍。

由百度Hadoop核心架構師（T7級別）親自錄制。

內容包括0基礎入門、Hadoop生態(tài)系統(tǒng)、真實商業(yè)項目實戰(zhàn)3大部分。其中商業(yè)案例可以讓你接觸真實的生產(chǎn)環(huán)境，訓練自己的開發(fā)能力。