Hadoop和spark的性能對(duì)比

本篇內(nèi)容主要講解“Hadoop和spark的性能對(duì)比”，感興趣的朋友不妨來(lái)看看。本文介紹的方法操作簡(jiǎn)單快捷，實(shí)用性強(qiáng)。下面就讓小編來(lái)帶大家學(xué)習(xí)“Hadoop和spark的性能對(duì)比”吧!

Hadoop和spark的性能有何區(qū)別。

　　如果說(shuō)Hadoop是一家大型包工隊(duì)，我們可以通過(guò)它組織人員進(jìn)行合作，搬磚建造房屋，弊端在于速度較慢。

　　Spark是另一家包工隊(duì)，成立時(shí)間較晚，但是他們搬磚更為靈活，可以實(shí)時(shí)交互地蓋房子，工作效率比Hadoop快得多。

　　當(dāng)Hadoop開(kāi)始升級(jí)，指定調(diào)度專家YARN調(diào)度工人。Spark從多個(gè)倉(cāng)庫(kù)搬磚(HDFS，Cassandra,S3，HBase)，還允許不同專家如YARN/ MESOS對(duì)人員和任務(wù)進(jìn)行調(diào)度。

　　當(dāng)然，Spark和Hadoop團(tuán)隊(duì)進(jìn)行合作，問(wèn)題變得更加復(fù)雜。作為兩個(gè)獨(dú)立的包工隊(duì)，二者都有著各自的優(yōu)缺點(diǎn)和特定的業(yè)務(wù)用例。

　　因此，我們說(shuō)Hadoop和spark的性能區(qū)別在于：

　　Spark在內(nèi)存中運(yùn)行速度比Hadoop快100倍，在磁盤(pán)上運(yùn)行速度快10倍。眾所周知，Spark在數(shù)量只有十分之一的機(jī)器上，對(duì)100TB數(shù)據(jù)進(jìn)行排序的速度比Hadoop MapReduce快速3倍。此外，Spark在機(jī)器學(xué)習(xí)應(yīng)用中的速度同樣更快，例如Naive Bayes和k-means。

　　Spark性能之所以比Hadoop更優(yōu)，原因在于每次運(yùn)行MapReduce任務(wù)時(shí)，Spark都不會(huì)受到輸入輸出的限制。事實(shí)證明，應(yīng)用程序的速度要快得多。再有Spark的DAG可以在各個(gè)步驟之間進(jìn)行優(yōu)化。Hadoop在MapReduce步驟之間沒(méi)有任何周期性連接，這意味著在該級(jí)別不會(huì)發(fā)生性能調(diào)整。但是，如果Spark與其他共享服務(wù)在YARN上運(yùn)行，則性能可能會(huì)降低并導(dǎo)致RAM開(kāi)銷內(nèi)存泄漏。出于這個(gè)原因，如果用戶有批處理的訴求，Hadoop被認(rèn)為是更高效的系統(tǒng)。

到此，相信大家對(duì)“Hadoop和spark的性能對(duì)比”有了更深的了解，不妨來(lái)實(shí)際操作一番吧！這里是億速云網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！