溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》
您好，登錄后才能下訂單哦！
這篇文章給大家分享的是有關(guān)apache spark指的是什么的內(nèi)容。小編覺得挺實用的，因此分享給大家做個參考。一起跟隨小編過來看看吧。
Apache Spark是一個開源集群運算框架，最初是由加州大學(xué)柏克萊分校AMPLab所開發(fā)。相對于Hadoop的MapReduce會在運行完工作后將中介數(shù)據(jù)存放到磁盤中，Spark使用了存儲器內(nèi)運算技術(shù)，能在數(shù)據(jù)尚未寫入硬盤時即在存儲器內(nèi)分析運算。
Spark在存儲器內(nèi)運行程序的運算速度能做到比Hadoop MapReduce的運算速度快上100倍，即便是運行程序于硬盤時，Spark也能快上10倍速度。Spark允許用戶將數(shù)據(jù)加載至集群存儲器，并多次對其進(jìn)行查詢，非常適合用于機(jī)器學(xué)習(xí)算法。
使用Spark需要搭配集群管理員和分布式存儲系統(tǒng)。Spark支持獨立模式（本地Spark集群）、Hadoop YARN或Apache Mesos的集群管理。
在分布式存儲方面，Spark可以和HDFS、 Cassandra、OpenStack Swift和Amazon S3等接口搭載。 Spark也支持偽分布式（pseudo-distributed）本地模式，不過通常只用于開發(fā)或測試時以本機(jī)文件系統(tǒng)取代分布式存儲系統(tǒng)。在這樣的情況下，Spark僅在一臺機(jī)器上使用每個CPU核心運行程序。
在2014年有超過465位貢獻(xiàn)家投入Spark開發(fā)，讓其成為Apache軟件基金會以及大數(shù)據(jù)眾多開源項目中最為活躍的項目。
感謝各位的閱讀！關(guān)于apache spark指的是什么就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，讓大家可以學(xué)到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到吧！
免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點不代表本網(wǎng)站立場，如果涉及侵權(quán)請聯(lián)系站長郵箱：is@yisu.com進(jìn)行舉報，并提供相關(guān)證據(jù)，一經(jīng)查實，將立刻刪除涉嫌侵權(quán)內(nèi)容。
億速云公眾號
手機(jī)網(wǎng)站二維碼
