溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》
您好，登錄后才能下訂單哦！
本篇內(nèi)容介紹了“Spark是什么”的有關(guān)知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！
一、到底什么是Spark？
Spark是一個通用的大數(shù)據(jù)計算平臺，基于“One Stack to rule them all”的理念成功成為了一體化多元化的大數(shù)據(jù)處理平臺，輕松應(yīng)對大數(shù)據(jù)處理中的實時流計算、SQL交互式查詢、機器學(xué)習(xí)和圖計算等：
Spark源于BDAS:
基于該技術(shù)堆棧，Spark目前已經(jīng)成為大數(shù)據(jù)通用計算平臺：
二， Spark的速度為何如此之快？
首先我們看一下Hadoop經(jīng)典的處理過程：
MapReduce在每次執(zhí)行的時候都要從磁盤讀數(shù)據(jù)，計算完畢后都要把數(shù)據(jù)存放到磁盤上：
而Spark是基于內(nèi)存的：
另外一方面，DAG也是Spark快的極為重要的原因，下面是一張DAG圖的示例：
大家也可以看一下網(wǎng)絡(luò)上一張描述DAG更多細(xì)節(jié)的圖片：
基于DAG，Spark具備了非常精致的作業(yè)調(diào)度系統(tǒng)：
DAG中的依賴有寬依賴和窄依賴之分：
在DAG圖中可以根據(jù)依賴對pipeline等優(yōu)化操作：
基于RDD和DAG，并行計算整個Job：
“Spark是什么”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識可以關(guān)注億速云網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實用文章！
免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點不代表本網(wǎng)站立場，如果涉及侵權(quán)請聯(lián)系站長郵箱：is@yisu.com進行舉報，并提供相關(guān)證據(jù)，一經(jīng)查實，將立刻刪除涉嫌侵權(quán)內(nèi)容。
億速云公眾號
手機網(wǎng)站二維碼
