溫馨提示×

溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊×
其他方式登錄
點(diǎn)擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》

學(xué)習(xí)Spark需要了解的RDD知識點(diǎn)有哪些

發(fā)布時間：2021-12-17 09:12:23 來源：億速云 閱讀：441 作者：柒染 欄目：大數(shù)據(jù)

這篇文章主要為大家展示了“學(xué)習(xí)Spark需要了解的RDD知識點(diǎn)有哪些”，內(nèi)容簡而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領(lǐng)大家一起研究并學(xué)習(xí)一下“學(xué)習(xí)Spark需要了解的RDD知識點(diǎn)有哪些”這篇文章吧。


作業(yè)調(diào)度


當(dāng)對RDD執(zhí)行轉(zhuǎn)換操作時，調(diào)度器會根據(jù) RDD 的 lineage（血統(tǒng)）來構(gòu)建由若干調(diào)度階段(Stage) 組成的有向無環(huán)圖(DAG),每個調(diào)度階段包含盡可能多的連續(xù)窄依賴轉(zhuǎn)換。調(diào)度器按照有向 無環(huán)圖順序進(jìn)行計算，并最終得到目標(biāo)RDD。


調(diào)度器向各節(jié)點(diǎn)分配任務(wù)釆用延時調(diào)度機(jī)制并根據(jù)數(shù)據(jù)存儲位置(數(shù)據(jù)本地性)來確定。若一個任務(wù)需要處理的某個分區(qū)剛好存儲在某個節(jié)點(diǎn)的內(nèi)存中，則該任務(wù)會分配給該節(jié)點(diǎn)；如果在內(nèi)存中不包含該分區(qū)，調(diào)度器會找到包含該RDD的較佳位置，并把任務(wù)分配給所在節(jié)點(diǎn)。


對應(yīng)寬依賴的操作，在Spark將中間結(jié)果物化到父分區(qū)的節(jié)點(diǎn)上，這和MapReduce物化 map的輸出類似，可以簡化數(shù)據(jù)的故障恢復(fù)過程。如下圖所示，實(shí)線圓角方框標(biāo)識的是RDD。陰影背景的矩形是分區(qū)，若已存于內(nèi)存中，則用黑色背景標(biāo)識。RDD上一個行動操作的執(zhí)行將 會以寬依賴為分區(qū)來構(gòu)建各個調(diào)度階段，對各調(diào)度階段內(nèi)部的窄依賴則前后連接構(gòu)成流水線。在本例中，Stage 1的輸出已經(jīng)存在內(nèi)存中，所以直接執(zhí)行Stage 2 ,然后執(zhí)行Stage 3


學(xué)習(xí)Spark需要了解的RDD知識點(diǎn)有哪些

Spark如何計算作業(yè)調(diào)度階段


對于執(zhí)行失敗的任務(wù)，只要它對應(yīng)調(diào)度階段父類信息仍然可用，該任務(wù)會分散到其他節(jié)點(diǎn) 重新執(zhí)行。如果某些調(diào)度階段不可用(例如，因?yàn)镾huffle在map節(jié)點(diǎn)輸出丟失了)，則重新提交相應(yīng)的任務(wù)，并以并行方式計算丟失的分區(qū)。在作業(yè)中如果某個任務(wù)執(zhí)行緩慢(即Straggler), 系統(tǒng)則會在其他節(jié)點(diǎn)上執(zhí)行該任務(wù)的副本。該方法與MapReduce推測執(zhí)行做法類似，并取最先得到的結(jié)果作為最終的結(jié)果。


調(diào)度器


RDD 模型將計算分解為多個相互獨(dú)立的細(xì)粒度任務(wù)，這使得它在多用戶集群能夠支持多種資源共享算法。特別地，每個 RDD 應(yīng)用可以在執(zhí)行過程中動態(tài)調(diào)整訪問資源。

  • 在每個應(yīng)用程序中，Spark 運(yùn)行多線程同時提交作業(yè)，并通過一種等級公平調(diào)度器來實(shí)現(xiàn)多個作業(yè)對集群資源的共享，這種調(diào)度器和 Hadoop Fair Scheduler 類似。該算法主要用于創(chuàng)建基于針對相同內(nèi)存數(shù)據(jù)的多用戶應(yīng)用，例如：Spark SQL引擎有一個服務(wù)模式支持多用戶并行查詢。公平調(diào)度算法確保短的作業(yè)能夠在即使長作業(yè)占滿集群資源的情況下盡早完成。
  • Spark的公平調(diào)度也使用延遲調(diào)度，通過輪詢每臺機(jī)器的數(shù)據(jù)，在保持公平的情況下給予作業(yè)高的本地性。Spark支持多級本地化訪問策略(本地化)，包括內(nèi)存、磁盤和機(jī)架。
  • 由于任務(wù)相互獨(dú)立，調(diào)度器還支持取消作業(yè)來為高優(yōu)先級的作業(yè)騰出資源。
  • Spark 中可以使用 yarn 來實(shí)現(xiàn)細(xì)粒度的資源共享，這使得Spark應(yīng)用能相互之間或在不同的計算框架之間實(shí)現(xiàn)資源的動態(tài)共享，這也是spark在生產(chǎn)中最常用的調(diào)度方式，基于Yarn 做調(diào)度。


RDD 持久化


Spark 提供了uoduo 種持久化 RDD 的存儲策略：

  • 未序列化Java對象存在內(nèi)存中
  • 序列化的數(shù)據(jù)存于內(nèi)存中
  • 存儲在磁盤中

第一個選項(xiàng)的性能是最優(yōu)的，因?yàn)榭梢灾苯釉L問在Java虛擬機(jī)內(nèi)存里的RDD對象；在空間有限的情況下，第二種方式可以讓用戶釆用比Java對象更有效的內(nèi)存組織方式，但代價是降低了性能；第三種策略使用于RDD太大的場景，每次重新計算該 RDD會帶來額外的資源開銷(如I/O等)。


對于內(nèi)存使用 LRU 回收算法來進(jìn)行管理，當(dāng)計算得到一個新的 RDD 分區(qū)，但沒有足夠空間來存儲時，系統(tǒng)會從最近最少使用的 RDD 回收其一個分區(qū)的空間。除非該 RDD 是新分區(qū)對應(yīng)的 RDD,這種情況下 Spark 會將舊的分區(qū)繼續(xù)保留在內(nèi)存中，防止同一個 RDD 的分區(qū)被循環(huán)調(diào)入/調(diào)出。這點(diǎn)很關(guān)鍵，因?yàn)榇蟛糠值牟僮鲿谝粋€ RDD 的所有分區(qū)上進(jìn)行，那么很有可能已經(jīng)存在內(nèi)存中的分區(qū)將再次被使用。


CheckPoint 檢查點(diǎn)


雖然 lineage 可以用于錯誤后 RDD 的恢復(fù)，但是對于很長的 lineage 的 RDD 來說，這樣的恢復(fù)耗時比較長，因此需要通過檢查點(diǎn)操作(Checkpoint)保存到外部存儲中。

通常情況下，對于包含寬依賴的長 lineage 的 RDD 設(shè)置檢查點(diǎn)操作是非常有用的。在這種情況下，集群中某個節(jié)點(diǎn)出現(xiàn)故障時，會使得從各個父RDD計算出的數(shù)據(jù)丟失，造成需要重新計算。相反，對于那些窄依賴的RDD.對其進(jìn)行檢査點(diǎn)操作就不是有必須。在這種情況下如果一個節(jié)點(diǎn)發(fā)生故障，RDD在該節(jié)點(diǎn)中丟失的分區(qū)數(shù)據(jù)可以通過并行的方式從其他節(jié)點(diǎn)中重新計算出來，計算成本只是復(fù)制RDD的很小部分。

Spark提供為RDD設(shè)置檢查點(diǎn)操作的API,可以讓用戶自行決定需要為那些數(shù)據(jù)設(shè)置檢查點(diǎn)操作。另外由于RDD的只讀特性，使得不需要關(guān)心數(shù)據(jù)一致性問題，比常用的共享內(nèi)存更容易做檢查點(diǎn)。

以上是“學(xué)習(xí)Spark需要了解的RDD知識點(diǎn)有哪些”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對大家有所幫助，如果還想學(xué)習(xí)更多知識，歡迎關(guān)注億速云行業(yè)資訊頻道！

向AI問一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場，如果涉及侵權(quán)請聯(lián)系站長郵箱：is@yisu.com進(jìn)行舉報，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手