溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

如何進行SparkContext核心源碼的解析

發(fā)布時間:2022-01-14 16:30:11 來源:億速云 閱讀:122 作者:柒染 欄目:云計算

今天就跟大家聊聊有關(guān)如何進行SparkContext核心源碼的解析,可能很多人都不太了解,為了讓大家更加了解,小編給大家總結(jié)了以下內(nèi)容,希望大家根據(jù)這篇文章可以有所收獲。

SparkContext在獲得了一系列的初始化信息后開始創(chuàng)建并啟動TaskScheduler實例:

如何進行SparkContext核心源碼的解析

進入createTaskScheduler方法:

如何進行SparkContext核心源碼的解析

在上述代碼中首先實例化一個TaskSchedulerImpl:

如何進行SparkContext核心源碼的解析

接著創(chuàng)建出關(guān)鍵的backend:

如何進行SparkContext核心源碼的解析

如何進行SparkContext核心源碼的解析

如何進行SparkContext核心源碼的解析

回到SparkContext的Standalone的方式的代碼處:

如何進行SparkContext核心源碼的解析

在上述代碼中顯示處理調(diào)度模式 例如FIFO和Fair的模式。

在代碼塊的最后返回實例化后的backend, scheduler:

看完上述內(nèi)容,你們對如何進行SparkContext核心源碼的解析有進一步的了解嗎?如果還想了解更多知識或者相關(guān)內(nèi)容,請關(guān)注億速云行業(yè)資訊頻道,感謝大家的支持。

向AI問一下細節(jié)

免責聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進行舉報,并提供相關(guān)證據(jù),一經(jīng)查實,將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI