溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
這篇文章的內(nèi)容主要圍繞spark任務調(diào)度系統(tǒng)如何理解進行講述，文章內(nèi)容清晰易懂，條理清晰，非常適合新手學習，值得大家去閱讀。感興趣的朋友可以跟隨小編一起閱讀吧。希望大家通過這篇文章有所收獲！
spark的任務調(diào)度系統(tǒng)如下所示：
從上圖中可以看出來由RDD Objects產(chǎn)生DAG，然后進入了DAGScheduler階段，DAGScheduler是面向state的高層次的調(diào)度器，DAGScheduler把DAG拆分成很多的tasks，每組的tasks都是一個state，每當遇到shuffle就會產(chǎn)生新的state，可以看出上圖一共有三個state；DAGScheduler需要記錄那些RDD被存入磁盤等物化動作，同時需尋找task的最優(yōu)化調(diào)度，例如數(shù)據(jù)本地性等；DAGScheduler還要監(jiān)視因為shuffle輸出導致的失敗，如果發(fā)生這種失敗，可能就需要重新提交該state：
可以看出TaskScheduler是一個trait，在目前spark系統(tǒng)中TaskScheduler的實現(xiàn)類只有一個TaskSchedulerImpl：
看一下TaskSet的源碼：
從TaskSet源碼的第一個參數(shù)tasks就可以看出其是一個Task的數(shù)組，包含一組Task。
感謝你的閱讀，相信你對“spark任務調(diào)度系統(tǒng)如何理解”這一問題有一定的了解，快去動手實踐吧，如果想了解更多相關知識點，可以關注億速云網(wǎng)站！小編會繼續(xù)為大家?guī)砀玫奈恼拢?/p>
免責聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉載和分享為主，文章觀點不代表本網(wǎng)站立場，如果涉及侵權請聯(lián)系站長郵箱：is@yisu.com進行舉報，并提供相關證據(jù)，一經(jīng)查實，將立刻刪除涉嫌侵權內(nèi)容。
