溫馨提示×

溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊×
其他方式登錄
點(diǎn)擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》

task分配算法核心原理描述

發(fā)布時(shí)間：2020-07-06 06:39:31 來源：網(wǎng)絡(luò) 閱讀：502 作者：惡魔蘇醒ing 欄目：開發(fā)技術(shù)

  1. 把stage生成的每個(gè)task創(chuàng)建一個(gè)taskset對象

  2. 雙重for循環(huán)，遍歷所有taskset，以及每種本地化級別

  3. 本地化級別有：

    1.process_local：進(jìn)程本地化RDD的partition和task進(jìn)入同一個(gè)executor中，速度最快

    2.node_local：RDD的partition和task不在一個(gè)executor上，但是在一個(gè)worker上

    3.NO_PERF：沒有所謂的本地化級別

    4.RACK_LOCAL:機(jī)架本地化，至少RDD的partition和task在一個(gè)機(jī)架上

    5.任意本地化級別

  4. task優(yōu)先選擇最優(yōu)的本地化級別

  5. 調(diào)用tasksetmanager的resourceOffer方法，去找到在這個(gè)executor上，哪些task可以啟動(dòng)，

  6. 放入taskset數(shù)組給指定的executor啟動(dòng)task

向AI問一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場，如果涉及侵權(quán)請聯(lián)系站長郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手