Spark任務(wù)是指Spark應(yīng)用程序中執(zhí)行的最小單位，一個(gè)任務(wù)通常是對(duì)一個(gè)分區(qū)的數(shù)據(jù)進(jìn)行操作。
Spark作業(yè)是指一組任務(wù)的集合，這些任務(wù)之間存在依賴關(guān)系，通常是由一個(gè)動(dòng)作操作觸發(fā)的。一個(gè)作業(yè)可以包含一個(gè)或多個(gè)階段，每個(gè)階段包含一組相互依賴的任務(wù)。在Spark中，每個(gè)RDD轉(zhuǎn)換操作都會(huì)觸發(fā)一個(gè)新的作業(yè)。
億速云公眾號(hào)
手機(jī)網(wǎng)站二維碼
