spark內(nèi)核核心術(shù)語如何解析

本篇內(nèi)容介紹了“spark內(nèi)核核心術(shù)語如何解析”的有關(guān)知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細閱讀，能夠?qū)W有所成！

Application:

Application是創(chuàng)建了SparkContext實例對象的spark用戶，包含了Driver程序：

Spark-shell是一個應(yīng)用程序，因為spark-shell在啟動的時候創(chuàng)建了一個SparkContext對象，其名稱為sc:

Job:

和Spark的action相對應(yīng)，每一個action例如count、saveAsTextFile等都會對應(yīng)一個job實例，該job實例包含多任務(wù)的并行計算。

Driver Program：

運行main函數(shù)并且創(chuàng)建SparkContext實例的程序

Cluster Manager：

集群資源的管理外部服務(wù)，在spark上現(xiàn)在有standalone、yarn、mesos等三種集群資源管理器，spark自帶的standalone模式能夠滿足大部分的spark計算環(huán)境對集群資源管理的需求，基本上只有在集群中運行多套計算框架的時候才考慮yarn和mesos

Worker Node：

集群中可以運行應(yīng)用代碼的工作節(jié)點，相當于Hadoop的slave節(jié)點

Executor：

在一個Worker Node上為應(yīng)用啟動的工作進程，在進程中賦值任務(wù)的運行，并且負責(zé)將數(shù)據(jù)存放在內(nèi)存或磁盤上，必須注意的是，每個應(yīng)用在一個Worker Node上只會有一個Executor，在Executor內(nèi)部通過多線程的方式并發(fā)處理應(yīng)用的任務(wù)。

State：

一個job會被拆分成很多任務(wù)，每一組任務(wù)被稱為state，這個MapReduce的map和reduce任務(wù)很像，劃分state的依據(jù)在于：state開始一般是由于讀取外部數(shù)據(jù)或者shuffle數(shù)據(jù)、一個state的結(jié)束一般是由于發(fā)生shuffle（例如reduceByKey操作）或者整個job結(jié)束時，例如要把數(shù)據(jù)放到hdfs等存儲系統(tǒng)上

“spark內(nèi)核核心術(shù)語如何解析”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識可以關(guān)注億速云網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實用文章！