怎么在Yarn集群中分配Container

本篇內(nèi)容介紹了“怎么在Yarn集群中分配Container”的有關(guān)知識(shí)，在實(shí)際案例的操作過(guò)程中，不少人都會(huì)遇到這樣的困境，接下來(lái)就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

YarnAllocator從字面意思來(lái)看，也應(yīng)該知道是在Yarn集群中分配Container的。

private[yarn] class YarnAllocator(
    driverUrl: String,
    driverRef: RpcEndpointRef,
    conf: YarnConfiguration,
    sparkConf: SparkConf,
    amClient: AMRMClient[ContainerRequest],
    appAttemptId: ApplicationAttemptId,
    securityMgr: SecurityManager,
    localResources: Map[String, LocalResource],
    resolver: SparkRackResolver,
    clock: Clock = new SystemClock)

其中driverUrl就是Driver的地址。當(dāng)用YarnAllocator分配Container來(lái)運(yùn)行Executors時(shí)，這些Executors要聯(lián)系的Driver地址就是構(gòu)造函數(shù)里的driverRef參數(shù)。

requestTotalExecutorsWithPreferredLocalities方法是分配多個(gè)Executor的，先將分配請(qǐng)求保存在隊(duì)列里，然后在守護(hù)線程中異步的創(chuàng)建Executor。

def requestTotalExecutorsWithPreferredLocalities(
      requestedTotal: Int,
      localityAwareTasks: Int,
      hostToLocalTaskCount: Map[String, Int],
      nodeBlacklist: Set[String]): Boolean = synchronized {
    this.numLocalityAwareTasks = localityAwareTasks
    this.hostToLocalTaskCounts = hostToLocalTaskCount
    if (requestedTotal != targetNumExecutors) {
      logInfo(s"Driver requested a total number of $requestedTotal executor(s).")
      targetNumExecutors = requestedTotal
      allocatorBlacklistTracker.setSchedulerBlacklistedNodes(nodeBlacklist)
      true
    } else {
      false
    }
  }

targetNumExecutors就是說(shuō)明要申請(qǐng)創(chuàng)建多少個(gè)Executor的意思。具體的實(shí)際創(chuàng)建動(dòng)作是在runAllocatedContainers中執(zhí)行的。

         launcherPool.execute(() => {
            try {
              new ExecutorRunnable(
                Some(container),
                conf,
                sparkConf,
                driverUrl,
                executorId,
                executorHostname,
                executorMemory,
                executorCores,
                appAttemptId.getApplicationId.toString,
                securityMgr,
                localResources
              ).run()
              updateInternalState()
            } catch {
              
            }

這一段就是在分配的Container上創(chuàng)建Executor的過(guò)程，用ExecutorRunner來(lái)包裝的。其中的driverUrl就是構(gòu)造函數(shù)中帶過(guò)來(lái)的driver的地址。

可見(jiàn)每個(gè)driver都會(huì)創(chuàng)建一個(gè)屬于自己的單獨(dú)的YarnAllocator。

順便說(shuō)一句，很多人以前Spark是集群，實(shí)際上Spark本身只是一種計(jì)算方式，可以看成它只是jar包。Spark的driver運(yùn)行時(shí)才會(huì)去申請(qǐng)Executor，向Yarn申請(qǐng)或者向Standalone集群申請(qǐng)。Standalone集群是指Master和Worker，不是指Spark core，更不是指SparkContext。

“怎么在Yarn集群中分配Container”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注億速云網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！