如何進(jìn)行Spark的Failover機(jī)制全解析

所謂容錯(cuò)是指一個(gè)系統(tǒng)的部分出現(xiàn)錯(cuò)誤的情況還能夠持續(xù)地提供服務(wù)，不會(huì)因?yàn)橐恍┘?xì)微的錯(cuò)誤導(dǎo)致系統(tǒng)性能?chē)?yán)重下降或者出現(xiàn)系統(tǒng)癱瘓。       

在一個(gè)集群出現(xiàn)機(jī)器故障、網(wǎng)絡(luò)問(wèn)題等是常 態(tài)，尤其集群達(dá)到較大規(guī)模后，很可能較頻繁出現(xiàn)機(jī)器故障不能進(jìn)行提供服務(wù)，因此對(duì)于分布式集群需要進(jìn)行容錯(cuò)設(shè)計(jì)。      

Spark在設(shè)計(jì)之初考慮到這種情況，所以它能夠?qū)崿F(xiàn)高容錯(cuò)，以下將從ExecutorWorker和Master的異常處理來(lái)介紹。      

   

   

       
       
       checkForWorkerTimeOutTask = forwardMessageThread. scheduleAtFixedRate (new Runnable { 
        override def run (): Unit = Utils.tryLogNonFatalError (
        //非自身發(fā)送消息CheckForWorkerTimeOut,調(diào)用timeOutDeadWorkers方法進(jìn)行檢測(cè)
        self.send(CheckForWorkerTimeOut)
        }
        }, 0, WORKER_TIMEOUT_MS, TimeUnit.MILLISECONDS)

• 如果是 Executor, Master 先把該 Worker 上運(yùn)行的 Executor 發(fā)送消息 ExecutorUpdated 給對(duì)應(yīng)的 Driver,告知 Executor 已經(jīng)丟失，同時(shí)把這些 Executor 從其應(yīng)用程序運(yùn)行列表中刪除。另外，相關(guān)Executor的異常也需要按照前一小節(jié)進(jìn)行處理。

• 如果是Driver,則判斷是否設(shè)置重新啟動(dòng)。如果需要，則調(diào)用Master.schedule方法進(jìn)行調(diào)度，分配合適節(jié)點(diǎn)重啟Driver；如果不需要重啟，則刪除該應(yīng)用程序。

   

• ZOOKEEPER：集群的元數(shù)據(jù)持久化到ZooKeeper中，當(dāng)Master出現(xiàn)異常時(shí).ZooKeeper 會(huì)通過(guò)選舉機(jī)制選舉出新的Master,新的Master接管時(shí)需要從ZooKeeper獲取持久化 信息并根據(jù)這些信息恢復(fù)集群狀態(tài)。具體結(jié)構(gòu)如圖4-13所示。

• FILESYSTEM：集群的元數(shù)據(jù)持久化到本地文件系統(tǒng)中，當(dāng)Master出現(xiàn)異常時(shí)，只要 在該機(jī)器上重新啟動(dòng)Master,啟動(dòng)后新的Master獲取持久化信息并根據(jù)這些信息恢復(fù) 集群狀態(tài)。

• CUSTOM：自定義恢復(fù)方式，對(duì)StandaloneRecoveryModeFactory抽象類(lèi)進(jìn)行實(shí)現(xiàn)并把 該類(lèi)配置到系統(tǒng)中，當(dāng)Master出現(xiàn)異常時(shí)，會(huì)根據(jù)用戶(hù)自定義的方式進(jìn)行恢復(fù)集群狀 態(tài)。

• NONE：不持久化集群的元數(shù)據(jù)，當(dāng)Master出現(xiàn)異常時(shí)，新啟動(dòng)的Master不進(jìn)行恢復(fù) 集群狀態(tài)，而是直接接管集群。