如何理解Apache Mesos模塊間通信架構(gòu)

這篇文章給大家介紹如何理解Apache Mesos模塊間通信架構(gòu)，內(nèi)容非常詳細，感興趣的小伙伴們可以參考借鑒，希望對大家能有所幫助。

1.  介紹

Mesos主要由四種組件組成，分別是mesos-master，mesos-save，scheduler和Executor，各個組件之間采用了基于protocal buffer的actor model進行通信（采用開源庫libprocess）。也就是說，各個模塊分別是一個server(實際上是socket server)，分別監(jiān)聽來自其他模塊的消息，一旦收到某個消息后，便會調(diào)用相應的消息處理函數(shù)進行處理。

2. 通信框架概述

對于某個計算框架（如Hadoop，Spark等），如果想接入Mesos，需要編寫兩個組件，分別是FrameworkSchduler和 FrameworkExecutor，這兩個組件分別實現(xiàn)Scheduler和Executor接口，并分別通過SchedulerDriver和 ExecutorDriver接入Mesos，如圖中黑色虛線，表示這幾個組件之間通過函數(shù)調(diào)用產(chǎn)生關(guān)系。

其他組件，即mesos-master，mesos-save，SchedulerProcess和ExecutorProcess之間則通過消息機制進行通信（使用libprocess開源庫）。

（1）【SchedulerProcess與mesos-master】：mesos-master為各個framework分配資源，這些資源直 接傳遞給SchedulerProcess，再由SchedulerProcess調(diào)用  FrameworkScheduler的相關(guān)函數(shù)，由FrameworkScheduler將這些資源分配給框架中的任務，并返回給mesos- master，由mesos-master轉(zhuǎn)發(fā)給相應的mesos-slave。

（2）【SchedulerProcess與Mesos-slave】：如果SchedulerProcess中保存了Mesos-slave的地址，則直接將相關(guān)消息發(fā)送給Mesos-slave，不必再由mesos-master轉(zhuǎn)發(fā)。

（3）【Mesos-master與Mesos-slave】：Mesos-master管理mesos-slave，如監(jiān)控slave的健康狀況等

（4）【Mesos-slave與ExecutorProcess】：Mesos-slave負責管理各個framework的executor，并為executor分配資源等。

具體如下圖所示。

3. 消息類型及其處理函數(shù)

3.1 Mesos-Slave的消息類型及處理函數(shù)

3.2  Mesos-master的消息類型及處理函數(shù)

3.3  scheduler的消息類型及處理函數(shù)

位于sched/sched.cpp中，由SchedulerProcess/MesosSchedulerDriver實現(xiàn)

3.4  Executor的消息類型及處理函數(shù)

位于文件exec/exec.cpp中，由ExectorProcess中實現(xiàn)

關(guān)于如何理解Apache Mesos模塊間通信架構(gòu)就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。