如何進行Mesos資源調度器的實現(xiàn)分析

如何進行Mesos資源調度器的實現(xiàn)分析，針對這個問題，這篇文章詳細介紹了相對應的分析和解答，希望可以幫助更多想解決這個問題的小伙伴找到更簡單易行的方法。

1 mesos DRF介紹

mesos調度器是根據DRF（dominant resource fairness）算法實現(xiàn)的。DRF算法背后的直觀想法是在多資源類型的環(huán)境下，一個用戶的資源分配應該由用戶的dominant share（主導份額的資源）決定，dominant share是在所有已經分配給用戶的多種資源中，占據最大份額的一種資源。

mesos使用resource offers的方式實現(xiàn)各個框架之間的資源分配。Resource offer是多個slave節(jié)點上的一組空閑資源。Master根據調度策略來決定提供多少資源給每一個framework，通過以Resource offer的形式發(fā)送給發(fā)送給框架，然后框架響應Resource offer，確認Resource offer中已使用的資源和返回剩余的空閑資源。

mesos的資源分配器是一個分層的加權max-min fairness的實現(xiàn)。通過抽象了一個role概念，將framework按照role進行分組。那么資源分配就可以分為兩層：首先是在各個框架群組間通過加權的DRF算法進行排序；其次在框架群組內部，對各個framework使用加權DRF算法進行排序。然后按照最終的排序結果，從小到大對各個框架進行Resource Offer。如下圖所示。

2 mesos資源分配器的實現(xiàn)

Mesos的調度器實現(xiàn)分為兩部分，分別是Allocators和sorter，Allocator定義和實現(xiàn)了資源分配器的接口和邏輯。Sorter對資源使用者進行排序，使用具體的資源分配算法來進行排序。

Sorter的實現(xiàn)是DRFSorter，DRFSorter使用DRF算法來對資源使用者進行排序。

Allocator的實現(xiàn)HierarchicalAllocatorProcess，實現(xiàn)了一個分層的分配器，對framework進行分組，分別在各組之間和組內部使用DRFSorter進行排序。

DRFSorter

DRFSorter通過每個用戶的dominant share的值實現(xiàn)對client排序。DRFSorter中的幾個概念如下：

1、Client：資源的使用者。定義如下

struct Client

{

  std::string name;       //資源使用者名稱

  double share;          //資源使用者的分配到的資源份額

};

Client之間的排序是首先比較share值的大小，如果在share相等的前提下則需要比較name的大小。

2、Resource：表示一種資源，包含資源name、資源的值以及資源被那些framework偏好。Pb的定義如下：

message Resource {

  required string name = 1;              //資源名稱

  required Value.Type type = 2;          //資源值的類型Scalar

  optional Value.Scalar scalar = 3;     //值類型為標量，Cpu和內存的值類型都為標量

  optional Value.Ranges ranges = 4;      //值類型為范圍

  optional Value.Set set = 5;            //值類型為集合

  optional string role = 6 [default = "*"];  //框架對于資源的偏好

}

Mesos的應用環(huán)境是多資源類型的集群環(huán)境，所有可以框架申請的是多種資源，通過Resource數組來表示。

3、Weight：各個client的資源分配的權重。定義的類型為double

如下圖所示，為了對client的進行排序，DRFSorter需要在內部維護了一些信息，見下圖：

dirty：表示DRFSorter的資源分配發(fā)生更改，需要重新計算各個client的share值。

clients：資源使用者的集合，使用紅黑樹，按照client的dominant share值進行排序。

Resources：此DRFSorter擁有的總資源值。

整個DRFSorter的接口有兩類，第一類是增加、刪除和修改client和resource，在資源發(fā)生變化時，DRFSorter會將dirty置為true。第二類是對client進行排序，在dirty為true的情況下，會對所有的client重新計算dominant share的值，然后重新插入集合中，返回排序結果。

DRFSorter的核心排序流程如下：

| 如果dirty標志位為true

      | 遍歷clients集合，計算各個client的share值

            | 計算client的各個resource的值占DRFSorter此類型資源總值的比例，

               找出最大值然后再除以client的權重，就得到了client的share值。

               公式為：Share = ， 為client分配到的資源i的值，

               為資源i在DRFSorter中的總值。W為client的權重。

      | 再重新插入client，進行重排序。

| 返回排序后的結果。

Allocator

實現(xiàn)了一個分層的分配器，如下圖所示，用戶可以根據role對framework進行分組，在RoleInfo指定framework group的權重，專門有一個DRFSorter對各個framework分組的資源分配進行排序。然后各個framework group內部還有一個DRFSorter對group內部的各個framework的資源分配進行排序。

Allocator的一些概念如下

1、Framework：應用程序框架，向mesos獲取集群資源，下發(fā)具體的計算任務，是集群的使用者。

struct Framework

{

  hashset<Filter*> filters;  //framework的過濾器

  bool checkpoint;     //是否正在進行checkpoint

  FrameworkInfo info;   //framework的信息

};

2、Slave：運行在各個集群節(jié)點的后臺任務，執(zhí)行具體的計算任務，上報節(jié)點的資源和負載。

struct Slave

{

  .............

  Resources available;    //當前可用的資源

  bool whitelisted;       //是否在白名單中，如果false，則不能進行resource offer

  bool checkpoint;       //是否正在checkpoint，如果正在進行checkpoint，是不能進行resource offer

  SlaveInfo info;        //slave信息

};

3、Role：用于對framework進行分組，可以為每組framework指定一個weight。Role的信息RoleInfo如下。

message RoleInfo {

  required string name = 1;

  optional double weight = 2 [default = 1];

}

4、Whitelist：指定了有效的slave，如果制定了白名單，那么白名單內的slave是有效的。

過濾器：用于框架對slave的資源進行過濾，可以用于拒絕特定slave上的資源。

為了實現(xiàn)資源分配，allocator需要在內部維護如下一些信息，見下圖。

frameworks：框架的映射，從framework Id到框架信息的映射。

slaves：slave的映射，從slave Id到slave信息的映射。

roles：框架分組信息的映射。

FrameworkSorters：框架群組內部DRF排序容器的映射。

Role Sorter：框架群組之間進行DRF排序的容器。

allocator核心的調度邏輯：

| 對framework group進行從小到大排序（framework按照role進行分組）

| 遍歷排序后的framework group

      | 在group組內對各個framework進行排序

      | 遍歷排序后的framework

            | 遍歷slave集合，將滿足要求的所有slave的可用資源發(fā)送給框架

                  | 提取slave中role為”*”的所有可用資源資源，”*”表示一般普適的資源。

                  | 提取與framework group的role相同的所有可用的slave資源

                    （此為提取框架偏好的slave資源）。

                  | 判斷slave資源是否滿足條件：

                       | 過濾資源，如果slave或者framework正在進行checkpoint或者

                            資源被framework中設定的過濾器過濾掉。則放棄資源

                       | slave不在白名單中，放棄資源。

                  | slave的資源小于最小資源限定，放棄資源。

                  | 將以上都條件都滿足的資源加入到資源結果集合中，

                     并更新slave的可用資源（需要減去已經放入到結果集合中的資源）

                  | 如果資源結果集合不為空

                       | 更新資源，即slave中可用資源

                       | 執(zhí)行resource offer操作，將資源下發(fā)給框架

分配器在以下情況下進行resource offer：

1、在新的slave加入到mesos集群中。

2、在新的framework加入到mesos集群中。

3、在定時地執(zhí)行資源分配，時間可以通過配置文件進行配置。

allocator在資源分配時，提供了如下四個機制：

1、過濾器：框架可以設置過濾器來拒絕的特定資源。比如framework在某一個slave上多次執(zhí)行失敗，那么framework就可以通過對這個slave設定過濾器來拒絕這個slave上的資源。

2、slave的白名單：不在白名單內的slave不參與resource offer。

3、slave的最小資源限定：mesos的資源調度等同于一個裝箱問題。裝箱問題的浪費空間與物體的最大大小和箱子的大小的比率相關，箱子越大物體越小那么利用率越高。但是當一個集群被請求小量資源的任務占滿時，那么一個請求大量資源的框架可能會饑餓。為了適應請求大資源任務的框架，mesos通過設定slave節(jié)點最小資源限定，來避免在slave上進行offer resource，直到slave上的空閑資源達到最小資源供給大小。

4、框架對slave資源的偏好。通過resource中的role參數來實現(xiàn)，可以通過設定slave的資源的role值和以及將框架按照role進行分組，來實現(xiàn)框架群組的專用資源和資源偏好。

個人認為Mesos分配器的一些缺陷如下：

1、Mesos的resource offer從本質上一種悲觀的并發(fā)控制，從核心的調度邏輯上我們可以看到，Mesos的每一次調度會一次性地將所有可用的資源都發(fā)送給一個框架，在收到框架的響應后，才會返回剩余的資源，繼續(xù)下一次調度。Mesos的調度性能依賴于框架對resource offer的快速響應。而且mesos沒有對resource offer設定一個超時回收機制（個人閱讀了0.14版本的mesos代碼，沒有發(fā)現(xiàn)這個機制），如果有一個框架接收了resource offer之后，長時間沒有響應，那么整個mesos集群就會發(fā)生死鎖。

2、Mesos實現(xiàn)fairness是通過對框架按照權重和已分配的dominant share資源進行排序來實現(xiàn)的。Mesos如果要實現(xiàn)dominant resource fairness的性能隔離或者sharing incentive依賴于框架的實現(xiàn)，如果有一個貪婪的框架在一次resource offer中占用了大量資源并長時間不釋放，那么其他framework就會處于一種饑餓的狀態(tài)。Mesos適用于那些使用短任務和擁有可擴展的彈性機制的框架。

3、mesos不支持框架對資源搶占，框架無法獲取整個集群的狀態(tài)。

關于如何進行Mesos資源調度器的實現(xiàn)分析問題的解答就分享到這里了，希望以上內容可以對大家有一定的幫助，如果你還有很多疑惑沒有解開，可以關注億速云行業(yè)資訊頻道了解更多相關知識。