如何進行Fair Scheduler和Capacity Scheduler比較

這篇文章的內(nèi)容主要圍繞如何進行Fair Scheduler和Capacity Scheduler比較進行講述，文章內(nèi)容清晰易懂，條理清晰，非常適合新手學習，值得大家去閱讀。感興趣的朋友可以跟隨小編一起閱讀吧。希望大家通過這篇文章有所收獲！

下面提供有關(guān)選擇Capacity Scheduler的好處和性能改進的信息，以及Fair Scheduler和Capacity Scheduler之間的功能比較。

Cloudera Data Platform（CDP）在YARN群集中僅支持Capacity Scheduler。

在發(fā)布CDP之前，Cloudera客戶根據(jù)所使用的產(chǎn)品（分別是CDH或HDP）使用了兩個調(diào)度程序（Fair Scheduler和Capacity Scheduler）之一。

CDP中收斂到一個調(diào)度程序是一個艱難的選擇，但最終植根于我們?yōu)榭蛻艚档蛷碗s性的意圖，同時幫助我們集中精力進行未來的投資。多年來，這兩個調(diào)度程序都有很大的發(fā)展，以至于Fair Scheduler從Capacity Scheduler借用了幾乎所有功能，反之亦然。鑒于此，我們最終決定將您的所有YARN群集的工作負載都放在Capacity Scheduler的上面。

當前使用Fair Scheduler的群集在遷移到CDP時必須遷移到Capacity Scheduler。Cloudera提供了有關(guān)此類遷移的工具，文檔和相關(guān)幫助。

使用容量計劃程序的好處

以下是使用Capacity Scheduler時的一些好處：

• 與Ranger集成

• 節(jié)點分區(qū)/標簽

• 改進了在云原生環(huán)境中的Scheduler，例如更好的垃圾箱打包，自動擴展支持等。

• 計劃吞吐量的提高

• 全局調(diào)度框架

• 一次查找多個節(jié)點

• 相似性/反相似性：僅在運行應用程序Y的那些節(jié)點上運行應用程序X，反之亦然。不要在同一節(jié)點上運行應用程序X和應用程序Y。

調(diào)度程序性能改進

提供有關(guān)全局調(diào)度功能及其測試結(jié)果的信息。

全局計劃改進帶來的改進（YARN-5139）

在更改全局調(diào)度之前，YARN調(diào)度程序處于整體鎖定狀態(tài)，表現(xiàn)不佳。全局調(diào)度在很大程度上改進了YARN調(diào)度程序的內(nèi)部鎖定結(jié)構(gòu)和線程模型。調(diào)度程序現(xiàn)在可以解耦放置決策并更改內(nèi)部數(shù)據(jù)結(jié)構(gòu)。這還可以使您一次查找多個節(jié)點，云上的自動縮放和bin-packing策略會使用這些節(jié)點。有關(guān)更多信息，請參見 設計和實現(xiàn)說明。

在模擬的基礎(chǔ)上，使用全局調(diào)度功能的測試結(jié)果顯示：

這是一個具有20000個節(jié)點和47000個正在運行的應用程序的模擬環(huán)境。有關(guān)這些測試的更多信息，請參見性能報告。

YARN社區(qū)的性能測試

微軟發(fā)布了Hydra：用于數(shù)據(jù)中心規(guī)模分析的聯(lián)合資源管理器（Carlo等）報告，重點介紹了可伸縮性（將YARN部署到超過25萬個節(jié)點，其中包括五個大型聯(lián)合集群，每個集群有5萬個節(jié)點）和通過使用Capacity Scheduler調(diào)度獲得更高的性能（每個群集的調(diào)度程序每秒可以分配超過40k的容器）。這是世界上最大的YARN部署。

我們還看到了社區(qū)中其他公司的性能數(shù)據(jù)，這些數(shù)據(jù)與我們使用模擬器測試的結(jié)果一致（對于具有數(shù)千個節(jié)點的集群，每秒數(shù)千個容器分配）。

免責聲明：上面討論的性能數(shù)字與群集的大小，群集上運行的工作負載，隊列結(jié)構(gòu)，運行狀況（例如節(jié)點管理器，磁盤和網(wǎng)絡），容器攪動等有關(guān)。這通常需要對調(diào)度程序和其他群集參數(shù)進行微調(diào)，以達到理想的性能。這不是僅通過使用CDP就可以實現(xiàn)的保證數(shù)量。

功能比較

隨著時間的推移，兩個調(diào)度程序的功能都變得相似。表中列出了當前功能列表以及兩個調(diào)度程序之間的差異。

支持的功能

路線圖中的功能

從Fair Scheduler遷移到Capacity Scheduler

從CDP私有云Base 7.1版本開始，Cloudera提供fs2cs轉(zhuǎn)換實用程序，它是一個CLI應用程序，并且是YARN CLI命令的一部分。該實用程序有助于從Fair Scheduler遷移到Capacity Scheduler。

感謝你的閱讀，相信你對“如何進行Fair Scheduler和Capacity Scheduler比較”這一問題有一定的了解，快去動手實踐吧，如果想了解更多相關(guān)知識點，可以關(guān)注億速云網(wǎng)站！小編會繼續(xù)為大家?guī)砀玫奈恼拢?/p>