CDH集群中YARN的參數(shù)配置有哪些

前言：Hadoop 2.0之后，原先的MapReduce不在是簡單的離線批處理MR任務(wù)的框架，升級(jí)為MapReduceV2（Yarn）版本，也就是把資源調(diào)度和任務(wù)分發(fā)兩塊分離開來。而在最新的CDH版本中，同時(shí)集成了MapReduceV1和MapReduceV2（Yarn）兩個(gè)版本，如果集群中需要使用Yarn做統(tǒng)一的資源調(diào)度，建議使用Yarn。

CDH對(duì)Yarn的部分參數(shù)做了少了修改，并且添加了相關(guān)的中文說明，本文著重介紹了CDH中相比 MapReduceV1一些參數(shù)改動(dòng)的配置。

ApplicationMaster虛擬 CPU 內(nèi)核

yarn.app.mapreduce.am.resource.cpu-vcores       // ApplicationMaster占用的cpu內(nèi)核數(shù)（Gateway--資源管理）

容器虛擬 CPU 內(nèi)核

yarn.nodemanager.resource.cpu-vcores        //單 個(gè)NodeManager 最大能分配的cpu核數(shù)（NodeManager --資源管理）

結(jié)論：當(dāng)前 nodemanager 申請(qǐng)的 ApplicationMaster數(shù)總 和小于 nodemanager最大cpu內(nèi)核數(shù)

容器內(nèi)存   

yarn.nodemanager.resource.memory-mb      //單個(gè)NodeManager能分配的最大內(nèi)存（NodeManager --資源管理）                //Memory Total= 單個(gè)NodeManager內(nèi)存 * 節(jié)點(diǎn)數(shù)

結(jié)論：提交任務(wù)占用內(nèi)存Memory Used 小于Memory Total

Map 任務(wù)內(nèi)存   

mapreduce.map.memory.mb                         //為作業(yè)的每個(gè) Map 任務(wù)分配的物理內(nèi)存量  （Gateway--資源管理 ）

結(jié)論：map或reduce的內(nèi)存需求不大于appmaster的內(nèi)存需求

最大容器內(nèi)存  

yarn.scheduler.maximum-allocation-mb     //單個(gè)任務(wù)可申請(qǐng)最大內(nèi)存 （ResourceManager--資源管理 ）

Map 任務(wù)推理執(zhí)行

mapreduce.map.speculative                       //Gateway

Reduce 任務(wù)推理執(zhí)行

mapreduce.reduce.speculative                   //Gateway

啟用 Ubertask 優(yōu)化 ：

mapreduce.job.ubertask.enable | (默認(rèn)false)     //true則表示啟用jvm重用（Gateway--性能）

jvm重用的決定參數(shù)如下：

Ubertask最大 Map   

mapreduce.job.ubertask.maxmaps                   //超過多少個(gè)map啟用jvm重用（Gateway--性能）

Ubertask最大 Reduce   

mapreduce.job.ubertask.maxreduces               //超過多少  Reduce  啟用jvm重用，目前支持1個(gè) （Gateway--性能）

Ubertask最大作業(yè)大小   

mapreduce.job.ubertask.maxbytes                  //application的輸入大小的閥值，默認(rèn)為 block大?。℅ateway--性能）

給spark加日志編輯 spark-defaults.conf

spark.yarn.historyServer.address=http://cloud003:18080/