Hadoop YARN中權(quán)限與日志聚集的相關(guān)參數(shù)有哪些

這期內(nèi)容當(dāng)中小編將會(huì)給大家?guī)碛嘘P(guān)Hadoop YARN中權(quán)限與日志聚集的相關(guān)參數(shù)有哪些，文章內(nèi)容豐富且以專業(yè)的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。

注意，配置這些參數(shù)前，應(yīng)充分理解這幾個(gè)參數(shù)的含義，以防止誤配給集群帶來的隱患。另外，這些參數(shù)均需要在yarn-site.xml中配置。

1.     權(quán)限相關(guān)配置參數(shù)

這里的權(quán)限由三部分組成，分別是：（1）管理員和普通用戶如何區(qū)分 （2）服務(wù)級(jí)別的權(quán)限，比如哪些用戶可以向集群提交ResourceManager提交應(yīng)用程序，（3）隊(duì)列級(jí)別的權(quán)限，比如哪些用戶可以向隊(duì)列A提交作業(yè)等。

管理員列表由參數(shù)yarn.admin.acl指定。

服務(wù)級(jí)別的權(quán)限是通過配置hadoop-policy.xml實(shí)現(xiàn)的，這個(gè)與Hadoop 1.0類似

隊(duì)列級(jí)別的權(quán)限是由對(duì)應(yīng)的資源調(diào)度器內(nèi)部配置的，比如Fair Scheduler或者Capacity Scheduler等，具體閱讀后面幾節(jié)。

2.     日志聚集相關(guān)配置參數(shù)

日志聚集是YARN提供的日志中央化管理功能，它能將運(yùn)行完成的Container/任務(wù)日志上傳到HDFS上，從而減輕NodeManager負(fù) 載，且提供一個(gè)中央化存儲(chǔ)和分析機(jī)制。默認(rèn)情況下，Container/任務(wù)日志存在在各個(gè)NodeManager上，如果啟用日志聚集功能需要額外的配 置。

（1） yarn.log-aggregation-enable

參數(shù)解釋：是否啟用日志聚集功能。

默認(rèn)值：false

（2） yarn.log-aggregation.retain-seconds

參數(shù)解釋：在HDFS上聚集的日志最多保存多長(zhǎng)時(shí)間。

默認(rèn)值：-1

（3） yarn.log-aggregation.retain-check-interval-seconds

參數(shù)解釋：多長(zhǎng)時(shí)間檢查一次日志，并將滿足條件的刪除，如果是0或者負(fù)數(shù)，則為上一個(gè)值的1/10。

默認(rèn)值：-1

（4） yarn.nodemanager.remote-app-log-dir

參數(shù)解釋：當(dāng)應(yīng)用程序運(yùn)行結(jié)束后，日志被轉(zhuǎn)移到的HDFS目錄（啟用日志聚集功能時(shí)有效）。

默認(rèn)值：/tmp/logs

（5） yarn.log-aggregation.retain-seconds

參數(shù)解釋：遠(yuǎn)程日志目錄子目錄名稱（啟用日志聚集功能時(shí)有效）。

默認(rèn)值：日志將被轉(zhuǎn)移到目錄

${yarn.nodemanager.remote-app-log-dir}/${user}/${thisParam}下

上述就是小編為大家分享的Hadoop YARN中權(quán)限與日志聚集的相關(guān)參數(shù)有哪些了，如果剛好有類似的疑惑，不妨參照上述分析進(jìn)行理解。如果想知道更多相關(guān)知識(shí)，歡迎關(guān)注億速云行業(yè)資訊頻道。