溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》

hadoop YARN配置參數(shù)有哪些

發(fā)布時(shí)間：2021-12-10 11:53:52 來源：億速云 閱讀：144 作者：iii 欄目：大數(shù)據(jù)

本篇內(nèi)容主要講解“hadoop YARN配置參數(shù)有哪些”，感興趣的朋友不妨來看看。本文介紹的方法操作簡(jiǎn)單快捷，實(shí)用性強(qiáng)。下面就讓小編來帶大家學(xué)習(xí)“hadoop YARN配置參數(shù)有哪些”吧!

MapReduce相關(guān)配置參數(shù)分為兩部分，分別是JobHistory Server和應(yīng)用程序參數(shù)，Job History可運(yùn)行在一個(gè)獨(dú)立節(jié)點(diǎn)上，而應(yīng)用程序參數(shù)則可存放在mapred-site.xml中作為默認(rèn)參數(shù)，也可以在提交應(yīng)用程序時(shí)單獨(dú)指定，注意，如果用戶指定了參數(shù)，將覆蓋掉默認(rèn)參數(shù)。

以下這些參數(shù)全部在mapred-site.xml中設(shè)置。

1.    MapReduce JobHistory相關(guān)配置參數(shù)

在JobHistory所在節(jié)點(diǎn)的mapred-site.xml中配置。

（1） mapreduce.jobhistory.address

參數(shù)解釋：MapReduce JobHistory Serve IPC host:port 地址。

默認(rèn)值： 0.0.0.0:10020

（2） mapreduce.jobhistory.webapp.address

參數(shù)解釋：MapReduce JobHistory Server Web UI 地址。

默認(rèn)值： 0.0.0.0:19888

（3） mapreduce.jobhistory.intermediate-done-dir

參數(shù)解釋：MapReduce作業(yè)產(chǎn)生的日志存放位置。

默認(rèn)值：${yarn.app.mapreduce.am.staging-dir}/history/done_intermediate

（4） mapreduce.jobhistory.done-dir

參數(shù)解釋：MR JobHistory Server管理的日志的存放位置。

默認(rèn)值： ${yarn.app.mapreduce.am.staging-dir}/history/done

2.    MapReduce作業(yè)配置參數(shù)

可在客戶端的mapred-site.xml中配置，作為MapReduce作業(yè)的缺省配置參數(shù)。也可以在作業(yè)提交時(shí)，個(gè)性化指定這些參數(shù)。

參數(shù)名稱 缺省值 說明
mapreduce.job.name   作業(yè)名稱
mapreduce.job.priority NORMAL 作業(yè)優(yōu)先級(jí)
yarn.app.mapreduce.am.resource.mb 1536 MR ApplicationMaster占用的內(nèi)存量
yarn.app.mapreduce.am.resource.cpu-vcores 1 MR ApplicationMaster占用的虛擬CPU個(gè)數(shù)
mapreduce.am.max-attempts 2 MR ApplicationMaster最大失敗嘗試次數(shù)
mapreduce.map.memory.mb 1024 每個(gè)Map Task需要的內(nèi)存量
mapreduce.map.cpu.vcores 1 每個(gè)Map Task需要的虛擬CPU個(gè)數(shù)
mapreduce.map.maxattempts 4 Map Task最大失敗嘗試次數(shù)
mapreduce.reduce.memory.mb 1024 每個(gè)Reduce Task需要的內(nèi)存量
mapreduce.reduce.cpu.vcores 1 每個(gè)Reduce Task需要的虛擬CPU個(gè)數(shù)
mapreduce.reduce.maxattempts 4 Reduce Task最大失敗嘗試次數(shù)
mapreduce.map.speculative false 是否對(duì)Map Task啟用推測(cè)執(zhí)行機(jī)制
mapreduce.reduce.speculative false 是否對(duì)Reduce Task啟用推測(cè)執(zhí)行機(jī)制
mapreduce.job.queuename default 作業(yè)提交到的隊(duì)列
mapreduce.task.io.sort.mb 100 任務(wù)內(nèi)部排序緩沖區(qū)大小
mapreduce.map.sort.spill.percent 0.8 Map階段溢寫文件的閾值（排序緩沖區(qū)大小的百分比）
mapreduce.reduce.shuffle.parallelcopies 5 Reduce Task啟動(dòng)的并發(fā)拷貝數(shù)據(jù)的線程數(shù)目

注意，MRv2重新命名了MRv1中的所有配置參數(shù)，但兼容MRv1中的舊參數(shù)，只不過會(huì)打印一條警告日志提示用戶參數(shù)過期。MapReduce新舊參數(shù)對(duì)照表可參考Java類org.apache.hadoop.mapreduce.util.ConfigUtil  。

到此，相信大家對(duì)“hadoop YARN配置參數(shù)有哪些”有了更深的了解，不妨來實(shí)際操作一番吧！這里是億速云網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！

向AI問一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手