HadoopOnDemand如何配置

這篇文章主要為大家展示了“HadoopOnDemand如何配置”，內(nèi)容簡(jiǎn)而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領(lǐng)大家一起研究并學(xué)習(xí)一下“HadoopOnDemand如何配置”這篇文章吧。

HadoopOnDemand：配置指南

1.簡(jiǎn)介

這個(gè)文檔講述了一些最重要和常用的HadoopOnDemand（HOD）的配置項(xiàng)。這些配置項(xiàng)可通過(guò)兩種方式指定：INI風(fēng)格的配置文件，通過(guò)--section.option[=value]格式指定的HODshell的命令行選項(xiàng)。如果兩個(gè)地方都指定了同一個(gè)選項(xiàng)，命令行中的值覆蓋配置文件中的值。

你可以通過(guò)以下命令獲得所有配置項(xiàng)的簡(jiǎn)要描述：
$hod--verbose-help

2.段

HOD配置文件分成以下幾個(gè)配置段：
hod：HOD客戶端的配置項(xiàng)
resource_manager：指定要使用的資源管理器的配置項(xiàng)，以及使用該資源管理器時(shí)需要的一些其他參數(shù)。
ringmaster：RingMaster進(jìn)程的配置項(xiàng)
hodring：HodRing進(jìn)程的配置項(xiàng)
gridservice-mapred：Map/Reduce守護(hù)進(jìn)程的配置項(xiàng)
gridservice-hdfs：HDFS守護(hù)進(jìn)程的配置項(xiàng)

3.HadoopOnDemand中HOD配置項(xiàng)
接下來(lái)的一節(jié)會(huì)先描述大部分HOD配置段中通用的一些配置項(xiàng)，再描述各配置段特有的配置項(xiàng)。

3.1一般的配置項(xiàng)
某些配置項(xiàng)會(huì)在HOD配置中的多個(gè)段定義。在一個(gè)段中定義的配置項(xiàng)，會(huì)被該段所適用的所有進(jìn)程使用。這些配置項(xiàng)意義相同，但在不同的段中可以有不同的取值。

temp-dir:HOD進(jìn)程使用的臨時(shí)目錄。請(qǐng)確保運(yùn)行hod的用戶有權(quán)限在這個(gè)指定的目錄下創(chuàng)建子目錄。如果想在每次分配的時(shí)候都使用不同的臨時(shí)目錄，可以使用環(huán)境變量，資源管理器會(huì)讓這些環(huán)境變量對(duì)HOD進(jìn)程可用。例如，在Torque設(shè)置的時(shí)候，使--ringmaster.temp-dir=/tmp/hod-temp-dir.$PBS_JOBID會(huì)讓ringmaster在每一次申請(qǐng)時(shí)使用不同的臨時(shí)目錄；Troque會(huì)在ringmaster啟動(dòng)前展開這個(gè)環(huán)境變量。

debug：數(shù)值類型，取值范圍是1-4。4會(huì)產(chǎn)生最多的log信息。
log-dir：日志文件的存放目錄。缺省值是<install-location>/logs/。temp-dir變量的限制和注意事項(xiàng)在這里同樣使用。
xrs-port-range：端口范圍，會(huì)在這之中挑選一個(gè)可用端口用于運(yùn)行XML-RPC服務(wù)。
http-port-range：端口范圍，會(huì)在這之中挑選一個(gè)可用端口用于運(yùn)行HTTP服務(wù)。
java-home：給Hadoop使用的Java的位置。
syslog-address：syslog守護(hù)進(jìn)程要綁定的地址。格式為host:port。如果配置了這個(gè)選項(xiàng)，HOD日志信息會(huì)被記錄到這個(gè)位置的syslog。

3.2HadoopOnDemand中hod的配置項(xiàng)

cluster：集群的描述性名稱。對(duì)于Torque，這個(gè)值被指定為集群中所有節(jié)點(diǎn)的'Nodeproperty'。HOD使用這個(gè)值計(jì)算可用節(jié)點(diǎn)的個(gè)數(shù)。
client-params：逗號(hào)分割的hadoop配置參數(shù)列表，其中的每一項(xiàng)都是一個(gè)key-value對(duì)。在提交節(jié)點(diǎn)上會(huì)據(jù)此產(chǎn)生一個(gè)hadoop-site.xml，用于運(yùn)行Map/Reduce作業(yè)。
job-feasibility-attr:正則表達(dá)式，用于指定是否和如何檢查作業(yè)的可行性－資源管理器限制或調(diào)度限制。目前是通過(guò)torque作業(yè)的'comment'屬性實(shí)現(xiàn)的，缺省情況下沒有開啟這個(gè)功能。設(shè)置了這個(gè)配置項(xiàng)后，HOD會(huì)使用它來(lái)確定哪些種類的限制是啟用的，以及請(qǐng)求超出限制或者累積超出限制時(shí)是回收機(jī)群還是留在排隊(duì)狀態(tài)。torquecomment屬性可以被某個(gè)外部機(jī)制周期性地更新。比如，comment屬性被hod/support目錄下的checklimits.sh更新，這樣設(shè)置job-feasibility-attr的值等于TORQUE_USER_LIMITS_COMMENT_FIELD,"User-limitsexceeded.Requested:([0-9]*)Used:([0-9]*)MaxLimit:([0-9]*)"會(huì)使HOD產(chǎn)生相應(yīng)的行為。

3.3HadoopOnDemand中resouce_manager的配置項(xiàng)

queue：資源管理器中配置的隊(duì)列名，作業(yè)會(huì)被提交到這里。
batch-home：個(gè)安裝目錄，其下的'bin'中有資源管理器的可執(zhí)行文件。
env-vars：逗號(hào)分隔的key-value對(duì)的列表，形式是key=value，它會(huì)被傳遞給運(yùn)行在計(jì)算節(jié)點(diǎn)的作業(yè)。例如，如果ptyhon沒有安裝在常規(guī)位置，用戶可以通過(guò)設(shè)置環(huán)境變量'HOD_PYTHON_HOME'指定python可執(zhí)行文件的路徑。之后，在計(jì)算節(jié)點(diǎn)運(yùn)行的HOD的進(jìn)程就可以使用這個(gè)變量了。

以上是“HadoopOnDemand如何配置”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對(duì)大家有所幫助，如果還想學(xué)習(xí)更多知識(shí)，歡迎關(guān)注億速云行業(yè)資訊頻道！