溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》

MapReduce應(yīng)該如何應(yīng)用開發(fā)

發(fā)布時(shí)間：2021-09-10 14:46:50 來源：億速云 閱讀：110 作者：柒染 欄目：大數(shù)據(jù)

MapReduce應(yīng)該如何應(yīng)用開發(fā)，很多新手對(duì)此不是很清楚，為了幫助大家解決這個(gè)難題，下面小編將為大家詳細(xì)講解，有這方面需求的人可以來學(xué)習(xí)下，希望你能有所收獲。

用于配置的API

  • Configuration org.apache.hadoop.conf

配置開發(fā)環(huán)境

  • 不同環(huán)境使用不同的配置文件，跟web開發(fā)類同

  • HADOOP_USER_NAME 設(shè)置hadoop 用戶名

  • HADOOP_CONF_DIR 配置信息環(huán)境變量

  • 輔助類 Configured Tool ToolRunner

  • 用MRUnit 來寫單元測(cè)試

本地運(yùn)行測(cè)試數(shù)據(jù)

  • 在本地作業(yè)運(yùn)行器上運(yùn)行作業(yè)

  • 測(cè)試驅(qū)動(dòng)程序

    • 使用本地作業(yè)運(yùn)行器

    • 使用一個(gè)mini集群來運(yùn)行它

在集群上運(yùn)行

  • 打包作業(yè)

    • 分布式環(huán)境打包成JAR 文件

  • 啟動(dòng)作業(yè)

  • 作業(yè)調(diào)試

    • 通過打印語句

    • 計(jì)數(shù)器 可以衡量問題的嚴(yán)重程度

    • 日志

    • 遠(yuǎn)程調(diào)試

作業(yè)調(diào)優(yōu)

  • mapper 的數(shù)量

  • reducer 的數(shù)量

  • combiner

  • 中間值的壓縮

  • 自定義序列

  • 調(diào)整 shuffle

MapReduce 的工作流

  • 通常是增加更多的作業(yè)，而不是增加作業(yè)的復(fù)雜度

  • 對(duì)于更復(fù)雜的問題,可考慮使用Pig, hive, Cascading, Crunch 或Spark

  • JobControl

  • Apache Oozie 是一個(gè)運(yùn)行工作流的系統(tǒng)，該工作流由相互依賴的作業(yè)組成

看完上述內(nèi)容是否對(duì)您有幫助呢？如果還想對(duì)相關(guān)知識(shí)有進(jìn)一步的了解或閱讀更多相關(guān)文章，請(qǐng)關(guān)注億速云行業(yè)資訊頻道，感謝您對(duì)億速云的支持。

向AI問一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手