怎么安裝配置MapReduce

這篇文章主要介紹“怎么安裝配置MapReduce”，在日常操作中，相信很多人在怎么安裝配置MapReduce問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”怎么安裝配置MapReduce”的疑惑有所幫助！接下來，請跟著小編一起來學(xué)習(xí)吧！

MapReduce 的優(yōu)勢在于處理大規(guī)模數(shù)據(jù)集

win10 安裝hadoop 3.1.2

win10 安裝hadoop 3.1.2

hadoop Linux安裝配置(ubuntu 18.04 hadoop3.1.2)

• 解壓 tar.gz

• 配置JAVA_HOME

• 配置HADOOP_HOME ,PATH等

 tar -zxvf hadoop-3.1.2.tar

 vim .bashrc
 export JAVA_HOME
 export PATH=$PATH:${JAVA_HOME}/bin
 export HADOOP_HOME
 export PATH=$PATH:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin

• hdoop version 驗證是否成功

• 三種模式

• 獨立（或本地）模式，無需運行任何守護(hù)進(jìn)程，所有程序都在同一個JVM上執(zhí)行。適合測試和調(diào)試MapReduce 程序

• 偽分布式，運行在本地機器上，模擬一個小規(guī)模的集群

• 全分布式

• 修改配置文件，參照代碼 -- hdoopconfig

• 配置ssh

ssh-keygen -t rsa -p '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
ssh localhost #測試

• 格式化HDFS hdfs namenode -format

• 啟動和終止守護(hù)進(jìn)程

• start-dfs.sh

• start-yarn.sh

• mr-jobhistory-daemon.sh start historyserver

• 終止服務(wù)

• mr-jobhistory-daemon.sh stop historyserver

• stop-yarn.sh

• stop-dfs.sh

• 創(chuàng)建用戶目錄

• hadoop fs -mkdir -p /user/$USER

api 版本差異

• 新api 位于 org.apache.hadoop.mapreduce

• 新api 大量使用了 Context

• 新api 通過Job來完成作業(yè)控制

示例代碼 github

hadoop 權(quán)威指代碼

橫向擴展

• 數(shù)據(jù)流

• 輸入數(shù)據(jù) MapReduce 程序 配置信息

• Hadoop 將作業(yè)分成若干個任務(wù)來執(zhí)行,并通過 YARN進(jìn)行調(diào)度。如果一個任務(wù)失敗，它將在另一個不同的節(jié)點上自動重新調(diào)度運行

• Hadoop將MapReduce 的輸入數(shù)據(jù)劃分成等長的小數(shù)據(jù)塊，成為輸入分片。每個分片構(gòu)建一個map任務(wù)

• 分片大小要合適，一個合理分片大小趨向于HDFS一個塊的大小默認(rèn)128MB

• Hadoop 在存儲有輸入數(shù)據(jù)（HDFS中的數(shù)據(jù)）的節(jié)點上運行map任務(wù)，可獲得最佳性能，因為不需要使用帶寬資源

• map任務(wù)將輸出寫入本地硬盤而非HDFS，因為是中間結(jié)果

• 混洗？

• combiner 函數(shù)

• combiner 函數(shù)輸出作為reduce 函數(shù)的輸入，可以減少map和reduce任務(wù)之間的數(shù)據(jù)傳輸

• combiner的規(guī)則制約著可用的函數(shù)類型

• 不能取代reduce ,例如求平均值得程序就不能用combiner

• hadoop Streaming

• 允許使用非java 語言開發(fā)MapReduce

到此，關(guān)于“怎么安裝配置MapReduce”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識，請繼續(xù)關(guān)注億速云網(wǎng)站，小編會繼續(xù)努力為大家?guī)砀鄬嵱玫奈恼拢?/p>