怎么進(jìn)行hadoop性能調(diào)優(yōu)

本篇文章為大家展示了怎么進(jìn)行hadoop性能調(diào)優(yōu) ，內(nèi)容簡明扼要并且容易理解，絕對(duì)能使你眼前一亮，通過這篇文章的詳細(xì)介紹希望你能有所收獲。

操作系統(tǒng)調(diào)優(yōu)

• 增大同時(shí)打開文件描述符和網(wǎng)絡(luò)連接上限
  操作系統(tǒng)的默認(rèn)連接數(shù)上限為128 (sysctl -a | grep net.core.somaxconn),/etc/sysctl.conf  添加  net.core.somaxconn=32767

  linux默認(rèn)打開文件描述符數(shù)量為183731 ,同樣在sysctl.conf中添加fs.file-max=800000
  執(zhí)行systcl -a 查看 systcl -p來刷新配置

• 關(guān)閉swap分區(qū)
  在MR分布式環(huán)境中.用戶完全可以通過控制每個(gè)作業(yè)處理的數(shù)據(jù)量和每個(gè)任務(wù)運(yùn)行過程中用到的各個(gè)緩沖區(qū)大小,避免使用swap分區(qū).

• 設(shè)置合理的預(yù)讀取緩沖區(qū)大小
  磁盤IO性能滯后于CPU和內(nèi)存,設(shè)置預(yù)讀可以較少磁盤尋道和應(yīng)用程序IO等待時(shí)間,使用linux blockdev 設(shè)置讀取緩沖區(qū)大小.

• 文件系統(tǒng)配置
  開啟linux的noatime屬性.(/etc/fstab)

• IO調(diào)度器選擇
  參考 Hadoop Performance Tuning Guide

Hadoop參數(shù)調(diào)優(yōu)

• 磁盤塊配置
  以前博文分析shuffle過程已經(jīng)提過怎么配置 mapreduce.cluster.local.dir 將tmp文件寫到其他本地硬盤,可以提升IO

• 選擇合適的壓縮算法
  mapreduce.map.output.compress=true
mapreduce.map.output.compress.codec=XXCodec

• 修改ifile預(yù)讀大小
  可以根據(jù)項(xiàng)目需求，適當(dāng)修改預(yù)讀緩沖區(qū)大小mapreduce.ifile.readahead.bytes

應(yīng)用程序調(diào)優(yōu)

• 設(shè)置Combiner

• 增加輸入文件的副本數(shù)

上述內(nèi)容就是怎么進(jìn)行hadoop性能調(diào)優(yōu) ，你們學(xué)到知識(shí)或技能了嗎？如果還想學(xué)到更多技能或者豐富自己的知識(shí)儲(chǔ)備，歡迎關(guān)注億速云行業(yè)資訊頻道。