MapReducer中Mapper的切片原理是什么

這篇文章將為大家詳細(xì)講解有關(guān)MapReducer中Mapper的切片原理是什么，文章內(nèi)容質(zhì)量較高，因此小編分享給大家做個(gè)參考，希望大家閱讀完這篇文章后對(duì)相關(guān)知識(shí)有一定的了解。

一、首先，我們看到Map運(yùn)行的時(shí)候不同文件啟動(dòng)了不同數(shù)量的map任務(wù)，但是JOB中又沒有設(shè)置map數(shù)量的配置，其實(shí)map運(yùn)行時(shí)MRAppMaster請(qǐng)求RM資源運(yùn)行的MapTask是由map前的文件切片所決定的（雖然split默認(rèn)等于blocksize但是決不等同于blocksize）

二、原理：分發(fā)到各個(gè)節(jié)點(diǎn)的mapTask對(duì)文件處理時(shí)是按照一個(gè)個(gè)切片執(zhí)行的

如圖所示，默認(rèn)的InputFormat為TextInputFormat  而 TextInputFormat  繼承于FileInputFormat

@InterfaceAudience.Public
@InterfaceStability.Stable
public class TextInputFormat extends FileInputFormat<LongWritable, Text>

我們?cè)賮砜纯碏ileInputFormat是怎么對(duì)文件進(jìn)行切片的

在FileInputformat中有issplit()方法(該方法設(shè)置是否對(duì)文件進(jìn)行分割)和getsplits方法,getsplits中調(diào)用
computeSplitSize()方法通過return Math.max(minSize, Math.min(goalSize, blockSize))來獲取splits這個(gè)源碼看附件圖片.所以我們想要改變split大小(即改變mapTask)數(shù)目的時(shí)候需要在配置文件中添加參數(shù)
mapreduce.input.fileinputformat.split.minsize 和
mapreduce.input.fileinputformat.split.maxsize
來改變splits

源碼中的isSplitable（）：

  protected boolean isSplitable(FileSystem fs, Path filename) {
    return true;
  }

默認(rèn)為切割文件，如果自定義InputFormat的話可以繼承FileInputFormat覆蓋isSplitable方法返回false

源碼中的getsplits主要代碼段：

public InputSplit[] getSplits(JobConf job, int numSplits)
    throws IOException {

        ......

          long blockSize = file.getBlockSize();
          long splitSize = computeSplitSize(goalSize, minSize, blockSize);

    }

如圖,調(diào)用了computeSplitSize()方法來獲取splitsize

最后,看一下computeSplitSize源碼:

  protected long computeSplitSize(long goalSize, long minSize,
                                       long blockSize) {
    return Math.max(minSize, Math.min(goalSize, blockSize));
  }

?所以從中可以看出來Math.max(minSize, Math.min(goalSize, blockSize));
決定了splitsize的大小

配置文件中可以配置:

mapreduce.input.fileinputformat.split.minsize 和
mapreduce.input.fileinputformat.split.maxsize
來改變splits,從而改變mapTask的數(shù)目:

MapTask數(shù)目=filesize/splitsize+1

關(guān)于MapReducer中Mapper的切片原理是什么就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，可以學(xué)到更多知識(shí)。如果覺得文章不錯(cuò)，可以把它分享出去讓更多的人看到。