hadoop-mapreduce的示例分析

InputFormat

將輸入的數(shù)據(jù)集切割成小數(shù)據(jù)集 InputSplits, 每一個InputSplit 將由一個 Mapper負(fù)責(zé)處理。此外InputFormat 中還提供一個RecordReader 的實(shí)現(xiàn), 將一個 InputSplit 解析成<key,value> 對提供給 map函數(shù)。

TextInputFormat
(針對文本文件，按行將文本文件切割成 InputSplits, 并用LineRecordReader 將 InputSplit 解析成 <key,value> 對，key 是行在文件中的位置，value 是文件中的一行)

SequenceFileInputFormat

OutputFormat

提供一個 RecordWriter 的實(shí)現(xiàn)，負(fù)責(zé)輸出最終結(jié)果

TextOutputFormat
(用 LineRecordWriter 將最終結(jié)果寫成純文件文件,每個 <key,value> 對一行，key 和 value 之間用 tab 分隔)

SequenceFileOutputFormat

OutputKeyClass

輸出的最終結(jié)果中 key 的類型

LongWritable

OutputValueClass

輸出的最終結(jié)果中 value 的類型

Text

MapperClass

Mapper 類，實(shí)現(xiàn) map 函數(shù)，完成輸入的<key,value> 到中間結(jié)果的映射

IdentityMapper
(將輸入的 <key,value> 原封不動的輸出為中間結(jié)果)

LongSumReducer,
LogRegexMapper,
InverseMapper

CombinerClass

實(shí)現(xiàn) combine 函數(shù)，將中間結(jié)果中的重復(fù) key 做合并

null
(不對中間結(jié)果中的重復(fù) key 做合并)

ReducerClass

Reducer 類，實(shí)現(xiàn) reduce函數(shù)，對中間結(jié)果做合并，形成最終結(jié)果

IdentityReducer
(將中間結(jié)果直接輸出為最終結(jié)果)

AccumulatingReducer, LongSumReducer

InputPath

設(shè)定 job 的輸入目錄, job 運(yùn)行時會處理輸入目錄下的所有文件

null

OutputPath

設(shè)定 job 的輸出目錄，job的最終結(jié)果會寫入輸出目錄下

null

MapOutputKeyClass

設(shè)定 map 函數(shù)輸出的中間結(jié)果中 key 的類型

如果用戶沒有設(shè)定的話，使用OutputKeyClass

MapOutputValueClass

設(shè)定 map 函數(shù)輸出的中間結(jié)果中 value 的類型

如果用戶沒有設(shè)定的話，使用OutputValuesClass

OutputKeyComparator

對結(jié)果中的 key 進(jìn)行排序時的使用的比較器

WritableComparable

PartitionerClass

對中間結(jié)果的 key 排序后，用此 Partition 函數(shù)將其劃分為R份,每份由一個Reducer 負(fù)責(zé)處理。

HashPartitioner
(使用 Hash 函數(shù)做 partition)

KeyFieldBasedPartitioner PipesPartitioner