MapReduce如何實(shí)現(xiàn)驅(qū)動(dòng)程序

這篇文章給大家分享的是有關(guān)MapReduce如何實(shí)現(xiàn)驅(qū)動(dòng)程序的內(nèi)容。小編覺得挺實(shí)用的，因此分享給大家做個(gè)參考，一起跟隨小編過來看看吧。

1、設(shè)置job的基礎(chǔ)屬性

Job job = new Job();  
job.setJarByClass(***.class);  //要執(zhí)行的類
job.setJobName(“job name”);    //作業(yè)的名字
job.setNumReduce(2);           //reduce的數(shù)目

2、設(shè)置Map與Reudce的類

job.setMappgerClass(*.class);  //map類
job.setReduceClass(*.class);   //reduce類

3、設(shè)置Job的輸入輸出格式

void    setInputFormatClass(Class<? extends InputFormat> cls)  
void    setOutputFormatClass(Class<? extends OutputFormat> cls)

前者默認(rèn)是TextInputFormat，后者是FileOutputFormat。

4、設(shè)置Job的輸入輸出路徑

當(dāng)輸入輸出是文件時(shí)，需要指定路徑。

InputFormat：  
static void    addInputPath(JobConf conf, Path path)   
FileOutputFormat：  
static void    setOutputPath(Job job, Path outputDir)

當(dāng)輸入格式是其它類型時(shí)，則需要指定相應(yīng)的屬性，如Gora的DataSource。

5、設(shè)置map與reduce的輸出鍵值類型
主要有以下4個(gè)類

void    setOutputKeyClass(Class<?> theClass)  
void    setOutputValueClass(Class<?> theClass)   
void    setMapOutputKeyClass(Class<?> theClass)  
void    setMapOutputValueClass(Class<?> theClass)

（1）前面2個(gè)方法設(shè)置整個(gè)job的輸出，即reduce的輸出。默認(rèn)情況下，map的輸出類型與reduce一致，若二者不一致，則需要通過后面2個(gè)方法來指定map的輸出類型。
（2）關(guān)于輸入類型的說明：reduce的輸入類型由output的輸出類型決定。map的輸入類型由輸入格式?jīng)Q定，如輸入格式是FileInputFormat，則輸入KV類型為LongWriterable與Text。

6、運(yùn)行程序

job.waitForCompletion(）

我們還可以設(shè)置combine類和partition類

job.setCombinerClass(Combine.class);
job.setPartitionerClass(MyPartition.class);

 附帶一張圖：

完整例子

package org.jediael.hadoopdemo.maxtemperature;  
  
import org.apache.hadoop.fs.Path;  
import org.apache.hadoop.io.IntWritable;  
import org.apache.hadoop.io.Text;  
import org.apache.hadoop.mapreduce.Job;  
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;  
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;  
  
public class MaxTemperature {  
    public static void main(String[] args) throws Exception {  
        if (args.length != 2) {  
            System.err  
                    .println("Usage: MaxTemperature <input path> <output path>");  
            System.exit(-1);  
        }  
        //1、設(shè)置job的基礎(chǔ)屬性  
        Job job = new Job();  
        job.setJarByClass(MaxTemperature.class);  
        job.setJobName("Max temperature");  
  
        //2、設(shè)置Map與Reudce的類  
        job.setMapperClass(MaxTemperatureMapper.class);  
        job.setReducerClass(MaxTemperatureReducer.class);  
          
        //4、設(shè)置map與reduce的輸出鍵值類型  
        job.setOutputKeyClass(Text.class);  
        job.setOutputValueClass(IntWritable.class);  
          
        //5、設(shè)置輸入輸出路徑  
        FileInputFormat.addInputPath(job, new Path(args[0]));  
        FileOutputFormat.setOutputPath(job, new Path(args[1]));  
          
        //6、運(yùn)行程序  
        System.exit(job.waitForCompletion(true) ? 0 : 1);  
    }  
}

感謝各位的閱讀！關(guān)于“MapReduce如何實(shí)現(xiàn)驅(qū)動(dòng)程序”這篇文章就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，讓大家可以學(xué)到更多知識(shí)，如果覺得文章不錯(cuò)，可以把它分享出去讓更多的人看到吧！