hadoop如何實(shí)現(xiàn)統(tǒng)計輸入行數(shù)的MAP

這篇文章給大家分享的是有關(guān)hadoop如何實(shí)現(xiàn)統(tǒng)計輸入行數(shù)的MAP的內(nèi)容。小編覺得挺實(shí)用的，因此分享給大家做個參考，一起跟隨小編過來看看吧。

import java.io.IOException;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

public class FilterCidMap2 extends Mapper<LongWritable, Text, Text, LongWritable> {
	private long count=0;
	@Override
	protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, LongWritable>.Context context)
			throws IOException, InterruptedException {

		try {
		           //取得讀取的行數(shù)
		         count=key.get();
			
		         //正常邏輯
				context.write(new Text(), new LongWritable(1));

		} catch (Exception e) {

			e.printStackTrace();
		}

	}
	
	//map 方法調(diào)用完后才調(diào)用的
	@Override
	protected void cleanup(Mapper<LongWritable, Text, Text, LongWritable>.Context context)
			throws IOException, InterruptedException {
		//map清理資源的操作
		//在reduce中把linescount取出來就行了
		context.write(new Text("linesCount"), new LongWritable(count));
	}

}

感謝各位的閱讀！關(guān)于“hadoop如何實(shí)現(xiàn)統(tǒng)計輸入行數(shù)的MAP”這篇文章就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，讓大家可以學(xué)到更多知識，如果覺得文章不錯，可以把它分享出去讓更多的人看到吧！