mapreduce多文件輸出新API怎么實(shí)現(xiàn)

本篇內(nèi)容介紹了“mapreduce多文件輸出新API怎么實(shí)現(xiàn)”的有關(guān)知識(shí)，在實(shí)際案例的操作過(guò)程中，不少人都會(huì)遇到這樣的困境，接下來(lái)就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

    1、針對(duì)于代碼中的 MultipleOutputs.addNamedOutput(job, "errorlog",
    TextOutputFormat.class, Text.class, NullWritable.class);  方法，其實(shí)第二個(gè)參數(shù)并非是這么用的，下面看代碼：

private MultipleOutputs<NullWritable, Text> multipleOutputs = null;
	@Override
	protected void reduce(IntWritable key, Iterable<Text> values,Context context)
			throws IOException, InterruptedException {
		for(Text val:values){
			multipleOutputs.write("KeySplit", NullWritable.get(), val, key.toString()+"/");
			multipleOutputs.write("AllData", NullWritable.get(), val);
		}
	}

write函數(shù)很多重載方法，之前用的是三個(gè)參數(shù)的，這個(gè)方法其實(shí)是將所有的reduce輸出都輸出到一個(gè)文件夾中，

這時(shí)候我們?cè)谡{(diào)用MultipleOutputs.addNamedOutput()函數(shù)的時(shí)候傳遞的第二個(gè)參數(shù)為多個(gè)，所以會(huì)導(dǎo)致

-rw-r--r--   2 hadoop supergroup   10569073 2014-06-06 11:50 /test/aa/fileRequest-m-00063.lzo
-rw-r--r--   2 hadoop supergroup   10512656 2014-06-06 11:50 /test/aa/fileRequest-m-00064.lzo
-rw-r--r--   2 hadoop supergroup      68780 2014-06-06 11:51 /test/aa/firstIntoTime-m-00000.lzo
-rw-r--r--   2 hadoop supergroup      67901 2014-06-06 11:51 /test/aa/firstIntoTime-m-00001.lzo

這樣的現(xiàn)象，而且會(huì)多輸出很多沒(méi)有用的空文件

那么其實(shí)write方法有一個(gè)帶有四個(gè)參數(shù)的方法，最后一個(gè)參數(shù)就恰巧是傳遞一個(gè)目錄進(jìn)去，目的是針對(duì)于不同的邏輯將reduce產(chǎn)生的數(shù)據(jù)輸出到不同的文件夾目錄下。如第一段代碼中的multipleOutputs.write("KeySplit", NullWritable.get(), val, key.toString()+"/");語(yǔ)句，最后一個(gè)參數(shù)的作用就是相將key作為文件夾，將具有相同key 的數(shù)據(jù)輸出到這個(gè)文件夾中，后面跟著一個(gè)“/” 代表是當(dāng)前目錄下，當(dāng)前目錄指的肯定不是項(xiàng)目的當(dāng)前目錄，他是在執(zhí)行hadoop jar 時(shí)傳遞的輸出目錄的參數(shù)，如：hadoop jar test.jar com.TestJob /input /output    

假設(shè)數(shù)據(jù)是這樣的：
1    麗梅
1    小輝
2    小紅
3    大華

那么將輸出三個(gè)文件夾分別為
/output/1
/output/2
/output/3
其中/output/1這個(gè)文件夾中一個(gè)文件，內(nèi)容為

1    麗梅
1    小輝

write函數(shù)還有其他方法，暫時(shí)還沒(méi)有研究，而且針對(duì)于write方法的第一個(gè)函數(shù)也沒(méi)有去研究，如果有時(shí)間，會(huì)把多文件輸出詳細(xì)總結(jié)一下

注：在配置job的時(shí)候

這句代碼

MultipleOutputs.addNamedOutput(job, "errorlog",
    TextOutputFormat.class, Text.class, NullWritable.class);

“mapreduce多文件輸出新API怎么實(shí)現(xiàn)”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注億速云網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！