在Hadoop中，Combiner的作用是在Map階段輸出數(shù)據(jù)傳輸?shù)絉educe階段之前對中間數(shù)據(jù)進(jìn)行合并操作。Combiner可以將相同key的中間結(jié)果進(jìn)行本地合并，減少數(shù)據(jù)傳輸量，提高M(jìn)apReduce作業(yè)的效率和性能。通過Combiner的使用，可以減少網(wǎng)絡(luò)傳輸量和Reduce階段的負(fù)載，加快作業(yè)的執(zhí)行速度。
億速云公眾號(hào)
手機(jī)網(wǎng)站二維碼
