shuffle中關(guān)鍵階段sort的示例分析

這篇文章主要介紹了shuffle中關(guān)鍵階段sort的示例分析，具有一定借鑒價值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

源碼中有這樣一段代碼

1. Map端排序獲取的比較器

public RawComparator getOutputKeyComparator() {
  // 獲取mapreduce.job.output.key.comparator.class，必須是RawComparator類型，如果沒設(shè)置，是null
  Class<? extends RawComparator> theClass = getClass(
   JobContext.KEY_COMPARATOR, null, RawComparator.class);
  // 如果用戶自定義了這個參數(shù)，那么實(shí)例化用戶自定義的比較器
  if (theClass != null)
   return ReflectionUtils.newInstance(theClass, this);
  // 默認(rèn)情況，用戶是沒用自定義這個參數(shù)
  // 判斷Map輸出的key，是否是WritableComparable的子類
 //  如果是，調(diào)用當(dāng)前類的內(nèi)部的Comparator!
  return WritableComparator.get(getMapOutputKeyClass().asSubclass(WritableComparable.class), this);
 }

總結(jié)： 如何對感興趣的數(shù)據(jù)進(jìn)行排序？

             ① 數(shù)據(jù)必須作為key

             ② 排序是框架自動排序，我們提供基于key的比較器，也就是Comparator，必須是RawComparator類型

                            a) 自定義類，實(shí)現(xiàn)RawComparator，重寫compare()

                                          指定mapreduce.job.output.key.comparator.class為自定義的比較器類型

                            b）key實(shí)現(xiàn)WritableComparable(推薦)

              ③ 實(shí)質(zhì)都是調(diào)用相關(guān)的comparaTo()方法，進(jìn)行比較

2. Reduce端進(jìn)行分組的比較器

RawComparator comparator = job.getOutputValueGroupingComparator();
// 獲取mapreduce.job.output.group.comparator.class，必須是RawComparator類型
// 如果沒用設(shè)置，直接獲取MapTask排序使用的比較器
// 也是比較key
public RawComparator getOutputValueGroupingComparator() {
  Class<? extends RawComparator> theClass = getClass(
   JobContext.GROUP_COMPARATOR_CLASS, null, RawComparator.class);
  if (theClass == null) {
   return getOutputKeyComparator();
  }
  // 如果設(shè)置了，就使用設(shè)置的比較器
  return ReflectionUtils.newInstance(theClass, this);
 }

感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享的“shuffle中關(guān)鍵階段sort的示例分析”這篇文章對大家有幫助，同時也希望大家多多支持億速云，關(guān)注億速云行業(yè)資訊頻道，更多相關(guān)知識等著你來學(xué)習(xí)!