#

combinebykey

  • spark通過combineByKey算子實現(xiàn)條件性聚合的方法

    實際開發(fā)過程中遇到了需要實現(xiàn)選擇性聚合的場景，即對于某一個key對應的數(shù)據(jù)，將滿足條件的記錄進行聚合，不滿足條件的則不進行聚合。 使用spark處理這種計算場景時，想到了使用combineByKey算

    作者：sirius_kb
    2020-07-20 05:50:18