#

條件性聚合

  • spark通過combineByKey算子實(shí)現(xiàn)條件性聚合的方法

    實(shí)際開發(fā)過程中遇到了需要實(shí)現(xiàn)選擇性聚合的場(chǎng)景，即對(duì)于某一個(gè)key對(duì)應(yīng)的數(shù)據(jù)，將滿足條件的記錄進(jìn)行聚合，不滿足條件的則不進(jìn)行聚合。 使用spark處理這種計(jì)算場(chǎng)景時(shí)，想到了使用combineByKey算

    作者：sirius_kb
    2020-07-20 05:50:18