溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

Flink的MaxBy怎么用

發(fā)布時間:2021-12-31 10:21:55 來源:億速云 閱讀:304 作者:iii 欄目:大數(shù)據

本篇內容介紹了“Flink的MaxBy怎么用”的有關知識,在實際案例的操作過程中,不少人都會遇到這樣的困境,接下來就讓小編帶領大家學習一下如何處理這些情況吧!希望大家仔細閱讀,能夠學有所成!

maxBy聚合:獲取一組數(shù)據流算子中最大的記錄行(和max的區(qū)別,max是返回計算字段的最大值)

示例環(huán)境

java.version: 1.8.x
flink.version: 1.11.1

 示例數(shù)據源 (項目碼云下載)

Flink 系例 之 搭建開發(fā)環(huán)境與數(shù)據

MaxBy.java

import com.flink.examples.DataSource;
import org.apache.flink.api.common.typeinfo.Types;
import org.apache.flink.api.java.functions.KeySelector;
import org.apache.flink.api.java.tuple.Tuple3;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import java.util.List;
/**
 * @Description maxBy聚合:獲取一組數(shù)據流算子中最大的記錄行(和max的區(qū)別,max是返回計算字段的最大值)
 */
public class MaxBy {
    /**
     * 遍歷集合,返回每個性別分區(qū)下最大年齡數(shù)據記錄
     * @param args
     * @throws Exception
     */
    public static void main(String[] args) throws Exception {
        final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        List<Tuple3<String, String, Integer>> tuple3List = DataSource.getTuple3ToList();
        DataStream<Tuple3<String, String, Integer>> dataStream = env.fromCollection(tuple3List)
                .returns(Types.TUPLE(Types.STRING, Types.STRING,Types.INT))
                .keyBy((KeySelector<Tuple3<String, String, Integer>, String>) k ->k.f1)
                //按數(shù)量窗口滾動,每3個輸入數(shù)據流,計算一次
                .countWindow(3)
                //注意:計算變量為f2
                .maxBy(2);
        dataStream.print();
        env.execute("flink MaxBy job");
    }
}

打印結果

4> (劉六,girl,32)
2> (吳八,man,30)

“Flink的MaxBy怎么用”的內容就介紹到這里了,感謝大家的閱讀。如果想了解更多行業(yè)相關的知識可以關注億速云網站,小編將為大家輸出更多高質量的實用文章!

向AI問一下細節(jié)

免責聲明:本站發(fā)布的內容(圖片、視頻和文字)以原創(chuàng)、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯(lián)系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI