您好,登錄后才能下訂單哦!
本篇內容介紹了“Flink的MaxBy怎么用”的有關知識,在實際案例的操作過程中,不少人都會遇到這樣的困境,接下來就讓小編帶領大家學習一下如何處理這些情況吧!希望大家仔細閱讀,能夠學有所成!
maxBy聚合:獲取一組數(shù)據流算子中最大的記錄行(和max的區(qū)別,max是返回計算字段的最大值)
示例環(huán)境
java.version: 1.8.x flink.version: 1.11.1
示例數(shù)據源 (項目碼云下載)
Flink 系例 之 搭建開發(fā)環(huán)境與數(shù)據
MaxBy.java
import com.flink.examples.DataSource; import org.apache.flink.api.common.typeinfo.Types; import org.apache.flink.api.java.functions.KeySelector; import org.apache.flink.api.java.tuple.Tuple3; import org.apache.flink.streaming.api.datastream.DataStream; import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; import java.util.List; /** * @Description maxBy聚合:獲取一組數(shù)據流算子中最大的記錄行(和max的區(qū)別,max是返回計算字段的最大值) */ public class MaxBy { /** * 遍歷集合,返回每個性別分區(qū)下最大年齡數(shù)據記錄 * @param args * @throws Exception */ public static void main(String[] args) throws Exception { final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); List<Tuple3<String, String, Integer>> tuple3List = DataSource.getTuple3ToList(); DataStream<Tuple3<String, String, Integer>> dataStream = env.fromCollection(tuple3List) .returns(Types.TUPLE(Types.STRING, Types.STRING,Types.INT)) .keyBy((KeySelector<Tuple3<String, String, Integer>, String>) k ->k.f1) //按數(shù)量窗口滾動,每3個輸入數(shù)據流,計算一次 .countWindow(3) //注意:計算變量為f2 .maxBy(2); dataStream.print(); env.execute("flink MaxBy job"); } }
打印結果
4> (劉六,girl,32) 2> (吳八,man,30)
“Flink的MaxBy怎么用”的內容就介紹到這里了,感謝大家的閱讀。如果想了解更多行業(yè)相關的知識可以關注億速云網站,小編將為大家輸出更多高質量的實用文章!
免責聲明:本站發(fā)布的內容(圖片、視頻和文字)以原創(chuàng)、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯(lián)系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。