Ubuntu系統(tǒng)下Flink任務(wù)提交步驟

小樊
81
2024-09-08 18:34:37

在Ubuntu系統(tǒng)下提交Flink任務(wù)，需要遵循以下步驟：

  1. 安裝Java環(huán)境：

    Flink依賴于Java運(yùn)行環(huán)境，因此首先需要確保你的系統(tǒng)中已經(jīng)安裝了Java。可以使用以下命令檢查Java是否已安裝：

    java -version

    如果沒有安裝Java，可以使用以下命令安裝OpenJDK：

    sudo apt update
sudo apt install openjdk-11-jdk

  2. 下載并解壓Flink：

    從Flink官方網(wǎng)站（https://flink.apache.org/downloads.html）下載所需版本的Flink，然后在Ubuntu系統(tǒng)上解壓：

    wget https://downloads.apache.org/flink/flink-1.14.0/flink-1.14.0-bin-scala_2.11.tgz
tar xzf flink-1.14.0-bin-scala_2.11.tgz
cd flink-1.14.0

  3. 配置Flink：

    根據(jù)實(shí)際需求，修改Flink的配置文件（位于conf目錄下），例如flink-conf.yaml、masters和workers等。

  4. 啟動(dòng)Flink集群：

    在完成配置后，可以使用以下命令啟動(dòng)Flink集群：

    bin/start-cluster.sh

    你可以通過訪問Web UI（默認(rèn)地址為http://localhost:8081）來查看集群狀態(tài)。

  5. 編寫Flink任務(wù)：

    使用Java、Scala或Python編寫Flink任務(wù)。這里以Java為例，創(chuàng)建一個(gè)簡(jiǎn)單的WordCount任務(wù)：

    import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.util.Collector;

public class WordCount {
    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        DataStream<String> text = env.fromElements("Hello Flink", "Hello World");

        DataStream<Tuple2<String, Integer>> counts = text
            .flatMap(new Tokenizer())
            .keyBy(0)
            .sum(1);

        counts.print();

        env.execute("WordCount Example");
    }

    public static class Tokenizer implements FlatMapFunction<String, Tuple2<String, Integer>> {
        @Override
        public void flatMap(String value, Collector<Tuple2<String, Integer>> out) {
            String[] tokens = value.toLowerCase().split("\\W+");

            for (String token : tokens) {
                if (token.length() > 0) {
                    out.collect(new Tuple2<>(token, 1));
                }
            }
        }
    }
}

  6. 編譯和打包Flink任務(wù)：

    將編寫好的Flink任務(wù)編譯并打包成JAR文件。例如，如果你使用Maven或Gradle構(gòu)建項(xiàng)目，可以使用以下命令生成JAR文件：

    mvn clean package

  7. 提交Flink任務(wù)：

    使用Flink的命令行工具提交任務(wù)到集群。假設(shè)你的任務(wù)JAR文件名為wordcount.jar，可以使用以下命令提交任務(wù)：

    bin/flink run -c com.example.WordCount wordcount.jar

    其中-c選項(xiàng)指定了任務(wù)的主類名。

完成以上步驟后，F(xiàn)link任務(wù)將在Ubuntu系統(tǒng)下的集群上運(yùn)行。

0 踩