Spark2.x入門中SparkStreaming的工作原理是什么

本篇文章給大家分享的是有關(guān)Spark2.x入門中SparkStreaming的工作原理是什么，小編覺得挺實用的，因此分享給大家學習，希望大家閱讀完這篇文章后可以有所收獲，話不多說，跟著小編一起來看看吧。

 官網(wǎng)翻譯大體意思如下：

    SparkStreaming是核心SparkApi的擴展，支持可伸縮、高吞吐量、容錯的實時數(shù)據(jù)流處理。數(shù)據(jù)可以從許多來源獲取，如Kafka、Flume、Kinesis或TCP sockets，可以使用復雜的算法處理數(shù)據(jù)，這些算法用高級函數(shù)表示，如map、reduce、join和window。最后，處理后的數(shù)據(jù)可以推送到文件系統(tǒng)、數(shù)據(jù)庫和活動儀表板。實際上，您可以將Spark的機器學習和圖形處理算法應用于數(shù)據(jù)流。

  內(nèi)部工作原理：SparkStreaming接受實時輸入數(shù)據(jù)流，并將數(shù)據(jù)分成批次，然后由Spark engine處理，以批量生成最終的結(jié)果流。

    DStream是SparkStreaming流提供的基本抽象。它表示連續(xù)的數(shù)據(jù)流，可以是從源接收到的輸入數(shù)據(jù)流，也可以是通過轉(zhuǎn)換輸入流生成的經(jīng)過處理的數(shù)據(jù)流。在內(nèi)部，DStream由一系列連續(xù)的RDD表示，RDD是Spark對不可變的分布式數(shù)據(jù)集的抽象。DStream中的每個RDD包含來自某個間隔的數(shù)據(jù)，如下圖所示。

    應用于DStream上的任何操作都轉(zhuǎn)換為底層RDD上的操作。例如，在前面將一個行流轉(zhuǎn)換為單詞的示例中，flatMap操作應用于行DStream中的每個RDD，以生成單詞DStream的RDD。如下圖所示。

    這些底層的RDD轉(zhuǎn)換是由Spark引擎計算的。DStream操作隱藏了這些細節(jié)中的大部分，并為開發(fā)人員提供了更高級的API。這些操作將在后面的小節(jié)中詳細討論。

SparkStreaming 、Flink 、Storm 三種流式處理框架對比分析

以上就是Spark2.x入門中SparkStreaming的工作原理是什么，小編相信有部分知識點可能是我們?nèi)粘９ぷ鲿姷交蛴玫降?。希望你能通過這篇文章學到更多知識。更多詳情敬請關(guān)注億速云行業(yè)資訊頻道。