第84課：StreamingContext、DStream、Receiver深度剖析

本課分成四部分講解，第一部分對(duì)StreamingContext功能及源碼剖析；第二部分對(duì)DStream功能及源碼剖析；第三部分對(duì)Receiver功能及源碼剖析；最后一部分將StreamingContext、DStream、Receiver結(jié)合起來(lái)分析其流程。

一、StreamingContext功能及源碼剖析：

1、  通過(guò)Spark Streaming對(duì)象jssc，創(chuàng)建應(yīng)用程序主入口，并連上Driver，接收數(shù)據(jù)服務(wù)端口9999寫(xiě)入源數(shù)據(jù)

2、  Spark Streaming的主要功能有：

• 主程序的入口；

• 提供了各種創(chuàng)建DStream的方法接收各種流入的數(shù)據(jù)源（例如：Kafka、Flume、Twitter、ZeroMQ和簡(jiǎn)單的TCP套接字等）；

• 通過(guò)構(gòu)造函數(shù)實(shí)例化Spark Streaming對(duì)象時(shí)，可以指定master URL、appName、或者傳入SparkConf配置對(duì)象、或者已經(jīng)創(chuàng)建的SparkContext對(duì)象；

• 將接收的數(shù)據(jù)流傳入DStreams對(duì)象中；

• 通過(guò)Spark Streaming對(duì)象實(shí)例的start方法來(lái)啟動(dòng)當(dāng)前應(yīng)用程序的流計(jì)算框架或通過(guò)stop方法結(jié)束當(dāng)前應(yīng)用程序的流計(jì)算框架；

  

二、DStream功能及源碼剖析：

1、  DStream是RDD的模板，DStream是抽象的，RDD也是抽象

2、  DStream的具體實(shí)現(xiàn)子類(lèi)如下圖所示：

3、  以StreamingContext實(shí)例的socketTextSteam方法為例，其執(zhí)行完的結(jié)果返回DStream對(duì)象實(shí)例，其源碼調(diào)用過(guò)程如下圖：

socket.getInputStream獲取數(shù)據(jù)，while循環(huán)來(lái)存儲(chǔ)數(shù)據(jù)(內(nèi)存、磁盤(pán))

三、Receiver功能及源碼剖析：

1、Receiver代表數(shù)據(jù)的輸入，接收外部輸入的數(shù)據(jù)，如從Kafka上抓取數(shù)據(jù)；

2、Receiver運(yùn)行在Worker節(jié)點(diǎn)上；

3、Receiver在Worker節(jié)點(diǎn)上抓取Kafka分布式消息框架上的數(shù)據(jù)時(shí)，具體實(shí)現(xiàn)類(lèi)是KafkaReceiver；

4、Receiver是抽象類(lèi)，其抓取數(shù)據(jù)的實(shí)現(xiàn)子類(lèi)如下圖所示：

5、  如果上述實(shí)現(xiàn)類(lèi)都滿足不了您的要求，您自己可以定義Receiver類(lèi)，只需要繼承Receiver抽象類(lèi)來(lái)實(shí)現(xiàn)自己子類(lèi)的業(yè)務(wù)需求。

四、StreamingContext、DStream、Receiver結(jié)合流程分析：

（1）inputStream代表了數(shù)據(jù)輸入流(如：Socket、Kafka、Flume等)

（2）Transformation代表了對(duì)數(shù)據(jù)的一系列操作，如flatMap、map等

（3）outputStream代表了數(shù)據(jù)的輸出，例如wordCount中的println方法：

數(shù)據(jù)在流進(jìn)來(lái)之后，最終還是基于RDD進(jìn)行執(zhí)行，在處理流進(jìn)來(lái)的數(shù)據(jù)時(shí)是DStream進(jìn)行Transformation，StreamingContext會(huì)根據(jù)Transformation生成DStreamGraph，而DStreamGraph就是DAG的模板，這個(gè)模板是被框架托管的。當(dāng)我們指定時(shí)間間隔的時(shí)候，Spark Streaming框架會(huì)自動(dòng)觸發(fā)Job，所以在開(kāi)發(fā)者編寫(xiě)好的Spark代碼時(shí)（如：flatMap、collect、print），不會(huì)導(dǎo)致job的運(yùn)行，job運(yùn)行是
Spark Streaming框架自動(dòng)產(chǎn)生的。

總結(jié)：

使用Spark Streaming可以處理各種數(shù)據(jù)來(lái)源類(lèi)型，如：數(shù)據(jù)庫(kù)、HDFS，服務(wù)器log日志、網(wǎng)絡(luò)流，其強(qiáng)大超越了你想象不到的場(chǎng)景，

只是很多時(shí)候大家不會(huì)用，其真正原因是對(duì)Spark、spark streaming本身不了解。

備注：

資料來(lái)源于：DT_大數(shù)據(jù)夢(mèng)工廠（IMF傳奇行動(dòng)絕密課程）

更多私密內(nèi)容，請(qǐng)關(guān)注微信公眾號(hào)：DT_Spark

如果您對(duì)大數(shù)據(jù)Spark感興趣，可以免費(fèi)聽(tīng)由王家林老師每天晚上20：00開(kāi)設(shè)的Spark永久免費(fèi)公開(kāi)課，地址YY房間號(hào)：68917580