Spark Streaming的案例分析

這篇文章主要講解了“Spark Streaming的案例分析”，文中的講解內(nèi)容簡單清晰，易于學(xué)習(xí)與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學(xué)習(xí)“Spark Streaming的案例分析”吧！

    為什么從SparkStreaming入手？

    因?yàn)镾parkStreaming 是Spark Core上的一個(gè)子框架，如果我們能夠完全精通了一個(gè)子框架，我們就能夠更好的駕馭Spark。SparkStreaming和Spark SQL是目前最流行的框架，從研究角度而言，Spark SQL有太多涉及到SQL優(yōu)化的問題，不太適應(yīng)用來深入研究。而SparkStreaming和其他的框架不同，它更像是SparkCore的一個(gè)應(yīng)用程序。如果我們能深入的了解SparkStreaming，那我們就可以寫出非常復(fù)雜的應(yīng)用程序。

  SparkStreaming的優(yōu)勢是可以結(jié)合SparkSQL、圖計(jì)算、機(jī)器學(xué)習(xí)，功能更加強(qiáng)大。這個(gè)時(shí)代，單純的流計(jì)算已經(jīng)無法滿足客戶的需求啦。在Spark中SparkStreaming也是最容易出現(xiàn)問題的，因?yàn)樗遣粩嗟倪\(yùn)行，內(nèi)部比較復(fù)雜。

本課內(nèi)容：

1，SparkStreaming另類在線實(shí)驗(yàn)

     這個(gè)另類在線實(shí)驗(yàn)體現(xiàn)在batchInterval設(shè)置的很大，5分鐘甚至更大，為了更清晰的看清楚Streaming運(yùn)行的各個(gè)環(huán)境。

     實(shí)驗(yàn)內(nèi)容是使用SparkStreaming在線統(tǒng)計(jì)單詞個(gè)數(shù)，SparkStreaming連接一個(gè)端口中接收發(fā)送過來的單詞數(shù)據(jù)，將統(tǒng)計(jì)信息輸出到控制臺中，其中使用netcat創(chuàng)建一個(gè)簡單的server，來開啟并監(jiān)聽一個(gè)端口，接收用戶鍵盤輸入的單詞數(shù)據(jù)。

2，瞬間理解SparkStreaming的本質(zhì)

     結(jié)合這個(gè)實(shí)驗(yàn)并通過觀察Web UI上的Job，Stage，Task等信息，再結(jié)合SparkStreaming的源碼，對SparkStreaming進(jìn)行分析。

實(shí)驗(yàn)環(huán)境說明：

     實(shí)驗(yàn)由3臺Ubuntu14.04虛擬機(jī)上運(yùn)行，其中一臺作為Spark的Master，另外兩臺作為Spark的Worker。使用的Spark版本為目前最先版1.6.1，Spark checkpoint的存儲在HDFS上(hadoop的版本為2.6.0)。為了記錄SparkStreaming運(yùn)行的過程信息，需要啟動Spark的HistoryServer，以下是啟廳Spark，HDFS，HistoryServer服務(wù)的腳本。

實(shí)驗(yàn)代碼如下

提交到Spark集群的腳本如下

首先在Master節(jié)點(diǎn)使用nc -lk 9999，創(chuàng)建一個(gè)簡單的Server，然后在運(yùn)行腳本提交Spark Application。

從網(wǎng)上找來一篇英文文章，如下

單詞統(tǒng)計(jì)結(jié)果如下

在Spark UI上觀察發(fā)現(xiàn)有4個(gè)Job

首先查看Job 0發(fā)現(xiàn)SparkStreaming在剛啟動時(shí)會提交一個(gè)Job

StreamingContext的start方法中調(diào)用了JobScheduler的start方法

繼續(xù)看JobScheduler類的start方法

從注釋中說明該方法是為了確保每個(gè)Slave都注冊上，避免所有的Receiver在同一個(gè)節(jié)點(diǎn)，為了后面計(jì)算負(fù)載均衡。

Job1一直在運(yùn)行是因?yàn)樗粩嘟邮諗?shù)據(jù)流中的數(shù)據(jù)，運(yùn)行在Worker1上并且運(yùn)行1個(gè)Task來接收數(shù)據(jù)，數(shù)據(jù)本地性為PROCESS_LOCAL，receiver接收到數(shù)據(jù)會保存到內(nèi)存中。

Job2的信息如下

其中Stage3信息如下

其中Stage4信息如下

Job3的信息如下，Job3的DAG圖和Job2的DAG圖是一樣的，但是Stage5跳過了。

后面的Job都是在對單詞切分統(tǒng)計(jì)。

     回顧這4個(gè)Job，其中2個(gè)Job是框架運(yùn)行的，Job0確保所有slave都注冊上，避免所有的Receiver在同一個(gè)節(jié)點(diǎn)，為了后面計(jì)算負(fù)載均衡。Job1為啟動一個(gè)數(shù)據(jù)接收器，運(yùn)行在一個(gè)Executor上的一個(gè)Task上，不斷接收數(shù)據(jù)量數(shù)據(jù)，然后保存到內(nèi)存中。Job2和Job3在運(yùn)行單詞切分統(tǒng)計(jì)。

感謝各位的閱讀，以上就是“Spark Streaming的案例分析”的內(nèi)容了，經(jīng)過本文的學(xué)習(xí)后，相信大家對Spark Streaming的案例分析這一問題有了更深刻的體會，具體使用情況還需要大家實(shí)踐驗(yàn)證。這里是億速云，小編將為大家推送更多相關(guān)知識點(diǎn)的文章，歡迎關(guān)注！