strom基礎(chǔ)

strom 經(jīng)典圖譜：

strom基礎(chǔ)

1. Topologies
2. Streams
3. Spouts
4. Bolts
5. Stream groupings
6. Reliability
7. Tasks
8. Workers
9. Configuration

1、Topologies

一個(gè)topology是spouts和bolts組成的圖， 通過(guò)stream groupings將圖中的spouts和bolts連接起來(lái)，如下圖：

一個(gè)topology會(huì)一直運(yùn)行直到你手動(dòng)kill掉，Storm自動(dòng)重新分配執(zhí)行失敗的任務(wù)， 并且Storm可以保證你不會(huì)有數(shù)據(jù)丟失（如果開(kāi)啟了高可靠性的話(huà)）。如果一些機(jī)器意外停機(jī)它上面的所有任務(wù)會(huì)被轉(zhuǎn)移到其他機(jī)器上。
運(yùn)行一個(gè)topology很簡(jiǎn)單。首先，把你所有的代碼以及所依賴(lài)的jar打進(jìn)一個(gè)jar包。然后運(yùn)行類(lèi)似下面的這個(gè)命令：

storm jar all-my-code.jar backtype.storm.MyTopology arg1 arg2

這個(gè)命令會(huì)運(yùn)行主類(lèi): backtype.strom.MyTopology, 參數(shù)是arg1, arg2。這個(gè)類(lèi)的main函數(shù)定義這個(gè)topology并且把它提交給Nimbus。storm jar負(fù)責(zé)連接到Nimbus并且上傳jar包。
Topology的定義是一個(gè)Thrift結(jié)構(gòu)，并且Nimbus就是一個(gè)Thrift服務(wù)， 你可以提交由任何語(yǔ)言創(chuàng)建的topology。上面的方面是用JVM-based語(yǔ)言提交的最簡(jiǎn)單的方法。

2、Streams

消息流stream是storm里的關(guān)鍵抽象。一個(gè)消息流是一個(gè)沒(méi)有邊界的tuple序列， 而這些tuple序列會(huì)以一種分布式的方式并行地創(chuàng)建和處理。通過(guò)對(duì)stream中tuple序列中每個(gè)字段命名來(lái)定義stream。在默認(rèn)的情況下，tuple的字段類(lèi)型可以是：integer，long，short， byte，string，double，float，boolean和byte array。你也可以自定義類(lèi)型（只要實(shí)現(xiàn)相應(yīng)的序列化器）。
每個(gè)消息流在定義的時(shí)候會(huì)被分配給一個(gè)id，因?yàn)閱蜗蛳⒘魇褂玫南喈?dāng)普遍， OutputFieldsDeclarer定義了一些方法讓你可以定義一個(gè)stream而不用指定這個(gè)id。在這種情況下這個(gè)stream會(huì)分配個(gè)值為‘default’默認(rèn)的id 。
Storm提供的最基本的處理stream的原語(yǔ)是spout和bolt。你可以實(shí)現(xiàn)spout和bolt提供的接口來(lái)處理你的業(yè)務(wù)邏輯。

3、Spouts

消息源spout是Storm里面一個(gè)topology里面的消息生產(chǎn)者。一般來(lái)說(shuō)消息源會(huì)從一個(gè)外部源讀取數(shù)據(jù)并且向topology里面發(fā)出消息：tuple。Spout可以是可靠的也可以是不可靠的。如果這個(gè)tuple沒(méi)有被storm成功處理，可靠的消息源spouts可以重新發(fā)射一個(gè)tuple， 但是不可靠的消息源spouts一旦發(fā)出一個(gè)tuple就不能重發(fā)了。
消息源可以發(fā)射多條消息流stream。使用OutputFieldsDeclarer.declareStream來(lái)定義多個(gè)stream，然后使用SpoutOutputCollector來(lái)發(fā)射指定的stream。
Spout類(lèi)里面最重要的方法是nextTuple。要么發(fā)射一個(gè)新的tuple到topology里面或者簡(jiǎn)單的返回如果已經(jīng)沒(méi)有新的tuple。要注意的是nextTuple方法不能阻塞，因?yàn)閟torm在同一個(gè)線(xiàn)程上面調(diào)用所有消息源spout的方法。
另外兩個(gè)比較重要的spout方法是ack和fail。storm在檢測(cè)到一個(gè)tuple被整個(gè)topology成功處理的時(shí)候調(diào)用ack，否則調(diào)用fail。storm只對(duì)可靠的spout調(diào)用ack和fail。

4、Bolts

所有的消息處理邏輯被封裝在bolts里面。Bolts可以做很多事情：過(guò)濾，聚合，查詢(xún)數(shù)據(jù)庫(kù)等等。
Bolts可以簡(jiǎn)單的做消息流的傳遞。復(fù)雜的消息流處理往往需要很多步驟，從而也就需要經(jīng)過(guò)很多bolts。比如算出一堆圖片里面被轉(zhuǎn)發(fā)最多的圖片就至少需要兩步：第一步算出每個(gè)圖片的轉(zhuǎn)發(fā)數(shù)量。第二步找出轉(zhuǎn)發(fā)最多的前10個(gè)圖片。（如果要把這個(gè)過(guò)程做得更具有擴(kuò)展性那么可能需要更多的步驟）。
Bolts可以發(fā)射多條消息流， 使用OutputFieldsDeclarer.declareStream定義stream，使用OutputCollector.emit來(lái)選擇要發(fā)射的stream。
Bolts的主要方法是execute, 它以一個(gè)tuple作為輸入，bolts使用OutputCollector來(lái)發(fā)射tuple，bolts必須要為它處理的每一個(gè)tuple調(diào)用OutputCollector的ack方法，以通知Storm這個(gè)tuple被處理完成了，從而通知這個(gè)tuple的發(fā)射者spouts。 一般的流程是： bolts處理一個(gè)輸入tuple, 發(fā)射0個(gè)或者多個(gè)tuple, 然后調(diào)用ack通知storm自己已經(jīng)處理過(guò)這個(gè)tuple了。storm提供了一個(gè)IBasicBolt會(huì)自動(dòng)調(diào)用ack。

5、Stream groupings

定義一個(gè)topology的其中一步是定義每個(gè)bolt接收什么樣的流作為輸入。stream grouping就是用來(lái)定義一個(gè)stream應(yīng)該如果分配數(shù)據(jù)給bolts上面的多個(gè)tasks。
Storm里面有7種類(lèi)型的stream grouping

1. Shuffle Grouping: 隨機(jī)分組， 隨機(jī)派發(fā)stream里面的tuple，保證每個(gè)bolt接收到的tuple數(shù)目大致相同。
2. Fields Grouping：按字段分組， 比如按userid來(lái)分組， 具有同樣userid的tuple會(huì)被分到相同的Bolts里的一個(gè)task， 而不同的userid則會(huì)被分配到不同的bolts里的task。
3. All Grouping：廣播發(fā)送，對(duì)于每一個(gè)tuple，所有的bolts都會(huì)收到。
4. Global Grouping：全局分組， 這個(gè)tuple被分配到storm中的一個(gè)bolt的其中一個(gè)task。再具體一點(diǎn)就是分配給id值最低的那個(gè)task。
5. Non Grouping：不分組，這個(gè)分組的意思是說(shuō)stream不關(guān)心到底誰(shuí)會(huì)收到它的tuple。目前這種分組和Shuffle grouping是一樣的效果， 有一點(diǎn)不同的是storm會(huì)把這個(gè)bolt放到這個(gè)bolt的訂閱者同一個(gè)線(xiàn)程里面去執(zhí)行。
6. Direct Grouping： 直接分組， 這是一種比較特別的分組方法，用這種分組意味著消息的發(fā)送者指定由消息接收者的哪個(gè)task處理這個(gè)消息。 只有被聲明為Direct Stream的消息流可以聲明這種分組方法。而且這種消息tuple必須使用emitDirect方法來(lái)發(fā)射。消息處理者可以通過(guò)TopologyContext來(lái)獲取處理它的消息的task的id （OutputCollector.emit方法也會(huì)返回task的id）。
7. Local or shuffle grouping：如果目標(biāo)bolt有一個(gè)或者多個(gè)task在同一個(gè)工作進(jìn)程中，tuple將會(huì)被隨機(jī)發(fā)生給這些tasks。否則，和普通的Shuffle Grouping行為一致。

6、Reliability

Storm保證每個(gè)tuple會(huì)被topology完整的執(zhí)行。Storm會(huì)追蹤由每個(gè)spout tuple所產(chǎn)生的tuple樹(shù)（一個(gè)bolt處理一個(gè)tuple之后可能會(huì)發(fā)射別的tuple從而形成樹(shù)狀結(jié)構(gòu)），并且跟蹤這棵tuple樹(shù)什么時(shí)候成功處理完。每個(gè)topology都有一個(gè)消息超時(shí)的設(shè)置，如果storm在這個(gè)超時(shí)的時(shí)間內(nèi)檢測(cè)不到某個(gè)tuple樹(shù)到底有沒(méi)有執(zhí)行成功， 那么topology會(huì)把這個(gè)tuple標(biāo)記為執(zhí)行失敗，并且過(guò)一會(huì)兒重新發(fā)射這個(gè)tuple。
為了利用Storm的可靠性特性，在你發(fā)出一個(gè)新的tuple以及你完成處理一個(gè)tuple的時(shí)候你必須要通知storm。這一切是由OutputCollector來(lái)完成的。通過(guò)emit方法來(lái)通知一個(gè)新的tuple產(chǎn)生了，通過(guò)ack方法通知一個(gè)tuple處理完成了。
Storm的可靠性我們?cè)诘谒恼聲?huì)深入介紹。

7、Tasks

每一個(gè)spout和bolt會(huì)被當(dāng)作很多task在整個(gè)集群里執(zhí)行。每一個(gè)executor對(duì)應(yīng)到一個(gè)線(xiàn)程，在這個(gè)線(xiàn)程上運(yùn)行多個(gè)task，而stream grouping則是定義怎么從一堆task發(fā)射tuple到另外一堆task。你可以調(diào)用TopologyBuilder類(lèi)的setSpout和setBolt來(lái)設(shè)置并行度（也就是有多少個(gè)task）。

8、Workers

一個(gè)topology可能會(huì)在一個(gè)或者多個(gè)worker（工作進(jìn)程）里面執(zhí)行，每個(gè)worker是一個(gè)物理JVM并且執(zhí)行整個(gè)topology的一部分。比如，對(duì)于并行度是300的topology來(lái)說(shuō)，如果我們使用50個(gè)工作進(jìn)程來(lái)執(zhí)行，那么每個(gè)工作進(jìn)程會(huì)處理其中的6個(gè)tasks。Storm會(huì)盡量均勻的工作分配給所有的worker。

9、Configuration

Storm里面有一堆參數(shù)可以配置來(lái)調(diào)整Nimbus, Supervisor以及正在運(yùn)行的topology的行為，一些配置是系統(tǒng)級(jí)別的，一些配置是topology級(jí)別的。default.yaml里面有所有的默認(rèn)配置。你可以通過(guò)定義個(gè)storm.yaml在你的classpath里來(lái)覆蓋這些默認(rèn)配置。并且你也可以在代碼里面設(shè)置一些topology相關(guān)的配置信息（使用StormSubmitter）。