storm處理數(shù)據(jù)的兩種模式是什么

這篇文章主要介紹“storm處理數(shù)據(jù)的兩種模式是什么”，在日常操作中，相信很多人在storm處理數(shù)據(jù)的兩種模式是什么問(wèn)題上存在疑惑，小編查閱了各式資料，整理出簡(jiǎn)單好用的操作方法，希望對(duì)大家解答”storm處理數(shù)據(jù)的兩種模式是什么”的疑惑有所幫助！接下來(lái)，請(qǐng)跟著小編一起來(lái)學(xué)習(xí)吧！

1、Storm簡(jiǎn)介

storm是一個(gè)分布式、容錯(cuò)的實(shí)時(shí)計(jì)算系統(tǒng)，起先被托管在GitHub上，遵循Eclipse  Public  License 1.0  。Storm是由BackType開發(fā)的實(shí)時(shí)處理系統(tǒng)，由Twitter開源

2013年，Storm進(jìn)入Apache社區(qū)進(jìn)行孵化；

2014年9月，晉級(jí)為Apache頂級(jí)項(xiàng)目

官網(wǎng)  http://storm.apache.org/

hadoop和storm的區(qū)別：hadoop反復(fù)啟動(dòng)停止，數(shù)據(jù)反復(fù)落地耗費(fèi)時(shí)間，storm采用流式處理，數(shù)據(jù)不落地

數(shù)據(jù)來(lái)源：hadoop的數(shù)據(jù)是hdfs上的TB級(jí)別數(shù)據(jù)，storm是實(shí)時(shí)新增的數(shù)據(jù)；

處理過(guò)程：hadoop是分為split 、map、shuffler  、reduce等階段、storm是由用戶定義流程，流程中可以包含多個(gè)步驟，每個(gè)步驟可以是數(shù)據(jù)源（spout）或處理邏輯（bolt）

是否結(jié)束：hadoop最后是要結(jié)束的；storm是沒(méi)有結(jié)束的，數(shù)據(jù)處理完是要等待新數(shù)據(jù)的進(jìn)入的。

處理速度：hadoop處理堆積的數(shù)據(jù)，速度慢，storm只是處理新增的數(shù)據(jù)，時(shí)效性較高；

2、Storm架構(gòu)：

Nimbus：管事，但是可以不存在，如果Nimbus掛掉，之前提價(jià)的job可以繼續(xù)進(jìn)行處理，后續(xù)不能繼續(xù)提交，因此Nimbus的主要作用是提交任務(wù)和通過(guò)zk與Supervisor進(jìn)行溝通；相當(dāng)于Leader

Supervisor：

Worker

編程模型

DAG：有向無(wú)環(huán)圖

Spout：源頭

Bolt：bolt處理完數(shù)據(jù)會(huì)使用消息框架將信息返回給上一個(gè)Bolt或Spout；

數(shù)據(jù)傳輸：storm底層傳輸數(shù)據(jù)使用zmq或者netty

    zmq

        zmq是開源的消息傳遞框架；（0.9版本以上已經(jīng)不用了）

   Netty

        netty是NIO的網(wǎng)絡(luò)框架，效率比較高。之所以有netty事storm在apache之后，zmq遵循linux的協(xié)議，netty遵循的協(xié)議比較寬松。

高可用：

    異常處理，就是異常崩潰，也不影響，例如supervisor掛了，nimbus會(huì)重新調(diào)度

    消息可靠性機(jī)制保證，ack機(jī)制

可維護(hù)：

    storm UI

3、Storm處理數(shù)據(jù)的兩種模式：

實(shí)時(shí)請(qǐng)求應(yīng)答模式（同步）

Client  ----》DRPC  Server  ----》Spout---》Bolt-----》Return---》（返回給前面的drpc  server  然后再返回給Client）

對(duì)應(yīng)DRPC  Server 有不同的Spout  --》DRPC  Spout  ，Topology（拓?fù)浣Y(jié)構(gòu)）、ReturnResult

流式處理（異步）

Client---》MQ--->Sport------>Bolt1----->bolt2--------->Storage(redis、hbase、Mysql、mq等)

        <----

Storm的wordCount

1、隨機(jī)生成數(shù)據(jù)

2、切割單詞

3、hash不同單詞到不同的任務(wù)上去

到此，關(guān)于“storm處理數(shù)據(jù)的兩種模式是什么”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識(shí)，請(qǐng)繼續(xù)關(guān)注億速云網(wǎng)站，小編會(huì)繼續(xù)努力為大家?guī)?lái)更多實(shí)用的文章！