Storm基本架構(gòu)是什么

本篇內(nèi)容主要講解“Storm基本架構(gòu)是什么”，感興趣的朋友不妨來看看。本文介紹的方法操作簡(jiǎn)單快捷，實(shí)用性強(qiáng)。下面就讓小編來帶大家學(xué)習(xí)“Storm基本架構(gòu)是什么”吧!

目前常用的流式實(shí)時(shí)計(jì)算引擎分為兩類：面向行和面向微批處理，其中面向行的流式實(shí)時(shí)計(jì)算引擎的代表是Apache Storm，典型特點(diǎn)是延遲低，但吞吐率也低。而面向微批處理的流式實(shí)時(shí)計(jì)算引擎代表是Spark Streaming，其典型特點(diǎn)是延遲高，但吞吐率也高。

主流的流式數(shù)據(jù)線分四個(gè)階段：

1、數(shù)據(jù)采集：負(fù)責(zé)從不同數(shù)據(jù)源上實(shí)時(shí)采集數(shù)據(jù)，可選包括Flume以及自定義Kafka Producer

2、數(shù)據(jù)緩沖：為了平衡數(shù)據(jù)采集速率與數(shù)據(jù)處理速率不對(duì)等。eg：Kafka

3、實(shí)時(shí)分析：流式地從數(shù)據(jù)緩沖區(qū)獲取數(shù)據(jù)，并快速完成數(shù)據(jù)處理。比如：Storm和Spark Streaming

4、結(jié)果存儲(chǔ)：將計(jì)算結(jié)果存儲(chǔ)到外部系統(tǒng)，比如：大量可實(shí)時(shí)查詢的系統(tǒng)，可存儲(chǔ)Hbase中，小量但需要可高并發(fā)查詢系統(tǒng)，可存儲(chǔ)Redis。

Storm：

基本概念：

1、Tuple:由一組可序列化的元素構(gòu)成。

2、Stream：無限個(gè)Tuple組成一個(gè)Stream

3、Topology：類似與MapReduce的job，由一系列Spout和Blot構(gòu)成的DAG

4、Spout：Stream的數(shù)據(jù)源

5、Bolt：消息處理邏輯

基本架構(gòu)：

1、Nimbus:集群的管理和調(diào)度組件

2、Supervisor：計(jì)算組件

3、Zookeeper：Nimbus和Supervisor之前的協(xié)調(diào)組件。

Spark Streaming：

基本概念：核心思想是把流式處理轉(zhuǎn)化為“微批處理”，即以時(shí)間為單位切分?jǐn)?shù)據(jù)流，每個(gè)切片內(nèi)的數(shù)據(jù)對(duì)應(yīng)一個(gè)RDD，進(jìn)而采用Spark引擎進(jìn)行快速計(jì)算。正是由于Spark Streaming采用了微批處理方式，因此只能將其作為近實(shí)時(shí)處理系統(tǒng)，而不是嚴(yán)格意義上的實(shí)時(shí)流式處理。

Spark Streaming 對(duì)流式數(shù)據(jù)做了進(jìn)一步抽象，它將流式數(shù)據(jù)批處理化，每一批數(shù)據(jù)被抽象成RDD，這樣流式數(shù)據(jù)變成了流式的RDD序列，這便是Dstream，Spark Streaming 在Dstream上定義了一系列操作，主要分兩類：transformation和output，其中一個(gè)transformation操作能夠?qū)⒁粋€(gè)Dstream變換成另一個(gè)Dstream，而output操作可產(chǎn)生一個(gè)或一組結(jié)果，并將輸出到指定外部系統(tǒng)中。

Spark幾個(gè)組件的抽象及操作對(duì)比：

1、Spark Code 數(shù)據(jù)抽象RDD 數(shù)據(jù)操作transformation&action

2、Spark SQL 數(shù)據(jù)抽象：DataFrame、DataSet，操作：transformation&action

3、Spark Streaming：數(shù)據(jù)抽象：Dstream，操作：transformation&action

到此，相信大家對(duì)“Storm基本架構(gòu)是什么”有了更深的了解，不妨來實(shí)際操作一番吧！這里是億速云網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！