場景下的交互式計算引擎Impala和Presto是怎樣的

今天就跟大家聊聊有關場景下的交互式計算引擎Impala和Presto是怎樣的，可能很多人都不太了解，為了讓大家更加了解，小編給大家總結了以下內容，希望大家根據(jù)這篇文章可以有所收獲。

應用于ROLAP場景下的交互式計算引擎Impala和Presto

具有以下特點：

1、跟Hadoop生態(tài)系統(tǒng)完好結合，可與Hive Metastore對接，處理hive中的表，可直接處理存儲在HDFS和Hbase中的數(shù)據(jù)。

2、計算與存儲分析：僅僅是查詢引擎，不提供數(shù)據(jù)存儲服務。

3、MPP架構，采用經典的MPP架構，具有良好的擴展性，能夠應對TB甚至PB級數(shù)據(jù)交互式查詢需求；

4、嵌套式數(shù)據(jù)存儲，支持常見的列式存儲格式，比如ORC和Parquet。

Impala：由Cludera公司開發(fā)，充分結合傳統(tǒng)數(shù)據(jù)庫與大數(shù)據(jù)系統(tǒng)Hadoop的優(yōu)勢，構造一個全新的、支持SQL與多租戶、并具備良好的靈活性和擴展性的高性能查詢引擎。

一、特征:

1、Impala完全拋棄了MapReduce這個不太適合做SQL查詢的范式，借鑒了MPP并行數(shù)據(jù)庫思想，采用了全服務進程的設計架構。

2、采用全內存實現(xiàn)，不需要把中間結果寫入磁盤，省掉大量的I/O開銷。

3、充分利用本地讀，盡可能的將數(shù)據(jù)和計算分配到同一臺機器上。

4、用C++實現(xiàn)，做了很多針對底層的優(yōu)化，eg：SSE指令。

二、基本架構：

1、Catalogd：元信息管理服務

2、Statestored：狀態(tài)管理服務器

3、Impalad：同時承擔協(xié)調者和執(zhí)行這雙重角色。

三、訪問方式

通過JDBC/ODBC訪問，通過Kerberos或LADP進行認證。

Presto：由Facebook公司開源，能夠處理TB甚至PB級別的數(shù)據(jù)量，由于Presto能與Hive進行無縫集成，因而成為主流的OLAP引擎。

一、基本架構：

是一個Master-Slave架構，由一個Coordinator服務，一個Discovery Server服務，多個Worker服務組成。

1、Coordinator：協(xié)調者，接收客戶端查詢請求（SQL）并對齊進行詞法分析，語法分析生成邏輯查詢計劃及物理查詢計劃，將各個任務調度到各位worker上執(zhí)行，并在worker返回結果后對其進一步匯總。在一個Presto集群中可同時存在多個Coordinator防止單點故障。

2、Discovery Server：服務發(fā)現(xiàn)組件，各個Worker啟動時會定期向Discovery Server注冊，并將狀態(tài)信息匯報給Discovery Server

3、Worker：任務執(zhí)行者。

Presto是一個分布式查詢引擎，并不提供數(shù)據(jù)存儲功能，為此，Presto采用了插件化設計思路，支撐多種數(shù)據(jù)樣，包括Hive、HDFS、Mysql、Cassanddra、Hbase和Redis等。

二、訪問方式

Presto是插件式架構，通過連接器接入外部數(shù)據(jù)源，為了區(qū)分各個數(shù)據(jù)源中的數(shù)據(jù)，它在數(shù)據(jù)庫之上引入了一層命名空間：catalog，前面提到的Hive、Cassandra和Mysql等在Presto中均以catalog存在。不同的catalog中可以有多個數(shù)據(jù)庫，每個數(shù)據(jù)庫中進一步可以存在多張表。

區(qū)別于多維度數(shù)據(jù)組織的MOLAP類型的OLAP查詢引擎Druid和Kylin。

看完上述內容，你們對場景下的交互式計算引擎Impala和Presto是怎樣的有進一步的了解嗎？如果還想了解更多知識或者相關內容，請關注億速云行業(yè)資訊頻道，感謝大家的支持。