大數(shù)據(jù)查詢引擎Presto的示例分析

這篇文章給大家分享的是有關(guān)大數(shù)據(jù)查詢引擎Presto的示例分析的內(nèi)容。小編覺得挺實(shí)用的，因此分享給大家做個(gè)參考，一起跟隨小編過來看看吧。

Presto設(shè)計(jì)精巧，可以處理海量數(shù)據(jù)，最大化地利用硬件性能，計(jì)算全部在內(nèi)存中完成，很好的利用高速網(wǎng)絡(luò)來進(jìn)行數(shù)據(jù)調(diào)度。性能基本上是Hive的10倍。

支持直接使用presto-jdbc驅(qū)動(dòng)完成Java應(yīng)用程序開發(fā)。

Presto集群中的數(shù)據(jù)傳輸、節(jié)點(diǎn)通信、心跳感應(yīng)、計(jì)算監(jiān)控、計(jì)算調(diào)度和計(jì)算分布全部都是基于RESTful服務(wù)實(shí)現(xiàn)的，因此Presto中的RESTful服務(wù)就是Presto所有服務(wù)的基石。

Presto客戶端對(duì)查詢語句的提交流程：

1、從指定文件、命令行參數(shù)或者Cli窗口中獲取需要執(zhí)行的SQL語句

2、將得到的SQL語句組裝成一個(gè)RESTful請(qǐng)求，發(fā)送給Coordinator，并處理返回的response。

3、Cli 會(huì)不停地循環(huán)分批讀取查詢結(jié)果并在屏幕進(jìn)行動(dòng)態(tài)顯示，直到查詢結(jié)果完全顯示完畢。

向Presto集群提交一個(gè)查詢，其整個(gè)過程會(huì)經(jīng)歷4個(gè)階段：

1、提交查詢：客戶端向Coordinator提供的RESTful服務(wù)提交SQL語句

2、生成查詢執(zhí)行計(jì)劃：Coordinator根據(jù)傳遞的SQL語句生成響應(yīng)的查詢執(zhí)行計(jì)劃

3、查詢調(diào)度：Coordinator根據(jù)生成的查詢執(zhí)行計(jì)劃，依次進(jìn)行Stage和Task調(diào)度。

4、查詢執(zhí)行：最終Coordinator會(huì)調(diào)度最空閑的Worker執(zhí)行相應(yīng)的Task進(jìn)行實(shí)際計(jì)算任務(wù)。

Presto隊(duì)列是用于控制查詢并發(fā)量和可接收的SQL數(shù)量，可針對(duì)用戶、提交來源、Session等信息進(jìn)行個(gè)性化配置。

Presto支持眾多數(shù)據(jù)源Connector，最常用的為Hive Connector。

Hive Connector 使用Hive的元數(shù)據(jù)，Coordinator節(jié)點(diǎn)通過Hive Metastore加載元數(shù)據(jù)，Presto的計(jì)算節(jié)點(diǎn)讀取Hive表對(duì)應(yīng)的HDFS數(shù)據(jù)。

Kafka Connector 支持Apache Kafka 0.8及以上版本，將Apache Kafka 中的topics 當(dāng)作表進(jìn)行處理，topics中每條消息在Presto中被解析為表中的一行數(shù)據(jù)。

感謝各位的閱讀！關(guān)于“大數(shù)據(jù)查詢引擎Presto的示例分析”這篇文章就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，讓大家可以學(xué)到更多知識(shí)，如果覺得文章不錯(cuò)，可以把它分享出去讓更多的人看到吧！