可擴(kuò)展超快OLAP引擎Kylin怎么用

可擴(kuò)展超快OLAP引擎Kylin怎么用，相信很多沒有經(jīng)驗(yàn)的人對(duì)此束手無策，為此本文總結(jié)了問題出現(xiàn)的原因和解決方法，通過這篇文章希望你能解決這個(gè)問題。

Kylin沿用了原來的數(shù)據(jù)倉(cāng)庫技術(shù)中的Cube概念，把無限數(shù)據(jù)按有限的維度進(jìn)行“預(yù)處理”，然后將結(jié)果（Cube）加載到Hbase里，供用戶查詢使用。

Kylin是通過空間換時(shí)間的方式，實(shí)現(xiàn)在亞秒級(jí)別延遲的情況下，對(duì)Hadoop上的大規(guī)模數(shù)據(jù)集進(jìn)行交互式查詢，Kylin通過預(yù)計(jì)算，把計(jì)算結(jié)果集保存到Hbase中，原有的基于行的關(guān)系模型被轉(zhuǎn)化為基于鍵值對(duì)的列式存儲(chǔ)，通過維度組合作為HBase的RowKey，在查詢?cè)L問時(shí)不再需要昂貴的表掃描，這為高速高并發(fā)分析帶來了可能；Kylin提供了標(biāo)準(zhǔn)SQL查詢接口，支撐大多數(shù)的SQL函數(shù)，同時(shí)也支持ODBC/JDBC的方式和主流的BI產(chǎn)品無縫集成。

Kylin的工作原理

1、指定數(shù)據(jù)模型，定義維度和度量

2、預(yù)計(jì)算Cube，計(jì)算所有Cuboid并保存為物化視圖

3、執(zhí)行查詢時(shí)，讀取Cuboid，運(yùn)算，產(chǎn)生查詢結(jié)果

Kylin的的主要特點(diǎn)

1、標(biāo)準(zhǔn)SQL接口

2、支持超大數(shù)據(jù)集

3、亞秒級(jí)響應(yīng)

4、可伸縮性和高吞吐率

5、BI及可視化工具集成

幾個(gè)核心概念

數(shù)據(jù)倉(cāng)庫：（Data Warehouse）：大量歷史性資料數(shù)據(jù)。

OLAP：聯(lián)機(jī)分析處理，以多維度的方式分析數(shù)據(jù)，而且能夠彈性的提供上卷、下鉆和透視分析等操作。區(qū)別于聯(lián)機(jī)交易處理（OLTP）：更側(cè)重于日常事務(wù)處理，增刪改查。

BI：商業(yè)智能

維度與度量：維度是指審視數(shù)據(jù)的角度，通常是數(shù)據(jù)記錄的一個(gè)屬性，eg：時(shí)間、地點(diǎn)等，度量是基于數(shù)據(jù)所計(jì)算出來的考量值。eg：銷售額，用戶數(shù)等

事實(shí)表和維度表：事實(shí)表存儲(chǔ)有事實(shí)記錄的表，eg：系統(tǒng)日志、銷售記錄等，事實(shí)表不斷動(dòng)態(tài)增長(zhǎng)。維度表保存了維度的屬性值，eg：日期表、地點(diǎn)表等

Cube、Cuboid和Cube Segment

Cube：數(shù)據(jù)立方體，常用于數(shù)據(jù)分析和索引的技術(shù)，他可以對(duì)原始數(shù)據(jù)建立多維度索引，通過Cube對(duì)數(shù)據(jù)進(jìn)行數(shù)據(jù)進(jìn)行分析，大大加快數(shù)據(jù)的查詢效率。

Cuboid：在Kylin中特制某一中維度組合下所計(jì)算的數(shù)據(jù)

Cube Segment：是指針對(duì)源數(shù)據(jù)中的某一片段，計(jì)算出來的Cube數(shù)據(jù)。通常數(shù)據(jù)倉(cāng)庫中的數(shù)據(jù)會(huì)隨著時(shí)間的增長(zhǎng)而增長(zhǎng)，而Cube Segment也是按時(shí)間順序來構(gòu)建的。

Apache Kylin的主要使用過程：

1、數(shù)據(jù)準(zhǔn)備：符合星型模型、維度表設(shè)計(jì)（Kylin將維度表加載到內(nèi)存中處理，所有維度表不能太大）、Hive表分區(qū) 。

2、設(shè)計(jì)Cube：導(dǎo)入Hive表定義、創(chuàng)建數(shù)據(jù)模型

3、創(chuàng)建Cube：Kylin是以Key-Value的方式將Cube存儲(chǔ)到Hbase中，Hbase的Key也就是RowKey是由各個(gè)維度的值拼接而成的。

4、構(gòu)建Cube：增量構(gòu)建和全量構(gòu)建

5、歷史數(shù)據(jù)刷新、合并（Segment）

6、查詢Cube，標(biāo)準(zhǔn)的SQL的select語句。

支持構(gòu)建方式：

增量構(gòu)建：分全量和增量

流式構(gòu)建：實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)更新，對(duì)接Kafka實(shí)現(xiàn)，目前存在丟失數(shù)據(jù)的風(fēng)險(xiǎn)

支持對(duì)接方式：

1、WEB GUI --- Insight頁面

2、Rest API

3、ODBC/JDBC

4、通過Tableau（BI）訪問Kylin。

看完上述內(nèi)容，你們掌握可擴(kuò)展超快OLAP引擎Kylin怎么用的方法了嗎？如果還想學(xué)到更多技能或想了解更多相關(guān)內(nèi)容，歡迎關(guān)注億速云行業(yè)資訊頻道，感謝各位的閱讀！