數(shù)字化轉(zhuǎn)型大勢下，企業(yè)如何實(shí)現(xiàn)數(shù)據(jù)管控？

在上一篇我們講到了業(yè)務(wù)人員可以用永洪產(chǎn)品的自服務(wù)數(shù)據(jù)集進(jìn)行自助式分析，那么IT管理員如何管理業(yè)務(wù)人員進(jìn)行分析呢？

某財(cái)險(xiǎn)類客戶案例
永洪的某財(cái)險(xiǎn)客戶需要業(yè)務(wù)用戶進(jìn)行自助式分析，高峰期在350并發(fā)以上，企業(yè)IT管理部希望對(duì)所有IT人員和業(yè)務(wù)人員查詢數(shù)據(jù)的數(shù)據(jù)量大小優(yōu)先級(jí)進(jìn)行管控，然后讓業(yè)務(wù)用戶進(jìn)行自助式分析。

如何設(shè)置？

因?yàn)樵撠?cái)險(xiǎn)公司已經(jīng)將數(shù)據(jù)存儲(chǔ)在了Cloudera Impala集群中。該財(cái)險(xiǎn)的IT管理部門會(huì)根據(jù)每一個(gè)用戶的數(shù)據(jù)量大小、業(yè)務(wù)類型分配隊(duì)列，并且詳細(xì)設(shè)置該隊(duì)列中的默認(rèn)查詢參數(shù)，尤其是mem_limit參數(shù)和最大并發(fā)數(shù)，這樣可以較好的限制用戶之間的影響，為了避免惡意用戶的使用，可以限制用戶自己設(shè)置mem_limit參數(shù)，盡可能得保證Impala集群的穩(wěn)定性。
1、在Impala數(shù)據(jù)庫層面，IT管理員或者DBA可以在session建立之后進(jìn)行設(shè)置。

設(shè)置隊(duì)列限制

set request_pool = queue_it；

用戶在創(chuàng)建一個(gè)數(shù)據(jù)源連接（connection）之后，可以通過set request_pool=pool_name的方式設(shè)置改session的請(qǐng)求提交的對(duì)應(yīng)的隊(duì)列。

設(shè)置最大內(nèi)存使用限制

set mem_limit=10G；

設(shè)置內(nèi)存10G(單節(jié)點(diǎn)上的內(nèi)存量)，impala經(jīng)常會(huì)over estimate SQL語句需要的資源，所以強(qiáng)烈建議在執(zhí)行SQL之前，使用 set mem_limit 限制SQL查詢的內(nèi)存消耗。

2、永洪產(chǎn)品設(shè)置

提供了在數(shù)據(jù)源連接后對(duì)session進(jìn)行設(shè)置的屬性。

針對(duì)于不同2種類的用戶，IT管理員期望根據(jù)數(shù)據(jù)量大小、業(yè)務(wù)類型設(shè)置分配的隊(duì)列。

實(shí)現(xiàn)步驟：

選擇永洪產(chǎn)品數(shù)據(jù)源，impala：

在設(shè)置好Impala數(shù)據(jù)源的基礎(chǔ)連接信息后，選擇數(shù)據(jù)源的高級(jí)屬性進(jìn)行如圖設(shè)置。

直接在隊(duì)列名設(shè)置queue_it , 并且點(diǎn)擊添加高級(jí)屬性限制mem_limit=2G。

如下所示，IT部門的數(shù)據(jù)源為Impala_it，設(shè)置如下：

企業(yè)想要實(shí)現(xiàn)數(shù)據(jù)管控，永洪Impala數(shù)據(jù)源的高級(jí)屬性了解下
財(cái)務(wù)部門的數(shù)據(jù)源Impala_finance，設(shè)置如下：

企業(yè)想要實(shí)現(xiàn)數(shù)據(jù)管控，永洪Impala數(shù)據(jù)源的高級(jí)屬性了解下
兩者存儲(chǔ)在數(shù)據(jù)源上的資源樹上，如下圖所示：

企業(yè)想要實(shí)現(xiàn)數(shù)據(jù)管控，永洪Impala數(shù)據(jù)源的高級(jí)屬性了解下
財(cái)險(xiǎn)部門的用戶（user_finance）在制作數(shù)據(jù)集時(shí)直接選擇對(duì)應(yīng)的數(shù)據(jù)源即可查詢數(shù)據(jù)。

以上就是關(guān)于永洪產(chǎn)品Impala數(shù)據(jù)源的高級(jí)屬性的使用介紹，永洪科技強(qiáng)大的產(chǎn)品功能，不僅可以幫助企業(yè)人員實(shí)現(xiàn)數(shù)據(jù)化管理，也讓更多業(yè)務(wù)人員能夠進(jìn)行自助式分析查詢。關(guān)于永洪產(chǎn)品的功能介紹，我們將持續(xù)更新。想體驗(yàn)永洪科技數(shù)據(jù)分析強(qiáng)大的功能，可以下載Yonghong Desktop進(jìn)行一鍵安裝體驗(yàn)。