溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》

Hive中如何基于成本進(jìn)行優(yōu)化

發(fā)布時(shí)間:2022-03-11 13:58:16 來(lái)源:億速云 閱讀:160 作者:小新 欄目:開(kāi)發(fā)技術(shù)

小編給大家分享一下Hive中如何基于成本進(jìn)行優(yōu)化,相信大部分人都還不怎么了解,因此分享這篇文章給大家參考一下,希望大家閱讀完這篇文章后大有收獲,下面讓我們一起去了解一下吧!

基于成本的優(yōu)化

Hive在提交最終執(zhí)行之前會(huì)優(yōu)化每個(gè)查詢的邏輯和物理執(zhí)行計(jì)劃。基于成本的優(yōu)化會(huì)根據(jù)查詢成本進(jìn)行進(jìn)一步的優(yōu)化,從而可能產(chǎn)生不同的決策:比如如何決定JOIN的順序,執(zhí)行哪種類型的JOIN以及并行度等。

可以通過(guò)設(shè)置以下參數(shù)來(lái)啟用基于成本的優(yōu)化。

set hive.cbo.enable=true;
set hive.compute.query.using.stats=true;
set hive.stats.fetch.column.stats=true;
set hive.stats.fetch.partition.stats=true;

可以使用統(tǒng)計(jì)信息來(lái)優(yōu)化查詢以提高性能。基于成本的優(yōu)化器(CBO)還使用統(tǒng)計(jì)信息來(lái)比較查詢計(jì)劃并選擇最佳計(jì)劃。通過(guò)查看統(tǒng)計(jì)信息而不是運(yùn)行查詢,效率會(huì)很高。

收集表的列統(tǒng)計(jì)信息:

ANALYZE TABLE mytable COMPUTE STATISTICS FOR COLUMNS;

查看my_db數(shù)據(jù)庫(kù)中my_table中my_id列的列統(tǒng)計(jì)信息:

DESCRIBE FORMATTED my_db.my_table my_id

以上是“Hive中如何基于成本進(jìn)行優(yōu)化”這篇文章的所有內(nèi)容,感謝各位的閱讀!相信大家都有了一定的了解,希望分享的內(nèi)容對(duì)大家有所幫助,如果還想學(xué)習(xí)更多知識(shí),歡迎關(guān)注億速云行業(yè)資訊頻道!

向AI問(wèn)一下細(xì)節(jié)

免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI