您好,登錄后才能下訂單哦!
小編給大家分享一下Hive中如何基于成本進(jìn)行優(yōu)化,相信大部分人都還不怎么了解,因此分享這篇文章給大家參考一下,希望大家閱讀完這篇文章后大有收獲,下面讓我們一起去了解一下吧!
Hive在提交最終執(zhí)行之前會(huì)優(yōu)化每個(gè)查詢的邏輯和物理執(zhí)行計(jì)劃。基于成本的優(yōu)化會(huì)根據(jù)查詢成本進(jìn)行進(jìn)一步的優(yōu)化,從而可能產(chǎn)生不同的決策:比如如何決定JOIN的順序,執(zhí)行哪種類型的JOIN以及并行度等。
可以通過(guò)設(shè)置以下參數(shù)來(lái)啟用基于成本的優(yōu)化。
set hive.cbo.enable=true;
set hive.compute.query.using.stats=true;
set hive.stats.fetch.column.stats=true;
set hive.stats.fetch.partition.stats=true;
可以使用統(tǒng)計(jì)信息來(lái)優(yōu)化查詢以提高性能。基于成本的優(yōu)化器(CBO)還使用統(tǒng)計(jì)信息來(lái)比較查詢計(jì)劃并選擇最佳計(jì)劃。通過(guò)查看統(tǒng)計(jì)信息而不是運(yùn)行查詢,效率會(huì)很高。
收集表的列統(tǒng)計(jì)信息:
ANALYZE TABLE mytable COMPUTE STATISTICS FOR COLUMNS;
查看my_db數(shù)據(jù)庫(kù)中my_table中my_id列的列統(tǒng)計(jì)信息:
DESCRIBE FORMATTED my_db.my_table my_id
以上是“Hive中如何基于成本進(jìn)行優(yōu)化”這篇文章的所有內(nèi)容,感謝各位的閱讀!相信大家都有了一定的了解,希望分享的內(nèi)容對(duì)大家有所幫助,如果還想學(xué)習(xí)更多知識(shí),歡迎關(guān)注億速云行業(yè)資訊頻道!
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。