您好,登錄后才能下訂單哦!
本篇內(nèi)容主要講解“Hadoop生態(tài)系統(tǒng)的存儲(chǔ)格式CarbonData性能分析”,感興趣的朋友不妨來(lái)看看。本文介紹的方法操作簡(jiǎn)單快捷,實(shí)用性強(qiáng)。下面就讓小編來(lái)帶大家學(xué)習(xí)“Hadoop生態(tài)系統(tǒng)的存儲(chǔ)格式CarbonData性能分析”吧!
一、評(píng)測(cè)環(huán)境
1)網(wǎng)絡(luò)拓?fù)鋱D
2)配置參數(shù)
服務(wù)器配置
二、性能對(duì)比
目前主流hadoop的文件存儲(chǔ)格式有行存儲(chǔ)的CSV格式,列式存儲(chǔ)的ORC和Parquet等。本章給出的是Parquet+Spark和CarbonData+Spark在過(guò)濾查詢(xún)場(chǎng)景和聚合計(jì)算場(chǎng)景的性能測(cè)試結(jié)果。
1)測(cè)試數(shù)據(jù)
創(chuàng)建沈陽(yáng)社保的數(shù)據(jù)倉(cāng)庫(kù),導(dǎo)入、集成1年的測(cè)試數(shù)據(jù),如下表:
生成CarbonData格式文件,如下表:
2)過(guò)濾查詢(xún)場(chǎng)景測(cè)試
Parquet和CarbonData在過(guò)濾查詢(xún)場(chǎng)景下的性能對(duì)比
3)聚合計(jì)算場(chǎng)景測(cè)試
Parquet和CarbonData在聚合計(jì)算場(chǎng)景下的性能對(duì)比
4)總結(jié)分析
在過(guò)濾查詢(xún)中,CarbonData的查詢(xún)效率比parquet效率好,主要體現(xiàn)在列數(shù)據(jù)的索引查詢(xún),極大地提高了精確查詢(xún)的性能。在聚合查詢(xún)中,CarbonData通過(guò)使用全局字典編碼來(lái)加快計(jì)算速度,這使得處理、查詢(xún)引擎可以直接在編碼好的數(shù)據(jù)上進(jìn)行處理而不需要轉(zhuǎn)換數(shù)據(jù),數(shù)據(jù)只有在返回結(jié)果給用戶(hù)的時(shí)候才轉(zhuǎn)換成用戶(hù)可讀的形式,通過(guò)索引有效過(guò)濾文件數(shù)據(jù)塊減少磁盤(pán)的IO,提高查詢(xún)性能。
到此,相信大家對(duì)“Hadoop生態(tài)系統(tǒng)的存儲(chǔ)格式CarbonData性能分析”有了更深的了解,不妨來(lái)實(shí)際操作一番吧!這里是億速云網(wǎng)站,更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢(xún),關(guān)注我們,繼續(xù)學(xué)習(xí)!
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀(guān)點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。