溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》
您好，登錄后才能下訂單哦！
這篇文章給大家分享的是有關(guān)Hbase如何實現(xiàn)性能測試的內(nèi)容。小編覺得挺實用的，因此分享給大家做個參考，一起跟隨小編過來看看吧。
之前測試過HBASE的參數(shù)對性能影響，今天的測試主要針對寫吞吐量，通過對比不同客戶端的數(shù)量，以及插入量，來看看HBASE寫的情況下，大概有多少每秒插入。
測試硬件：8vcore, 32G內(nèi)存 ， 8臺機器， 5個nodemanager/region server ，大家可能知道每個map,reduce 默認1個 vcores，1G內(nèi)存 很顯然，我一共40個vcores， 所以最多也只有39個map, reduce。
測試命令：
time hbase org.apache.hadoop.hbase.PerformanceEvaluation --rows=1000000 sequentialWrite 50
| 客戶端 | 數(shù)據(jù)量 | 執(zhí)行時間 | 寫吞吐量 |
| 1 | 1000000 | 54s | 18000條/s |
| 1 | 10000000 | 2m56s | 58800條/s |
| 1 | 100000000 | 3m20s | 78000條/s |
| 10 | 100000/client | 1m24.625s | 11904條/s |
| 10 | 1000000/client | 4m2.163s | 41000條/s |
| 10 | 10000000/client | 14m33.584s | 113000條/s |
| 50 | 10000/client | 3m29.969s | 3292條/s |
| 50 | 100000/client | 3m9.325s | 26315條/s |
| 50 | 1000000/client | 13m50.013s | 60240條/s |
先說明一下，上面測試數(shù)據(jù)其實是不準(zhǔn)確的，主要硬件限制，PerformanceEvaluation 默認每個客戶端為10個MAP，50個并發(fā)的話就是500個MAP，每次只能跑39個MAP，很顯然很多MAP處于pending狀態(tài)，如果有足夠好的硬件，結(jié)果會好很多。另外，PerformanceEvaluation 是先隨機生成數(shù)據(jù)，再通過reduce來插入，所以整個時間還包含map的時候，并不單純是插入時間。
所以從上述結(jié)果來看，看不出來太多問題，但是也有驚喜，10個客戶端的情況下達到11W條/秒， 如果有足夠好的CPU，我相信即使并發(fā)增加，HBASE的寫性能還是非常不錯的。
感謝各位的閱讀！關(guān)于“Hbase如何實現(xiàn)性能測試”這篇文章就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，讓大家可以學(xué)到更多知識，如果覺得文章不錯，可以把它分享出去讓更多的人看到吧！
免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點不代表本網(wǎng)站立場，如果涉及侵權(quán)請聯(lián)系站長郵箱：is@yisu.com進行舉報，并提供相關(guān)證據(jù)，一經(jīng)查實，將立刻刪除涉嫌侵權(quán)內(nèi)容。
億速云公眾號
手機網(wǎng)站二維碼
