LSM的存儲(chǔ)以及定位

這篇文章主要講解了“LSM的存儲(chǔ)以及定位”，文中的講解內(nèi)容簡(jiǎn)單清晰，易于學(xué)習(xí)與理解，下面請(qǐng)大家跟著小編的思路慢慢深入，一起來研究和學(xué)習(xí)“LSM的存儲(chǔ)以及定位”吧！

1.  LSM的存儲(chǔ)

主要思想是將直接修改樹形結(jié)構(gòu)，改為分幾個(gè)層級(jí)來完成。當(dāng)完成第一個(gè)層級(jí)時(shí)就反饋完成，其他交由后臺(tái)來處理。

流程是先寫入memory table，之后merge到低級(jí)別的sstable，最后merge到高級(jí)別的sstable。

如下是Hbase的大體結(jié)構(gòu)：

    2. 定位

Trailer–這一段是定長(zhǎng)的。保存了每一段的偏移量，讀取一個(gè)HFile時(shí)，會(huì)首先 讀取Trailer，Trailer保存了每個(gè)段的起始位置(段的Magic Number用來做安全check)，然后，DataBlock Index會(huì)被讀取到內(nèi)存中，這樣，當(dāng)檢索某個(gè)key時(shí)，不需要掃描整個(gè)HFile，而只需從內(nèi)存中找到key所在的block，通過一次磁盤io將整個(gè) block讀取到內(nèi)存中，再找到需要的key。DataBlock Index采用LRU機(jī)制淘汰。

首先，能快速找到行所在的region(分區(qū))，假設(shè)表有10億條記錄，占空間1TB,   分列成了500個(gè)region,  1個(gè)region占2個(gè)G. 最多讀取2G的記錄，就能找到對(duì)應(yīng)記錄； 

其次，是按列存儲(chǔ)的，其實(shí)是列族，假設(shè)分為3個(gè)列族，每個(gè)列族就是666M， 如果要查詢的東西在其中1個(gè)列族上，1個(gè)列族包含1個(gè)或者多個(gè)HStoreFile，假設(shè)一個(gè)HStoreFile是128M， 該列族包含5個(gè)HStoreFile在磁盤上. 剩下的在內(nèi)存中。

再次，是排好序了的，你要的記錄有可能在最前面，也有可能在最后面，假設(shè)在中間，我們只需遍歷2.5個(gè)HStoreFile共300M

最后，每個(gè)HStoreFile(HFile的封裝)，是以鍵值對(duì)（key-value）方式存儲(chǔ)，只要遍歷一個(gè)個(gè)數(shù)據(jù)塊中的key的位置，并判斷符合條件可以了。 一般key是有限的長(zhǎng)度，假設(shè)跟value是1:19（忽略HFile上其它塊），最終只需要15M就可獲取的對(duì)應(yīng)的記錄，按照磁盤的訪問100M/S，只需0.15秒。 加上塊緩存機(jī)制（LRU原則），會(huì)取得更高的效率。

感謝各位的閱讀，以上就是“LSM的存儲(chǔ)以及定位”的內(nèi)容了，經(jīng)過本文的學(xué)習(xí)后，相信大家對(duì)LSM的存儲(chǔ)以及定位這一問題有了更深刻的體會(huì)，具體使用情況還需要大家實(shí)踐驗(yàn)證。這里是億速云，小編將為大家推送更多相關(guān)知識(shí)點(diǎn)的文章，歡迎關(guān)注！