怎么實(shí)現(xiàn)Spark的分布式存儲(chǔ)系統(tǒng)BlockManager全解析

這篇文章將為大家詳細(xì)講解有關(guān)怎么實(shí)現(xiàn)Spark的分布式存儲(chǔ)系統(tǒng)BlockManager全解析，文章內(nèi)容質(zhì)量較高，因此小編分享給大家做個(gè)參考，希望大家閱讀完這篇文章后對(duì)相關(guān)知識(shí)有一定的了解。

BlockManager 是 spark 中至關(guān)重要的一個(gè)組件，在spark的運(yùn)行過程中到處都有 BlockManager 的身影，只有搞清楚 BlockManager 的原理和機(jī)制，你才能更加深入的理解 spark。

§ BlockManager是什么？

• BlockManager的作用？我理解是負(fù)責(zé)做RDD的存儲(chǔ)，如何存下來給后續(xù)任務(wù)去使用。
  其內(nèi)部模塊圖如下：

• 圖中看到有個(gè)memoryStore和DiskStore，說明把block做存儲(chǔ)時(shí)，有內(nèi)存和磁盤2種方式，存儲(chǔ)后就都i通過這個(gè)Store去管理。

• 存儲(chǔ)時(shí)以Block為單位，所以會(huì)有個(gè)映射用的數(shù)組

• 有一個(gè)負(fù)責(zé)和Driver的BlockManagerMaster通信的引用接口

• 還有個(gè)shuffClient，負(fù)責(zé)做 備份 和 下載， 即各executor之間會(huì)通過shuffClient來做block的傳輸。

§ BlockManager和Driver、executor的關(guān)系

其關(guān)系如圖：

從中可以看到

1. blockManagerMaster在driver端生成

2. executor中生成blockManager，并負(fù)責(zé)向BMM注冊(cè)。

3. spark中注冊(cè)消息通過ActorSystem進(jìn)行發(fā)送

§ 把塊block 存入blockManager的流程

比如特殊的2個(gè)地方：

1. 試圖put時(shí)，會(huì)先看下該blockId是否有緩存，有的話直接取過來，否則就重新創(chuàng)建blockInfo

2. 存儲(chǔ)時(shí)會(huì)先判斷內(nèi)存是否充足，充足就寫入memoryStore，如果不夠會(huì)先釋放再嘗試放入。

§ 從blockManager中刪除塊

刪除的操作沒什么特別的，主要是會(huì)判斷一下塊的存儲(chǔ)級(jí)別，選擇從不同的store中取塊。

§ shuffClient 下載block操作

BMMAC就是BlockManagerMasterActor,我當(dāng)初瞎寫的簡(jiǎn)稱

• 注意點(diǎn)：當(dāng)要取的塊來自好幾個(gè)BlockManager時(shí)， 把它打亂順序，避免好幾個(gè)BM同時(shí)從某一個(gè)BM上下載數(shù)據(jù)！

§ shuffeClinet的備份操作

• BM為什么要備份他的block？書里作者沒解釋，我的理解是為了防止節(jié)點(diǎn)崩潰或者丟失，導(dǎo)致中間任務(wù)無法繼續(xù)執(zhí)行？

• 因?yàn)槠渌腂lockManager能接收的block可能有限，所以備份時(shí)可能會(huì)涉及多個(gè)block， 每次我們一樣，從BMmaster那里拿一個(gè) ***隨機(jī)***的blockManager做備份，避免都往同一個(gè)上備份。

§ BlockManager和Executor、driver的關(guān)系：

從中可以看到

1. blockManagerMaster在driver端生成

2. executor中生成blockManager，并負(fù)責(zé)向BMM注冊(cè)。

3. spark中注冊(cè)消息通過ActorSystem進(jìn)行發(fā)送

關(guān)于怎么實(shí)現(xiàn)Spark的分布式存儲(chǔ)系統(tǒng)BlockManager全解析就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，可以學(xué)到更多知識(shí)。如果覺得文章不錯(cuò)，可以把它分享出去讓更多的人看到。