hadoop下怎么計(jì)算MapReduce過(guò)程中需要的緩沖區(qū)大小

本篇內(nèi)容介紹了“hadoop下怎么計(jì)算MapReduce過(guò)程中需要的緩沖區(qū)大小”的有關(guān)知識(shí)，在實(shí)際案例的操作過(guò)程中，不少人都會(huì)遇到這樣的困境，接下來(lái)就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

在Map階段，map函數(shù)會(huì)產(chǎn)生中間數(shù)據(jù)輸出并保存在內(nèi)存緩沖區(qū)中（緩沖區(qū)大小由io.sort.mb參數(shù)指定）。一旦達(dá)到占用閾值（默認(rèn)是80%），緩沖區(qū)的內(nèi)容就會(huì)寫入本地磁盤，這也就是所謂的溢寫（spill）。

緩沖區(qū)內(nèi)會(huì)存儲(chǔ)溢寫記錄的元數(shù)據(jù)（每條數(shù)據(jù)元數(shù)據(jù)長(zhǎng)度為16字節(jié)）和溢寫記錄。

分配給元數(shù)據(jù)的空間由參數(shù)io.sort.record.percent指定，默認(rèn)5%，其余分配給溢寫記錄使用。

要確定緩沖區(qū)所需的內(nèi)存空間，需要計(jì)算溢寫記錄和元數(shù)據(jù)分別所占空間大小。

具體計(jì)算方法如下：

• Record length = Map output bytes / Map output records = 68022178 / 472293 = 144bytes

• Spilled Records Size =  Spilled Records * Record length = 144 * 472293 = 68022178 = 64M

• Metadata Size = Metadata length * Spilled Records = 16 * 472293 = 7556688 = 7M

io.sort.record.percent = 16 / (16 + 144) = 0.1

io.sort.mb = Metadata size + Spilled Records size = 64 + 7 = 71M

“hadoop下怎么計(jì)算MapReduce過(guò)程中需要的緩沖區(qū)大小”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注億速云網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！