Shuffle的洗牌過程是什么

本篇內(nèi)容介紹了“Shuffle的洗牌過程是什么”的有關(guān)知識，在實(shí)際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

Shuffle的正常意思是洗牌或弄亂

Shuffle描述著數(shù)據(jù)從map task輸出到reduce task輸入的這段過程。.

大部分map task與reduce task的執(zhí)行是在不同的節(jié)點(diǎn)上。當(dāng)然很多情況下Reduce執(zhí)行時需要跨節(jié)點(diǎn)去拉取其它節(jié)點(diǎn)上的map task結(jié)果。

我們對Shuffle過程的期望可以有：

完整地從map task端拉取數(shù)據(jù)到reduce 端。在跨節(jié)點(diǎn)拉取數(shù)據(jù)時，盡可能減少對帶寬的不必要消耗。減少磁盤IO對task執(zhí)行的影響。

Shuffle解釋

每個map task都有一個內(nèi)存緩沖區(qū)，存儲著map的輸出結(jié)果，當(dāng)緩沖區(qū)快滿的時候需要將緩沖區(qū)的數(shù)據(jù)以一個臨時文件的方式存放到磁盤，當(dāng)整個map task結(jié)束后再對磁盤中這個map task產(chǎn)生的所有臨時文件做合并，生成最終的正式輸出文件，然后等待reduce task來拉數(shù)據(jù)。

1、在map task執(zhí)行時，它的輸入數(shù)據(jù)來源于HDFS的block，當(dāng)然在MapReduce概念中，map task只讀取split。Split與block的對應(yīng)關(guān)系可能是多對一，默認(rèn)是一對一。

2、在經(jīng)過mapper類的運(yùn)行后，我們得知mapper的輸出是這樣一個k/v鍵值

對。在這只做統(tǒng)計(jì)，reduce才做合并。

3.Partitioner接口，它的作用就是根據(jù)key或value及reduce的數(shù)量來決定當(dāng)前的這對輸出數(shù)據(jù)最終應(yīng)該交由哪個reduce task處理。默認(rèn)對key hash后再以reduce task數(shù)量取模。默認(rèn)的取模方式只是為了平均reduce的處理能力，如果用戶自己對Partitioner有需求，可以訂制并設(shè)置到j(luò)ob.set(..)。

4（Memory Buffer）接下來我們將數(shù)據(jù)寫入到內(nèi)存緩沖區(qū)中，緩沖區(qū)的作用是批量收集map結(jié)果，減少磁盤IO的影響。我們的key/value對以及Partition的結(jié)果都會被寫入緩沖區(qū)。當(dāng)然寫入之前，key與value值都會被序列化成字節(jié)數(shù)組。

5內(nèi)存緩沖區(qū)是有大小限制的，默認(rèn)是100MB。當(dāng)map task 的輸出結(jié)果大于這個內(nèi)存緩沖區(qū)的閥值是（buffer size * spill percent = 100MB * 0.8 = 80MB）

溢寫線程啟動，把這80M在緩沖區(qū)的數(shù)據(jù)寫入到磁盤中，Map task向剩下20MB在內(nèi)存中，互補(bǔ)影響。這個從內(nèi)存往磁盤寫數(shù)據(jù)的過程被稱為Spill

當(dāng)溢寫線程啟動后，需要對這80MB空間內(nèi)的key做排序(Sort)。排序是MapReduce模型默認(rèn)的行為，這里的排序也是對序列化的字節(jié)做的排序。

圖上也可以看到寫到磁盤中的溢寫文件是對不同的reduce端的數(shù)值做過合并。所以溢寫過程一個很重要的細(xì)節(jié)在于，如果有很多個key/value 對需要發(fā)送到某個reduce端去，那么需要將這些key/value值拼接到一塊，減少與partition相關(guān)的索引記錄。

6.如果client設(shè)置過Combiner，那么現(xiàn)在就是使用Combiner的時候了。將有相同key的key/value對的value加起來，減少溢 寫到磁盤的數(shù)據(jù)量。Combiner會優(yōu)化MapReduce的中間結(jié)果，所以它在整個模型中會多次使用。那哪些場景才能使用Combiner呢？從這里 分析，Combiner的輸出是Reducer的輸入，Combiner絕不能改變最終的計(jì)算結(jié)果。所以從我的想法來看，Combiner只應(yīng)該用于那種 Reduce的輸入key/value與輸出key/value類型完全一致，且不影響最終結(jié)果的場景。比如累加，最大值等。Combiner的使用一定 得慎重，如果用好，它對job執(zhí)行效率有幫助，反之會影響reduce的最終結(jié)果。

7.每次溢寫會在磁盤上產(chǎn)生一個溢寫文件，Map 輸出結(jié)果很大時，會有多次這樣的溢寫文件到磁盤上，當(dāng) Map task 結(jié)束完成時，內(nèi)存緩沖區(qū)的數(shù)據(jù)同樣也會溢寫到磁盤上，結(jié)果磁盤會有一個或多個溢出的文件，同時合并溢出的文件。（如果map輸出的結(jié)果很少，map完成時，溢出的文件只有一個）合并這個過程就叫做Merge{墨跡}

merge是將多個溢寫文件合并到一個文件，所以可能也有相同的key存在，在這個過程中如果client設(shè)置過Combiner，也會使用Combiner來合并相同的key。

此時，map端的工作都已結(jié)束，最終生成的文件也存放在Task Tracker本地目錄內(nèi)，每個reduce task 不斷的通過RPC 從JOBTracker哪里獲取 map task 是否完成，如果reduce task 得到通知，通知到某臺Task Tracker 上的map task執(zhí)行完成，shuffle的reducece開始拉去map Task完成的數(shù)據(jù)

Reducer真正運(yùn)行之前，所有的時間都是在拉取數(shù)據(jù)，做merge，且不斷重復(fù)地在做。如前面的方式一樣，分段地描述reduce 端的Shuffle細(xì)節(jié)

1.copy 過程，就是拉取數(shù)據(jù)。Reduce進(jìn)程啟動一些copy線程，通過Http方式請求 map task 所在的TaskTracker獲取map task的輸出文件。應(yīng)為map task 已經(jīng)結(jié)束，這文件就歸TaskTracker管理了，管理在本地磁盤中。

2.copy過來的數(shù)據(jù)會先儲存在內(nèi)存緩沖區(qū)中（Memory Buffer），這里的緩沖區(qū)要比map端的更加靈活，它基于JVM的heap size 的設(shè)置，因?yàn)閟huffle階段rduce不運(yùn)行，所以把大部分的內(nèi)存給shuffle來用，

這里和map中內(nèi)存溢出一樣，當(dāng)內(nèi)存中的數(shù)據(jù)達(dá)到一定的閥值，就會啟動內(nèi)存到磁盤的溢出....合并Merge   。這個過程我們設(shè)置Combiner，也會啟用的，然后在磁盤中生成很多一些文件。值到map端沒有數(shù)據(jù)才結(jié)束。然后啟動第三種磁盤到磁盤的merge方式生成最終的那個文件。

3.Reduce的輸入文件，不斷的合并后（merge），最后會生成一個“最終文件”，這個文件可能存在磁盤上也能在內(nèi)存中（內(nèi)存需要設(shè)置并且優(yōu)化），默認(rèn)在磁盤中，當(dāng)Reducer的輸入文件已定，整個Shuffle才最終結(jié)束。然后就是Reducer執(zhí)行，把結(jié)果放到HDFS上。

“Shuffle的洗牌過程是什么”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識可以關(guān)注億速云網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！