如何測(cè)試Hadoop性能優(yōu)化功能

這篇文章將為大家詳細(xì)講解有關(guān)如何測(cè)試Hadoop性能優(yōu)化功能，小編覺(jué)得挺實(shí)用的，因此分享給大家做個(gè)參考，希望大家閱讀完這篇文章后可以有所收獲。

hadoop性能優(yōu)化功能測(cè)試
以下是分別就配置了機(jī)架感知信息和沒(méi)有配置機(jī)架感知信息的hadoopHDFS啟動(dòng)instance進(jìn)行的數(shù)據(jù)上傳時(shí)的測(cè)試結(jié)果。

寫(xiě)入數(shù)據(jù)

當(dāng)沒(méi)有配置機(jī)架信息時(shí)，所有的機(jī)器hadoop都默認(rèn)在同一個(gè)默認(rèn)的機(jī)架下，名為“/default-rack”，這種情況下，任何一臺(tái)datanode機(jī)器，不管物理上是否屬于同一個(gè)機(jī)架，都
會(huì)被認(rèn)為是在同一個(gè)機(jī)架下，此時(shí)，就很容易出現(xiàn)之前提到的增添機(jī)架間網(wǎng)絡(luò)負(fù)載的情況。例如，對(duì)沒(méi)有機(jī)架信息的hadoopHDFS啟動(dòng)instance上傳一個(gè)文件，其block信息如下：
從上圖可以看出，在沒(méi)有機(jī)架信息的情況下，namenode默認(rèn)將所有的slaves機(jī)器全部默認(rèn)為在/default-rack下，根據(jù)hadoop代碼的分析也能知道哦啊，此時(shí)在寫(xiě)block時(shí)，三個(gè)
datanode機(jī)器的選擇完全是隨機(jī)的。

而hadoop性能優(yōu)化功能測(cè)試時(shí)當(dāng)配置了機(jī)架感知信息以后，hadoop在選擇三個(gè)datanode時(shí)，就會(huì)進(jìn)行相應(yīng)的判斷：

1.如果上傳本機(jī)不是一個(gè)datanode，而是一個(gè)客戶端，那么就從所有slave機(jī)器中隨機(jī)選擇一臺(tái)datanode作為***個(gè)塊的寫(xiě)入機(jī)器(datanode1)。
a)而此時(shí)如果上傳機(jī)器本身就是一個(gè)datanode（例如mapreduce作業(yè)中task通過(guò)DFSClient向hdfs寫(xiě)入數(shù)據(jù)的時(shí)候），那么就將該datanode本身作為***個(gè)塊寫(xiě)入機(jī)器(datanode1)
。
2.隨后在datanode1所屬的機(jī)架以外的另外的機(jī)架上，隨機(jī)的選擇一臺(tái)，作為第二個(gè)block的寫(xiě)入datanode機(jī)器(datanode2)。

3.在寫(xiě)第三個(gè)block前，先判斷是否前兩個(gè)datanode是否是在同一個(gè)機(jī)架上，如果是在同一個(gè)機(jī)架，那么就嘗試在另外一個(gè)機(jī)架上選擇第三個(gè)datanode作為寫(xiě)入機(jī)器(datanode3)。
而如果datanode1和datanode2沒(méi)有在同一個(gè)機(jī)架上，則在datanode2所在的機(jī)架上選擇一臺(tái)datanode作為datanode3。

4.得到3個(gè)datanode的列表以后，從namenode返回該列表到DFSClient之前，會(huì)在namenode端首先根據(jù)該寫(xiě)入客戶端跟datanode列表中每個(gè)datanode之間的“距離”由近到遠(yuǎn)進(jìn)行一
個(gè)排序。如果此時(shí)DFS寫(xiě)入端不是datanode，則選擇datanode列表中的***個(gè)排在***位?？蛻舳烁鶕?jù)這個(gè)順序有近到遠(yuǎn)的進(jìn)行數(shù)據(jù)塊的寫(xiě)入。在此，判斷兩個(gè)datanode之間“距
離”的算法就比較關(guān)鍵，hadoop目前實(shí)現(xiàn)如下，以兩個(gè)表示datanode的對(duì)象DatanodeInfo(node1,node2)為例:
a)首先根據(jù)node1和node2對(duì)象分別得出兩個(gè)datanode在整個(gè)hdfs集群中所處的層次。這里的層次概念需要解釋一下：每個(gè)datanode在hdfs集群中所處的層次結(jié)構(gòu)字符串是這樣描述
的，假設(shè)hdfs的拓?fù)浣Y(jié)構(gòu)如下：

每個(gè)datanode都會(huì)對(duì)應(yīng)自己在集群中的位置和層次，如node1的位置信息為“/rack1/datanode1”,那么它所處的層次就為2，其余類推。
b)得到兩個(gè)node的層次后，會(huì)沿著每個(gè)node所處的拓樸樹(shù)中的位置向上查找，如“/rack1/datanode1”的上一級(jí)就是“/rack1”，此時(shí)兩個(gè)節(jié)點(diǎn)之間的距離加1，兩個(gè)node分別同
上向上查找，直到找到共同的祖先節(jié)點(diǎn)位置，此時(shí)所得的距離數(shù)就用來(lái)代表兩個(gè)節(jié)點(diǎn)之間的距離。所以，如上圖所示，node1和node2之間的距離就為4.

5.當(dāng)根據(jù)“距離”排好序的datanode節(jié)點(diǎn)列表返回給DFSClient以后，DFSClient便會(huì)創(chuàng)建BlockOutputStream，并想這次block寫(xiě)入pipeline中的***個(gè)節(jié)點(diǎn)（最近的節(jié)點(diǎn)）開(kāi)始
寫(xiě)入block數(shù)據(jù)。

6.寫(xiě)完***個(gè)block以后，依次按照datanode列表中的次遠(yuǎn)的node進(jìn)行寫(xiě)入，直到***一個(gè)block寫(xiě)入成功，DFSClient返回成功，該block寫(xiě)入操作結(jié)束。
通過(guò)以上策略，namenode在選擇數(shù)據(jù)塊的寫(xiě)入datanode列表時(shí)，就充分考慮到了將block副本分散在不同機(jī)架下，并同時(shí)盡量的避免了之前描述的網(wǎng)絡(luò)多于開(kāi)銷。
對(duì)配置了機(jī)架信息的hadoopHDFS啟動(dòng)instance上傳一個(gè)文件，其block信息如下：
從上圖可以看出，在配置了機(jī)架信息的情況下，為了減少機(jī)架間的網(wǎng)絡(luò)流量，namenode會(huì)將其中兩個(gè)副本寫(xiě)在同一個(gè)機(jī)架上，并且為了盡量做到容錯(cuò)，會(huì)將第三個(gè)block寫(xiě)道另一
個(gè)機(jī)架上的datanode上?？匆幌耯adoop性能優(yōu)化功能測(cè)試如何讀取數(shù)據(jù)。

讀取數(shù)據(jù)

當(dāng)對(duì)某個(gè)文件的某個(gè)block進(jìn)行讀取的時(shí)候，hadoop采取的策略也是一樣：
1.首先得到這個(gè)block所在的datanode的列表，有幾個(gè)副本數(shù)該列表就有幾個(gè)datanode。
2.根據(jù)列表中datanode距離讀取端的距離進(jìn)行從小到大的排序：
a)首先查找本地是否存在該block的副本，如果存在，則將本地datanode作為***個(gè)讀取該block的datanode
b)然后查找本地的同一個(gè)rack下是否有保存了該block副本的datanode
c)***如果都沒(méi)有找到，或者讀取數(shù)據(jù)的node本身不是datanode節(jié)點(diǎn)，則返回datanode列表的一個(gè)隨機(jī)順序。

關(guān)于“如何測(cè)試Hadoop性能優(yōu)化功能”這篇文章就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，使各位可以學(xué)到更多知識(shí)，如果覺(jué)得文章不錯(cuò)，請(qǐng)把它分享出去讓更多的人看到。