CDH網(wǎng)絡(luò)要求的示例分析

這篇文章主要介紹了CDH網(wǎng)絡(luò)要求的示例分析，具有一定借鑒價(jià)值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

1.組網(wǎng)配置

    建議的Cloudera組網(wǎng)配置如下圖，主要包含數(shù)據(jù)網(wǎng)絡(luò)和管理網(wǎng)絡(luò)。

2.數(shù)據(jù)網(wǎng)絡(luò)

    數(shù)據(jù)網(wǎng)絡(luò)是用于數(shù)據(jù)訪問的節(jié)點(diǎn)之間的私有集群數(shù)據(jù)互連，比如在集群內(nèi)的節(jié)點(diǎn)之間移動(dòng)數(shù)據(jù)，或者將數(shù)據(jù)導(dǎo)入到CDH集群。CDH集群通常會(huì)連接到企業(yè)內(nèi)部的數(shù)據(jù)網(wǎng)絡(luò)。

    需要2個(gè)TOR交換機(jī)：一個(gè)是用作帶外管理，一個(gè)是用于CDH的數(shù)據(jù)網(wǎng)絡(luò)。節(jié)點(diǎn)的帶外管理至少需要一個(gè)1GbE交換機(jī)。數(shù)據(jù)網(wǎng)絡(luò)的交換機(jī)一般為10GbE，具體取決于工作負(fù)載。

    推薦的1GbE交換機(jī)是Lenovo RackSwitch G8052。10Gb以太網(wǎng)交換機(jī)可以提供額外的I/O帶寬，以獲得更好的性能。推薦的10GbE交換機(jī)是Lenovo System NetworkingRackSwitch 8272。

    每個(gè)節(jié)點(diǎn)的兩個(gè)Broadcom 10GbE端口可以綁定后連接到G8272交換機(jī)，從而提高性能或配置HA。數(shù)據(jù)網(wǎng)絡(luò)可以配置為使用VLAN。

注：無論是工作節(jié)點(diǎn)還是管理節(jié)點(diǎn)，Cloudera都不支持multi-homing。

3.硬件管理網(wǎng)絡(luò)

    硬件管理網(wǎng)絡(luò)是用于帶外硬件管理的1 GbE網(wǎng)絡(luò)。通過System x3650 M5服務(wù)器中的集成管理模塊II（IMM2），帶外管理可實(shí)現(xiàn)集群節(jié)點(diǎn)的硬件級(jí)管理，如節(jié)點(diǎn)部署，基本輸入/輸出系統(tǒng)（BIOS）配置，狀態(tài)和電源狀態(tài)。

    Hadoop不依賴于IMM2。根據(jù)客戶要求，管理鏈接可以分隔到不同的VLAN或子網(wǎng)上。 管理網(wǎng)絡(luò)通常直接連接到客戶的管理網(wǎng)絡(luò)。

參考架構(gòu)需要一個(gè)1 Gb以太網(wǎng)TOR交換機(jī)用于硬件管理網(wǎng)絡(luò)。管理員還可以通過客戶管理網(wǎng)絡(luò)訪問集群中的所有節(jié)點(diǎn)，在第一章的圖中，管理鏈路連接到集成的1 GBaseT適配器上的專用IMM2端口。

4.多機(jī)架的網(wǎng)絡(luò)

    以上談到的數(shù)據(jù)網(wǎng)絡(luò)的參考架構(gòu)配置是由單個(gè)網(wǎng)絡(luò)拓?fù)錁?gòu)成的。如果是多機(jī)架的架構(gòu)，還需要一個(gè)聯(lián)想RackSwitch G8316核心交換機(jī)。 在這種情況下，第二個(gè)Broadcom10 GbE端口可以連接到第二個(gè)Lenovo RackSwitch G8272。G8272的過載率（over-subscription ratio）是1：2.

下圖展示了當(dāng)CDH集群安裝在多個(gè)機(jī)架上時(shí)，如何配置網(wǎng)絡(luò)。每個(gè)機(jī)架的G8272交換機(jī)通過兩個(gè)聚合的40 GbE上行鏈路連接到核心G8316交換機(jī)。

注：為了簡化這個(gè)圖，圖中僅繪制了一個(gè)G8272，但是推薦使用兩個(gè)G8272并配置為HA。

跨機(jī)架的交換機(jī)推薦40GbE的，可以用Lenovo System NetworkingRackSwitch G8316。最佳實(shí)踐是為每個(gè)機(jī)架安裝冗余的核心交換機(jī)，以避免單點(diǎn)故障。在每個(gè)機(jī)架內(nèi)，G8052交換機(jī)可以選擇配置為具有兩個(gè)G8272交換機(jī)的上行鏈路，以允許通過G8316核心交換機(jī)在集群機(jī)架之間傳播管理VLAN。對(duì)于大型集群，推薦使用Lenovo System NetworkingRackSwitch G8332，因?yàn)槊總€(gè)40 Gb的端口的價(jià)格比G8316要更低。可以配置成許多機(jī)架能互相訪問網(wǎng)絡(luò)，但可能需要做一些特定的部署配置來滿足超過3個(gè)機(jī)架的快速尋址。

如果開始規(guī)劃的就是多機(jī)架的解決方案，或者隨著系統(tǒng)的擴(kuò)容后面慢慢的加入了一些機(jī)架，CDH管理服務(wù)相關(guān)的節(jié)點(diǎn)我們建議分開部署在不同的機(jī)架從而最大化容錯(cuò)。

5.CDH其他網(wǎng)絡(luò)要求

Hadoop網(wǎng)絡(luò)要求：

1.所有的Hadoop服務(wù)器節(jié)點(diǎn)應(yīng)該是獨(dú)有的網(wǎng)絡(luò)，而不存在跟其他應(yīng)用程序的節(jié)點(diǎn)共享網(wǎng)絡(luò)I/O的情況。

2.每個(gè)服務(wù)器應(yīng)該都配置靜態(tài)IP。如果配置了動(dòng)態(tài)IP，在機(jī)器重啟或者DNS租約過期時(shí)，機(jī)器的IP地址會(huì)改變，這將導(dǎo)致Hadoop服務(wù)故障。

3.專用TOR交換機(jī)。

4.專用的核心交換刀片或者核心交換機(jī)。

5.盡量保證應(yīng)用服務(wù)器與Hadoop“近”一些。

6.CDH只支持IPv4，不支持IPv6

7.機(jī)架之間的網(wǎng)絡(luò)連接速度應(yīng)該足夠快。

8.確保網(wǎng)絡(luò)接口對(duì)于集群中的所有節(jié)點(diǎn)應(yīng)該是一致的。（比如MTU設(shè)置應(yīng)該一樣）

9.關(guān)閉所有節(jié)點(diǎn)的Huge Page compaction

10.確保集群中的所有網(wǎng)絡(luò)連接都會(huì)被監(jiān)控，比如沖突和丟包問題。以方便后期進(jìn)行排障。

感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享的“CDH網(wǎng)絡(luò)要求的示例分析”這篇文章對(duì)大家有幫助，同時(shí)也希望大家多多支持億速云，關(guān)注億速云行業(yè)資訊頻道，更多相關(guān)知識(shí)等著你來學(xué)習(xí)!