IT設(shè)備的救命稻草-如何正確構(gòu)建OOB帶外網(wǎng)絡(luò)

現(xiàn)實(shí)生活中，無(wú)論是傳統(tǒng)的大型園區(qū)網(wǎng)絡(luò)，運(yùn)營(yíng)商?；蚴乾F(xiàn)今流行的數(shù)據(jù)中心、虛擬化等技術(shù)，往往歸根結(jié)底都是大量的網(wǎng)絡(luò)設(shè)備以及服務(wù)器堆疊而成。自然而然，當(dāng)網(wǎng)絡(luò)或者服務(wù)器因?yàn)檐浖收匣蛘呷藶椴僮魇д`的原因?qū)е孪到y(tǒng)宕機(jī)后，如何第一時(shí)間登陸到故障設(shè)備，并快速恢復(fù)業(yè)務(wù)已經(jīng)成為考驗(yàn)運(yùn)維人員的一大難題。

其實(shí)，試想如果網(wǎng)絡(luò)中存在一個(gè)完善的OOB帶外網(wǎng)絡(luò)，在故障發(fā)生時(shí)，網(wǎng)絡(luò)控制中心可通過(guò)此網(wǎng)絡(luò)登錄網(wǎng)絡(luò)設(shè)備或者服務(wù)器的帶外管理接口或者Console接口。從而第一時(shí)間獲取故障信息并予以修正，或者收集log文件上報(bào)廠家。豈不美哉？

OOB網(wǎng)絡(luò)定義及現(xiàn)網(wǎng)問(wèn)題分析

在詳細(xì)介紹解決方案之前，先明確什么是OOB帶外網(wǎng)絡(luò)。

OOB全稱Out Of Band，而OOB帶外網(wǎng)絡(luò)是指：通過(guò)一套與任何業(yè)務(wù)數(shù)據(jù)網(wǎng)絡(luò)沒(méi)有關(guān)聯(lián)的獨(dú)立網(wǎng)絡(luò)，網(wǎng)絡(luò)控制中心可以連接到各個(gè)服務(wù)器或者網(wǎng)絡(luò)設(shè)備的管理接口或者console。此管理流量不會(huì)因業(yè)務(wù)數(shù)據(jù)網(wǎng)絡(luò)重大故障而受其影響，故稱之為帶外網(wǎng)絡(luò)。與之相對(duì)于的則是帶內(nèi)網(wǎng)絡(luò)。

為什么需要OOB網(wǎng)絡(luò)？

對(duì)很多企業(yè)或者運(yùn)營(yíng)商來(lái)說(shuō)，當(dāng)進(jìn)行計(jì)劃性的遠(yuǎn)端網(wǎng)絡(luò)或系統(tǒng)維護(hù)時(shí)，往往會(huì)提前安排遠(yuǎn)端值班人員或者臨時(shí)駐場(chǎng)工程師隨時(shí)待命。若因?yàn)檐浖?/span>Bug等情況導(dǎo)致系統(tǒng)無(wú)法啟動(dòng)時(shí)，駐場(chǎng)工程師到達(dá)現(xiàn)場(chǎng)并連接帶外接口或者console，協(xié)助遠(yuǎn)端操作工程師進(jìn)行故障排查及業(yè)務(wù)恢復(fù)。

此方法存在的兩個(gè)弊端：

• 一方面駐場(chǎng)工程師經(jīng)驗(yàn)資質(zhì)可能低于遠(yuǎn)端執(zhí)行計(jì)劃事務(wù)的工程師，從而導(dǎo)致故障排查進(jìn)度緩慢，故障時(shí)間延長(zhǎng)。最總影響網(wǎng)絡(luò)KPI以及非常糟糕的客戶使用體驗(yàn)。

• 另一方面，無(wú)論是值班人員或者駐場(chǎng)工程師都存在項(xiàng)目成本問(wèn)題，長(zhǎng)期來(lái)說(shuō)，每一次計(jì)劃性的維護(hù)都需要一個(gè)駐場(chǎng)人員待命。但其實(shí)多數(shù)維護(hù)工作并不一定就會(huì)產(chǎn)生嚴(yán)重的故障，可是為了“萬(wàn)一”兩字，也需要駐場(chǎng)工程師支持。

對(duì)于網(wǎng)絡(luò)規(guī)模較大，業(yè)務(wù)節(jié)點(diǎn)分布全國(guó)的大型企業(yè)甚至運(yùn)營(yíng)商來(lái)說(shuō)，這些問(wèn)題會(huì)被不斷放大。試想某企業(yè)的北京總部為了管理公司全國(guó)的網(wǎng)絡(luò)節(jié)點(diǎn)，沒(méi)有OOB網(wǎng)絡(luò)而通過(guò)大量的駐場(chǎng)工程師協(xié)助維護(hù)將是一件費(fèi)時(shí)費(fèi)力的事情。

解決方案

如果此時(shí)引入OOB網(wǎng)絡(luò)，無(wú)論是執(zhí)行計(jì)劃維護(hù)的工程師還是日常運(yùn)維工程師，OOB就如一顆定心丸。一旦出現(xiàn)任何意外事故，工程師可以立即通過(guò)OOB網(wǎng)絡(luò)登錄遠(yuǎn)端故障設(shè)備立即排查故障，并及時(shí)恢復(fù)業(yè)務(wù)。所以OOB網(wǎng)絡(luò)從某種程度上可算的上是IT設(shè)備的救命稻草。

真OOB？假OOB？

也許有朋友會(huì)問(wèn)到，我司的設(shè)備所有帶外接口和console接口也都通過(guò)網(wǎng)絡(luò)設(shè)備互聯(lián)起來(lái)了，我們可以隨時(shí)隨地通過(guò)帶外接口或者console接口登錄設(shè)備。

但是，依我多年經(jīng)驗(yàn)發(fā)現(xiàn)，很多企業(yè)為了節(jié)省管理成本。僅僅是簡(jiǎn)簡(jiǎn)單單把帶外接口以及console-以太網(wǎng)轉(zhuǎn)換設(shè)備直連到業(yè)務(wù)交換機(jī)或者路由器上。

當(dāng)企業(yè)網(wǎng)絡(luò)工作正常時(shí)，一切相安無(wú)事。試想如出現(xiàn)任何網(wǎng)絡(luò)故障時(shí)，則極有可能波及此“帶外管理”和console接口設(shè)備，從而導(dǎo)致這些“帶外設(shè)備”形同虛設(shè)。

此為假OOB網(wǎng)絡(luò)！

如何正確構(gòu)建OOB網(wǎng)絡(luò)

為正確構(gòu)建OOB網(wǎng)絡(luò)，我們需要遵循如下要求：

    1). 此OOB網(wǎng)絡(luò)需要與業(yè)務(wù)網(wǎng)絡(luò)完全獨(dú)立。

如何實(shí)現(xiàn)與業(yè)務(wù)網(wǎng)絡(luò)完全獨(dú)立？

對(duì)企業(yè)來(lái)說(shuō)，如果購(gòu)買(mǎi)了運(yùn)營(yíng)商A的業(yè)務(wù)網(wǎng)絡(luò)。則可以通過(guò)購(gòu)買(mǎi)運(yùn)營(yíng)商B的廣域網(wǎng)接入服務(wù)接入全國(guó)重要網(wǎng)絡(luò)節(jié)點(diǎn)的OOB網(wǎng)絡(luò)，以及連接到公司總部OOB核心節(jié)點(diǎn)。

對(duì)于運(yùn)營(yíng)商來(lái)說(shuō)，可以重新鋪設(shè)獨(dú)立的OOB光纖網(wǎng)絡(luò)?；蛘咦庥闷渌\(yùn)營(yíng)商的廣域網(wǎng)構(gòu)建其獨(dú)立的OOB網(wǎng)絡(luò)。

    2). 網(wǎng)絡(luò)需要覆蓋企業(yè)或者運(yùn)營(yíng)商所有的重要網(wǎng)絡(luò)節(jié)點(diǎn)，無(wú)論國(guó)內(nèi)還是國(guó)際節(jié)點(diǎn)。

所謂的重要網(wǎng)絡(luò)節(jié)點(diǎn)是指那些如果出現(xiàn)故障會(huì)引起區(qū)域范圍的嚴(yán)重服務(wù)中斷，例如企業(yè)的某遠(yuǎn)程節(jié)點(diǎn)機(jī)房核心交換機(jī)或路由器。而對(duì)運(yùn)營(yíng)商來(lái)說(shuō)，可能是某PE路由器，P路由器或者BNG等。

那什么是國(guó)際節(jié)點(diǎn)？隨著越來(lái)越多的中國(guó)公司走出國(guó)門(mén)。在海外設(shè)置分支機(jī)構(gòu)的公司屢見(jiàn)不鮮。所以對(duì)于國(guó)內(nèi)總部來(lái)說(shuō)，遠(yuǎn)端OOB網(wǎng)絡(luò)管理海外節(jié)點(diǎn)尤其重要。同樣對(duì)于運(yùn)營(yíng)商上來(lái)說(shuō)，也存在很多海外PE路由器等。這些都是需要被OOB網(wǎng)絡(luò)保護(hù)的對(duì)象。

與境內(nèi)OOB節(jié)點(diǎn)不同的是，我們很難找到一個(gè)獨(dú)立的運(yùn)營(yíng)商幫助構(gòu)建一個(gè)涵蓋國(guó)內(nèi)和國(guó)際節(jié)點(diǎn)的OOB網(wǎng)絡(luò)。這個(gè)時(shí)候就需要借助Internet來(lái)連接海外OOB節(jié)點(diǎn)。總部OOB網(wǎng)絡(luò)站點(diǎn)可以連接本地運(yùn)營(yíng)商的Internet。而海外OOB站點(diǎn)可以通過(guò)連接當(dāng)?shù)剡\(yùn)營(yíng)商從而獲得Internet接入。

   3). 當(dāng)連接國(guó)際節(jié)點(diǎn)時(shí)，需要有安全的通信機(jī)制來(lái)保障OOB網(wǎng)絡(luò)的私密性。

上面提到需要用Internet來(lái)保證國(guó)際節(jié)點(diǎn)的通信。而Internet本身是不被信任的，同時(shí)日常工作中，網(wǎng)管數(shù)據(jù)大部分均為明文數(shù)據(jù)，為了解決此問(wèn)題我們需要有一套安全機(jī)制來(lái)保證國(guó)內(nèi)總部OOB網(wǎng)絡(luò)與國(guó)外分支OOB設(shè)備的通信是安全可靠的。

    4).7x24的高可用性。

    5.) 通過(guò)OOB網(wǎng)絡(luò)能夠連接到網(wǎng)絡(luò)設(shè)備的帶外接口、系統(tǒng)設(shè)備的iLO口，以及最重要的console 口等管理接口。

    6). 具備監(jiān)控節(jié)點(diǎn)環(huán)境的功能，例如但不限于：機(jī)柜前后門(mén)的開(kāi)關(guān)監(jiān)控，機(jī)柜溫度監(jiān)控等。

監(jiān)控節(jié)點(diǎn)環(huán)境和監(jiān)控設(shè)備軟件方面的健康同樣重要。只有保證設(shè)備的物理安全才存在軟件方面的設(shè)備監(jiān)控。例如我們需要監(jiān)控機(jī)柜門(mén)是否在未授權(quán)的情況下開(kāi)啟或者關(guān)閉，如果此情況發(fā)生，總部管理員會(huì)收到相關(guān)的告警提示等。

OOB網(wǎng)絡(luò)設(shè)備選型

與業(yè)務(wù)網(wǎng)絡(luò)設(shè)備類似，OOB網(wǎng)絡(luò)也需要對(duì)于的網(wǎng)絡(luò)設(shè)備來(lái)支撐。但相比業(yè)務(wù)網(wǎng)絡(luò)，OOB網(wǎng)絡(luò)存在如下特性：

·        低帶寬，ssh/telnet/SNMP等管理流量占用帶寬很低。偶爾會(huì)存在帶外FTP或者SCP傳輸升級(jí)文件等情況，但是總的來(lái)說(shuō)對(duì)吞吐量要求不高。

·        有一定的安全性要求，支持防火墻功能，支持IPsec***等。

而console轉(zhuǎn)以太網(wǎng)設(shè)備，正如上文OOB要求中提到，除基本的以太網(wǎng)轉(zhuǎn)console功能以外，還需要環(huán)境溫度檢測(cè)，以及通過(guò)DIO接口配合小型觸發(fā)開(kāi)關(guān)來(lái)檢測(cè)機(jī)柜門(mén)的開(kāi)關(guān)動(dòng)作。

#選型示例#

通過(guò)分析，選型如下（以Juniper為例）：

OOB網(wǎng)絡(luò)路由器：

總部：SRX300 x2 組成Cluster模式，支持1Gbps光纖。

Juniper最新款企業(yè)級(jí)低端防火墻，支持所有路由器協(xié)議（例如：RIP, OSPF, BGP等），交換功能，以及作為防火墻本身細(xì)顆粒度的安全策略等。全1Gbps 以太網(wǎng)口以及1Gbps 光口。

分支機(jī)構(gòu)：SRX110 100Mbps 以太網(wǎng)上聯(lián)或者ADSL、VDSL上聯(lián)。

與SRX300類似，支持所有路由協(xié)議，支持交換以及防火墻功能。同時(shí)由于有RJ11接口，支持xDSL服務(wù)。以太網(wǎng)口為100Mbps。

OOB Console轉(zhuǎn)換器：（以Opengear為例）

分支機(jī)構(gòu)：Opengear 遠(yuǎn)端網(wǎng)關(guān)，根據(jù)console口數(shù)量不同，型號(hào)也不同。支持溫度傳感器以及DIO編程接口。

（注：下圖的Opengear 甚至支持3G/4G，在某些不具備有線OOB網(wǎng)絡(luò)連接的地方，例如某些戶外站點(diǎn)可以使用3G/4G版本的Opengear做到遠(yuǎn)程OOB網(wǎng)絡(luò)管理。）

以上僅是選型示例。當(dāng)然，你可以根據(jù)自身需求以及當(dāng)?shù)厥袌?chǎng)情況采用類似的產(chǎn)品來(lái)實(shí)現(xiàn)一樣的效果。

網(wǎng)絡(luò)設(shè)計(jì)

設(shè)備選型完成以后，接下來(lái)就是網(wǎng)絡(luò)設(shè)計(jì)階段，根據(jù)OOB網(wǎng)絡(luò)需求分析，得出如下網(wǎng)絡(luò)框架，如下圖：

技術(shù)細(xì)節(jié)

OOB設(shè)備數(shù)量

OOB設(shè)備數(shù)量包含SRX110設(shè)備數(shù)量以及Opengear 數(shù)量，兩者的區(qū)別在于，SRX110除了預(yù)留一個(gè)接口連接Opengear的以太網(wǎng)接口以外，剩余的以太網(wǎng)接口將用于連接業(yè)務(wù)設(shè)備的帶外管理接口，例如Juniper設(shè)備的FXP0接口。

基于此，工程師需要統(tǒng)計(jì)每一個(gè)遠(yuǎn)程OOB站點(diǎn)需要接入多少業(yè)務(wù)設(shè)備，每一個(gè)設(shè)備存在多少個(gè)帶外管理接口或iLo接口，此決定了所需SRX110接口數(shù)量，若業(yè)務(wù)設(shè)備帶外管理口數(shù)量超過(guò)SRX110的以太網(wǎng)接口數(shù)，我們可以通過(guò)下掛二層交換機(jī)的方法解決接口短缺。

同時(shí)，工程師也需要統(tǒng)計(jì)每個(gè)站點(diǎn)需要接入OOB網(wǎng)絡(luò)的業(yè)務(wù)設(shè)備console數(shù)量。并根據(jù)此數(shù)量購(gòu)買(mǎi)相應(yīng)的Opengear設(shè)備。

子網(wǎng)劃分

在OOB網(wǎng)絡(luò)中，有如下幾個(gè)地方需要IP地址：

1.     每一個(gè)遠(yuǎn)端OOB站點(diǎn)（國(guó)內(nèi)和國(guó)際）需要一個(gè)獨(dú)立的子網(wǎng)用于SRX110下掛子網(wǎng)網(wǎng)關(guān)，Opengear以太網(wǎng)接口需要一個(gè)IP地址作為console登陸地址，以及業(yè)務(wù)設(shè)備帶外接口IP。

2.     國(guó)內(nèi)遠(yuǎn)端OOB站點(diǎn)SRX110與OOB中心路由器SRX300之間，需要點(diǎn)對(duì)點(diǎn)的IP地址來(lái)做到互聯(lián)互通。

3.     在網(wǎng)管中心與OOB中心節(jié)點(diǎn)SRX300之間需要建立點(diǎn)對(duì)點(diǎn)互聯(lián)。此處也需要IP地址。

4.     最后就是互聯(lián)網(wǎng)Internet IP地址。SRX300 需要向本地運(yùn)營(yíng)商申請(qǐng)互聯(lián)網(wǎng)Internet點(diǎn)對(duì)點(diǎn)IP地址。而海外OOB節(jié)點(diǎn)也同樣需要從當(dāng)?shù)氐倪\(yùn)營(yíng)商申請(qǐng)Internet IP地址。

互聯(lián)互通

三層路由互聯(lián)方面，國(guó)內(nèi)OOB網(wǎng)絡(luò)和國(guó)際OOB網(wǎng)絡(luò)實(shí)現(xiàn)細(xì)節(jié)不盡相同。

先從國(guó)內(nèi)OOB網(wǎng)絡(luò)說(shuō)起:

由于使用了運(yùn)營(yíng)商B的廣域網(wǎng)來(lái)連接各個(gè)OOB節(jié)點(diǎn)。根據(jù)運(yùn)營(yíng)商B提供的網(wǎng)絡(luò)服務(wù)不同，可以采用不同的路由協(xié)議。

存在下面兩種情況：

    1.     若運(yùn)營(yíng)商B根據(jù)每一個(gè)OOB站點(diǎn)分配一個(gè)VLAN ID，此VLAN ID最終二層透?jìng)鞯娇偛?/span>OOB網(wǎng)絡(luò)SRX300（在運(yùn)營(yíng)商此為L2***技術(shù)）。此種情況下，SRX300配置為點(diǎn)到多點(diǎn)P2MP型接口來(lái)連接所有國(guó)內(nèi)遠(yuǎn)程站點(diǎn)。并在點(diǎn)到多點(diǎn)P2MP上運(yùn)行OSPF協(xié)議，從而讓總部能夠?qū)W習(xí)到所有OOB站點(diǎn)的網(wǎng)段。另外，總部SRX300通過(guò)OSPF發(fā)布默認(rèn)路由到每一個(gè)分支OOB網(wǎng)絡(luò)站點(diǎn)。

    2.     若運(yùn)營(yíng)商B在其內(nèi)部為此OOB網(wǎng)路構(gòu)建了一個(gè)三層VRF。所有國(guó)內(nèi)遠(yuǎn)程OOB節(jié)點(diǎn)均通過(guò)PPPoE協(xié)議學(xué)習(xí)到運(yùn)營(yíng)商B的默認(rèn)網(wǎng)關(guān)，而在OOB網(wǎng)絡(luò)中心節(jié)點(diǎn)來(lái)說(shuō)，由于是光纖專線，OOB網(wǎng)絡(luò)SRX300可以與運(yùn)營(yíng)商B的PE運(yùn)行BGP協(xié)議從而學(xué)習(xí)到所有國(guó)內(nèi)遠(yuǎn)程OOB站點(diǎn)的網(wǎng)段信息。

對(duì)國(guó)際OOB站點(diǎn)而言

由于是通過(guò)Internet傳輸數(shù)據(jù)，所以保證海外OOB站點(diǎn)與中心OOB站點(diǎn)的數(shù)據(jù)通信安全可靠非常重要。自然而然IPsec *** Site to Site是最好的選擇。通過(guò)在海外站點(diǎn)與中心站點(diǎn)之間建立IPsec 隧道。所有網(wǎng)管數(shù)據(jù)例如SNMP，FTP，telnet等明文數(shù)據(jù)均被很好的保護(hù)起來(lái)。

而為了實(shí)現(xiàn)中心OOB網(wǎng)絡(luò)站點(diǎn)與海外站點(diǎn)的互聯(lián)互通，取決于海外OOB站點(diǎn)的數(shù)量多少，我們可以采用點(diǎn)對(duì)點(diǎn)OSPF動(dòng)態(tài)學(xué)習(xí)的方式，站點(diǎn)較少的情況下也可以手工指定靜態(tài)路由來(lái)實(shí)現(xiàn)路由的互通。

總結(jié)

本文概述了OOB帶外網(wǎng)絡(luò)的定義，以及業(yè)務(wù)網(wǎng)和帶外網(wǎng)分離的重要性。同時(shí)也介紹了如何構(gòu)架一個(gè)安全完整的OOB網(wǎng)絡(luò)。

在完成OOB網(wǎng)絡(luò)構(gòu)建以后，一方面減少了公司項(xiàng)目資源不必要的浪費(fèi)，同時(shí)也大大減小了運(yùn)維工程師的壓力，畢竟出現(xiàn)軟件bug等故障時(shí)，我們還有那么一根救命稻草。

謝謝大家的關(guān)注！