數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)

傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)

傳統(tǒng)數(shù)據(jù)中新網(wǎng)絡(luò)架構(gòu)通常是3層結(jié)構(gòu)，（園區(qū)網(wǎng)一般也是3層結(jié)構(gòu)）Cisco稱之為：分級(jí)的互聯(lián)網(wǎng)絡(luò)模型，包含三層：

Core 核心層 ： 提供高速轉(zhuǎn)發(fā)，為多個(gè)匯聚層提供連接性
Aggregation 匯聚層 ：匯聚連接接入交換機(jī)，同時(shí)提供其他服務(wù)（FW、SLB、等）
Access 接入層 ：物理連接服務(wù)器，一般放在機(jī)柜頂端，也稱ToR交換機(jī)

一個(gè)三層架構(gòu)圖如下：

匯聚是網(wǎng)絡(luò)的分界點(diǎn)，匯聚交換機(jī)以下是L2網(wǎng)絡(luò)，以上是L3網(wǎng)絡(luò)，每組匯聚交換機(jī)是一個(gè)pod，根據(jù)業(yè)務(wù)分區(qū)分模塊。pod內(nèi)是一個(gè)或者多個(gè)VLAN網(wǎng)絡(luò)，一個(gè)POD對(duì)應(yīng)一個(gè)廣播域。

這種架構(gòu)部署簡(jiǎn)單，（vlan+xstp）技術(shù)成熟。

VLAN 、Xstp

使用vlan、xstp原因：

1、BUM（廣播，未知單播，組播）
vlan技術(shù)把一個(gè)大的物理二層域劃分成多個(gè)小的邏輯二層域，這邏輯的二層域被稱為vlan，同一個(gè)vlan內(nèi)可以二層通信，不通vlan之間隔離，這樣廣播的范圍被局限在一個(gè)vlan內(nèi)，不會(huì)擴(kuò)散到整個(gè)物理二層域
vlan還有簡(jiǎn)化管理，提高安全性等。。

2、環(huán)路及環(huán)路形成的廣播風(fēng)暴

如果是單設(shè)備單鏈路組成的3層架構(gòu)，是不存在環(huán)路以及環(huán)路帶來(lái)的廣播，但是這種網(wǎng)絡(luò)可靠性比較差，因?yàn)闆](méi)有任何的備份設(shè)備和備份鏈路，一旦某個(gè)設(shè)備或者鏈路發(fā)生故障，故障點(diǎn)下的所有主機(jī)就無(wú)法連上網(wǎng)絡(luò)。

為了提高網(wǎng)絡(luò)的可靠性，通常采用冗余設(shè)備和冗余鏈路（如上圖），這樣就不可避免形成環(huán)路，二層網(wǎng)絡(luò)處于同一個(gè)廣播域下，廣播報(bào)文在環(huán)路中反復(fù)持續(xù)傳送，無(wú)線循環(huán)下就會(huì)形成廣播風(fēng)暴，瞬間就會(huì)造成端口阻塞設(shè)備癱瘓。

防止環(huán)路出現(xiàn)，又要保證網(wǎng)絡(luò)的可靠性，就只能講冗余設(shè)備和冗余鏈路變成備份設(shè)備和備份鏈路，冗余設(shè)備和鏈路在正常情況下被阻塞掉，不參與數(shù)據(jù)報(bào)文的轉(zhuǎn)發(fā)，只有當(dāng)前轉(zhuǎn)發(fā)的設(shè)備、端口、鏈路出現(xiàn)故障導(dǎo)致網(wǎng)絡(luò)不通的時(shí)候，冗余設(shè)備和鏈路才會(huì)被打開(kāi)，使得網(wǎng)絡(luò)恢復(fù)正常，實(shí)現(xiàn)這些自動(dòng)控制的協(xié)議被稱為破環(huán)協(xié)議，最常用就是 STP （生成樹(shù)協(xié)議）有RSTP、MSTP 統(tǒng)稱 XSTP協(xié)議。

服務(wù)器虛擬化

虛擬化發(fā)展改變了數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)的需求，其中技術(shù)--虛擬機(jī)動(dòng)態(tài)遷移，虛擬機(jī)遷移要求虛機(jī)遷移前后的IP和MAC地址不變，這就需要虛機(jī)遷移前后的網(wǎng)絡(luò)處于同一個(gè)二層域內(nèi)部，甚至跨越不同地域、不同機(jī)房之間的遷移，使得數(shù)據(jù)中心二層網(wǎng)絡(luò)的范圍越來(lái)越大，出現(xiàn)了大二層網(wǎng)絡(luò)這一新領(lǐng)域?qū)ｎ}。

傳統(tǒng)網(wǎng)絡(luò)架構(gòu)的二層大不起來(lái)

一般傳統(tǒng)網(wǎng)絡(luò)架構(gòu)分區(qū)分模塊的業(yè)務(wù)特點(diǎn)，區(qū)域?qū)?yīng)VLAN劃分，跨pod遷移肯定的換IP地址，這就不符合虛機(jī)動(dòng)態(tài)遷移業(yè)務(wù)不中斷：

vlan問(wèn)題

VLAN的核心思想之一，就是通過(guò)劃分VLAN來(lái)縮小二層域的范圍和規(guī)模，來(lái)控制廣播風(fēng)暴的規(guī)模。
而對(duì)于大二層網(wǎng)絡(luò)的需求而言，又要求把所有服務(wù)器都納入同一個(gè)二層域，那如果把所有服務(wù)器都納入到同一個(gè)VLAN當(dāng)中，如果沒(méi)有其他隔離手段，那不就相當(dāng)于又把廣播域擴(kuò)得大大的？這和劃分VLAN的初衷是背道而馳的。

公有云的興起和IaaS模式的普及，“多租戶”環(huán)境成為了云網(wǎng)絡(luò)必備的基礎(chǔ)能力。而傳統(tǒng)二層網(wǎng)絡(luò)中，VLAN最多支持的租戶數(shù)量為4K，已經(jīng)跟不上業(yè)務(wù)的飛速發(fā)展。

xstp問(wèn)題

環(huán)路技術(shù)收斂慢，xSTP需要阻塞掉冗余設(shè)備和鏈路，降低了網(wǎng)絡(luò)資源的帶寬利用率，二層的組網(wǎng)規(guī)模受到極大的限制

實(shí)現(xiàn)大二層

傳統(tǒng)二層技術(shù)無(wú)法實(shí)現(xiàn)真正意義上大二層網(wǎng)絡(luò)，所以就要另外想辦法，然后技術(shù)大牛們各顯神通，想出了很多解決方案：

1、虛擬交換機(jī)技術(shù)

既然二層網(wǎng)絡(luò)的核心是環(huán)路問(wèn)題，而環(huán)路問(wèn)題是隨著冗余設(shè)備和鏈路產(chǎn)生的，那么把多臺(tái)設(shè)備、多條鏈路合并成一臺(tái)、一條就可以消除環(huán)路。那就是網(wǎng)絡(luò)設(shè)備虛擬化技術(shù)。
所謂網(wǎng)絡(luò)設(shè)備虛擬化技術(shù)，就是將相互冗余的兩臺(tái)或多臺(tái)物理網(wǎng)絡(luò)設(shè)備組合在一起，虛擬化成一臺(tái)邏輯網(wǎng)絡(luò)設(shè)備，在整個(gè)網(wǎng)絡(luò)中只呈現(xiàn)為一個(gè)節(jié)點(diǎn)。
網(wǎng)絡(luò)設(shè)備虛擬化再結(jié)合鏈路聚合技術(shù)，就能夠?qū)⒃瓉?lái)的多設(shè)備多鏈路的結(jié)構(gòu)變成邏輯上的單設(shè)備單鏈路的架構(gòu)，杜絕了環(huán)路的出現(xiàn)，因此不再受破環(huán)協(xié)議的限制，從而實(shí)現(xiàn)大二層網(wǎng)絡(luò)。

網(wǎng)絡(luò)設(shè)備虛擬化的主要技術(shù)大致可以分為三類：框式設(shè)備的堆疊技術(shù)、盒式設(shè)備的堆疊技術(shù)、框盒/盒盒之間的混堆技術(shù)。有華為的CSS、iStack、SVF，CISCO的VSS、FEX，H3C的IRF等。

網(wǎng)絡(luò)設(shè)備虛擬化方案也有一定的缺點(diǎn)：

1）這些協(xié)議都是廠家私有的，因此只能使用同一廠家的設(shè)備來(lái)組網(wǎng)。

2）受限于堆疊系統(tǒng)本身的規(guī)模限制，目前最大規(guī)模的堆疊/集群大概可以支持接入1~2萬(wàn)主機(jī)，對(duì)于超大型的數(shù)據(jù)中心來(lái)說(shuō)，有時(shí)候就顯得力不從心了。但是對(duì)于一般的數(shù)據(jù)中心來(lái)說(shuō)，還是顯得游刃有余的

東西向L3流量，不論是不是在一個(gè)接入層交換機(jī)下，都需要走到具有L3功能的核心交換機(jī)，如果東西流量大的話，浪費(fèi)寶貴核心交換資源，多層轉(zhuǎn)發(fā)也增加了網(wǎng)絡(luò)傳輸延時(shí)

其次共享的L2廣播域帶來(lái)的BUM（Broadcast·，Unknown Unicast，Multicast）風(fēng)暴隨著網(wǎng)絡(luò)規(guī)模的增加而明顯增加，最終將影響正常的網(wǎng)絡(luò)流量。

2、隧道技術(shù)

隧道技術(shù)解決的也是二層網(wǎng)絡(luò)的環(huán)路問(wèn)題，但是著眼點(diǎn)不是杜絕或者阻塞環(huán)路，而是在有物理環(huán)路的情況下，怎樣避免邏輯轉(zhuǎn)發(fā)路徑的環(huán)路問(wèn)題。

核心思想把三層網(wǎng)絡(luò)的路由轉(zhuǎn)發(fā)方式引入到二層網(wǎng)絡(luò)中，通過(guò)在二層報(bào)文前插入額外的幀頭，并且采用路由計(jì)算方式控制整網(wǎng)數(shù)據(jù)的轉(zhuǎn)發(fā)，不僅可以在冗余鏈路下防止廣播風(fēng)暴，而且可以做ECMP。這樣可以將二層網(wǎng)絡(luò)的規(guī)模擴(kuò)展到整張網(wǎng)絡(luò)，而不會(huì)受核心交換機(jī)數(shù)量的限制。當(dāng)然這需要交換機(jī)改變傳統(tǒng)的基于MAC的二層轉(zhuǎn)發(fā)行為，而采用新的協(xié)議機(jī)制來(lái)進(jìn)行二層報(bào)文的轉(zhuǎn)發(fā)。

新的協(xié)議包括TRILL、FabricPath、SPB等。

TRILL協(xié)議在原始以太幀外封裝一個(gè)TRILL幀頭，再封裝一個(gè)新的外層以太幀來(lái)實(shí)現(xiàn)對(duì)原始以太幀的透明傳輸，TRILL交換機(jī)可通過(guò)TRILL幀頭里的Nickname標(biāo)識(shí)來(lái)進(jìn)行轉(zhuǎn)發(fā)，而Nickname就像路由一樣，可通過(guò)IS-IS路由協(xié)議進(jìn)行收集、同步和更新

TRILL和SPB這些技術(shù)是CT廠商主推的大二層網(wǎng)絡(luò)技術(shù)方案。

3、Overlay網(wǎng)絡(luò)

Overlay網(wǎng)絡(luò)是在現(xiàn)有的網(wǎng)絡(luò)（Underlay網(wǎng)絡(luò)）基礎(chǔ)上構(gòu)建的一個(gè)虛擬網(wǎng)絡(luò)。所謂的現(xiàn)有網(wǎng)絡(luò)，就是之前的交換機(jī)所在的網(wǎng)絡(luò)，只要是IP網(wǎng)絡(luò)就行。而新構(gòu)建的Overlay網(wǎng)絡(luò)，用來(lái)作為服務(wù)器通訊的網(wǎng)絡(luò)。Overlay網(wǎng)絡(luò)是一個(gè)在L3之上的L2網(wǎng)絡(luò)。也就是說(shuō)，只要L3網(wǎng)絡(luò)能覆蓋的地方，那Overlay的L2網(wǎng)絡(luò)也能覆蓋。

通過(guò)用隧道封裝的方式，將源主機(jī)發(fā)出的原始二層報(bào)文封裝后在現(xiàn)有網(wǎng)絡(luò)中進(jìn)行透明傳輸，到達(dá)目的地之后再解封裝得到原始報(bào)文，轉(zhuǎn)發(fā)給目標(biāo)主機(jī)，從而實(shí)現(xiàn)主機(jī)之間的二層通信。
通過(guò)封裝和解封裝，相當(dāng)于一個(gè)大二層網(wǎng)絡(luò)疊加在現(xiàn)有的基礎(chǔ)網(wǎng)絡(luò)之上，所以稱為Overlay，也叫NVo3。

Overlay方案的核心就是通過(guò)點(diǎn)到多點(diǎn)的隧道封裝協(xié)議，完全忽略中間網(wǎng)絡(luò)的結(jié)構(gòu)和細(xì)節(jié)，把整個(gè)中間網(wǎng)絡(luò)虛擬成一臺(tái)“巨大無(wú)比的二層交換機(jī)”， 每一臺(tái)主機(jī)都是直接連在這臺(tái)“巨大交換機(jī)”的一個(gè)端口上。而基礎(chǔ)網(wǎng)絡(luò)之內(nèi)如何轉(zhuǎn)發(fā)都是這臺(tái)“巨大交換機(jī)”內(nèi)部的事情，主機(jī)完全無(wú)需關(guān)心。

Overly技術(shù)不依賴于承載網(wǎng)絡(luò)，可以充分利用現(xiàn)有的基礎(chǔ)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)大二層網(wǎng)絡(luò)，并且對(duì)于支持SDN和多租戶方面有優(yōu)勢(shì)，是當(dāng)前大二層網(wǎng)絡(luò)最熱門的技術(shù)，可以實(shí)現(xiàn)整個(gè)數(shù)據(jù)中心的大二層網(wǎng)絡(luò)，甚至跨數(shù)據(jù)中心的大二層組網(wǎng)，但是Overly技術(shù)中由Overly網(wǎng)絡(luò)和Underlay承載網(wǎng)絡(luò)兩個(gè)控制層面，管理維護(hù)和故障定位就相對(duì)復(fù)雜的多，運(yùn)維工作也相對(duì)較大。

vxlan配合Spine/Leaf架構(gòu)：

Spine/Leaf網(wǎng)絡(luò)擴(kuò)大接入和匯聚層。一個(gè)主機(jī)可以通過(guò)葉支交換機(jī)(leaf)和另一個(gè)葉支交換機(jī)上的主機(jī)進(jìn)行通信，而且是獨(dú)立的通道。這種網(wǎng)絡(luò)可以大大提高網(wǎng)絡(luò)的效率，特別是高性能計(jì)算集群或高頻流量通信設(shè)備

東西流量無(wú)須經(jīng)過(guò)核心