網(wǎng)絡(luò)管理離不開拓樸圖的構(gòu)建

   新浪微博： @wandering

    博客地址：  dayong.info

   全職做網(wǎng)絡(luò)工作的時間，差不多快五年了，正好與女兒的年紀(jì)相仿，而恰恰這二者又都是自己生命中最重要的經(jīng)歷。女兒剛出生時，還完全沒有意識到自己角色的變化，隨著女兒不斷成長才越發(fā)感受到作為父親的自己身心發(fā)生的變化。同樣，經(jīng)歷了幾乎從零開始的痛苦職業(yè)轉(zhuǎn)型后，通過幾年網(wǎng)絡(luò)歷練，終于讓自己找到了一種腳踏實地的信心和喜悅。

   進(jìn)入正題，就像在前一篇文章《網(wǎng)管的三個重要服務(wù)：AAA、NTP和SYSLOG》所講，在網(wǎng)絡(luò)工作初期遇到了大量的困難和挑戰(zhàn)，其中最緊急、最重要的是故障處理。

   為什么說故障處理是重中之重呢？

   無論是新人或是老人，無論是學(xué)習(xí)還是交流，無論是優(yōu)化網(wǎng)絡(luò)還是架構(gòu)設(shè)計，一旦發(fā)生故障，特別是重大故障，那就必須調(diào)動足夠的資源優(yōu)先處理，盡量降低服務(wù)所受影響，縮短故障處理時間。而故障處理，特別考驗一個網(wǎng)絡(luò)工程師的綜合能力，對網(wǎng)絡(luò)架構(gòu)的了解、對各種設(shè)備的熟悉、對相關(guān)技術(shù)的掌握、對問題的分析和把控、對產(chǎn)品應(yīng)用的了解以及面對突發(fā)事件的心理承受能力等等。

   因此，提高自己的故障處理水平，成為了首要發(fā)展目標(biāo)。

   為了達(dá)到這個目標(biāo)，采取了一些措施，包括：

   1）將全網(wǎng)所有IDC的網(wǎng)管服務(wù)器、核心設(shè)備、邊界設(shè)備、×××設(shè)備、重要匯聚交換機，全部登錄若干遍，首先保證發(fā)生問題時自己可以登錄到故障相關(guān)設(shè)備，并對設(shè)備對一定印象和了解。

   2）熟悉不同廠商設(shè)備的基礎(chǔ)操作命令，并制定一些任務(wù)或場景，例如查看CPU確定影響CPU的常見因素和解決方法，例如可能發(fā)生的各類故障相關(guān)的信息收集、狀態(tài)檢測和操作處理，例如關(guān)鍵二三層協(xié)議的狀態(tài)檢測和常用操作方法（STP、OSPF等），例如如何快速上線替換設(shè)備，例如如何快速定位故障位置等等。

   3）熟悉不同IDC的關(guān)鍵設(shè)備的物理、邏輯連接關(guān)系，IP/網(wǎng)段，功能作用，關(guān)鍵配置，特殊之處等等。

   4）大量閱讀線上設(shè)備相關(guān)文檔，與工作相關(guān)的經(jīng)典技術(shù)書籍中的相關(guān)內(nèi)容，與老同事大量溝通，在處理故障時第一時間咨詢了解對方的做法以及自己的處理方法是否得當(dāng)。

   5）重新學(xué)習(xí)和理解一些網(wǎng)絡(luò)原理，例如什么是以太網(wǎng)，例如GE接口到底能跑到多大帶寬、為什么？例如為什么光接口會出現(xiàn)CRC錯誤？

   6）開始使用文本記錄一些關(guān)鍵網(wǎng)絡(luò)信息，后來發(fā)展成為個人的CMDB。

   *注1：為什么使用文本？跨平臺、高效檢索、可以被外部程序調(diào)用。

   *注2：為什么不做在線CMDB？精力能力有限，公司已有CMDB，另如果已有CMDB好用的話……

   上述措施讓自己迅速進(jìn)入了工作狀態(tài)，更重要的是身處良好的技術(shù)團(tuán)隊。

   接下來，發(fā)現(xiàn)越來越多的事務(wù)和故障，需要熟悉和了解IDC間的連接關(guān)系及其角色功能。

   IDC南北向流量靠得是ISP提供的互聯(lián)網(wǎng)出口帶寬，而東西向流量依賴大量的專線和×××，當(dāng)可以解決一些個體、局部問題后，就自然而然地關(guān)注到一些結(jié)構(gòu)性、與互聯(lián)相關(guān)的問題了。

   因此，為自己定下了另一個目標(biāo)，繪制出公司全網(wǎng)的專線和路由連接拓樸。

   而促使自己這樣做的另一個原因是，當(dāng)時網(wǎng)絡(luò)團(tuán)隊內(nèi)并沒有全網(wǎng)的物理或邏輯結(jié)構(gòu)拓樸。這樣會帶來一些問題，例如團(tuán)隊新成員需要花費大量時間熟悉網(wǎng)絡(luò)，雖然這是必須經(jīng)歷的過程。例如并不是所有人都對整體網(wǎng)絡(luò)架構(gòu)十分清楚，每個人心中的網(wǎng)絡(luò)結(jié)構(gòu)都各不相同，這給溝通和協(xié)作帶來不便甚至是障礙等等。

   下面六張拓樸，就是幾年來不同時期所繪制的網(wǎng)絡(luò)拓樸，這些版本基本上是延續(xù)發(fā)展的。從拓樸圖的變化，能夠反映出自己對網(wǎng)絡(luò)的理解、認(rèn)識、態(tài)度的變化，也能反映出公司網(wǎng)絡(luò)的變遷。

   階段一

   拓樸涵蓋的僅僅是自己所關(guān)注的幾個重要IDC，及它們之間的重要專線等連接關(guān)系，比較簡陋。類似的拓樸，很多同事都畫過，這似乎是網(wǎng)絡(luò)工程師必經(jīng)的成長之路。但這個拓樸給我?guī)椭艽?，它的存在使自己能夠把每一次思考的收獲都累積起來，并不斷完善和改進(jìn)。

   階段二

   內(nèi)容有所豐富，重要的變化是增加了互聯(lián)接口和地址信息。當(dāng)時網(wǎng)絡(luò)內(nèi)是OSPF與靜態(tài)路由混用，路由調(diào)整非常復(fù)雜。經(jīng)常因某鏈路發(fā)生擁塞而需要找到流量大戶并通過靜態(tài)路由拆分流量的情況，稍有不慎就會導(dǎo)致路由錯誤。而當(dāng)個別鏈路故障中斷時，流量分析、重新選路都是全手工操作，非?？植?。

   當(dāng)一次一次在深夜里被叫起，需要在最快的時間內(nèi)判斷鏈路故障、制定臨時解決方案、進(jìn)行大量靜態(tài)路調(diào)整時，下定決心改變現(xiàn)狀，那種經(jīng)歷真的真的是一種折磨。

   階段三

   于是有了階段三，此時全網(wǎng)主要鏈路都已經(jīng)被OSPF覆蓋，雖然在一些窄帶鏈路上還有靜態(tài)路由存在，但基本上絕大部分手工切路由的情況沒有了。所關(guān)注的范圍擴(kuò)大到全網(wǎng)所有路由節(jié)點，并在拓樸中加入更豐富的信息，期望可以從拓樸中找到故障處理和日常變更的最關(guān)鍵信息。例如route-id，例如cost值，例如互聯(lián)接口和互聯(lián)地址。

   另外，在繪制拓樸時，盡量做到：將圖縮小看全局時結(jié)構(gòu)清晰、關(guān)系直觀明確，將圖放大看局部時信息豐富、易于與外部關(guān)聯(lián)，盡量在有限空間內(nèi)把所有路由節(jié)點展示清楚。很快，這份網(wǎng)絡(luò)拓樸圖成為團(tuán)隊同事人手一份參考文件，并由自己來定期更新和維護(hù)。

   當(dāng)整個團(tuán)隊面向同一個拓樸時，大家就從在腦海里構(gòu)建網(wǎng)絡(luò)結(jié)構(gòu)的事件中解脫，在相同的信息基礎(chǔ)上對各種問題進(jìn)行分析和探討，哪些節(jié)點沒有冗余，哪些鏈路流量走向不合理，哪里需要擴(kuò)容等等，事情變得越來越好。

   階段四

   此時，網(wǎng)絡(luò)團(tuán)隊的關(guān)注重點變成了如何讓自己從被動擴(kuò)容和鏈路冗錯處理的事務(wù)中解脫出來。

   首先，將不重要的節(jié)點從拓樸中清除掉，改變以住的三角型IDC承現(xiàn)關(guān)系，嘗試?yán)矛F(xiàn)有的鏈路，參考位于不同ISP的核心節(jié)點，從所有IDC中選出一組環(huán)型節(jié)點，創(chuàng)建出一個邏輯上的骨干網(wǎng)，其它節(jié)點全部降級為連接到骨干網(wǎng)的接入節(jié)點。

   為了滿足兩個主要ISP間的占整網(wǎng)流量多數(shù)的傳輸需要，每ISP選擇2個骨干節(jié)點，分別在兩對不同ISP節(jié)點間建立2條邏輯鏈路，以達(dá)到兩個ISP間共4條邏輯鏈路的效果。為了達(dá)到這個目標(biāo)，將全網(wǎng)OSPF鏈路cost值全部改為手工指定，嚴(yán)格地按照設(shè)計的傳輸層次設(shè)定。

   另外，為了達(dá)到骨干傳輸效果，甚至放棄了幾條大容量專線，就是因為這些專線一旦使用，會導(dǎo)致結(jié)構(gòu)性的破壞。為了使整個團(tuán)隊接受類似的觀點，花費了大量時間用于溝通、技術(shù)交流、基于拓樸模型的故障模擬，經(jīng)過多次改進(jìn)和完善。

   最終，從階段四的設(shè)計和規(guī)劃階段，發(fā)展到階段五。

   階段五

   至此，骨干傳輸網(wǎng)絡(luò)概念終于確立，之后的IDC選型、專線擴(kuò)容、網(wǎng)絡(luò)規(guī)劃等一系列工作，都變成了有理可依、有據(jù)可查的局面。而網(wǎng)絡(luò)工作，也慢慢離開了救火隊的角色，盡管網(wǎng)絡(luò)變得更復(fù)雜、更龐大，但一切井然有序，可以清楚地知道有哪些問題存在以及解決問題的優(yōu)先順序。高度可靠、穩(wěn)定的網(wǎng)絡(luò)結(jié)構(gòu)，保證了在發(fā)生故障時最大程度地減少了服務(wù)中斷情況發(fā)生，使網(wǎng)絡(luò)團(tuán)隊從巨大的業(yè)務(wù)影響壓力中解脫，發(fā)生故障時可以安心解決故障。

   接下來，新的挑戰(zhàn)不期而遇，大量的IDC間數(shù)據(jù)調(diào)用，導(dǎo)致傳輸網(wǎng)容量迅速出現(xiàn)不足的情況。正是因為前期解決了結(jié)構(gòu)上的根本不足，所以擴(kuò)容問題帶給網(wǎng)絡(luò)團(tuán)隊的只是選擇哪種擴(kuò)容方式而己，可以把主要精力用于研究當(dāng)前和未來需要關(guān)注的事情上。

   階段六

   公司網(wǎng)絡(luò)的近期情況，最終選擇通過波分技術(shù)將現(xiàn)有專線擴(kuò)容，其擴(kuò)容能力至少可以滿足未來3年的發(fā)展需要。除了傳輸骨干網(wǎng)容量的提升，還在減少設(shè)備和鏈路單點故障、減少傳輸網(wǎng)與交換網(wǎng)相互干擾、流量分析、網(wǎng)絡(luò)監(jiān)控等方面投入了更大的精力。

   不久前，網(wǎng)絡(luò)拓樸維護(hù)工作正式交接給進(jìn)入部門一年多的一位新同事手中，感覺就像把自己精心呵護(hù)長大的孩子交給別人一樣。目前，公司在網(wǎng)絡(luò)互聯(lián)上，已經(jīng)走上正軌，只要不是為了改變而改變、為了業(yè)績而改變，而是站在網(wǎng)絡(luò)發(fā)展和業(yè)務(wù)發(fā)展的實際需求上客觀分析問題，尋求解決方法，一定會發(fā)展的越來越好。

   以上就是自己所在公司網(wǎng)絡(luò)的發(fā)展過程，希望對網(wǎng)絡(luò)同仁有所幫助。仍然沒有涉及過多細(xì)節(jié)，因地制宜、因人而異，重要的是想法和思路。

   *注：文中拓樸，已盡力縮小和對關(guān)鍵信息處理，力求即不泄露公司機密，又能展示拓樸要素，如有不詳還請見諒。