TF Live直播回放丨王峻：借助開源SDN利器打通異構(gòu)混合云

在多云時代的企業(yè)云服務中，經(jīng)常遇到混合云和異構(gòu)資源問題，作為開源SDN 的代表， Tungsten Fabric 能夠很好實現(xiàn) SDN 互通，在網(wǎng)絡層面打通異構(gòu)資源池。

7 月 9 日，在 TF 中文社區(qū)線上直播活動【  TF Live  】中，華勝天成網(wǎng)絡架構(gòu)師王峻與大家進行了在線交流，演示了基于 Tungsten Fabric 開源 SDN 功能，如何實現(xiàn) vCenter 、 OpenStack 、 K8s 之間的異構(gòu)資源池互通，以及服務鏈的引流功能。

本期活動，由TF 中文社區(qū)和 SDNLAB 聯(lián)合舉辦。

【pdf文檔下載】

https://tungstenfabric.org.cn/assets/uploads/files/tf-live4-sdn.pdf

【直播視頻回放】

https://v.qq.com/x/page/m31138leucf.html

王峻，華勝天成網(wǎng)絡架構(gòu)師。擁有 10 多年網(wǎng)絡行業(yè)經(jīng)驗，曾參與設計建設大型銀行骨干網(wǎng)、互聯(lián)網(wǎng)政務云等項目。在 7 月 9 日的 TF Live 直播和問答環(huán)節(jié)，王峻也分享了自己的實踐心得，以及 Tungsten Fabric 在企業(yè)云計算應用中的作用和表現(xiàn)。

基于 Tungsten Fabric 實現(xiàn)資源池互通

作為老牌云計算綜合服務商和云計算運營商，華勝天成在服務客戶云計算業(yè)務的過程中，開發(fā)了適應多云異構(gòu)資源的統(tǒng)一管理平臺，通過統(tǒng)一的云管平臺，去對接OpenStack 、 K8s 、 vCenter 、 PowerVC 、 Ironic/xCAT 、裸機、公有云等各自不同的資源池。  

不過，在網(wǎng)絡層面上，每類資源池其實都有各自的一套網(wǎng)絡體系和插件。這對于云管平臺來說，網(wǎng)絡層就變得比較復雜，需要尋找統(tǒng)一網(wǎng)絡管理解決方案，應對客戶支持異構(gòu)資源池的需求。同時，許多客戶并不希望被廠商綁定，希望構(gòu)建一個解耦的架構(gòu)。

王峻介紹，華勝天成的云開發(fā)團隊經(jīng)過大量調(diào)研比較，在多云環(huán)境覆蓋、混合資源池網(wǎng)絡應用編排、 SDN 功能、設備支持友好度、開源架構(gòu)、專業(yè)網(wǎng)絡支持等方面綜合考量，最終選擇了 Tungsten Fabric 作為未來統(tǒng)一網(wǎng)絡管理的技術方向。  

從Tungsten Fabric 的整體架構(gòu)來看，不管是 OpenStack 的資源池，還是 k8s 的資源，或者 VMware 的資源池，都通過 Tungsten Fabric 計算節(jié)點里邊的 vRouter 來實現(xiàn)。

QA問答

在 實際應用使用中， 一般 什么場景 會出現(xiàn)這種多個異構(gòu)資源 ？

從現(xiàn)在很多項目上來看，客戶本身一直通過 VMWARE 使用虛擬化，后來又上了 OpenStack ，這種情況很多，但兩邊管理是割裂的。對于客戶來說，一方面想要解耦，不希望綁定廠商；另一方面，比如互聯(lián)網(wǎng)出口有內(nèi)外兩層防火墻，也需要做成異構(gòu)的，在金融行業(yè)都是比較常見的。

原來用 某廠 的 OpenStack 方案，想用Tungsten Fabric的話是不是改動太大了？

改動應該比較大，我不知道您用的是他們SDN 哪個版本？像廠商這種的，都是基于硬件下發(fā)相應配置，然后在邊界上去做一個 VLAN 到 VXLAN 的一個轉(zhuǎn)換。而  Tungsten Fabric 主要是開源軟件，可以看到，我們所有的 vRouter 全都是在宿主機上去裝的，然后跟 underlay 的網(wǎng)絡其實沒什么關系，只要保證互通就行。

V r outer替換了OVS，架構(gòu)變化還是挺大的。

對。變化確實比較大，vRouter 相當于都是路由的東西。比如說我在 vCenter 里面創(chuàng)建了一個虛機，然后接到了分布式交換機上，就算我們用的是相同的網(wǎng)絡， Tungsten Fabric 也會分配不同的 VLAN tag ，這就會導致所有的流量都會上到 vRouter 上去，不會在這個 vSwitch 上去做轉(zhuǎn)發(fā)。  

三個資源池的互通演示

接下來王峻進行了細致的演示，基于Tungsten Fabric 在 vmware 中的實現(xiàn)（ Tungsten Fabric 和 vCenter 的集成），來進一步說明 Tungsten Fabric 的功能。  

l  Tungsten Fabric 通過監(jiān)控 VM 的創(chuàng)建的 event ，部署網(wǎng)絡和安全策略；

l  Tungsten Fabric 會為每個 VM 分配 vlan id ，每一個 VM 都有一個獨立的 vlan id ；

l  vRouter 一個口通過 trunk 連接到 vCenter 的分布式交換機，所有 VM 流量到交換機上打上相應 tag ，通過 trunk 發(fā)給 vRouter ，進入相應 vrf ，接下來處理方式和 openstack 和 k8s 就都一樣了；

l  vRouter 另一個口通過標準端口組連接物理網(wǎng)卡，和其他的 ESXi 和 KVM 資源池建立 MPLSoverUDP 的隧道；

l  實際運行中，會在vRouter 裝一個 vCenter 的 manager ，去管理 VLAN 的 tag 。

  在直播的演示環(huán)境中，包含了 OpenStack ， K8s 和 vCenter 三個資源池。通過在 vCenter 上部署兩臺機器：一臺為 TF 的 Controller ，一臺為部署了 vRouter 的 ESXi ，后者創(chuàng)建一個虛機，然后去和 K8s 和 OpenStack 上虛機的互通。  

在三個資源池互通演示完成后，王峻還演示了數(shù)據(jù)流追蹤，在vRouter 上通過命令追蹤數(shù)據(jù)流，查看了中間的轉(zhuǎn)發(fā)過程和互通的實現(xiàn)。

QA問答

每個資源池都有一個 vRouter ，這個是誰提供的？

比如說我們在OpenStack 有兩個計算節(jié)點，這兩個節(jié)點宿主機上面都會有相應的 vRouter ，去負責它的宿主機的轉(zhuǎn)發(fā)。再看 K8s 里面的 Pod ，兩個 node 上都有 vRouter 。對于 vCenter 來說，每個 ESXi 上都有 vRouter 。

剛才這些 演示的 操作，都在一臺 宿主 機上完成的嗎？

不是的，我們的OpenStack 和 K8s 是嵌套虛擬化，在現(xiàn)有的虛擬化平臺上又搭建了環(huán)境， vCenter 這塊也是用一個工作站去搭的，還有 v Center 的環(huán)境， VMX 出口的路由器是在一個 vCenter 的環(huán)境上。

Tungsten Fabric 只能用于 二層的網(wǎng)絡 ，來 連接幾個資源池 ，是這樣嗎？

它其實本質(zhì)上是三層的，你的每一個虛機上來，它都在vRouter 上面，剛才我們也看了追蹤路由，虛擬機接上來之后會給它分配相應的虛擬接口，劃到相應的 VRF 里邊，剛才看到 VRF 里面的路由表，會生成一個 32 位的路由，本質(zhì)上我覺得還是路由，但它是一個 32 位的路由。

服務鏈的功能及引流

除了異構(gòu)資源池互通，王峻還分享了服務鏈的引流功能。 

虛機一般是通過vRouter 到網(wǎng)關，然后出去訪問互聯(lián)網(wǎng)，但為了保護虛機安全，可能還要在路徑上增加一個防火墻。此時防火墻有可能是在 OpenStack 、 KVM 資源池里邊，那就需要把流量引到防火墻，再從防火墻出來，然后再通過網(wǎng)關出去上網(wǎng)。  

也就是說，當我們需要在路徑上增加一些NFV 相應的功能，比如防火墻或者檢測的設備，然后把流量引過來，就要用到服務鏈的功能。

  針對服務鏈引流的演示，首先在 K8s 里邊創(chuàng)建一個 pod ，然后接入到一個自定義的網(wǎng)絡里邊，通過 Floating IP 綁定給 pod 。

接下來，防火墻是在vCenter 環(huán)境里的一個 VSRX ，有兩個 VN ，通過 RT ，去把 Floating IP 網(wǎng)絡和 left 網(wǎng)絡（ trust 接口）打通，將流量引到防火墻上來。

最后，再通過right 網(wǎng)絡，和 vmx 邊界打通，進而訪問外網(wǎng)。

QA問答

中間有沒有碰到過比較難解決的問題 ？跑通 的過程中踩過什么坑？

部署的過程中還好，但因為vCenter 文檔比較少，我們團隊這邊找了很多東西，遇到些麻煩。其實 vCenter 這塊來說， Tungsten Fabric 的支持不是特別好，比如防火墻導入文件鏡像的時候，只能選一個網(wǎng)卡，導入成功之后，要新添加網(wǎng)卡（需要三個接口：管理、 left 、 right ），這個時候 Tungsten Fabric 就不能識別到了，暫時只能手動解決。比如關聯(lián)了新建的網(wǎng)絡，或者原來關聯(lián)的網(wǎng)路改了，不能同步更改，要手動更改，才能一致互通。

Tungsten Fabric管 理 裸機的方向是什么？

Tungsten Fabric 目前不能完美地實現(xiàn)裸機的東西，我們裸機可以注冊到OpenStack 上面，然后去部署操作系統(tǒng)，完成后但就沒有辦法去切換到租戶網(wǎng)絡上去，還需要一些改進。

在實驗環(huán)境 中 的 underlay 是在一個局域網(wǎng) 嗎 ？ 可以在廣域網(wǎng)實現(xiàn)嗎？

廣域網(wǎng)其實有更好的方案，我們現(xiàn)在的環(huán)境，所有的出口都是通過一個VMX ，這樣的話不可能兩個數(shù)據(jù)中心通過同一個出口出去，我覺得更合理的方案是，每個數(shù)據(jù)中心都會有一個出口，然后通過出口去把兩邊實現(xiàn)互通，隧道應該是可以互通的，我們下一階段就要測這個場景。

在直播過程中，王峻也提到，Tungsten Fabric 還有很多需要改進完善的地方，但作為華勝天成下一步的網(wǎng)絡技術發(fā)展方向，團隊會和大家一樣，做好研究開發(fā)，在社區(qū)積極交流，探索如何更好地應用 Tungsten Fabric ，打造更高可用的異構(gòu)混合云架構(gòu)。

往期回顧

KK/建勛：多云、SDN，還有網(wǎng)工進化論

楊雨：Tungsten Fabric如何增強Kubernetes的網(wǎng)絡性能

Frank Wu：當OpenStack遇到Tungsten Fabric