一文帶你領(lǐng)略虛擬化領(lǐng)域頂級(jí)技術(shù)會(huì)議KVM Forum 2018

摘要：            阿里云在KVM Forum 2018

KVM Forum是由Linux基金會(huì)組織的高端技術(shù)論壇會(huì)議，主要為社區(qū)各個(gè)維護(hù)者，開(kāi)發(fā)人員，和用戶提供一個(gè)討論Linux虛擬化技術(shù)發(fā)展趨勢(shì)以及挑戰(zhàn)的交流場(chǎng)所。參會(huì)人員都集中在KVM虛擬化相關(guān)領(lǐng)域，是KVM社區(qū)最為重要和權(quán)威的大會(huì)。

概述

2018年度的KVM Forum于10月24-26日在英國(guó)愛(ài)丁堡召開(kāi)。本次會(huì)議吸引了眾多技術(shù)專家參與會(huì)議。同時(shí)，參會(huì)公司聚集了各家云廠商以及Red Hat、Intel、IBM、AMD等系統(tǒng)和硬件廠商。

先來(lái)看看KVM Forum的超高人氣。

cdn.com/83f1008859a9c9703c3fe2f92691708c194b7209.png">

第一天的keynote被圍得水泄不通。

滿滿當(dāng)當(dāng)?shù)木筒蛥^(qū)

本屆大會(huì)總共有51個(gè)主題演講，覆蓋虛擬化各個(gè)領(lǐng)域，比如：熱遷移、嵌套虛擬化、ARM虛擬化、設(shè)備直通、輕量虛擬化、安全及性能優(yōu)化等方面。

熱門(mén)議題

從議題數(shù)量和現(xiàn)場(chǎng)效果來(lái)看，以下三個(gè)領(lǐng)域比較受到關(guān)注：

1. 嵌套虛擬化

2. 虛擬化性能優(yōu)化

3. 熱遷移

嵌套虛擬化
簡(jiǎn)單來(lái)說(shuō)，嵌套虛擬化就是解決如何在虛擬機(jī)里嵌套運(yùn)行虛擬機(jī)的問(wèn)題。作為近期新起的熱門(mén)話題，嵌套虛擬化相關(guān)演講在本次KVM Forum上多達(dá)4個(gè)。

會(huì)議介紹了半虛擬化（para-virtualization）VMCS，半虛擬化MSR-bitmap和時(shí)鐘優(yōu)化方面的技術(shù)，可以提升嵌套時(shí)vCPU之間的切換性能，幫助KVM更好地運(yùn)行在虛擬機(jī)里。

另外，會(huì)議還涉及了嵌套虛擬化的中斷虛擬化性能優(yōu)化，以及嵌套虛擬化對(duì)PowerPC處理器的支持。

可以看到，嵌套虛擬化技術(shù)在商用中初步取得了一定的成果，但在安全性上帶來(lái)的挑戰(zhàn)仍然是大家提問(wèn)的熱點(diǎn)。

虛擬化性能優(yōu)化
事實(shí)上，虛擬化的性能優(yōu)化在近幾年的KVM Forum中都比較受關(guān)注。在去年的大會(huì)上，阿里云高級(jí)技術(shù)專家張揚(yáng)就對(duì)消息傳遞類業(yè)務(wù)在KVM上的性能比較差的問(wèn)題，虛擬時(shí)鐘開(kāi)銷(xiāo)的問(wèn)題，以及消息中間件在KVM看到的性能下降等問(wèn)題提出過(guò)有效的解決方案。

此次，相關(guān)的演講涵蓋了vCPU優(yōu)化，內(nèi)存優(yōu)化，和I/O優(yōu)化。vCPU優(yōu)化包含了半虛擬化（para-virtualization）方面的優(yōu)化，如PV TLB shootdown，PV IPI性能優(yōu)化；內(nèi)存優(yōu)化涉及了virtio-mem引入半虛擬化接口，支持內(nèi)存熱插拔等等；I/O優(yōu)化介紹了vHost Virtio-net 網(wǎng)絡(luò)接收隊(duì)列的零頁(yè)拷貝（zero copy）。

熱遷移
彈性調(diào)度和動(dòng)態(tài)伸縮是云技術(shù)的核心特性。然而，它們都非常依賴底層熱遷移的技術(shù)性能完善。同時(shí)，通過(guò)熱遷移還可以很大程度降低物理故障對(duì)客戶的影響。在本屆大會(huì)上，熱遷移相關(guān)的演講全部人氣高漲。

在過(guò)去的一年，阿里云虛擬化團(tuán)隊(duì)對(duì)熱遷移領(lǐng)域大量投入，獲得了大量寶貴的經(jīng)驗(yàn)。本次參會(huì)的3個(gè)議題也全都關(guān)于熱遷移。在此，我們?yōu)榇蠹艺归_(kāi)詳細(xì)介紹。

阿里云在KVM Forum 2018

今年的KVM Forum，熱遷移的相關(guān)主題演講一共有五個(gè)，阿里云占了其中之三。

《Cloudatlas: Ways to Make Live Migration Easy and Expectable》
演講者：阿里云高級(jí)技術(shù)專家 張超；阿里云技術(shù)專家 謝峰

阿里云高級(jí)技術(shù)專家 張超

阿里云技術(shù)專家 謝峰

如何平衡熱遷移資源占用與性能開(kāi)銷(xiāo)，同時(shí)最小化熱遷移對(duì)客戶的業(yè)務(wù)影響，是所有公有云廠商都面臨的挑戰(zhàn)。阿里云創(chuàng)新性地利用機(jī)器學(xué)習(xí)的方法來(lái)預(yù)測(cè)熱遷移的代價(jià)以及虛擬機(jī)的負(fù)載，從而確定一個(gè)合理的熱遷移的時(shí)機(jī)和策略，最終提升遷移成功率以及降低熱遷移對(duì)用戶的影響。

阿里云虛擬化團(tuán)隊(duì)設(shè)計(jì)了一個(gè)完備的系統(tǒng)來(lái)執(zhí)行熱遷移任務(wù)的執(zhí)行。在演講中，提到了機(jī)器學(xué)習(xí)算法部分，阿里云使用FFT來(lái)判斷是否是周期性負(fù)載VM，并對(duì)周期性負(fù)載VM算出周期然后進(jìn)行預(yù)測(cè)，對(duì)于沒(méi)有明顯周期性負(fù)載的VM，團(tuán)隊(duì)采用ARIMA和LSTM兩個(gè)時(shí)間序列模型來(lái)做回歸預(yù)測(cè)，通過(guò)以上三種算法的結(jié)合可以快速并準(zhǔn)確地預(yù)測(cè)出95%以上VM在未來(lái)24小時(shí)的負(fù)載趨勢(shì)，從而找到一個(gè)最優(yōu)的遷移時(shí)間。

本次演講涉及了大量的算法研究，現(xiàn)場(chǎng)聽(tīng)眾對(duì)使用案例、方案原理、預(yù)測(cè)效果等非常細(xì)節(jié)的實(shí)現(xiàn)問(wèn)題進(jìn)行了進(jìn)一步的提問(wèn)。有一位行業(yè)專家現(xiàn)場(chǎng)說(shuō)：這是真正在解決公有云廠商關(guān)心的問(wèn)題。

《A Perfect Solution for Live Migration with Pass-through Devices》
演講者：阿里云技術(shù)專家 徐權(quán)

該演講直擊了現(xiàn)有直通設(shè)備熱遷移的問(wèn)題：即如何傳輸設(shè)備DMA的內(nèi)存和如何保存和恢復(fù)設(shè)備的狀態(tài)。

阿里云技術(shù)專家 徐權(quán)

演講深入分析了現(xiàn)有的一些方法和存在的問(wèn)題。比如Intel在82599網(wǎng)卡上，在虛擬機(jī)內(nèi)部設(shè)備驅(qū)動(dòng)引入self emulation layer，模擬設(shè)備DMA寫(xiě)操作，和恢復(fù)保存設(shè)備狀態(tài)。但由于特定的設(shè)備驅(qū)動(dòng)才能工作，而且設(shè)備本身設(shè)計(jì)的缺陷（寄存器只讀，在恢復(fù)中無(wú)法100%恢復(fù)），并不能很好地解決問(wèn)題。而如果從新的硬件和設(shè)備驅(qū)動(dòng)的角度切入，在成本投入上是巨大的，而且增加了軟件的維護(hù)成本。

阿里云擴(kuò)展了virtio硬件的功能，如感知虛擬機(jī)熱遷移，提供設(shè)備bitmap記錄設(shè)備DMA訪問(wèn)內(nèi)存，以及設(shè)備所有的寄存器能夠動(dòng)態(tài)地保存和恢復(fù)，同時(shí)修改現(xiàn)有的熱遷移和VFIO軟件框架。這樣能最大限度地利用現(xiàn)有設(shè)備驅(qū)動(dòng)，很好地支持Windows和Linux虛擬機(jī)，并不需要單獨(dú)維護(hù)各個(gè)版本的設(shè)備驅(qū)動(dòng)，大大降低了成本。

演講結(jié)束后，現(xiàn)場(chǎng)有十幾位專家的技術(shù)提問(wèn)。會(huì)后徐權(quán)還和Linux 社區(qū)VFIO maintainer Alex Wiliamson多次討論如何改進(jìn)現(xiàn)有的VFIO來(lái)支持直通設(shè)備熱遷移的通用框架。

《Live Migration Support for GPU with SRIOV: Challenges and Solution》
阿里云與AMD聯(lián)合演講，阿里云演講者：阿里云高級(jí)技術(shù)專家 鄭曉

GPU的熱遷移支持是業(yè)界的難點(diǎn)。首先，GPU硬件的調(diào)度與上下文切換是以millisecond 為單位的，是CPU的好幾個(gè)數(shù)量級(jí)，由此會(huì)引發(fā)GPU任務(wù)的搶占問(wèn)題。再者，GPU在云計(jì)算領(lǐng)域的拓展是最近幾年出現(xiàn)的熱點(diǎn)，而GPU硬件本身對(duì)于虛擬化熱遷移的支持尚未完善，比如GPU對(duì)local memory的dirty track，對(duì)non local memory的dirty track的硬件支持等。這些都為GPU的熱遷移帶來(lái)很多挑戰(zhàn)。

阿里云高級(jí)技術(shù)專家 鄭曉

演講中提到了GPU 任務(wù)在遷移途中的時(shí)效性，搶占問(wèn)題，比如GPU硬件本身在尚未支持framebuffer dirty track的時(shí)候，如何通過(guò)hypervisor的措施，通過(guò)系統(tǒng)軟件的方法來(lái)彌補(bǔ)，以及GPU本身上下文的切換需要處理的細(xì)節(jié)等等。

所有上面提到的問(wèn)題在阿里云與AMD聯(lián)合開(kāi)發(fā)的第一天就開(kāi)始考慮與設(shè)計(jì)。其中有眾多獨(dú)有的創(chuàng)新點(diǎn)。例如，在某些型號(hào)GPU硬件不支持dirty track的時(shí)候，通過(guò)軟件的方式來(lái)跟蹤GPU的Framebuffer dirty page；在Service downtime等關(guān)鍵性能指標(biāo)不符合預(yù)期的時(shí)候，如何把數(shù)據(jù)從6秒優(yōu)化到了0.35秒左右；功能方面，從單機(jī)遷移完善到多機(jī)多卡遷移；在穩(wěn)定性方面，從一開(kāi)始的做一次就宕機(jī)，到后續(xù)連續(xù)上千次的壓力測(cè)試……

此外，演講還加入了現(xiàn)場(chǎng)的Live Demo，從使用體驗(yàn)上面來(lái)說(shuō)，已經(jīng)可以做到GPU渲染任務(wù)的流暢遷移。

該演講得到了高度關(guān)注。會(huì)后，部分頂級(jí)硬件廠商還與演講者詳細(xì)討論了更多的熱遷移細(xì)節(jié)和性能指標(biāo)。

小結(jié)

參加完本次KVM Forum，我們深刻感覺(jué)到，如何解決實(shí)際生產(chǎn)環(huán)境中遇見(jiàn)的現(xiàn)實(shí)問(wèn)題，正受到業(yè)界越來(lái)越多的重視。

通過(guò)參會(huì)，促進(jìn)了我們和虛擬化業(yè)界的交流，也讓團(tuán)隊(duì)獲取了大量信息和寶貴經(jīng)驗(yàn)，這些都可以幫助我們更好地提升，并且不斷打磨提升彈性計(jì)算產(chǎn)品的底層能力。

作者： 雁鷹