基于StarlingX的邊緣計算機器學習優(yōu)化

4月17-18日，由SDN/NFV/AI標準與產(chǎn)業(yè)推進委員會主辦的“2019中國SDN/NFV大會”在北京新云南皇冠假日酒店舉行。九州云技術(shù)總監(jiān)黃舒泉應邀出席此次會議，并在多接入邊緣計算分論壇上分享了《基于StarlingX的邊緣計算機器學習優(yōu)化》主題演講，向參會嘉賓演示了基于StarlingX架構(gòu)的實時人臉識別場景。

黃舒泉是九州云技術(shù)總監(jiān)，從事開源軟件工作超過10年。2011年起，他便積極參與OpenStack發(fā)展貢獻，擔任技術(shù)貢獻者、演講者和***松主席。2018年，黃舒泉成為StarlingX技術(shù)指導委員會的首位中國技術(shù)委員。九州云也是StarlingX項目始創(chuàng)成員單位之一。

SDN 將機器學習和邊緣計算結(jié)合起來的應用程序為各種行業(yè)帶來了新的經(jīng)驗和機遇，例如監(jiān)視中的實時預測、汽車中的自動駕駛汽車等。然而，構(gòu)建和培訓ML模型需要大量的資源，這并不適合edge。而且推理所需的資源要少得多，而這通常是在有新數(shù)據(jù)可用時實時完成的。

在本次演講中，黃舒泉分享了如何通過只將識別任務放在邊緣來優(yōu)化它。使用StarlingX構(gòu)建一個用于模型訓練的中心云和一個用于識別的邊緣云。通過利用StarlingX的分布式云特性，可以將在中心云中構(gòu)建和訓練的模型部署到邊緣云中，并使用連接的設備(如攝像頭和加速器)在邊緣云上本地運行推理。黃舒泉現(xiàn)場在邊緣展示了一個基于StarlingX架構(gòu)的實時人臉識別演示。以下是演講概覽：
?

什么是邊緣計算

隨著AR、VR、無人駕駛、物聯(lián)網(wǎng)和視頻智能分析等新興應用的產(chǎn)生，以及5G時代的即將到來，推動了邊緣計算的興起。從我自身的理解來看，邊緣計算其實是云計算的一個延伸。

邊緣計算是在靠近物或數(shù)據(jù)源頭的網(wǎng)絡邊緣側(cè)，融合網(wǎng)絡、計算、存儲、應用核心能力的分布式開放平臺，就近提供邊緣智能服務，滿足行業(yè)數(shù)字化在敏捷聯(lián)接、實時業(yè)務、數(shù)據(jù)優(yōu)化、應用智能、安全與隱私保護等方面的關(guān)鍵需求。

它可以作為聯(lián)接物理和數(shù)字世界的橋梁，使能智能資產(chǎn)、智能網(wǎng)關(guān)、智能系統(tǒng)和智能服務。邊緣計算可以提供云計算無法提供的低延時、高響應服務，如邊緣分析、邊緣安全防火墻等。

什么因素驅(qū)動邊緣計算的發(fā)展

我認為有四大因素推動了邊緣計算發(fā)展，包括延遲、帶寬、安全、鏈接。云計算的很多問題是通過OpenStack來解決，而邊緣計算幫助我們在靠近用戶或者靠近數(shù)據(jù)端去產(chǎn)生計算，它同樣需要計算、網(wǎng)絡、存儲等資源。

云計算同樣也是針對計算、存儲、網(wǎng)絡基礎設施進行一些管理，邊緣計算與云計算在解決問題上是有諸多共性的，但它們也有很大的不同。

數(shù)據(jù)中心可能在防塵、溫度等上面會有更高的一個要求，而邊緣計算它的環(huán)境是比較惡劣的，邊緣計算更多的會考慮一些無人值守以及高可用等。

StarlingX 簡介

StarlingX是一個針對高性能和低延遲應用進行優(yōu)化的開源邊緣計算和物聯(lián)網(wǎng)云平臺。該項目由OpenStack基金會支持，這是新的頂級OpenStack基金會試點項目。它提供可擴展且可靠度高的邊緣基礎架構(gòu)，已經(jīng)過測試，并可作為一個完整的堆棧使用。它的可應用在包括工業(yè)物聯(lián)網(wǎng)，電信，視頻傳輸以及其他超低延遲等領(lǐng)域。StarlingX確保了各種開源組件之間的兼容性，并為故障管理和服務管理提供獨特的項目組件，以保證用戶應用程序的高可用性。StarlingX是可擴展解決方案中實現(xiàn)邊緣計算的基礎，并且已準備好部署。

StarlingX繼承了OpenStack在云計算領(lǐng)域的一些最新實踐，同時結(jié)合我們發(fā)現(xiàn)邊緣計算的一些特定問題而進行優(yōu)化。所以從技術(shù)線路上也不難發(fā)現(xiàn)，邊緣計算并不是完全跟云計算割裂的，它是順應了云計算技術(shù)發(fā)展趨勢，甚至產(chǎn)生了更高的要求。

我很榮幸在StarlingX創(chuàng)立之初加入到了TSC技術(shù)委員會。StarlingX TSC主要成員分別來自Intel、風河、華為、Ericsson、Interdynamx。

StarlingX解決了什么問題

剛剛提到StarlingX是基于OpenStack，它解決了什么問題呢？我認為有四點：

邊緣計算基礎設施的架構(gòu)不同于傳統(tǒng)云計算：傳統(tǒng)云計算是在機房里面，規(guī)模都比較大，而邊緣計算它所處的環(huán)境會比較惡劣，例如在電信局端進行部署，往往只需一臺服務器運行一個完整的架構(gòu)來管理網(wǎng)絡。它需要有更輕量級的部署，或者單臺的這種部署方式。

邊緣計算比傳統(tǒng)云計算對穩(wěn)定性和健壯性有更高的要求：隨著邊緣計算節(jié)點的部署，可能會有成千上萬的邊緣節(jié)點，如果未來部署在我們COS，它的這個數(shù)量會急劇加大，邊緣計算的軟件需要有無人值守，有自動恢復等更高的功能。

大規(guī)模邊緣節(jié)點的管理不同于傳統(tǒng)云計算：其復雜度難度會更高。

邊緣云和中心云之間的互動協(xié)作：需要做好邊緣節(jié)點與邊緣節(jié)點之間的協(xié)同，邊緣節(jié)點與中心節(jié)點的協(xié)同。

StarlingX的目標

將已經(jīng)經(jīng)過驗證的云技術(shù)應用在邊緣計算上，然后來發(fā)展邊緣計算的管理框架，簡化部署邊緣云，最后把它應用在交通運輸、能源、制造業(yè)、零售、視頻、智慧城市、無人駕駛、醫(yī)療衛(wèi)生等等領(lǐng)域中。我們通過邊緣計算整體去編排中心云與邊緣云之間的所有資源，這是StarlingX的一個愿景。

StarlingX邊緣虛機化平臺

StarlingX 提供了一個可靈活部署、方便擴展和高可用的邊緣云軟件平臺。目前StarlingX主要包含如下新功能：

配置管理：StarlingX的代碼提供了節(jié)點配置以及庫存管理服務，帶有對新節(jié)點的自動發(fā)現(xiàn)及配置功能，這些對部署至關(guān)重要并且管理著大量遠端或者難以訪問的站點。Horizon的圖形用戶界面以及一個命令行交互接口管理著CPU，GPU，內(nèi)存，大內(nèi)存頁以及加密/壓縮頁面的庫存。

故障管理：用戶即可以在基礎架構(gòu)節(jié)點上，也可以在諸如虛擬機和網(wǎng)絡等虛擬資源上設定，清除或者查詢?yōu)橹匾录远x的報警以及日志。用戶可以在Horizon的圖形用戶界面上訪問主動報警列表（Active Alarm List）以及主動報警計數(shù)面板（Active Alarm Counts Banner）。

主機管理：StarlingX軟件提供生命周期管理功能，通過一個REST API接口管理主機。 這種與供應商無關(guān)的工具可以檢測主機故障并且通過為集群的連接，關(guān)鍵進程故障，資源利用率閾值以及硬件故障提供監(jiān)控和警報的方式來啟動自動修復。 這個工具還與主板管理控制器連接，用于輔助復位（out-of-band reset），電源開/關(guān)機以及硬件傳感器監(jiān)控，并與其他的StarlingX組件共享主機狀態(tài)?！?/p>

服務管理：通過基于跨多個節(jié)點的N + M或N等冗余模型來提供高可用性，實現(xiàn)提供服務的生命周期管理。 這項服務支持使用多個消息傳遞路徑來避免腦裂（split-brain）通信故障，以及支持使用主動或被動監(jiān)視，通過完全數(shù)據(jù)驅(qū)動的體系結(jié)構(gòu)來明確定義服務故障的影響。

軟件管理：這項服務允許用戶使用適用于從內(nèi)核到OpenStack服務的所有基礎架構(gòu)堆棧的一種一致性機制，來部署糾正內(nèi)容和新功能的更新。 這個模塊可以完成滾動升級，包括并行化和對主機重新啟動的支持，允許通過使用實時遷移將工作負載從節(jié)點移出。

StarlingX支持的三種部署模式

以上是StarlingX支持的三種部署模式，從小到大的可擴展性。

Single Server：運行所有服務，支持單機的部署

Dual Server：冗余設計?

Multiple Server ：完全彈性、自主分配，支持多節(jié)點部署

StarlingX下一代容器架構(gòu)

今年Open Infrastructure丹佛峰會之后會發(fā)布一個StarlingX新版本，基于容器化部署，把OpenStack部署在K8S之上。也會整合K8S等：?

?StarlingX 的發(fā)展方向：OpenStack容器化、部署在Kubernetes集群上、基于OpenStack-Helm管理集群的生命周期。

?整合Kubernetes：Docker Runtime、Calico CNI ?plugin、CEPH作為持久存儲后端、HELM作為包管理、本地Docker鏡像倉庫。

支持其他容器化的邊緣應用部署。

邊緣機器學習Demo

接下來為大家現(xiàn)場在邊緣展示了一個基于StarlingX架構(gòu)的實時人臉識別demo。

一臺裸機啟動2個虛擬機，用來部署高可用中心云。另外一臺裸機部署一套Simplex邊緣云。邊緣云上啟動openvino虛擬機，從中心云下載openvino鏡像，同時在邊緣云使用openvino鏡像創(chuàng)建虛擬機。邊緣虛擬機升級方面，上傳升級后的openvino鏡像到中心云，在邊緣云使用升級后的openvino鏡像重建虛擬機。

邏輯流程首先是邊緣盒子識別對接攝像頭，接下來是邊緣云運行基礎人臉識別，從中心云拉取其他AI計算功能模型并加載運行，最后邊緣應用將攝像頭采集的影像數(shù)據(jù)進行處理，在模型中進行AI識別。

在本次會議的展臺，九州云工作人員向參會嘉賓全程展示了基于StarlingX架構(gòu)的實時人臉識別demo，成為整個會議的一大亮點，吸引諸多專業(yè)人士的駐足。

目前，九州云已積極參與到Akraino Edge Stack社區(qū)、OpenStack基金會邊緣計算工作組、邊緣計算產(chǎn)業(yè)聯(lián)盟以及SDN/NFV產(chǎn)業(yè)聯(lián)盟的各項工作，全面進軍邊緣計算領(lǐng)域。九州云希望能與各聯(lián)盟成員共同努力，讓邊緣計算生態(tài)逐漸繁榮，成為支撐邊緣計算落地的關(guān)鍵力量，深化行業(yè)數(shù)字化轉(zhuǎn)型。