AI端側(cè)落地，京東AI技術(shù)如何部署邊緣？

導(dǎo)語：隨著物聯(lián)網(wǎng)的快速發(fā)展，越來越多的用戶希望將  AI 能力下沉到邊緣層，讓邊緣設(shè)備能夠自動(dòng)處理關(guān)心的一些數(shù)據(jù)，再把結(jié)果上報(bào)到云平臺(tái)。這樣做既節(jié)省了資源，又提高了運(yùn)算效率。

隨著技術(shù)進(jìn)步，手機(jī)等移動(dòng)設(shè)備已成為非常重要的本地深度學(xué)習(xí)載體，然而日趨異構(gòu)化的硬件平臺(tái)和復(fù)雜的終端側(cè)的使用狀況，讓AI技術(shù)在端側(cè)的應(yīng)用能力頗受挑戰(zhàn)。端側(cè)模型的推理往往面臨著算力和內(nèi)存的限制，為了能夠完整的支持眾多硬件架構(gòu)，并且實(shí)現(xiàn)在這些硬件之上人工智能應(yīng)用性能的優(yōu)化，不少科技公司開啟了深入研究。技術(shù)媒體InfoQ上周采訪了京東智聯(lián)云視覺研發(fā)部的產(chǎn)品經(jīng)理張志強(qiáng)，交流了京東AI技術(shù)在端側(cè)的應(yīng)用。

（以下為采訪稿件內(nèi)整理）

AI技術(shù)在端側(cè)能解決什么問題？

在探討這個(gè)話題之前，我們需要先明確端側(cè)的定義。端側(cè)其實(shí)是相對(duì)于云中心側(cè)來講的。云中心側(cè)其實(shí)是一種集中式服務(wù)，所有采集和感知到的視頻、圖像數(shù)據(jù)都通過網(wǎng)絡(luò)傳輸?shù)皆浦行膫?cè)進(jìn)行后續(xù)處理。云側(cè)的資源高度集中并且具有很高的通用性，但是隨著IoT設(shè)備和數(shù)據(jù)的指數(shù)爆發(fā)式增長，云側(cè)的集中式計(jì)算模型慢慢暴露出了很多不足，比如數(shù)據(jù)處理的實(shí)時(shí)性，網(wǎng)絡(luò)條件制約，數(shù)據(jù)安全等。

AI技術(shù)用于端側(cè)也就是我們常說的邊緣計(jì)算，張志強(qiáng)說，這種模式可以更好的支持AIoT場(chǎng)景，具有如下優(yōu)點(diǎn)：一是AI技術(shù)用于端側(cè)可以第一時(shí)間對(duì)收集的數(shù)據(jù)進(jìn)行處理，不需要通過網(wǎng)絡(luò)上傳到云側(cè)的處理中心，極大加快了系統(tǒng)響應(yīng)也減少了系統(tǒng)處理延遲，5G技術(shù)的普及也為端側(cè)處理提供了保證；二是端側(cè)計(jì)算可以更高效的處理有價(jià)值的關(guān)鍵數(shù)據(jù)（大約20%），其余的數(shù)據(jù)（大約80%）只是臨時(shí)性的，在端側(cè)結(jié)合AI能力，不僅可以更及時(shí)處理數(shù)據(jù)，而且減輕網(wǎng)絡(luò)帶寬的限制和緩解對(duì)中心側(cè)數(shù)據(jù)存儲(chǔ)的壓力；三是在端側(cè)的AI技術(shù)可以高效地對(duì)用戶的源數(shù)據(jù)進(jìn)行處理，將一些敏感的數(shù)據(jù)進(jìn)行清洗和保護(hù)，端側(cè)設(shè)備只將AI處理后的結(jié)果進(jìn)行上報(bào)。

總的來說，AI在邊緣側(cè)的執(zhí)行可以實(shí)時(shí)進(jìn)行數(shù)據(jù)處理，實(shí)時(shí)響應(yīng)，有效降低因數(shù)據(jù)傳送到云計(jì)算中心而導(dǎo)致的延遲。

目前，主要的應(yīng)用是物聯(lián)網(wǎng)的邊緣計(jì)算，京東對(duì)內(nèi)、對(duì)外都有一些落地案例，例如：無人售貨機(jī)和智能結(jié)算臺(tái)上使用了AI的商品檢測(cè)技術(shù)，包括顧客所選取的商品SKU等，主要采用的是端側(cè)的AI能力；以及在智慧園區(qū)里進(jìn)行基本的人臉結(jié)構(gòu)化、人體結(jié)構(gòu)化、車輛結(jié)構(gòu)化，還有基于視頻分析的周界安全檢測(cè)、物體遺留等場(chǎng)景。某些場(chǎng)景不僅結(jié)合了邊緣計(jì)算的AI能力，同時(shí)也使用了云端的AI能力進(jìn)行二次分析，采用的形式是云端協(xié)同。在一些更復(fù)雜的場(chǎng)景，比如智慧園區(qū)，智慧社區(qū)，智慧城市的項(xiàng)目落地中，大多都是采用的端云協(xié)同的應(yīng)用形式。

端側(cè)AI的研發(fā)難點(diǎn)

眾所周知，端側(cè)的技術(shù)難度是如何在資源有限的硬件環(huán)境里滿足業(yè)務(wù)對(duì)性能的要求，無論是存儲(chǔ)、內(nèi)存，或者計(jì)算資源都比較有限。端側(cè)對(duì)AI模型提出了更高的要求，比如對(duì)模型生命周期的管理，發(fā)布，回滾，灰度，版本管理等，如何方便模型的升級(jí)更新需要建立一套完善通用的機(jī)制和平臺(tái)。另外，邊緣計(jì)算的硬件設(shè)備種類很多，在初期對(duì)不同硬件架構(gòu)的學(xué)習(xí)、適配和模型遷移工作會(huì)占用比較長的時(shí)間，比如有很多之前自定義的模型算法算子不支持，需要算法側(cè)重新設(shè)計(jì)和開發(fā)，無形中增加了AI在端側(cè)應(yīng)用的復(fù)雜度。

為此，經(jīng)過前期積累，京東也針對(duì)市面上流行的不同邊緣計(jì)算硬件產(chǎn)品進(jìn)行了抽象和平臺(tái)化，屏蔽底層差異化，統(tǒng)一建設(shè)了從算法開發(fā)、模型適配、本地測(cè)試，部署上線等的一系列CI/CD機(jī)制，實(shí)現(xiàn)快速交付。

過往，不少開發(fā)者都會(huì)遇到離線訓(xùn)練和在線推理結(jié)果不一致的問題。對(duì)此，京東方面發(fā)現(xiàn)訓(xùn)練和推理的結(jié)果不會(huì)完全一樣，但是基本一致。可以從以下三方面考慮：一是在模型設(shè)計(jì)上盡可能輕量化。在保證模型性能的前提下，使網(wǎng)絡(luò)參數(shù)減少的同時(shí)，不損失網(wǎng)絡(luò)性能，盡可能的降低模型的復(fù)雜度以及運(yùn)算量；二是性能與精度進(jìn)行權(quán)衡，找到平衡點(diǎn)；三是檢測(cè)兩者的預(yù)處理與后處理有無差異，可以在網(wǎng)絡(luò)處理前后進(jìn)行預(yù)判和比較。

京東端側(cè)AI技術(shù)實(shí)踐

2019年中，京東云與AI視覺研發(fā)部開始規(guī)劃在端側(cè)場(chǎng)景下的AI視頻分析平臺(tái)mVCG-Air，與該版本相呼應(yīng)的是在云端場(chǎng)景部署的mVCG-Pro，二者統(tǒng)稱為mVCG（mega-Video Computing Grid），也就是超大規(guī)模的視頻計(jì)算分析網(wǎng)絡(luò)。

【mVCG-Air技術(shù)整體架構(gòu)圖】

mVCG-Air是AI視頻分析處理能力在端側(cè)應(yīng)用的典型產(chǎn)品，經(jīng)過快速迭代mVCG-Air目前已經(jīng)在不同場(chǎng)景落地。張志強(qiáng)表示，該平臺(tái)解決了在落地場(chǎng)景中接入的設(shè)備多，同時(shí)對(duì)視頻分析的時(shí)效性很高，云端處理受網(wǎng)絡(luò)帶寬有滯后影響的問題。

此外，mVCG-Air結(jié)合了目前性能較高的端側(cè)計(jì)算設(shè)備，同時(shí)內(nèi)部全部使用了京東智聯(lián)云自研的AI核心技術(shù)，所有算法模型針對(duì)端側(cè)計(jì)算設(shè)備進(jìn)行了全面優(yōu)化和加速，開發(fā)者可以輕松實(shí)現(xiàn)定制化、快速交付。

有必要統(tǒng)一模型研發(fā)流程

綜合整個(gè)實(shí)踐過程，不難發(fā)現(xiàn) ，擁有統(tǒng)一所有模型的研發(fā)流程，使得模型研發(fā)之初的特征工程再到模型訓(xùn)練，再到推理上線等做統(tǒng)一的規(guī)劃是十分必要的。比如，京東同一個(gè)模型未來可能會(huì)在不同的場(chǎng)景都需要部署落地，有的是基于邊緣計(jì)算的mVCG-Air部署，有的是基于云中心的mVCG-Pro進(jìn)行部署，那么就需要有統(tǒng)一的模型訓(xùn)練和轉(zhuǎn)換機(jī)制。同時(shí)，同一個(gè)模型有可能會(huì)在不同的邊緣硬件上進(jìn)行部署，在模型設(shè)計(jì)之初就需要考慮后續(xù)的一致性等問題。京東內(nèi)部已經(jīng)沉淀了一套完整的模型研發(fā)測(cè)試流程，使得一個(gè)模型可以輕松同時(shí)落地不同的異構(gòu)硬件設(shè)備上。

資源調(diào)度設(shè)計(jì)

關(guān)于資源調(diào)度，其實(shí)包括邊緣側(cè)mVCG-Air和中心側(cè)mVCG-Pro的調(diào)度，也包括mVCG-Air管理的設(shè)備之間的調(diào)度。張志強(qiáng)表示，在mVCG內(nèi)部有個(gè)很重要的模塊組件，就是模型倉庫，與其相關(guān)聯(lián)的有算力調(diào)度，任務(wù)調(diào)度等。

【算法倉庫體系架構(gòu)圖】

算法倉庫體系架構(gòu)使得智能分析能力不再固化在mVCG的產(chǎn)品中，實(shí)現(xiàn)“一套平臺(tái)，多種算法”，具有系統(tǒng)高可用、資源高利用率、算法靈活開放等優(yōu)勢(shì)。基于算法倉庫可以對(duì)mVCG所有算法模型進(jìn)行統(tǒng)一高效管理，包括模型管理、模型灰度部署、模型發(fā)布、模型升級(jí)、模型算法版本管理。每個(gè)模型都有自己的畫像Model Profile，通過分布式組件，根據(jù)模型畫像和當(dāng)前業(yè)務(wù)負(fù)載實(shí)現(xiàn)模型算力的靈活分配和調(diào)度，所有模型算法是基于插件機(jī)制實(shí)現(xiàn)靈活部署、自動(dòng)分配、快速加載、高效運(yùn)行和無感知版本更新。

硬件選型

事實(shí)上，軟件層面的定制優(yōu)化永無止境，這包括模型加速推理，模型量化剪枝，讓模型體積更小，占用資源小同時(shí)又不失精度。當(dāng)然，軟件層面的優(yōu)化工作也需要取決于邊緣側(cè)設(shè)備的開放程度。

除了軟件層面的能力，AI所需的超強(qiáng)算力必須有合適的硬件與之相匹配。張志強(qiáng)表示，京東云與AI視覺研發(fā)部mVCG-Air在研發(fā)過程中使用了ARM架構(gòu)的CPU+NPU，現(xiàn)在不斷有更新、更快的硬件加速卡或者是端側(cè)產(chǎn)品推出，選取性價(jià)比最高，同時(shí)最適合業(yè)務(wù)場(chǎng)景的才是最好的。

未來，mVCG-Air也將繼續(xù)賦能感知設(shè)備以智能，并融合云端物聯(lián)網(wǎng)和信息網(wǎng)的數(shù)據(jù)，實(shí)現(xiàn)對(duì)人（人臉、人體）、車、物體、場(chǎng)景、行為的全息感知，同時(shí)深入挖掘多維數(shù)據(jù)的潛在價(jià)值。應(yīng)用的重點(diǎn)包括京東內(nèi)部的很多重要場(chǎng)景，也包括對(duì)外的場(chǎng)景，比如智慧園區(qū)，智慧城市，智慧車站，智慧警務(wù)等。

未來規(guī)劃

邊緣計(jì)算作為傳統(tǒng)云計(jì)算的重要補(bǔ)充，各自發(fā)揮特長，隨著端側(cè)設(shè)備處理能力的大幅度提升，基于AI的智能設(shè)備正在發(fā)揮越來越重要的作用。

AI和端側(cè)的結(jié)合其實(shí)屬于AIoT的一部分，因?yàn)橹悄芪锫?lián)網(wǎng)AIoT是在2018年興起的概念，目前各類AI公司、芯片公司都處在百家爭鳴的階段，市場(chǎng)空間非常大，包括端側(cè)人工智能在建筑人居、工業(yè)制造、智慧城市等不同產(chǎn)業(yè)領(lǐng)域的瞭望，都充滿了期待。

2020年，AIoT正在發(fā)生的一個(gè)趨勢(shì)是人工智能和設(shè)備的加速融合。大多數(shù)情況下，端側(cè)人工智能計(jì)算和云側(cè)計(jì)算將會(huì)長期共存，甚至采用混合的方式，一部分由設(shè)備自身的AI能力及時(shí)執(zhí)行運(yùn)算，另一部分通過統(tǒng)一云中心完成。現(xiàn)在，業(yè)界對(duì)于端側(cè)人工智能討論比較多的還是軟硬件選型、動(dòng)態(tài)調(diào)度和垂類落地的問題。作為云計(jì)算的下沉計(jì)算模型，端側(cè)的人工智能發(fā)展還需要一些時(shí)間和耐心。

歡迎點(diǎn)擊“ 更多 ”了解京東智聯(lián)云！