京東雙11超級工程:AI成為交易平臺備戰(zhàn)主力

每年雙十一，不僅是剁手族的狂歡節(jié)，更是各大電商技術(shù)團(tuán)隊技術(shù)水平與技術(shù)創(chuàng)新實踐檢驗的舞臺，不斷創(chuàng)新高的銷售額、交易峰值、支付峰值，這些驚人數(shù)字的背后都離不開強(qiáng)力的技術(shù)支撐。IT168希望通過技術(shù)報道的形式向讀者揭秘各大電商平臺在雙十一這一“超級工程”背后的巨額投入與技術(shù)創(chuàng)新，讓更多人了解技術(shù)，尊重技術(shù)，促進(jìn)同行業(yè)之間的技術(shù)交流分享，推動提高行業(yè)整體技術(shù)水平。

　　本文摘要：

　　2017年的雙十一大促是京東第四次零售革命的一場“大閱兵”。這次“閱兵”京東大手筆的布局了線下市場，超過160家京東之家和京東專賣店、近200家京東母嬰體驗店、超過1700家京東幫服務(wù)店，超過5000家京東家電專賣店，以及沃爾瑪在全國的400余家門店、京東合作品牌商家的近萬家門店以及接入京東掌柜寶的數(shù)十萬家便利店都參與其中。

　　經(jīng)過了歷年618和雙十一大促的多次磨練與考驗，京東交易平臺在應(yīng)對超高并發(fā)、超大流量方面顯然已經(jīng)游刃有余。今年的雙十一，京東重筆墨落在精細(xì)化和人工智能，對技術(shù)保障、GMV提升、用戶體驗等多方面進(jìn)行了智能化升級。

　　作者：王曉烽

　　作者簡介：王曉烽，京東商城交易平臺架構(gòu)師，負(fù)責(zé)交易平臺基礎(chǔ)架構(gòu)規(guī)劃，在應(yīng)對大流量、高并發(fā)、低延時、高可用系統(tǒng)設(shè)計方面有豐富經(jīng)驗。

　　正文：

　　經(jīng)過了歷年618和雙十一大促的多次磨練與考驗，京東交易平臺在應(yīng)對超高并發(fā)、超大流量的大促系統(tǒng)穩(wěn)定性技術(shù)保障方面已經(jīng)游刃有余。整體上來說，系統(tǒng)穩(wěn)定性主要是從高性能和高可用兩大方面著手。

　　京東商城交易平臺提供用戶、商品、庫存、價格、促銷、優(yōu)惠券等基礎(chǔ)核心服務(wù)，提供購物車、結(jié)算頁、訂單中心等黃金交易流程的平臺化服務(wù)，提供包括PC、APP、微信、手Q、開普勒等全渠道服務(wù)。

　　最近一年，我們主要深耕精細(xì)化，對技術(shù)保障、GMV提升、用戶體驗等多方面進(jìn)行了智能化升級，本文我們就從技術(shù)保障和技術(shù)驅(qū)動業(yè)務(wù)兩方面作分享。

　　京東雙十一超級工程的技術(shù)保障

　　動態(tài)負(fù)載均衡和動態(tài)限流是流量智能調(diào)撥的兩大應(yīng)用

　　流量智能調(diào)撥目前主要應(yīng)用于兩方面，一是動態(tài)負(fù)載均衡，一是動態(tài)限流。

　　負(fù)載均衡算法在我們內(nèi)部主要是基于隨機(jī)和輪詢兩種方式，每年擴(kuò)容服務(wù)器規(guī)格可能都不一致，硬件性能有高有低，組成一個大集群時，無論隨機(jī)還是輪詢都會有木桶效應(yīng)，即整個集群性能由硬件規(guī)格最低的服務(wù)器決定。

　　我們之前是通過預(yù)先配置權(quán)重或者歸類同規(guī)格機(jī)器“曲線救國”。這種方法在集群規(guī)模小時還比較可行，但隨著集群規(guī)模的不斷增大，這個過程不僅變得費(fèi)時費(fèi)力，還非常脆弱，極易出錯，在大規(guī)模容器化時代更難以人工處理。因此，我們迫切需要負(fù)載均衡能動態(tài)識別服務(wù)器的承載能力，并自動調(diào)整其權(quán)重。

　　流量限制是為了在遇到流量突增時，把流量速率限制在系統(tǒng)所能承受的合理范圍之內(nèi)，不至于讓系統(tǒng)被瞬時流量擊垮。我們通過全鏈路壓測已經(jīng)能夠比較精準(zhǔn)估算出系統(tǒng)擴(kuò)容需求，然而凡事都有萬一，因此還需要做好限流準(zhǔn)備。常見限流維度有訪問量和并發(fā)數(shù)，此外還有平滑限流算法，例如漏桶(Leaky Bucket)和令牌桶(Token Bucket)算法，我們通常都是結(jié)合起來使用。

　　這些策略和算法通常是根據(jù)壓測值預(yù)先估算的一個安全閾值進(jìn)行靜態(tài)配置，但實際運(yùn)行環(huán)境往往是非常復(fù)雜多變的，訪問量、并發(fā)數(shù)可能還沒有達(dá)到安全閾值系統(tǒng)就扛不住了，此時再人工干預(yù)調(diào)整閾值已經(jīng)來不及了。因此，我們同樣需要限流器能動態(tài)識別服務(wù)器的承載能力，并自動調(diào)整閾值。

　　我們通過綜合計算CPU使用率、CPU Load、TCP連接數(shù)、響應(yīng)延時等系統(tǒng)與應(yīng)用性能指標(biāo)，可以實時計算服務(wù)器負(fù)載能力與健康狀態(tài)，實時反饋到負(fù)載均衡器和限流器，實現(xiàn)流量智能調(diào)撥，既能最大限度提升資源利用率，又能賦予其足夠的安全防護(hù)。

　　從自導(dǎo)自演到對抗軍演再到自助式演練，京東故障演練再升級

　　去年雙十一備戰(zhàn)時我們的故障演練已經(jīng)從“自導(dǎo)自演”升格為“對抗軍演”，分為紅藍(lán)攻守兩軍，分別負(fù)責(zé)故障恢復(fù)和故障制造。藍(lán)軍獨立設(shè)計演習(xí)科目，紅軍事先并不知道，只會被告知在某個時間段發(fā)起“攻擊”。指揮部要求必須在5分鐘內(nèi)識別故障點，準(zhǔn)確執(zhí)行預(yù)案，并有效恢復(fù)系統(tǒng)，這樣考核才算及格。

　　今年我們的故障演練已經(jīng)直接升級到了自助式，藍(lán)軍可以自主在軍演系統(tǒng)內(nèi)自行選擇目標(biāo)應(yīng)用、目標(biāo)集群，可以隨機(jī)選擇目標(biāo)機(jī)器，可以組合多應(yīng)用、多集群，組合多種故障，包括網(wǎng)絡(luò)丟包、端口不通，CPU、內(nèi)存、磁盤使用率飚高，Docker實例宕機(jī)、Redis實例宕機(jī)等等故障，可以即刻執(zhí)行，亦可“埋彈”定時執(zhí)行，甚至可以通過假報警釋放“煙霧彈”。這樣不僅解決了大量的人工干預(yù)與交互，更重要的是讓故障案例更加隨機(jī)，更加真實，更能如實檢驗預(yù)案的可行性、完備性，極大考驗了應(yīng)急團(tuán)隊處理故障的心理素質(zhì)以及處理隨機(jī)事件的響應(yīng)能力。

　　技術(shù)驅(qū)動業(yè)務(wù)，京東交易平臺智能化升級

　　雙十一大促的成功同樣離不開大數(shù)據(jù)和智能算法的支持，交易平臺強(qiáng)大的產(chǎn)品設(shè)計和系統(tǒng)研發(fā)能力在這場“大閱兵”中功不可沒。交易平臺在原有的業(yè)務(wù)系統(tǒng)上，不斷進(jìn)行數(shù)據(jù)的智能化升級;同時，在原有的交易產(chǎn)品線基礎(chǔ)上，陸續(xù)推出了針對用戶體驗、針對品牌商、針對采銷的智慧營銷產(chǎn)品線。

　　智選精靈，讓你的商品最超值

　　智選精靈屬于基礎(chǔ)產(chǎn)品線的智慧化升級，其一期主要包含兩個產(chǎn)品，一是購物車為用戶智能選擇最優(yōu)的促銷，一是結(jié)算頁為用戶智能選擇最佳的優(yōu)惠券。

　　京東營銷活動中，無論是促銷還是優(yōu)惠券，都會出現(xiàn)一個SKU或多個SKU可以同時滿足多個促銷或多張優(yōu)惠券，此外還有品類維度、商家維度，反之亦然。因此無論求最佳優(yōu)惠券還是最優(yōu)促銷，其實都是一個求組合最優(yōu)解的過程。

　　當(dāng)數(shù)據(jù)量少，規(guī)則集小的時候，這個組合結(jié)果集相對較小，計算復(fù)雜度低，甚至不用系統(tǒng)計算，用戶自己就能識別，并沒有用戶體驗的問題。當(dāng)數(shù)據(jù)量大時，特別是像京東目前有海量SKU，購物車可以同時加入上百SKU，各式各樣的促銷優(yōu)惠規(guī)則，既有滿減又有贈品，促銷和券還可以疊加，每個用戶可以領(lǐng)到上千張優(yōu)惠券。此時，系統(tǒng)就面臨兩難了：如果不能為用戶做出最優(yōu)選擇，用戶購物時就得開“腦洞”了;如果要做，直接常規(guī)暴力窮舉尋找最佳優(yōu)惠將是一個海量的計算過程，開銷非常大，可能還沒算出來，前端調(diào)用早就超時。

　　此時智能算法的作用就凸顯了。

　　在數(shù)理上，對于任一給定的隨機(jī)問題，總有一個最優(yōu)解。智能算法的任務(wù)就是尋找這一個解，最大程度的等于或者接近數(shù)理上的最優(yōu)解。換句話說，我們的工作有點像打靶，10環(huán)的最中心是完全命中，但是9.999環(huán)同樣是好成績。9.999環(huán)意味著，如果理論最優(yōu)值是1000元，我們計算到了999.9元。更重要的是，對于比較大的問題，最優(yōu)解永遠(yuǎn)是不可知的，采用窮舉的方式可能需要幾天、幾年、乃至幾萬年。

　　通過對智能算法的不斷調(diào)優(yōu)，智選促銷和智選優(yōu)惠券精確度分布在95%到100%之間，最保守概率是97.2%，同時在性能上能夠維持在5毫秒以內(nèi)，極大提升了用戶體驗，進(jìn)而極大提高了轉(zhuǎn)化率。。

　　智慧營銷，牢牢鎖定潛在用戶

　　除了原有功能的智慧化升級，交易平臺還陸續(xù)推出了包含京東專享、拉新復(fù)購神器等等與交易平臺深度結(jié)合的智慧系統(tǒng)，大大提升了采銷運(yùn)營的靈活度、產(chǎn)出和效率。以前，采銷只能通過業(yè)務(wù)經(jīng)驗，選擇相應(yīng)的用戶標(biāo)簽和用戶畫像組合成想要營銷的用戶包，然后通過短信或者頁面的方式觸達(dá)用戶。這個過程，極度依賴采銷的業(yè)務(wù)判斷，一旦判斷有偏差，就會造成效果的偏差。

　　正是基于這個業(yè)務(wù)訴求，交易平臺推出了智慧營銷產(chǎn)品線。

　　以京東專享這個產(chǎn)品為例，這個產(chǎn)品一經(jīng)推出，就在采銷中引起了巨大的反響和熱情。其中，最令人矚目的就是這個產(chǎn)品的內(nèi)在核心“高潛用戶模型”，該數(shù)據(jù)模型以用戶、商品和行為數(shù)據(jù)為基礎(chǔ)，建模團(tuán)隊通過數(shù)據(jù)挖掘的技術(shù)和機(jī)器學(xué)習(xí)的算法，構(gòu)建用戶購買商品的預(yù)測模型，輸出高潛用戶和目標(biāo)商品。

　　這個邏輯看似簡單，但是實現(xiàn)高精度的準(zhǔn)確率非常困難。因為用戶在購物過程中的行為會受到多種因素的同時作用影響，這其中包含價格、商品、渠道、促銷活動等等，模型需要高頻訓(xùn)練，才能適應(yīng)市場的多樣變化。

　　當(dāng)前，高潛用戶模型對品類甄別的準(zhǔn)確率高達(dá)80%，其中煙灶、熱水器等剛需品類的預(yù)測準(zhǔn)確率可達(dá)85%以上。對購買SKU預(yù)測準(zhǔn)確率超過50%，品類較為簡單的煙灶等品類，SKU預(yù)測準(zhǔn)確率可達(dá)80%?；咀龅搅恕安掠脩粝胭I什么，用戶就買什么”。兩年間，高潛用戶模型不斷擴(kuò)大預(yù)測品類，被更多的采銷應(yīng)用在日常和大促的促銷活動中。

　　除了準(zhǔn)確的數(shù)據(jù)模型之外，搶客系統(tǒng)還是采銷最得力的“智慧促銷工具”。通過接通不同的促銷方式，如令牌、優(yōu)惠券、預(yù)約預(yù)售、秒殺等，采銷能夠靈活使用高潛用戶數(shù)據(jù)，為每個用戶定制專屬的最優(yōu)促銷方案，即：不同的用戶匹配不同的商品，適用不同的價格，實現(xiàn)真正的千人千促、千人千觸。

　　非大促期間，采銷能夠利用智慧模型和系統(tǒng)，更精準(zhǔn)的定位高潛人群，并在系統(tǒng)操作建立專屬促銷和專屬觸達(dá)，讓用戶感受到京東的差異化渠道優(yōu)勢，實現(xiàn)搶奪那些“在京東瀏覽但即將在其他渠道下單”用戶的目標(biāo)，挽留即將流失的京東高概率購買用戶。

　　大促期間，由于渠道間競爭激烈，很多用戶跨渠道瀏覽比價，極易流失;同時，采銷為了能夠及時應(yīng)對競手渠道的營銷策略，對促銷方式的靈活性也有更高的要求。此時，圍繞用戶的智慧促銷系統(tǒng)就十分必要。通過智能系統(tǒng)，采銷能夠?qū)⒁呀?jīng)鎖定的促銷商品和促銷價格(如預(yù)約商品等)，提前釋放給已經(jīng)識別的高潛用戶，助力品牌商將用戶牢牢鎖定。同時，智慧系統(tǒng)也給采銷更多靈活操作的機(jī)會，以便應(yīng)對更多樣化的市場需求。

　　人工智能成為京東技術(shù)新主力

　　人工智能正以前所未有的姿態(tài)洶涌而來，快速進(jìn)入人們的視野。京東一直致力于用技術(shù)驅(qū)動業(yè)務(wù)成長，全面提高用戶體驗。隨著人工智能等技術(shù)在京東的全面應(yīng)用，在業(yè)務(wù)與技術(shù)領(lǐng)域越來越多的以往靠人海戰(zhàn)術(shù)解決的問題會逐步被機(jī)器接手，讓技術(shù)人員發(fā)揮更大的創(chuàng)造性，在保障系統(tǒng)穩(wěn)定性的同時，提高運(yùn)營效率，大幅降低成本，提升用戶體驗。

　　“雙十一”超級工程系列專題下期預(yù)告：

　　數(shù)據(jù)時代，大數(shù)據(jù)計算已經(jīng)滲透到了各行各業(yè)，業(yè)務(wù)沉淀數(shù)據(jù)，數(shù)據(jù)計算產(chǎn)生新的業(yè)務(wù)價值，大數(shù)據(jù)計算正不斷地用這種方式推動業(yè)務(wù)向前發(fā)展。那么面對雙十一大促這樣一個高并發(fā)、高流量、極具特色的業(yè)務(wù)場景，大數(shù)據(jù)實時計算又有哪些用武之地呢?敬請期待下期網(wǎng)易云資深技術(shù)專家?guī)淼摹毒W(wǎng)易雙11“超級工程”：大數(shù)據(jù)實時計算如何為你量身定制?》的分享。