如何防止刪庫跑路？運維堡壘機高效安全運維設計與實踐落地

在剛剛結束的 2020 全球新一代軟件工程線上峰會上，有著近七年自動化運維平臺研發(fā)經(jīng)驗的京東智聯(lián)云產(chǎn)品架構師任龍濤，分享了 《運維堡壘機高效安全運維設計與實踐落地》 議題。本篇文章將為大家回顧本次精彩分享，深入解析京東智聯(lián)云高效安全運維過程中的問題，以及為解決這些問題所做的探索和落地實踐。

一個程序員，憑一己之力，刪除自家公司數(shù)據(jù)庫，市值縮水近 24 億元，直接經(jīng)濟損失達到 1.5 億元。

這不是段子，是真實發(fā)生在我們身邊的故事。該公司研發(fā)中心工作人員通過其個人 API 登錄公司內(nèi)網(wǎng)的跳板機后，對生產(chǎn)環(huán)境進行了惡意破壞，導致旗下用戶小程序全線宕機，300 多萬商戶的線上業(yè)務全部停止，歷時一周才最終恢復數(shù)據(jù)。這個案例反映出一些企業(yè)對于運維權限的管控存在巨大漏洞，如此危險的刪庫操作，竟然在沒有二次確認的情況下由一個人就可完成全程操作。

這只是企業(yè)在運維過程中面臨的安全困境之一，當前企業(yè)在運維安全中通常還會面對用戶身份無法核實、系統(tǒng)賬號共用、審計困難以及操作訪問難以控制等各種挑戰(zhàn)。

隨著日常生產(chǎn)、生活對信息化系統(tǒng)依賴程度逐漸增加，近些年運維事故層出不窮。而由于運維過程中賬號共用，范圍難以控制，密碼難以統(tǒng)一管理，人員權限分工不明確，導致事故發(fā)生后審計追查非常困難。

另一方面，我國針對數(shù)據(jù)安全逐步頒布了一系列法律法規(guī)，對企業(yè)提出了嚴格的安全合規(guī)要求。例如網(wǎng)絡安全法要求日志留存不少于 6 個月，必須采取網(wǎng)絡安全措施；《等保》2.0 要求企業(yè)必須對用戶身份進行鑒權，如用戶訪問的權限控制，最小化的授權原則，運維操作完整審計，定期進行數(shù)據(jù)備份等；運營商需滿足電信行業(yè)的規(guī)定；證券、金融行業(yè)需滿足銀監(jiān)、證監(jiān)相關要求；上市公司要滿足企業(yè)內(nèi)控要求。

面對運維過程中的重重挑戰(zhàn)，京東智聯(lián)云經(jīng)過多年不斷探索與實踐，給出了自己的答案——運維堡壘機。運維堡壘機主要包含兩方面功能： 運維管理和審計，它可以對運維人員的運維操作進行統(tǒng)一身份認證、統(tǒng)一資產(chǎn)管理、統(tǒng)一訪問授權和全程運維審計。

運維堡壘機適用場景非常廣泛，可應用于互聯(lián)網(wǎng)、金融、政府、企事業(yè)單位等幾乎所有需要安全運維的企業(yè)或機構。特別是今年初新冠肺炎疫情爆發(fā)后，很多企業(yè)要求員工在家遠程辦公，在這種情況下對于企業(yè)運維人員而言， VPN+運維堡壘機無疑是最佳選擇。

提到運維堡壘機，我們有必要回顧一下它的幾個重要發(fā)展階段。最初運維堡壘機是以硬件形式出現(xiàn)的，優(yōu)點是自成體系。但是缺點也很明顯，產(chǎn)品比較固化，升級困難，拓展性較差。

直到 2000 年時，軟件堡壘機出現(xiàn)了，它解決了硬件堡壘機的缺陷，但云時代的到來，又對軟件堡壘機提出了一系列挑戰(zhàn)：

第一個挑戰(zhàn)是多云架構。 云時代中目標資產(chǎn)發(fā)生了很大變化，企業(yè) IT 資產(chǎn)快速云化。尤其是在當前非監(jiān)管行業(yè)、非金融行業(yè)中云化的進展很快。而隨著業(yè)務快速拓展，用戶總會面臨一些安全合規(guī)要求。這時候用戶會發(fā)現(xiàn)自己的資產(chǎn)越來越分散，管理起來越來越困難。混合云的持續(xù)推廣也使得 IT 基礎設施的管理復雜度越來越高，企業(yè)的基礎設施包含傳統(tǒng)的 KVM、私有云、公有云等不同類型。堡壘機需要適配、納管不同的 IT 組件，并進行統(tǒng)一安全審計。

第二個挑戰(zhàn)是資產(chǎn)管理方式發(fā)生改變。 傳統(tǒng)堡壘機通常是手工輸入，或者通過文本導入、掃描 IP 導入。而由于云時代網(wǎng)絡復雜度高，傳統(tǒng)堡壘機的網(wǎng)絡部署方式面臨巨大挑戰(zhàn)。云時代的資產(chǎn)通常分布在不同的云、不同的 VPC、不同的子網(wǎng)下面，堡壘機如何才能更好的適配這種網(wǎng)絡環(huán)境？

第三個挑戰(zhàn)是需要具備成熟的高可用容災部署架構。 高可用的分布式技術為支撐平臺正常運行提供了關鍵技術支持，容災系統(tǒng)在斷電、通訊失敗及軟硬件錯誤時，依然要保證用戶數(shù)據(jù)的安全，并提供不間斷的應用服務。堡壘機需要提供持續(xù)的可用性，并快速進行容災切換，保證企業(yè)內(nèi)部統(tǒng)一的運維能力不間斷，有效支撐企業(yè)業(yè)務正常開展。

第四個挑戰(zhàn)是需要支持水平擴容。 目前企業(yè)虛擬資產(chǎn)是動態(tài)變化的，隨著后續(xù)業(yè)務的增長，資產(chǎn)數(shù)量也將持續(xù)增長。龐大且快速增長的 IT 資產(chǎn)需要堡壘機在資產(chǎn)納管方面更具可擴展性，以應對突發(fā)性業(yè)務需求。

面對云時代復雜的運維場景和需求，京東智聯(lián)云在設計產(chǎn)品時制定了一條原則，即 “我們自己需要的堡壘機就是我們要做的堡壘機”。運維堡壘機的產(chǎn)品需求來自整個京東智聯(lián)云數(shù)千個軟件工程師，在日常軟件開發(fā)、上線、運維過對于云計算的深入思考和未來發(fā)展趨勢的判斷。

基于這些考量，京東智聯(lián)云堡壘機的設計需要包含以下 4 方面功能：

第一，支持主流云廠商和私有云框架。

第二，可靠的安全保障機制。 安全是企業(yè)的生命線，必須作為首要核心要素加以考慮和保障。

第三，極致用戶體驗。 京東是一家互聯(lián)網(wǎng)公司，這要求產(chǎn)品時刻要以互聯(lián)網(wǎng)產(chǎn)品的要求和體驗進行定位。堡壘機最好的體驗應該是用戶在開發(fā)和運維過程中雖然在使用堡壘機產(chǎn)品，但卻感受不到堡壘機的存在。

第四，支持一鍵部署。 京東智聯(lián)云運維堡壘機可以支持分鐘級部署，能夠一鍵完成資產(chǎn)信息、用戶信息、賬戶信息的導入，從部署到正常使用簡單快捷。

結合這些要求和產(chǎn)品設計原則，京東智聯(lián)云發(fā)現(xiàn)低耦合、分層、分布式架構成為運維堡壘機的最佳選擇，也是最優(yōu)選擇。

首先來看分層架構，京東智聯(lián)云存儲層應用了云硬盤、etcd、es、oss；數(shù)據(jù)控制層使用了K8S的api server；核心層是京東智聯(lián)云自研的API服務Bastion，用來進行核心的鑒權、資產(chǎn)管理、用戶管理等一系列核心API管理。再上面是接入層，包含一個自研的用戶友好的SSH交互界面 Relay，前端提供的用戶管理操作界面，可通過瀏覽器進行運維界面操作的Web Teminar，這三個模塊共同為用戶提供了豐富的運維入口。

該架構中每一層都是解耦的，理論上都可以進行模塊化的部署，根據(jù)業(yè)務需要每層可以做水平擴展。當前京東智聯(lián)云是將所有模塊集中到一個鏡像里做容器化部署，根據(jù)需求還可以擴展部署的數(shù)量。例如可以 4 個容器、同一個鏡像組成一個高可用版本的實例。這個高可用版本的實例就是分布式、分地域部署的，下層的 etcd 也會組成一個集群，保證了整體架構的高可用。整個架構都是從云原生角度考量的，更加貼合云時代對于堡壘機的要求。

同時，京東智聯(lián)云運維堡壘機也完全符合堡壘機對安全4A原則的設計：

第一，統(tǒng)一身份認證。 用戶的角色、權限要進行統(tǒng)一的管理，實現(xiàn)三權分立、各司其職；支持短信、Google 認證、LDAP、AD 域等多種認證方式，便于對接用戶已有運維方式；支持雙因子驗證；支持批量用戶管理，如通過 IAM 接口批量導入子用戶，通過文件批量導入用戶，或是通過用戶組進行用戶的分類管理。

第二，統(tǒng)一資產(chǎn)管理。 包含賬號、模塊化管理、支持密碼、公私鑰賬號、用戶無感知的 SSO 單點登陸，資產(chǎn)也支持批量導入和分組管理，可以根據(jù)主機組進行授權。資產(chǎn)的賬號支持自動改密，用戶通過設計改密計劃，定期定時進行執(zhí)行。密碼改后用戶無感知，可以自動登錄，解決了賬號管理困難的問題，減輕了運維管理工作量。

第三，統(tǒng)一訪問授權。 用一句話解釋就是誰在什么時間，從哪個地方訪問了哪些機器，以及他在這臺機器上做了什么，沒做什么，做過什么。通過訪問授權都可以確切地知道這個人是誰。

第四，權限管理。 堡壘機的訪問策略主要包含 IP 限制、訪問時間段限制、高位命令限制、二次授權等。通過這些規(guī)則限制可以保證整個運維過程中，用戶必須在被分配的權限下進行操作，不會出現(xiàn)越權操作的情況，從而保證整體運維工作的安全性。

最后是運維全程審計。 運維審計是保證運維安全的最后一道防線，它通過全程的運維審計，可以快速定位問題，確定責任人。 這有助于快速解決問題，恢復正常服務。全程運維審計主要通過全程錄像、指令全程記錄和命令檢索三種方案實現(xiàn)。全程錄像的文件要可下載、可備份、可播放；指令全程記錄主要針對字符型的操作；命令檢索需要支持命令級別的全文檢索，這樣出現(xiàn)問題時就可以進行相關命令集的查詢、檢索，快速定位問題所在。

結合京東智聯(lián)云堡壘機，京東智聯(lián)云內(nèi)部正在使用一套基于服務樹授權的機器認證管理方案，一舉解決了傳統(tǒng)堡壘機角色權限管理的復雜性，以及堡壘機和運維系統(tǒng)的隔離問題。運維人員可以在統(tǒng)一的操作入口同步用戶信息、決策信息以及資產(chǎn)信息，且全程錄屏，可追溯，符合 4A 標準的專業(yè)審計系統(tǒng)，支撐京東智聯(lián)云內(nèi)部開發(fā)和運維工作安全可控。

對外，京東智聯(lián)云為用戶提供了公有云產(chǎn)品與私有化方案兩種形式的方案。 京東智聯(lián)云的公有云架構采用了第二代英特爾?至強?可擴展平臺，可以獲得性能強勁、簡單易用的云化基礎設施，降低上云復雜度，可用于構建云化的統(tǒng)一數(shù)據(jù)平臺，為數(shù)據(jù)處理、分析和AI提供全面加速，還通過融合自動化和智能化管理特性，助力實現(xiàn)云的彈性擴展、穩(wěn)定可靠和降本增效。直接使用京東智聯(lián)云上的運維堡壘機可以幫助企業(yè)立即開啟云上的高效運維。

通過京東智聯(lián)云私有化運維堡壘機方案，香港某銀行構建了完整、先進的運維審計管理體系。 借助堡壘機分布式部署方案，在本地 IDC 和多個公有云、私有云的分散資產(chǎn)實現(xiàn)了統(tǒng)一管理、統(tǒng)一授權和統(tǒng)一訪問入口；同時，結合堡壘機分布式部署方案中自身的零插件訪問能力，用戶可以在任何地方僅使用主流瀏覽器就能夠簡單、高效地訪問主機資產(chǎn)。

京東智聯(lián)云運維堡壘機良好的運維服務賦予了該銀行運維審計管理系統(tǒng)可持續(xù)的平臺演進能力，該銀行客戶可以及時獲得最新軟件版本和軟件補丁升級服務，并且在第一時間獲得原廠的故障排查、緊急救助等專業(yè)服務，系統(tǒng)的穩(wěn)定性和安全性得到有效保障。

銀行在金融領域中除運維安全需要考量外，還需考慮風控、信貸、營銷、技術基礎設置等多種等因素。作為最具產(chǎn)業(yè)屬性的技術服務商，京東智聯(lián)云致力于打造安全、可信、智能的供應鏈金融體系生態(tài)。

在風控領域， 京東智聯(lián)云以京東與外部大數(shù)據(jù)為依托，基于大數(shù)據(jù)、人工智能技術與算法為持牌消金、銀行機構、小額分期信貸等企業(yè)機構提供一套完整的風控解決方案體系。并面向城商行、農(nóng)商行為主題的中小銀行客戶，消費金融、信托等金融機構，提供一站式全流程線上信貸綜合服務，快速提升線上信貸資產(chǎn)質量的同時，建立主動風控能力，該系統(tǒng)適用于零售信貸業(yè)務場景全生命周期的風控管理。

此外，京東智聯(lián)云還源于京東體系多年的能力沉淀與最佳實踐，面向金融行業(yè)提供一站式研發(fā)運營提效平臺，幫忙客戶構建研發(fā)運營一體化框架，覆蓋研發(fā)測試運維全流程，實現(xiàn)研發(fā)資源高效整合、開發(fā)效率和交付質量提升，助力金融企業(yè)效能提升和業(yè)務創(chuàng)新。

點撃" 閱讀原文 "，馬上了解京東云堡壘機及相關運維產(chǎn)品!