大型互聯(lián)網(wǎng)架構(gòu)的知識點有哪些

這篇文章主要介紹“大型互聯(lián)網(wǎng)架構(gòu)的知識點有哪些”，在日常操作中，相信很多人在大型互聯(lián)網(wǎng)架構(gòu)的知識點有哪些問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”大型互聯(lián)網(wǎng)架構(gòu)的知識點有哪些”的疑惑有所幫助！接下來，請跟著小編一起來學(xué)習(xí)吧！

1. 大型網(wǎng)站系統(tǒng)的特點

• 高并發(fā)、大流量

• 高可用

• 海量數(shù)據(jù)

• 用戶分布廣泛，網(wǎng)絡(luò)情況復(fù)雜

• 安全環(huán)境惡劣

• 需求快速變更，迭代頻繁

• 漸進(jìn)式發(fā)展

2. 大型網(wǎng)站架構(gòu)演化歷程

2.1. 初始階段架構(gòu)

問題：網(wǎng)站運營初期，訪問用戶少，一臺服務(wù)器綽綽有余。

特征：應(yīng)用程序、數(shù)據(jù)庫、文件等所有的資源都在一臺服務(wù)器上。

描述：通常服務(wù)器操作系統(tǒng)使用 linux，應(yīng)用程序使用 PHP 開發(fā)，然后部署在 Apache 上，數(shù)據(jù)庫使用 Mysql，通俗稱為 LAMP。匯集各種免費開源軟件以及一臺廉價服務(wù)器就可以開始系統(tǒng)的發(fā)展之路了。

2.2. 應(yīng)用服務(wù)和數(shù)據(jù)服務(wù)分離

問題：越來越多的用戶訪問導(dǎo)致性能越來越差，越來越多的數(shù)據(jù)導(dǎo)致存儲空間不足，一臺服務(wù)器已不足以支撐。

特征：應(yīng)用服務(wù)器、數(shù)據(jù)庫服務(wù)器、文件服務(wù)器分別獨立部署。

描述：三臺服務(wù)器對性能要求各不相同：應(yīng)用服務(wù)器要處理大量業(yè)務(wù)邏輯，因此需要更快更強大的 CPU；數(shù)據(jù)庫服務(wù)器需要快速磁盤檢索和數(shù)據(jù)緩存，因此需要更快的硬盤和更大的內(nèi)存；文件服務(wù)器需要存儲大量文件，因此需要更大容量的硬盤。

2.3. 使用緩存改善性能

問題：隨著用戶逐漸增多，數(shù)據(jù)庫壓力太大導(dǎo)致訪問延遲。

特征：由于網(wǎng)站訪問和財富分配一樣遵循二八定律：80% 的業(yè)務(wù)訪問集中在 20% 的數(shù)據(jù)上。將數(shù)據(jù)庫中訪問較集中的少部分?jǐn)?shù)據(jù)緩存在內(nèi)存中，可以減少數(shù)據(jù)庫的訪問次數(shù)，降低數(shù)據(jù)庫的訪問壓力。

描述：緩存分為兩種：應(yīng)用服務(wù)器上的本地緩存和分布式緩存服務(wù)器上的遠(yuǎn)程緩存，本地緩存訪問速度更快，但緩存數(shù)據(jù)量有限，同時存在與應(yīng)用程序爭用內(nèi)存的情況。分布式緩存可以采用集群方式，理論上可以做到不受內(nèi)存容量限制的緩存服務(wù)。

2.4. 使用應(yīng)用服務(wù)器集群

問題：使用緩存后，數(shù)據(jù)庫訪問壓力得到有效緩解。但是單一應(yīng)用服務(wù)器能夠處理的請求連接有限，在訪問高峰期，成為瓶頸。

特征：多臺服務(wù)器通過負(fù)載均衡同時向外部提供服務(wù)，解決單一服務(wù)器處理能力和存儲空間不足的問題。

描述：使用集群是系統(tǒng)解決高并發(fā)、海量數(shù)據(jù)問題的常用手段。通過向集群中追加資源，提升系統(tǒng)的并發(fā)處理能力，使得服務(wù)器的負(fù)載壓力不再成為整個系統(tǒng)的瓶頸。

2.5. 數(shù)據(jù)庫讀寫分離

問題：網(wǎng)站使用緩存后，使絕大部分?jǐn)?shù)據(jù)讀操作訪問都可以不通過數(shù)據(jù)庫就能完成，但是仍有一部分讀操作和全部的寫操作需要訪問數(shù)據(jù)庫，在網(wǎng)站的用戶達(dá)到一定規(guī)模后，數(shù)據(jù)庫因為負(fù)載壓力過高而成為網(wǎng)站的瓶頸。

特征：目前大部分的主流數(shù)據(jù)庫都提供主從熱備功能，通過配置兩臺數(shù)據(jù)庫主從關(guān)系，可以將一臺數(shù)據(jù)庫服務(wù)器的數(shù)據(jù)更新同步到一臺服務(wù)器上。網(wǎng)站利用數(shù)據(jù)庫的主從熱備功能，實現(xiàn)數(shù)據(jù)庫讀寫分離，從而改善數(shù)據(jù)庫負(fù)載壓力。

描述：應(yīng)用服務(wù)器在寫操作的時候，訪問主數(shù)據(jù)庫，主數(shù)據(jù)庫通過主從復(fù)制機制將數(shù)據(jù)更新同步到從數(shù)據(jù)庫。這樣當(dāng)應(yīng)用服務(wù)器在讀操作的時候，訪問從數(shù)據(jù)庫獲得數(shù)據(jù)。為了便于應(yīng)用程序訪問讀寫分離后的數(shù)據(jù)庫，通常在應(yīng)用服務(wù)器端使用專門的數(shù)據(jù)訪問模塊，使數(shù)據(jù)庫讀寫分離的對應(yīng)用透明。

2.6. 反向代理和 CDN 加速

問題：中國網(wǎng)絡(luò)環(huán)境復(fù)雜，不同地區(qū)的用戶訪問網(wǎng)站時，速度差別也極大。

特征：采用 CDN 和反向代理加快系統(tǒng)的靜態(tài)資源訪問速度。

描述：CDN 和反向代理的基本原理都是緩存，區(qū)別在于 CDN 部署在網(wǎng)絡(luò)提供商的機房，使用戶在請求網(wǎng)站服務(wù)時，可以從距離自己最近的網(wǎng)絡(luò)提供商機房獲取數(shù)據(jù)；而反向代理則部署在網(wǎng)站的中心機房，當(dāng)用戶請求到達(dá)中心機房后，首先訪問的服務(wù)器時反向代理服務(wù)器，如果反向代理服務(wù)器中緩存著用戶請求的資源，就將其直接返回給用戶。

2.7. 分布式文件系統(tǒng)和分布式數(shù)據(jù)庫

問題：隨著大型網(wǎng)站業(yè)務(wù)持續(xù)增長，數(shù)據(jù)庫經(jīng)過讀寫分離，從一臺服務(wù)器拆分為兩臺服務(wù)器，依然不能滿足需求。

特征：數(shù)據(jù)庫采用分布式數(shù)據(jù)庫，文件系統(tǒng)采用分布式文件系統(tǒng)。

描述：分布式數(shù)據(jù)庫是數(shù)據(jù)庫拆分的最后方法，只有在單表數(shù)據(jù)規(guī)模非常龐大的時候才使用。不到不得已時，更常用的數(shù)據(jù)庫拆分手段是業(yè)務(wù)分庫，將不同的業(yè)務(wù)數(shù)據(jù)庫部署在不同的物理服務(wù)器上。

2.8. 使用 NoSQL 和搜索引擎

問題：隨著網(wǎng)站業(yè)務(wù)越來越復(fù)雜，對數(shù)據(jù)存儲和檢索的需求也越來越復(fù)雜。

特征：系統(tǒng)引入 NoSQL 數(shù)據(jù)庫及搜索引擎。

描述：NoSQL 數(shù)據(jù)庫及搜索引擎對可伸縮的分布式特性具有更好的支持。應(yīng)用服務(wù)器通過統(tǒng)一數(shù)據(jù)訪問模塊訪問各種數(shù)據(jù)，減輕應(yīng)用程序管理諸多數(shù)據(jù)源的麻煩。

2.9. 業(yè)務(wù)拆分

問題：大型網(wǎng)站的業(yè)務(wù)場景日益復(fù)雜，分為多個產(chǎn)品線。

特征：采用分而治之的手段將整個網(wǎng)站業(yè)務(wù)分成不同的產(chǎn)品線。系統(tǒng)上按照業(yè)務(wù)進(jìn)行拆分改造，應(yīng)用服務(wù)器按照業(yè)務(wù)區(qū)分進(jìn)行分別部署。

描述：應(yīng)用之間可以通過超鏈接建立關(guān)系，也可以通過消息隊列進(jìn)行數(shù)據(jù)分發(fā)，當(dāng)然更多的還是通過訪問同一個數(shù)據(jù)存儲系統(tǒng)來構(gòu)成一個關(guān)聯(lián)的完整系統(tǒng)。

縱向拆分：將一個大應(yīng)用拆分為多個小應(yīng)用，如果新業(yè)務(wù)較為獨立，那么就直接將其設(shè)計部署為一個獨立的 Web 應(yīng)用系統(tǒng)。縱向拆分相對較為簡單，通過梳理業(yè)務(wù)，將較少相關(guān)的業(yè)務(wù)剝離即可。

橫向拆分：將復(fù)用的業(yè)務(wù)拆分出來，獨立部署為分布式服務(wù)，新增業(yè)務(wù)只需要調(diào)用這些分布式服務(wù)橫向拆分需要識別可復(fù)用的業(yè)務(wù)，設(shè)計服務(wù)接口，規(guī)范服務(wù)依賴關(guān)系。

2.10. 分布式服務(wù)

問題：隨著業(yè)務(wù)越拆越小，存儲系統(tǒng)越來越龐大，應(yīng)用系統(tǒng)整體復(fù)雜程度呈指數(shù)級上升，部署維護(hù)越來越困難。由于所有應(yīng)用要和所有數(shù)據(jù)庫系統(tǒng)連接，最終導(dǎo)致數(shù)據(jù)庫連接資源不足，拒絕服務(wù)。

特征：公共業(yè)務(wù)提取出來，獨立部署。由這些可復(fù)用的業(yè)務(wù)連接數(shù)據(jù)庫，通過分布式服務(wù)提供共用業(yè)務(wù)服務(wù)。

3. 大型網(wǎng)站架構(gòu)模式

3.1. 分層

大型網(wǎng)站架構(gòu)中常采用分層結(jié)構(gòu)，將軟件系統(tǒng)分為應(yīng)用層、服務(wù)層、數(shù)據(jù)層：

• 應(yīng)用層 - 負(fù)責(zé)具體業(yè)務(wù)和視圖展示。如網(wǎng)站首頁及搜索輸入和結(jié)果展示。

• 服務(wù)層 - 為應(yīng)用層提供服務(wù)支持。如用戶管理服務(wù)、購物車服務(wù)等。

• 應(yīng)用層 - 提供數(shù)據(jù)存儲訪問服務(wù)。如數(shù)據(jù)庫、緩存、文件、搜索引擎等。

分層架構(gòu)的約束：禁止跨層次的調(diào)用（應(yīng)用層直接調(diào)用數(shù)據(jù)層）及逆向調(diào)用（數(shù)據(jù)層調(diào)用服務(wù)層，或者服務(wù)層調(diào)用應(yīng)用層）。

分層結(jié)構(gòu)內(nèi)部還可以繼續(xù)分層，如應(yīng)用可以再細(xì)分為視圖層和業(yè)務(wù)邏輯層；服務(wù)層也可以細(xì)分為數(shù)據(jù)接口層和邏輯處理層。

3.2. 分割

將不同的功能和服務(wù)分割開來，包裝成高內(nèi)聚低耦合的模塊單元。這有助于軟件的開發(fā)和維護(hù)，便于不同模塊的分布式部署，提高網(wǎng)站的并發(fā)處理能力和功能擴展能力。

3.3. 分布式

大于大型網(wǎng)站，分層和分割的一個主要目的是為了切分后的模塊便于分布式部署，即將不同模塊部署在不同的服務(wù)器上，通過遠(yuǎn)程調(diào)用協(xié)同工作。

分布式意味可以用更多的機器工作，那么 CPU、內(nèi)存、存儲資源也就更豐富，能夠處理的并發(fā)訪問和數(shù)據(jù)量就越大，進(jìn)而能夠為更多的用戶提供服務(wù)。

分布式也引入了一些問題：

• 服務(wù)調(diào)用必須通過網(wǎng)絡(luò)，網(wǎng)絡(luò)延遲會影響性能

• 服務(wù)器越多，宕機概率也越大，是可用性降低

• 數(shù)據(jù)一致性非常困難，分布式事務(wù)也難以保證

• 網(wǎng)站依賴錯綜復(fù)雜，開發(fā)管理維護(hù)困難

常用的分布式方案：

• 分布式應(yīng)用和服務(wù)

• 分布式靜態(tài)資源

• 分布式數(shù)據(jù)和存儲

• 分布式計算

3.4. 集群

集群即多臺服務(wù)器部署相同應(yīng)用構(gòu)成一個集群，通過負(fù)載均衡設(shè)備共同對外提供服務(wù)。

集群需要具備伸縮性和故障轉(zhuǎn)移機制：伸縮性是指可以根據(jù)用戶訪問量向集群添加或減少機器；故障轉(zhuǎn)移是指，當(dāng)某臺機器出現(xiàn)故障時，負(fù)載均衡設(shè)備或失效轉(zhuǎn)移機制將請求轉(zhuǎn)發(fā)到集群中的其他機器上，從而不影響用戶使用。

3.5. 緩存

緩存就是將數(shù)據(jù)存放在距離最近的位置以加快處理速度。緩存是改善軟件性能的第一手段。

網(wǎng)站應(yīng)用中，緩存除了可以加快數(shù)據(jù)訪問速度以外，還可以減輕后端應(yīng)用和數(shù)據(jù)存儲的負(fù)載壓力。

常見緩存手段：

• CDN

• 反向代理

• 本地緩存

• 分布式緩存

使用緩存有兩個前提：

• 數(shù)據(jù)訪問熱點不均勻，頻繁訪問的數(shù)據(jù)應(yīng)該放在緩存中

• 數(shù)據(jù)在某個時間段有效，不過很快過期，否則緩存數(shù)據(jù)會因已經(jīng)失效而產(chǎn)生臟讀

3.6. 異步

軟件發(fā)展的一個重要目標(biāo)和驅(qū)動力是降低軟件耦合性。事物之間直接關(guān)系越少，彼此影響就越小，也就更容易獨立發(fā)展。

大型網(wǎng)站架構(gòu)中，系統(tǒng)解耦的手段除了分層、分割、分布式等，還有一個重要手段——異步。

業(yè)務(wù)間的消息傳遞不是同步調(diào)用，而是將一個業(yè)務(wù)操作拆分成多階段，每個階段間通過共享數(shù)據(jù)的方式異步執(zhí)行進(jìn)行協(xié)作。

• 在單一服務(wù)器內(nèi)部可通過多線程共享內(nèi)存隊列的方式實現(xiàn)異步，處在業(yè)務(wù)操作前面的線程將操作輸出到隊列，后面的線程從隊列中讀取數(shù)據(jù)進(jìn)行處理；

• 在分布式系統(tǒng)中，多個服務(wù)器集群通過分布式消息隊列實現(xiàn)異步。

異步架構(gòu)是典型的生產(chǎn)者消費模式，二者不存在直接調(diào)用。異步消息隊列還有如下特性：

• 提高系統(tǒng)可用性

• 加快響應(yīng)速度

• 消除并發(fā)訪問高峰

3.7. 冗余

大型網(wǎng)站，出現(xiàn)服務(wù)器宕機是必然事件。要保證部分服務(wù)器宕機的情況下網(wǎng)站依然可以繼續(xù)服務(wù)，不丟失數(shù)據(jù)，就需要一定程度的服務(wù)器冗余運行，數(shù)據(jù)冗余備份。這樣當(dāng)某臺服務(wù)器宕機是，可以將其上的服務(wù)和數(shù)據(jù)訪問轉(zhuǎn)移到其他機器上。

訪問和負(fù)載很小的服務(wù)也必須部署 至少兩臺服務(wù)器構(gòu)成一個集群，目的就是通過冗余實現(xiàn)服務(wù)高可用。數(shù)據(jù)除了定期備份，存檔保存，實現(xiàn) 冷備份 外；為了保證在線業(yè)務(wù)高可用，還需要對數(shù)據(jù)庫進(jìn)行主從分離，實時同步實現(xiàn) 熱備份。

為了抵御地震、海嘯等不可抗因素導(dǎo)致的網(wǎng)站完全癱瘓，某些大型網(wǎng)站會對整個數(shù)據(jù)中心進(jìn)行備份，全球范圍內(nèi)部署 災(zāi)備數(shù)據(jù)中心。網(wǎng)站程序和數(shù)據(jù)實時同步到多個災(zāi)備數(shù)據(jù)中心。

3.8. 自動化

大型網(wǎng)站架構(gòu)的自動化架構(gòu)設(shè)計主要集中在發(fā)布運維方面：

• 發(fā)布過程自動化

• 自動化代碼管理

• 自動化測試

• 自動化安全監(jiān)測

• 自動化部署

• 運維自動化

• 自動化監(jiān)控

• 自動化報警

• 自動化失效轉(zhuǎn)移

• 自動化失效恢復(fù)

• 自動化降級

• 自動化分配資源

3.9. 安全

• 密碼 和 手機校驗碼 進(jìn)行身份認(rèn)證

• 登錄、交易等重要操作需要對網(wǎng)絡(luò)通信進(jìn)行 加密，存儲的敏感數(shù)據(jù)如用戶信息等也進(jìn)行加密處理

• 防止機器人程序攻擊網(wǎng)站，使用 驗證碼 進(jìn)行識別

• 對常見用于 攻擊 網(wǎng)站的 XSS 攻擊、SQL 注入、進(jìn)行編碼轉(zhuǎn)換等相應(yīng)處理

• 對垃圾信息、敏感信息進(jìn)行 過濾

• 對交易轉(zhuǎn)賬等重要操作根據(jù)交易模式和交易信息進(jìn)行 風(fēng)險控制

4. 大型網(wǎng)站核心架構(gòu)要素

架構(gòu) 的一種通俗說法是：最高層次的規(guī)劃，難以改變的決定。

除了系統(tǒng)功能需求外，架構(gòu)還需要關(guān)注以下架構(gòu)要素：

4.1. 性能

性能問題無處不在，所以網(wǎng)站性能優(yōu)化手段也十分繁多：

• 前端

• 瀏覽器緩存

• 靜態(tài)資源壓縮

• 合理布局頁面

• 減少 cookie 傳輸

• CDN

• 應(yīng)用服務(wù)器

• 本地緩存

• 分布式緩存

• 異步消息隊列

• 集群

• 代碼層面：使用多線程、改善內(nèi)存管理

• 數(shù)據(jù)庫

• 索引

• 數(shù)據(jù)庫緩存

• SQL 優(yōu)化

4.2. 可用性

可用性指部分服務(wù)器出現(xiàn)故障時，還能否對用戶提供服務(wù)

• 冗余

• 通過負(fù)載均衡設(shè)備建立集群共同對外提供服務(wù)

• 數(shù)據(jù)存儲在多臺服務(wù)器，互相備份

• 自動化：通過預(yù)發(fā)布驗證、自動化測試、自動化發(fā)布、灰度發(fā)布等手段，減少將故障引入線上環(huán)境的可能

4.3. 伸縮性

衡量伸縮的標(biāo)準(zhǔn)就是是否可以用多臺服務(wù)器構(gòu)建集群，是否容易向集群中增刪服務(wù)器節(jié)點。增刪服務(wù)器節(jié)點后是否可以提供和之前無差別的服務(wù)。集群中可容納的總服務(wù)器數(shù)是否有限制。

• 應(yīng)用服務(wù)器集群 - 只要服務(wù)器上保存數(shù)據(jù)，則所有服務(wù)器都是對等的，通過負(fù)載均衡設(shè)備向集群中不斷加入服務(wù)器即可

• 緩存服務(wù)器集群 - 加入新的服務(wù)器可能會導(dǎo)致緩存路由失效，進(jìn)而導(dǎo)致集群中的大部分緩存數(shù)據(jù)都無法訪問。雖然緩存數(shù)據(jù)可以通過數(shù)據(jù)庫重新加載，但是如果應(yīng)用嚴(yán)重依賴緩存，可能會導(dǎo)致網(wǎng)站崩潰。需要改進(jìn)緩存路由算法保證緩存數(shù)據(jù)的可訪問性。

• 關(guān)系型數(shù)據(jù)庫集群 - 關(guān)系型數(shù)據(jù)庫雖然支持?jǐn)?shù)據(jù)復(fù)制，主從熱備等機制，但是很難做到大規(guī)模集群的可伸縮性，因此關(guān)系型數(shù)據(jù)庫的集群伸縮性方案必須在數(shù)據(jù)庫之外實現(xiàn)，通過路由分區(qū)等手段將部署有多個數(shù)據(jù)庫的服務(wù)器組成一個集群。

• NOSql 數(shù)據(jù)庫集群 - 由于先天就是為了應(yīng)對海量數(shù)據(jù)而產(chǎn)生，因此對伸縮性的支持通常都非常好。

4.4. 擴展性

衡量擴展性的標(biāo)準(zhǔn)就是增加新的業(yè)務(wù)產(chǎn)品時，是否可以實現(xiàn)對現(xiàn)有產(chǎn)品透明無影響，不需要任何改動或很少改動，既有功能就可以上線新產(chǎn)品。主要手段有：事件驅(qū)動架構(gòu)和分布式服務(wù)。

4.5. 安全性

安全性保護(hù)網(wǎng)站不受惡意攻擊，保護(hù)網(wǎng)站重要數(shù)據(jù)不被竊取。

到此，關(guān)于“大型互聯(lián)網(wǎng)架構(gòu)的知識點有哪些”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識，請繼續(xù)關(guān)注億速云網(wǎng)站，小編會繼續(xù)努力為大家?guī)砀鄬嵱玫奈恼拢?/p>