CPU緩存和內(nèi)存屏障

CPU性能優(yōu)化手段-緩存

為了提高程序運(yùn)行的性能，現(xiàn)代CPU在很多方面對(duì)程序進(jìn)行了優(yōu)化。
例如：CPU高速緩存。盡可能地避免處理器訪問(wèn)主內(nèi)存的時(shí)間開(kāi)銷(xiāo)，處理器大多會(huì)利用緩存(cache)以提高性能。

cdn.xitu.io/2019/8/28/16cd87cafcc2740a?w=1440&h=384&f=png&s=91896">

多級(jí)緩存

L1 Cache(一級(jí)緩存)是CPU第一層高速緩存，分為數(shù)據(jù)緩存和指令緩存。一般服務(wù)器CPU的L1緩存的容量通常在32-4096KB。

L2由于L1級(jí)高速緩存容量的限制，為了再次提高CPU的運(yùn)算速度，在CPU外部放置-高速存儲(chǔ)器，即二級(jí)緩存。

L3現(xiàn)在的都是內(nèi)置的。而它的實(shí)際作用即是，L3緩存的應(yīng)用可以進(jìn)一步降低內(nèi)存延遲，同時(shí)提升大數(shù)據(jù)量計(jì)算時(shí)處理器的性能。具有較大L3緩存的處理器提供更有效的文件系統(tǒng)緩存行為及較短消息和處理器隊(duì)列長(zhǎng)度。一般是多核共享一個(gè)L3緩存！

CPU在讀取數(shù)據(jù)時(shí)，先在L1中尋找，再?gòu)腖2尋找，再?gòu)腖3尋找，然后是內(nèi)存，再后是外存儲(chǔ)器。

緩存同步協(xié)議

多CPU讀取同樣的數(shù)據(jù)進(jìn)行緩存，進(jìn)行不同運(yùn)算之后，最終寫(xiě)入主內(nèi)存以哪個(gè)CPU為準(zhǔn)？

在這種高速緩存回寫(xiě)的場(chǎng)景下，有一個(gè)緩存一致性協(xié)議多數(shù)CPU廠商對(duì)它進(jìn)行了實(shí)現(xiàn)。

MESI協(xié)議，它規(guī)定每條緩存有個(gè)狀態(tài)位，同時(shí)定義了下面四個(gè)狀態(tài)：

• 修改態(tài)(Modified)-此cache行已被修改過(guò)(臟行),內(nèi)容已不同于主存，為此cache專(zhuān)有；
• 專(zhuān)有態(tài)(Exclusive)-此cache行內(nèi)容同于主存，但不出現(xiàn)于其它c(diǎn)ache中；
• 共享態(tài)(Shared)-此cache行內(nèi)容同于主存，但也出現(xiàn)于其它c(diǎn)ache中；
• 無(wú)效態(tài)(Invalid)-此cache行內(nèi)容無(wú)效(空行)。

多處理器，單個(gè)CPU對(duì)緩存中數(shù)據(jù)進(jìn)行了改動(dòng)，需要通知給其它CPU。也就是意味著，CPU處理要控制自己的讀寫(xiě)操作，還要監(jiān)聽(tīng)其他CPU發(fā)出的通知，從而保證最終一致。

CPU性能優(yōu)化手段-運(yùn)行時(shí)指令重排

指令重排的場(chǎng)景：當(dāng)CPU寫(xiě)緩存時(shí)發(fā)現(xiàn)緩存區(qū)塊正被其他CPU占用，為了提高CPU處理性能，可能將后面的讀緩存命令優(yōu)先執(zhí)行。

并非隨便重排，需要遵守as-if-serial語(yǔ)義

as-if-serial語(yǔ)義的意思指：不管怎么重排序(編譯器和處理器為了提高并行度)，(單線(xiàn)程）程序的執(zhí)行結(jié)果不能被改變。編譯器，runtime和處理器都必須遵守as-if-serial語(yǔ)義。也就是說(shuō)：編譯器和處理器不會(huì)對(duì)存在數(shù)據(jù)依賴(lài)關(guān)系的操作做重排序。

兩個(gè)問(wèn)題

1、CPU高速緩存下有一個(gè)問(wèn)題：

緩存中數(shù)據(jù)與主內(nèi)存的數(shù)據(jù)并不是實(shí)時(shí)同步的，各CPU(或CPU核心)間緩存的數(shù)據(jù)也不是實(shí)時(shí)同步。

在同一個(gè)時(shí)間點(diǎn)，各CPU所看到同一內(nèi)存地址的數(shù)據(jù)的值可能是不一致的。

2、CPU執(zhí)行指令重排序優(yōu)化下有一個(gè)問(wèn)題：

雖然遵守了as-if-serial語(yǔ)義，單僅在單CPU自己執(zhí)行的情況下能保證結(jié)果正確。多核多線(xiàn)程中，指令邏輯無(wú)法分辨因果關(guān)聯(lián)，可能出現(xiàn)亂序執(zhí)行，導(dǎo)致程序運(yùn)行結(jié)果錯(cuò)誤。

內(nèi)存屏障

處理器提供了兩個(gè)內(nèi)存屏障指令(Memory Barrier)用于解決上述兩個(gè)問(wèn)題：

寫(xiě)內(nèi)存屏障(Store Memory Barrier):在指令后插入Store Barrier,能讓寫(xiě)入緩存中的最新數(shù)據(jù)更新寫(xiě)入主內(nèi)存，讓其他線(xiàn)程可見(jiàn)。強(qiáng)制寫(xiě)入主內(nèi)存，這種顯示調(diào)用，CPU就不會(huì)因?yàn)樾阅芸紤]而去對(duì)指令重排。

讀內(nèi)存屏障(Load Memory Barrier):在指令前插入Load Barrier,可以讓高速緩存中的數(shù)據(jù)失效，強(qiáng)制從主內(nèi)存加載數(shù)據(jù)。強(qiáng)制讀取主內(nèi)存內(nèi)容，讓CPU緩存與主內(nèi)存保持一致，避免了緩存導(dǎo)致的一致性問(wèn)題。