總線鎖定與一致性緩存

總線鎖定和緩存一致性

這是兩個操作系統(tǒng)層面的概念。隨著多核時代的到來，并發(fā)操作已經(jīng)成了很正常的現(xiàn)象，操作系統(tǒng)必須要有一些機(jī)制和原語，以保證某些基本操作的原子性，比如處理器需要保證讀一個字節(jié)或?qū)懸粋€字節(jié)是原子的，那么它是如何實現(xiàn)的呢?有兩種機(jī)制：總線鎖定和緩存一致性。

我們知道，CPU和物理內(nèi)存之間的通信速度遠(yuǎn)慢于CPU的處理速度，所以CPU有自己的內(nèi)部緩存，根據(jù)一些規(guī)則將內(nèi)存中的數(shù)據(jù)讀取到內(nèi)部緩存中來，以加快頻繁讀取的速度。我們假設(shè)在一臺PC上只有一個CPU和一份內(nèi)部緩存，那么所有進(jìn)程和線程看到的數(shù)都是緩存里的數(shù)，不會存在問題;但現(xiàn)在服務(wù)器通常是多 CPU，更普遍的是，每塊CPU里有多個內(nèi)核，而每個內(nèi)核都維護(hù)了自己的緩存，那么這時候多線程并發(fā)就會存在緩存不一致性，這會導(dǎo)致嚴(yán)重問題。

以 i++為例，i的初始值是0.那么在開始每塊緩存都存儲了i的值0，當(dāng)?shù)谝粔K內(nèi)核做i++的時候，其緩存中的值變成了1，即使馬上回寫到主內(nèi)存，那么在回寫之后第二塊內(nèi)核緩存中的i值依然是0，其執(zhí)行i++，回寫到內(nèi)存就會覆蓋第一塊內(nèi)核的操作，使得最終的結(jié)果是1，而不是預(yù)期中的2.

那么怎么解決整個問題呢?操作系統(tǒng)提供了總線鎖定的機(jī)制。前端總線(也叫CPU總線)是所有CPU與芯片組連接的主干道，負(fù)責(zé)CPU與外界所有部件的通信，包括高速緩存、內(nèi)存、北橋，其控制總線向各個部件發(fā)送控制信號、通過地址總線發(fā)送地址信號指定其要訪問的部件、通過數(shù)據(jù)總線雙向傳輸。在CPU1要做 i++操作的時候，其在總線上發(fā)出一個LOCK#信號，其他處理器就不能操作緩存了該共享變量內(nèi)存地址的緩存，也就是阻塞了其他CPU，使該處理器可以獨享此共享內(nèi)存。

但我們只需要對此共享變量的操作是原子就可以了，而總線鎖定把CPU和內(nèi)存的通信給鎖住了，使得在鎖定期間，其他處理器不能操作其他內(nèi)存地址的數(shù)據(jù)，從而開銷較大，所以后來的CPU都提供了緩存一致性機(jī)制，Intel的奔騰486之后就提供了這種優(yōu)化。

緩存一致性機(jī)制整體來說，是當(dāng)某塊CPU對緩存中的數(shù)據(jù)進(jìn)行操作了之后，就通知其他CPU放棄儲存在它們內(nèi)部的緩存，或者從主內(nèi)存中重新讀取，如下圖：

這里以在Intel系列中廣泛使用的MESI協(xié)議詳細(xì)闡述下其原理。

MESI 協(xié)議是以緩存行(緩存的基本數(shù)據(jù)單位，在Intel的CPU上一般是64字節(jié))的幾個狀態(tài)來命名的(全名是Modified、Exclusive、 Share or Invalid)。該協(xié)議要求在每個緩存行上維護(hù)兩個狀態(tài)位，使得每個數(shù)據(jù)單位可能處于M、E、S和I這四種狀態(tài)之一，各種狀態(tài)含義如下：

M：被修改的。處于這一狀態(tài)的數(shù)據(jù)，只在本CPU中有緩存數(shù)據(jù)，而其他CPU中沒有。同時其狀態(tài)相對于內(nèi)存中的值來說，是已經(jīng)被修改的，且沒有更新到內(nèi)存中。

E：獨占的。處于這一狀態(tài)的數(shù)據(jù)，只有在本CPU中有緩存，且其數(shù)據(jù)沒有修改，即與內(nèi)存中一致。

S：共享的。處于這一狀態(tài)的數(shù)據(jù)在多個CPU中都有緩存，且與內(nèi)存一致。

I：無效的。本CPU中的這份緩存已經(jīng)無效。

這里首先介紹該協(xié)議約定的緩存上對應(yīng)的監(jiān)聽：

一個處于M狀態(tài)的緩存行，必須時刻監(jiān)聽所有試圖讀取該緩存行對應(yīng)的主存地址的操作，如果監(jiān)聽到，則必須在此操作執(zhí)行前把其緩存行中的數(shù)據(jù)寫回CPU。

一個處于S狀態(tài)的緩存行，必須時刻監(jiān)聽使該緩存行無效或者獨享該緩存行的請求，如果監(jiān)聽到，則必須把其緩存行狀態(tài)設(shè)置為I。

一個處于E狀態(tài)的緩存行，必須時刻監(jiān)聽其他試圖讀取該緩存行對應(yīng)的主存地址的操作，如果監(jiān)聽到，則必須把其緩存行狀態(tài)設(shè)置為S。

當(dāng)CPU需要讀取數(shù)據(jù)時，如果其緩存行的狀態(tài)是I的，則需要從內(nèi)存中讀取，并把自己狀態(tài)變成S，如果不是I，則可以直接讀取緩存中的值，但在此之前，必須要等待其他CPU的監(jiān)聽結(jié)果，如其他CPU也有該數(shù)據(jù)的緩存且狀態(tài)是M，則需要等待其把緩存更新到內(nèi)存之后，再讀取。

當(dāng)CPU需要寫數(shù)據(jù)時，只有在其緩存行是M或者E的時候才能執(zhí)行，否則需要發(fā)出特殊的RFO指令(Read Or Ownership，這是一種總線事務(wù))，通知其他CPU置緩存無效(I)，這種情況下會性能開銷是相對較大的。在寫入完成后，修改其緩存狀態(tài)為M。

所以如果一個變量在某段時間只被一個線程頻繁地修改，則使用其內(nèi)部緩存就完全可以辦到，不涉及到總線事務(wù)，如果緩存一會被這個CPU獨占、一會被那個CPU 獨占，這時才會不斷產(chǎn)生RFO指令影響到并發(fā)性能。這里說的緩存頻繁被獨占并不是指線程越多越容易觸發(fā)，而是這里的CPU協(xié)調(diào)機(jī)制，這有點類似于有時多線程并不一定提高效率，原因是線程掛起、調(diào)度的開銷比執(zhí)行任務(wù)的開銷還要大，這里的多CPU也是一樣，如果在CPU間調(diào)度不合理，也會形成RFO指令的開銷比任務(wù)開銷還要大。當(dāng)然，這不是編程者需要考慮的事，操作系統(tǒng)會有相應(yīng)的內(nèi)存地址的相關(guān)判斷，這不在本文的討論范圍之內(nèi)。

并非所有情況都會使用緩存一致性的，如被操作的數(shù)據(jù)不能被緩存在CPU內(nèi)部或操作數(shù)據(jù)跨越多個緩存行(狀態(tài)無法標(biāo)識)，則處理器會調(diào)用總線鎖定;另外當(dāng)CPU不支持緩存鎖定時，自然也只能用總線鎖定了，比如說奔騰486以及更老的CPU。