memcached筆記

    趁周末宅在家有時間，對memcached做個備忘筆記吧，總結(jié)一下，也給大家提供一個參考。有誤解的地方，也請大家給我指正。

1、Memcached：一套利用系統(tǒng)內(nèi)存進(jìn)行數(shù)據(jù)緩存的軟件，常用于動態(tài)的web集群系統(tǒng)后端，數(shù)據(jù)庫前端。臨時緩存web系統(tǒng)查詢過的數(shù)據(jù)庫數(shù)據(jù)，當(dāng)用戶第一次訪問查詢時，通過數(shù)據(jù)庫查詢返回結(jié)果到客戶端同時也以key/value形式緩存一份到memcached，第二次訪問查詢相同的數(shù)據(jù)的時候，優(yōu)先通過memcached查詢，直接由memcached提供服務(wù)，從而減少了對后端數(shù)據(jù)庫的訪問次數(shù)，減輕壓力。

2、Memcached：存在的意義，提高訪問速度（查詢比mysql快得多），提升用戶體驗，減輕后端數(shù)據(jù)庫的訪問壓力。

3、Memcached性質(zhì)：以key/value形式緩存數(shù)據(jù)，重啟服務(wù)器后數(shù)據(jù)會丟失，不可持久性存儲。

4、Memcached運行原理：通過在事先規(guī)劃好的系統(tǒng)內(nèi)存空間中臨時緩存數(shù)據(jù)庫中的各種數(shù)據(jù)，以達(dá)到減少前端業(yè)務(wù)服務(wù)對數(shù)據(jù)庫的直接高并發(fā)訪問，從而提升大規(guī)模網(wǎng)站集群動態(tài)服務(wù)的并發(fā)能力。

5、數(shù)據(jù)更新時，如何保證數(shù)據(jù)的一致性？

   在數(shù)據(jù)更新或者刪除時，會首先處理后端數(shù)據(jù)庫中的數(shù)據(jù)，同時也會通知memcached對應(yīng)的舊數(shù)據(jù)已失效，更新緩存先的數(shù)據(jù)。兩種方式：1、有web程序來通知更新（推薦）2、如果是高并發(fā)的，防止第一次訪問時對后端數(shù)據(jù)庫造成非常大的壓力，可以通過相關(guān)機制（如在數(shù)據(jù)庫中設(shè)置出發(fā)使用UDFs）實現(xiàn)當(dāng)數(shù)據(jù)庫有數(shù)據(jù)更新時，預(yù)先更新一份到memcached中，這樣web程序第一次請求時就能從memcached中命中新的數(shù)據(jù)，減輕對后端數(shù)據(jù)庫的訪問壓力。

這里介紹第一種：直接用網(wǎng)站程序負(fù)責(zé)更新memcached緩存。

6、數(shù)據(jù)預(yù)熱：即是業(yè)務(wù)上線前，先將一些商品分類功能不需要經(jīng)常變動的數(shù)據(jù)事先更新到memcached中，再開放前端頁面的請求，第一次訪問就能命中。

7、可以作為集群及誒單的session會話共享存儲。

8、可支持分布式集群緩存。由于每臺memcached系統(tǒng)緩存的數(shù)據(jù)都不一樣的，做集群的時候需要通過web程序設(shè)計或者通過支持hash算法、一致性哈希算法實現(xiàn)分布式memcached設(shè)置，讓同一個來源用戶的訪問IP，訪問時都指向到同一臺memcached，提高命中率。

9、內(nèi)存管理機制：

采用slab內(nèi)存分配機制：即事先分配好指定大小的內(nèi)存空間的內(nèi)存塊chunks，接收到數(shù)據(jù)的時候，直接存進(jìn)去，速度很快。優(yōu)點：不會產(chǎn)生內(nèi)存碎片。缺點：會導(dǎo)致浪費內(nèi)存空間，如果預(yù)先劃分的內(nèi)存可以放112個字節(jié)，存放了一個100字節(jié)的數(shù)據(jù)。就會浪費了12字節(jié)空間的內(nèi)存。如此就需要開發(fā)人員根據(jù)自己的業(yè)務(wù)數(shù)據(jù)來規(guī)劃，劃分適合大小的內(nèi)存塊，一定程度上可以解決內(nèi)存空間。還有另一種機制malloc，動態(tài)劃分內(nèi)存空間，但是需要去計算大小再劃分內(nèi)存塊最后再存放數(shù)據(jù)，速度上會慢很多,還會產(chǎn)生內(nèi)存碎片。

采用LRU對象清除機制。

采用hash機制快速檢索item。

10、memcached懶惰檢測對象和懶惰刪除對象機制。

memcached程序：有服務(wù)端以及客戶端兩個程序。服務(wù)端安裝在memcached獨立的緩存服務(wù)器系統(tǒng)中，客戶端安裝在web程序（java、php等應(yīng)用程序同服務(wù)器中）,客戶端實際上解壓出來就是一個軟件庫文件，php通過編譯加載memcached模塊，然后通過php.ini配置文件指定memcached的軟件庫文件，通過這個客戶端的memcached軟件庫文件跟服務(wù)端通信。

11、memcached服務(wù)端軟件安裝

wget http://www.memcached.org/files/memcached-1.4.20.tar.gz

libevent-2.0.20-stable.tar.gz

memcached-1.4.20.tar.gz

  tar  zxvf memcached-1.4.20.tar.gz
     cd memcached-1.4.20
     ./configure --prefix=/usr/local/memcached-1.4.20 --with-libevent=/usr/local/libevent-2.0.20/
    make
    make install
    ls -al /usr/local/memcached-1.4.20/bin | grep memcached

啟動命令：

/usr/local/memcached-1.4.20/bin/memcached  -m 128m -p 11211 -d -u root
把啟動項寫在rc.local  

vi /etc/rc.local 

/usr/local/memcached-1.4.20/bin/memcached  -m 128m -p 11211 -d -u root

可以通過不用的端口來同時啟動多個實例。

12、memcached動作：通過set命令設(shè)置寫入數(shù)據(jù)，通過get命令獲取數(shù)據(jù)，通過delete命令刪除數(shù)據(jù)。

可以使用telnet ip 端口 還有nc命令設(shè)置memcached

13、memcached客戶端安裝（以php為例）

#wget http://pecl.php.net/get/memcache-2.2.7.tgz

#tar -zxvf memcache-2.2.7.tgz 

#cd memcache-2.2.7

#/usr/local/php/bin/phpize  (php的安裝目錄)

#./configure --enable-memcache --with-php-config=/usr/local/php/bin/php-config

#make &&make install

最后提示你在Installing shared extensions:     /usr/local/php/lib/php/extensions/no-debug-zts-20100525/目錄下面生成了模塊的庫文件memcache.so

14、配置memcached客戶端使其生效：配置vim php.ini  添加下面兩行

extension_dir = "/usr/local/php/lib/php/extensions/no-debug-zts-20100525/"

extension = memcache.so

或者

extension = /usr/local/php/lib/php/extensions/no-debug-zts-20100525/memcache.so

通過/usr/local/php/bin/php -m查看模塊是否生效。

15、memcached 管理：通過telnet ip port 方式直接登錄memcached或通過nc監(jiān)控和管理。

16、客戶端頁面管理memcached：通過安裝memadmin php工具在界面上管理memcached

17、分布式memcached緩存集群的調(diào)度算法：1、取模計算hash 2、Consistent hash 一致性哈希算法（推薦）

18、由于memcached是利用內(nèi)存臨時性緩存數(shù)據(jù)，重啟后會丟失。可以使用加強版的MemcachedDB兼容持久化工具，緩存的同時也將數(shù)據(jù)放到磁盤?；蛘呤褂?a title="redis" target="_blank" href="http://www.kemok4.com/redis/">redis數(shù)據(jù)庫進(jìn)行持久性存儲。