Memcached、MongoDB、Redis和tokyotyrant

mongodb和memcached不是一個范疇內(nèi)的東西。mongodb是文檔型的非關(guān)系型數(shù)據(jù)庫，其優(yōu)勢在于查詢功能比較強(qiáng)大，能存儲海量數(shù)據(jù)。mongodb和memcached不存在誰替換 誰的問題，MongoDB實(shí)際上是一個簡化版的MySQL，Mongodb的接口實(shí)際上就是類似給SQL做個封裝而已。Mongodb只能支持簡單的單一 查詢 語句，不能join，不能子查詢。實(shí)際性能MySQL和Mongodb差不多，MySQL在高并發(fā)的情況下性能不太好，MongoDB會好很多。 mongodb模式自由，容易搭建分布式群集，適合做儲存。

和memcached更為接近的是redis。它們都是內(nèi)存型數(shù)據(jù)庫，數(shù)據(jù)保存在內(nèi)存中，通過tcp直接存取，優(yōu)勢是速度快，并發(fā)高，缺點(diǎn)是數(shù)據(jù)類型有限，查詢功能不強(qiáng)，一般用作緩存。在我們團(tuán)隊的項目中，一開始用的是memcached，后來用redis替代。

相比memcached：

1、redis具有持久化機(jī)制，可以定期將內(nèi)存中的數(shù)據(jù)持久化到硬盤上。

2、redis具備binlog功能，可以將所有操作寫入日志，當(dāng)redis出現(xiàn)故障，可依照binlog進(jìn)行數(shù)據(jù)恢復(fù)。

3、redis支持virtual memory，可以限定內(nèi)存使用大小，當(dāng)數(shù)據(jù)超過閾值，則通過類似LRU的算法把內(nèi)存中的最不常用數(shù)據(jù)保存到硬盤的頁面文件中。

4、redis原生支持的數(shù)據(jù)類型更多，使用的想象空間更大。

5、前面有位朋友所提及的一致性哈希，用在redis的sharding中，一般是在負(fù)載非常高需要水平擴(kuò)展時使用。我們還沒有用到這方面的功能，一般的項目，單機(jī)足夠

支撐并發(fā)了。redis 3.0將推出cluster，功能更加強(qiáng)大。

6、redis更多優(yōu)點(diǎn)，請移步官方網(wǎng)站查詢。

7. 性能

Redis作者的說法是平均到單個核上的性能，在單條數(shù)據(jù)不大的情況下Redis更好。為什么這么說呢，理由就是Redis是單線程運(yùn)行的。

因為是單線程運(yùn)行，所以和Memcached的多線程相比，整體性能肯定會偏低。

因為是單線程運(yùn)行，所以IO是串行化的，網(wǎng)絡(luò)IO和內(nèi)存IO，因此當(dāng)單條數(shù)據(jù)太大時，由于需要等待一個命令的所有IO完成才能進(jìn)行后續(xù)的命令，所以性能會受影響。

如果簡單地比較Redis與Memcached的區(qū)別，大多數(shù)都會得到以下觀點(diǎn)：

1 Redis不僅僅支持簡單的k/v類型的數(shù)據(jù)，同時還提供list，set，hash等數(shù)據(jù)結(jié)構(gòu)的存儲。

2 Redis支持?jǐn)?shù)據(jù)的備份，即master-slave模式的數(shù)據(jù)備份。

3 Redis支持?jǐn)?shù)據(jù)的持久化，可以將內(nèi)存中的數(shù)據(jù)保持在磁盤中，重啟的時候可以再次加載進(jìn)行使用。

在Redis中，并不是所有的數(shù)據(jù)都一直存儲在內(nèi)存中的。這是和Memcached相比一個最大的區(qū)別。Redis只會緩存所有的key的信息，如果Redis發(fā)現(xiàn)內(nèi)存的使用量超過了某一個閥值，將觸發(fā)swap的操作，Redis根據(jù)“swappability = age*log(size_in_memory)”計 算出哪些key對應(yīng)的value需要swap到磁盤。然后再將這些key對應(yīng)的value持久化到磁盤中，同時在內(nèi)存中清除。這種特性使得Redis可以 保持超過其機(jī)器本身內(nèi)存大小的數(shù)據(jù)。當(dāng)然，機(jī)器本身的內(nèi)存必須要能夠保持所有的key，畢竟這些數(shù)據(jù)是不會進(jìn)行swap操作的。同時由于Redis將內(nèi)存 中的數(shù)據(jù)swap到磁盤中的時候，提供服務(wù)的主線程和進(jìn)行swap操作的子線程會共享這部分內(nèi)存，所以如果更新需要swap的數(shù)據(jù)，Redis將阻塞這個 操作，直到子線程完成swap操作后才可以進(jìn)行修改。

可以參考使用Redis特有內(nèi)存模型前后的情況對比：
 

VM off: 300k keys, 4096 bytes values: 1.3G used
VM on:  300k keys, 4096 bytes values: 73M used
VM off: 1 million keys, 256 bytes values: 430.12M used
VM on:  1 million keys, 256 bytes values: 160.09M used
VM on:  1 million keys, values as large as you want, still: 160.09M used

當(dāng)從Redis中讀取數(shù)據(jù)的時候，如果讀取的key對應(yīng)的value不在內(nèi)存中，那么Redis就需要從swap文件中加載相應(yīng)數(shù)據(jù)，然后再返回給 請求方。這里就存在一個I/O線程池的問題。在默認(rèn)的情況下，Redis會出現(xiàn)阻塞，即完成所有的swap文件加載后才會相應(yīng)。這種策略在客戶端的數(shù)量較 小，進(jìn)行批量操作的時候比較合適。但是如果將Redis應(yīng)用在一個大型的網(wǎng)站應(yīng)用程序中，這顯然是無法滿足大并發(fā)的情況的。所以Redis運(yùn)行我們設(shè)置 I/O線程池的大小，對需要從swap文件中加載相應(yīng)數(shù)據(jù)的讀取請求進(jìn)行并發(fā)操作，減少阻塞的時間。

redis、memcache、mongoDB 對比

從以下幾個維度，對redis、memcache、mongoDB 做了對比，歡迎拍磚

1、性能

都比較高，性能對我們來說應(yīng)該都不是瓶頸

總體來講，TPS方面redis和memcache差不多，要大于mongodb

2、操作的便利性

memcache數(shù)據(jù)結(jié)構(gòu)單一

redis豐富一些，數(shù)據(jù)操作方面，redis更好一些，較少的網(wǎng)絡(luò)IO次數(shù)

mongodb支持豐富的數(shù)據(jù)表達(dá)，索引，最類似關(guān)系型數(shù)據(jù)庫，支持的查詢語言非常豐富

3、內(nèi)存空間的大小和數(shù)據(jù)量的大小

redis在2.0版本后增加了自己的VM特性，突破物理內(nèi)存的限制；可以對key value設(shè)置過期時間（類似memcache）

memcache可以修改最大可用內(nèi)存,采用LRU算法

mongoDB適合大數(shù)據(jù)量的存儲，依賴操作系統(tǒng)VM做內(nèi)存管理，吃內(nèi)存也比較厲害，服務(wù)不要和別的服務(wù)在一起

4、可用性（單點(diǎn)問題）

對于單點(diǎn)問題，

redis，依賴客戶端來實(shí)現(xiàn)分布式讀寫；主從復(fù)制時，每次從節(jié)點(diǎn)重新連接主節(jié)點(diǎn)都要依賴整個快照,無增量復(fù)制，因性能和效率問題，

所以單點(diǎn)問題比較復(fù)雜；不支持自動sharding,需要依賴程序設(shè)定一致hash 機(jī)制。

一種替代方案是，不用redis本身的復(fù)制機(jī)制，采用自己做主動復(fù)制（多份存儲），或者改成增量復(fù)制的方式（需要自己實(shí)現(xiàn)），一致性問題和性能的權(quán)衡

Memcache本身沒有數(shù)據(jù)冗余機(jī)制，也沒必要；對于故障預(yù)防，采用依賴成熟的hash或者環(huán)狀的算法，解決單點(diǎn)故障引起的抖動問題。

mongoDB支持master-slave,replicaset（內(nèi)部采用paxos選舉算法，自動故障恢復(fù)）,auto sharding機(jī)制，對客戶端屏蔽了故障轉(zhuǎn)移和切分機(jī)制。

5、可靠性（持久化）

對于數(shù)據(jù)持久化和數(shù)據(jù)恢復(fù)，

redis支持（快照、AOF）：依賴快照進(jìn)行持久化，aof增強(qiáng)了可靠性的同時，對性能有所影響

memcache不支持，通常用在做緩存,提升性能；

MongoDB從1.8版本開始采用binlog方式支持持久化的可靠性

6、數(shù)據(jù)一致性（事務(wù)支持）

Memcache 在并發(fā)場景下，用cas保證一致性

redis事務(wù)支持比較弱，只能保證事務(wù)中的每個操作連續(xù)執(zhí)行

mongoDB不支持事務(wù)

7、數(shù)據(jù)分析

mongoDB內(nèi)置了數(shù)據(jù)分析的功能(mapreduce),其他不支持

8、應(yīng)用場景

redis：數(shù)據(jù)量較小的更性能操作和運(yùn)算上

memcache：用于在動態(tài)系統(tǒng)中減少數(shù)據(jù)庫負(fù)載，提升性能;做緩存，提高性能（適合讀多寫少，對于數(shù)據(jù)量比較大，可以采用sharding）

MongoDB:主要解決海量數(shù)據(jù)的訪問效率問題