溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點(diǎn)擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》

redis實(shí)現(xiàn)服務(wù)器崩潰宕機(jī)的數(shù)據(jù)恢復(fù)方法

發(fā)布時(shí)間:2020-04-24 13:57:52 來源:億速云 閱讀:924 作者:小新 欄目:關(guān)系型數(shù)據(jù)庫

今天小編給大家分享的是redis實(shí)現(xiàn)服務(wù)器崩潰宕機(jī)的數(shù)據(jù)恢復(fù)方法,相信很多人都不太了解,為了讓大家更加了解,所以給大家總結(jié)了以下內(nèi)容,一起往下看吧。一定會有所收獲的哦。

redis實(shí)現(xiàn)服務(wù)器崩潰宕機(jī)的數(shù)據(jù)恢復(fù)方法

由于redis存儲在內(nèi)存中且提供一般編程語言常用的數(shù)據(jù)結(jié)構(gòu)存儲類型,所以經(jīng)常被用于做服務(wù)器崩潰宕機(jī)的數(shù)據(jù)恢復(fù)處理。

服務(wù)器可以在某些指定過程中將需要保存的數(shù)據(jù)以json對象等方式存儲到redis中,也就是我們常說的快照,當(dāng)服務(wù)器運(yùn)行時(shí)讀取redis來判斷是否有待需要恢復(fù)數(shù)據(jù)繼續(xù)處理的業(yè)務(wù)。

當(dāng)一次業(yè)務(wù)處理結(jié)束后再刪除redis的數(shù)據(jù)即可。

redis提供兩種將內(nèi)存數(shù)據(jù)導(dǎo)出到硬盤實(shí)現(xiàn)數(shù)據(jù)備份的方法:

RDB方式(默認(rèn))

RDB方式的持久化是通過快照(snapshotting)完成的,當(dāng)符合一定條件時(shí)Redis會自動(dòng)將內(nèi)存中的所有數(shù)據(jù)進(jìn)行快照并存儲在硬盤上。進(jìn)行快照的條件可以由用戶在配置文件中自定義,由兩個(gè)參數(shù)構(gòu)成:時(shí)間和改動(dòng)的鍵的個(gè)數(shù)。當(dāng)在指定的時(shí)間內(nèi)被更改的鍵的個(gè)數(shù)大于指定的數(shù)值時(shí)就會進(jìn)行快照。RDB是redis默認(rèn)采用的持久化方式,在配置文件中已經(jīng)預(yù)置了3個(gè)條件:

save 900 1    # 900秒內(nèi)有至少1個(gè)鍵被更改則進(jìn)行快照

save 300 10   # 300秒內(nèi)有至少10個(gè)鍵被更改則進(jìn)行快照

save 60 10000 # 60秒內(nèi)有至少10000個(gè)鍵被更改則進(jìn)行快照

可以存在多個(gè)條件,條件之間是“或”的關(guān)系,只要滿足其中一個(gè)條件,就會進(jìn)行快照。 如果想要禁用自動(dòng)快照,只需要將所有的save參數(shù)刪除即可。

Redis默認(rèn)會將快照文件存儲在當(dāng)前目錄(可CONFIG GET dir來查看)的dump.rdb文件中,可以通過配置dir和dbfilename兩個(gè)參數(shù)分別指定快照文件的存儲路徑和文件名。

Redis實(shí)現(xiàn)快照的過程

Redis使用fork函數(shù)復(fù)制一份當(dāng)前進(jìn)程(父進(jìn)程)的副本(子進(jìn)程);

父進(jìn)程繼續(xù)接收并處理客戶端發(fā)來的命令,而子進(jìn)程開始將內(nèi)存中的數(shù)據(jù)寫入硬盤中的臨時(shí)文件;

當(dāng)子進(jìn)程寫入完所有數(shù)據(jù)后會用該臨時(shí)文件替換舊的RDB文件,至此一次快照操作完成。

在執(zhí)行fork的時(shí)候操作系統(tǒng)(類Unix操作系統(tǒng))會使用寫時(shí)復(fù)制(copy-on-write)策略,即fork函數(shù)發(fā)生的一刻父子進(jìn)程共享同一內(nèi)存數(shù)據(jù),當(dāng)父進(jìn)程要更改其中某片數(shù)據(jù)時(shí)(如執(zhí)行一個(gè)寫命令 ),操作系統(tǒng)會將該片數(shù)據(jù)復(fù)制一份以保證子進(jìn)程的數(shù)據(jù)不受影響,所以新的RDB文件存儲的是執(zhí)行fork一刻的內(nèi)存數(shù)據(jù)。

Redis在進(jìn)行快照的過程中不會修改RDB文件,只有快照結(jié)束后才會將舊的文件替換成新的,也就是說任何時(shí)候RDB文件都是完整的。這使得我們可以通過定時(shí)備份RDB文件來實(shí) 現(xiàn)Redis數(shù)據(jù)庫備份。RDB文件是經(jīng)過壓縮(可以配置rdbcompression參數(shù)以禁用壓縮節(jié)省CPU占用)的二進(jìn)制格式,所以占用的空間會小于內(nèi)存中的數(shù)據(jù)大小,更加利于傳輸。

除了自動(dòng)快照,還可以手動(dòng)發(fā)送SAVE或BGSAVE命令讓Redis執(zhí)行快照,兩個(gè)命令的區(qū)別在于,前者是由主進(jìn)程進(jìn)行快照操作,會阻塞住其他請求,后者會通過fork子進(jìn)程進(jìn)行快照操作。 Redis啟動(dòng)后會讀取RDB快照文件,將數(shù)據(jù)從硬盤載入到內(nèi)存。根據(jù)數(shù)據(jù)量大小與結(jié)構(gòu)和服務(wù)器性能不同,這個(gè)時(shí)間也不同。通常將一個(gè)記錄一千萬個(gè)字符串類型鍵、大小為1GB的快照文件載入到內(nèi) 存中需要花費(fèi)20~30秒鐘。 通過RDB方式實(shí)現(xiàn)持久化,一旦Redis異常退出,就會丟失最后一次快照以后更改的所有數(shù)據(jù)。這就需要開發(fā)者根據(jù)具體的應(yīng)用場合,通過組合設(shè)置自動(dòng)快照條件的方式來將可能發(fā)生的數(shù)據(jù)損失控制在能夠接受的范圍。如果數(shù)據(jù)很重要以至于無法承受任何損失,則可以考慮使用AOF方式進(jìn)行持久化。

AOF方式

默認(rèn)情況下Redis沒有開啟AOF(append only file)方式的持久化,可以在redis.conf中通過appendonly參數(shù)開啟:

appendonly yes

在啟動(dòng)時(shí)Redis會逐個(gè)執(zhí)行AOF文件中的命令來將硬盤中的數(shù)據(jù)載入到內(nèi)存中,載入的速度相較RDB會慢一些

開啟AOF持久化后每執(zhí)行一條會更改Redis中的數(shù)據(jù)的命令,Redis就會將該命令寫入硬盤中的AOF文件。AOF文件的保存位置和RDB文件的位置相同,都是通過dir參數(shù)設(shè)置的,默認(rèn)的文件名是appendonly.aof,可以通過appendfilename參數(shù)修改:

appendfilename appendonly.aof

配置redis自動(dòng)重寫AOF文件的條件

auto-aof-rewrite-percentage 100  # 當(dāng)目前的AOF文件大小超過上一次重寫時(shí)的AOF文件大小的百分之多少時(shí)會再次進(jìn)行重寫,如果之前沒有重寫過,則以啟動(dòng)時(shí)的AOF文件大小為依據(jù)

auto-aof-rewrite-min-size 64mb   # 允許重寫的最小AOF文件大小

配置寫入AOF文件后,要求系統(tǒng)刷新硬盤緩存的機(jī)制

# appendfsync always   # 每次執(zhí)行寫入都會執(zhí)行同步,最安全也最慢

appendfsync everysec   # 每秒執(zhí)行一次同步操作

# appendfsync no       # 不主動(dòng)進(jìn)行同步操作,而是完全交由操作系統(tǒng)來做(即每30秒一次),最快也最不安全

Redis允許同時(shí)開啟AOF和RDB,既保證了數(shù)據(jù)安全又使得進(jìn)行備份等操作十分容易。此時(shí)重新啟動(dòng)Redis后Redis會使用AOF文件來恢復(fù)數(shù)據(jù),因?yàn)锳OF方式的持久化可能丟失的數(shù)據(jù)更少

redis = require('redis'),//導(dǎo)入js模塊
RDS_PORT = ,        //端口號
RDS_HOST = '',    //服務(wù)器IP
RDS_OPTS = {},            //設(shè)置項(xiàng)
redisdb = redis.createClient(RDS_PORT, RDS_HOST, RDS_OPTS);//創(chuàng)建連接
 
redisdb.select(20);//指定分區(qū)庫
 
redisdb.on('ready', function (res) {
    console.log('ready');
});
 
redisdb.on('connect', function () {
    console.log('connect');
});
exports.redisdb = redisdb;
 
function redis_opt(opt, key, value, callback) {
 
    if (opt == 'get') {
        redisdb.get(key, function (err, data) {
            if (err == null) {
                callback(data);
            }
            else {
                callback(err);
            }
        });
    }
    else if (opt == 'set')
    {
        redisdb.set(key,value, function (err,result) {
            if (err == null) {
                callback(result);
            }
            else {
                callback(err);
            }
        });
    }
    else if (opt == 'del')
    {
        redisdb.del(key, function (err, result) {
            if (err == null) {
                callback(result);
            }
            else {
                callback(err);
            }
        });
    }
    else
    {
        callback("error opt!");
    }
    
}
 
function update(key)
{
    redis_opt("get", key, null, function (data) {
        console.log("the redis data is " + data);
        if (data) {
            count = parseInt(data);
            redis_opt("set", key, ++count , function (data) {
                console.log("set " + count  + " " + data);
            });  
        }
        else {
            redis_opt("set", key, 10000, function (data) {
                console.log("set " + 10000 + " " + data);
            });  
        }
    });
 
 
 
 
 
    
 
 
   
 
 
}
 
function clear(key)
{
    redis_opt("del", key, null, function (ret) {
        console.log("del " + key + " " + ret);
    });  
}
 
 
 
function main()
{
 
    var key = "count_test";
 
    setInterval(function () { clear(key) }, 5000);
 
    setInterval(function () { update(key) }, 1000);
 
}
 
 
 
 
//testmain();
 
 
main();

以上代碼為簡單的計(jì)時(shí)器函數(shù),即服務(wù)器啟動(dòng)后定時(shí)讀取redis的數(shù)據(jù),如果存在則累加修改,不存在則初始化,同時(shí)為了方便說明,又設(shè)置了一個(gè)定時(shí)刪除數(shù)據(jù)的定時(shí)器。

redis實(shí)現(xiàn)服務(wù)器崩潰宕機(jī)的數(shù)據(jù)恢復(fù)方法

redis實(shí)現(xiàn)服務(wù)器崩潰宕機(jī)的數(shù)據(jù)恢復(fù)方法

關(guān)于redis實(shí)現(xiàn)服務(wù)器崩潰宕機(jī)的數(shù)據(jù)恢復(fù)方法就分享到這里了,當(dāng)然并不止以上和大家分析的辦法,不過小編可以保證其準(zhǔn)確性是絕對沒問題的。希望以上內(nèi)容可以對大家有一定的參考價(jià)值,可以學(xué)以致用。如果喜歡本篇文章,不妨把它分享出去讓更多的人看到。

向AI問一下細(xì)節(jié)

免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI