利用django信號實現(xiàn)計數(shù)功能

本文主要知識點：

　　1.使用Django的signals來獲取Model的新建/刪除操作更新

　　2.使用數(shù)據(jù)庫的select for update來正確處理并發(fā)的數(shù)據(jù)庫操作

　　3.使用redis的sorted set來緩存計數(shù)器的修改操作

一，起始

　　我們要實現(xiàn)消息未讀記錄，常規(guī)做法：

定義一個類，當用戶有一條消息未讀，就生成一條記錄。你可以通過以下方式獲取指定用戶未讀消息數(shù)目：

當你的Notification表比較小的時候，這樣的方式?jīng)]有任何問題。但是隨著業(yè)務的增大，表中的數(shù)據(jù)可能有上億條記錄。那么隨之用戶的未讀消息數(shù)，也會有所提高。

　　這時候，你就需要實現(xiàn)一個計數(shù)器，讓這個計數(shù)器來統(tǒng)計每個用戶的未讀消息數(shù)，這樣 比起之前的 count() ，我們只需要執(zhí)行一條簡單的主鍵查詢（或者更優(yōu)）就可以拿到實時的未讀消息數(shù)了。

二，優(yōu)化

　　首先 ，我們得建立一個新表來存儲每個用戶的未讀消息數(shù)。

我們?yōu)槊總€注冊的用戶提供一條對應的記錄，來保存用戶的未讀消息數(shù)。

那么重點就是，我們?nèi)绾沃朗裁磿r候應該更新unread_count呢？

這就要說到Django給我提供的強大的信號機制，從而方便我們實時檢測計數(shù)器。

為了實時更新我們的計數(shù)器，我們必須做到以下幾點：

1.當有新的未讀消息過來的時候，計數(shù)器+1

2.當消息被異常刪除時，如果關(guān)聯(lián)的消息未讀，為計數(shù)器-1

3.當閱讀完一個新消息的時候，計數(shù)器-1

django.db.models.signals.pre_save & django.db.models.signals.post_save 表示的是 某個Model調(diào)用save方法之前和之后會觸發(fā)的事件

現(xiàn)在，我們利用Django提供的兩個信號機制來實現(xiàn)我們的實時更新計數(shù)器。

1.當有新的未讀消息過來的時候，計數(shù)器+1

這樣，每當你使用Notification.create或者.save()之類的方法創(chuàng)建新通知時，我們的 NotificationController 便會得到通知，為計數(shù)器 +1。

2.當消息被異常刪除時，如果關(guān)聯(lián)的消息為未讀，為計數(shù)器 -1

3. 當閱讀一個新消息的時候，為計數(shù)器 -1

　　接下來，當用戶閱讀某條未讀消息的時候，我們也需要更新我們的未讀消息計數(shù)器。 你可能會說，這有什么難的？我只要在我的閱讀消息的方法里面，手動更新我的計數(shù)器不就好了？

　　但是，這樣的實現(xiàn)方式有一個 非常致命的問題， 這個方式?jīng)]有辦法正常處理并發(fā)的請求。

　　例如，你擁有一個id為100的未讀消息對象，這個時候同時有了兩個請求過來，都要標記這個通知為已讀

顯而易見的，這兩次方法都會成功的標記這條通知為已讀，因為在并發(fā)的情況下， if notification.has_readed 這樣的檢查無法正常工作，所以我們的計數(shù)器將會被錯誤的 -1 兩次 ，但其實我們只讀了一條請求。

那么，這樣的問題應該怎么解決呢？

基本上，解決并發(fā)請求產(chǎn)生的數(shù)據(jù)沖突只有一個辦法： 加鎖 ，介紹兩種比較簡單的解決方案：

使用 select for update 數(shù)據(jù)庫查詢

select ... for update 是數(shù)據(jù)庫層面上專門用來解決并發(fā)取數(shù)據(jù)后再修改的場景的，主流的關(guān)系數(shù)據(jù)庫 比如mysql、postgresql都支持這個功能， 新版的Django ORM甚至直接提供了這個功能的shortcut 。 關(guān)于它的更多介紹，你可以搜索你使用的數(shù)據(jù)庫的介紹文檔。

使用 select for update 后，我們的代碼可能會變成這樣：

除了使用``select for update``這樣的功能，還有一個比較簡單的辦法來解決這個問題。

使用update來實現(xiàn)原子性修改

其實，更簡單的辦法，只要把我們的數(shù)據(jù)庫改成單條的update就可以解決并發(fā)情況下的問題了：

這樣，并發(fā)的標記已讀操作也可以正確的影響到我們的計數(shù)器了。

三，高性能

我們可能會直接使用UPDATE 語句來修改我們的計數(shù)器，就像這樣：

但是在生產(chǎn)環(huán)境中，這樣的處理方式很有可能造成嚴重的性能問題，因為如果我們的計數(shù)器在頻繁 更新的話，海量的Update會給數(shù)據(jù)庫造成不小的壓力。所以為了實現(xiàn)一個高性能的計數(shù)器，我們 需要把改動暫存起來，然后批量寫入到數(shù)據(jù)庫。

使用 redis 的 sorted set ，我們可以非常輕松的做到這一點。

使用sorted set來緩存計數(shù)器改動

redis是一個非常好用的內(nèi)存數(shù)據(jù)庫，其中的sorted set是它提供的一種數(shù)據(jù)類型：有序集合， 使用它，我們可以非常簡單的緩存所有的計數(shù)器改動，然后批量回寫到數(shù)據(jù)庫。

通過以上的代碼，我們把計數(shù)器的更新緩沖在了redis里面，我們還需要一個腳本來把這個緩沖區(qū) 里面的數(shù)據(jù)定時回寫到數(shù)據(jù)庫中。

通過自定義django的command，我們可以非常輕松的做到這一點：

之后，通過 python manage.py notification_update_counter 這樣的命令就可以把緩沖區(qū) 里面的改動批量回寫到數(shù)據(jù)庫了。我們還可以把這個命令配置到crontab中來定義執(zhí)行。