詳解多線程Django程序耗盡數(shù)據(jù)庫連接的問題

Django的ORM是非常好用的，哪怕不是做Web項目也值得一用，所以網(wǎng)上也可以找到不少使用 Django 開發(fā)非Web項目的資料，因為除了ORM之個，命令行、配置文件等組件也非常好用。

最近用這種方式開發(fā)了一個非Web項目，而且是多線程的。有N個工作線程從DB中獲取jobs，并把結(jié)果寫回DB。簡單來說就是這樣。

項目運行一段時間后，發(fā)現(xiàn)數(shù)據(jù)庫連接耗盡了，幸好內(nèi)存大，然后一直往上調(diào)，最后連接數(shù)都上九千多一萬了。耗盡連接數(shù)的時候，PostgreSQL 會出現(xiàn)類似這樣的錯誤：

FATAL: remaining connection slots are reserved for non-replication superuser connections

然后就各種看文檔、代碼，找問題，其中艱難略下不表，最后大概是這么些個知識點：

1. Django里的數(shù)據(jù)庫連接是放在線程的 local() 實例中的。
2. 任何時候，需要一個數(shù)據(jù)庫連接的話，Django就會創(chuàng)建一條出來，或者用本線程已有的那條。
3. 如果是Web項目，在請求結(jié)束的時候，Django會去關(guān)閉掉連接。是的，沒有連接池。
4. 因為我們是非Web項目，所以不存在請求結(jié)束事件，所以一直沒的關(guān)閉連接。但本來這個應(yīng)該也不會造成問題的，因為沒關(guān)閉就一直用唄，但不知道哪里出了問題，會出現(xiàn)連接泄漏，所以連接數(shù)據(jù)會一直增長。

最后的解決方案是找時機主動關(guān)閉數(shù)據(jù)庫連接，具體到我們項目，就是每次工作線程完成一個任務(wù)后，就把它相關(guān)的連接關(guān)掉，因為我們用的是 ThreadPoolExecutor ，所以Django很容易做到這一點。

重點代碼如下：

from django.db import connections

def on_done(future):
  # 因為每一個線程都有一個 connections，所以這里可以調(diào)用 close_all()，把本線程名下的所有連接關(guān)閉。
  connections.close_all()

def main():
  # ...
  with ThreadPoolExecutor() as executor:
    while True:
      future = executor.submit(do, get_a_job())
      future.add_done_callback(on_done)

主動關(guān)閉后，數(shù)據(jù)庫連接數(shù)降到與工作線程數(shù)相近，并保持穩(wěn)定。

以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持億速云。