溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點(diǎn)擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》

Python 使用 PyMysql、DBUtils 創(chuàng)建連接池提升性能

發(fā)布時間:2020-10-19 20:56:53 來源:腳本之家 閱讀:163 作者:feiquan 欄目:開發(fā)技術(shù)

Python 編程中可以使用 PyMysql 進(jìn)行數(shù)據(jù)庫的連接及諸如查詢/插入/更新等操作,但是每次連接 MySQL 數(shù)據(jù)庫請求時,都是獨(dú)立的去請求訪問,相當(dāng)浪費(fèi)資源,而且訪問數(shù)量達(dá)到一定數(shù)量時,對 mysql 的性能會產(chǎn)生較大的影響。因此,實(shí)際使用中,通常會使用數(shù)據(jù)庫的連接池技術(shù),來訪問數(shù)據(jù)庫達(dá)到資源復(fù)用的目的。

解決方案:DBUtils

DBUtils 是一套 Python 數(shù)據(jù)庫連接池包,并允許對非線程安全的數(shù)據(jù)庫接口進(jìn)行線程安全包裝。DBUtils 來自 Webware for Python 。

原理:

Python 使用 PyMysql、DBUtils 創(chuàng)建連接池提升性能

  • 在程序創(chuàng)建連接的時候,可以從一個空閑的連接中獲取,不需要重新初始化連接,提升獲取連接的速度
  • 關(guān)閉連接的時候,把連接放回連接池,而不是真正的關(guān)閉,所以可以減少頻繁地打開和關(guān)閉連接

例子

import pymysql
from DBUtils.PooledDB import PooledDB
pool = PooledDB(pymysql,5,host='ip',user='user',passwd='passwd',db='db',port=3306,setsession=['SET AUTOCOMMIT = 1']) # 5為連接池里的最少連接數(shù),setsession=['SET AUTOCOMMIT = 1']是用來設(shè)置線程池是否打開自動更新的配置,0為False,1為True
conn = pool.connection() #以后每次需要數(shù)據(jù)庫連接就是用connection()函數(shù)獲取連接就好了
cur=conn.cursor()
SQL="select * from table"
count=cur.execute(SQL)
results=cur.fetchall()
cur.close()
conn.close()

PooledDB 的參數(shù):

POOL = PooledDB(
creator=pymysql, # 使用鏈接數(shù)據(jù)庫的模塊
maxconnections=6, # 連接池允許的最大連接數(shù),0和None表示不限制連接數(shù)
mincached=2, # 初始化時,鏈接池中至少創(chuàng)建的空閑的鏈接,0表示不創(chuàng)建
maxcached=5, # 鏈接池中最多閑置的鏈接,0和None不限制
maxshared=1, # 鏈接池中最多共享的鏈接數(shù)量,0和None表示全部共享。PS: 無用,因?yàn)閜ymysql和MySQLdb等模塊的 threadsafety都為1,所有值無論設(shè)置為多少,_maxcached永遠(yuǎn)為0,所以永遠(yuǎn)是所有鏈接都共享。
blocking=True, # 連接池中如果沒有可用連接后,是否阻塞等待。True,等待;False,不等待然后報錯
maxusage=None, # 一個鏈接最多被重復(fù)使用的次數(shù),None表示無限制
setsession=[], # 開始會話前執(zhí)行的命令列表。如:[“set datestyle to …”, “set time zone …”]
ping=0,
# ping MySQL服務(wù)端,檢查是否服務(wù)可用。
# 如:0 = None = never,
# 1 = default = whenever it is requested,
# 2 = when a cursor is created,
# 4 = when a query is executed,
# 7 = always
host=‘127.0.0.1',
port=3306,
user=‘root',
password='',
database=‘ziji',
charset=‘utf8'
)

在 uwsgi 中,每個 http 請求都會分發(fā)給一個進(jìn)程,連接池中配置的連接數(shù)都是一個進(jìn)程為單位的(即上面的最大連接數(shù),都是在一個進(jìn)程中的連接數(shù)),而如果業(yè)務(wù)中,一個 http 請求中需要的 sql 連接數(shù)不是很多的話(其實(shí)大多數(shù)都只需要創(chuàng)建一個連接),配置的連接數(shù)配置都不需要太大。

連接池對性能的提升表現(xiàn)在:

在程序創(chuàng)建連接的時候,可以從一個空閑的連接中獲取,不需要重新初始化連接,提升獲取連接的速度關(guān)閉連接的時候,把連接放回連接池,而不是真正的關(guān)閉,所以可以減少頻繁地打開和關(guān)閉連接

總結(jié)

以上所述是小編給大家介紹的Python 使用 PyMysql、DBUtils 創(chuàng)建連接池提升性能,希望對大家有所幫助,如果大家有任何疑問請給我留言,小編會及時回復(fù)大家的。在此也非常感謝大家對億速云網(wǎng)站的支持!
如果你覺得本文對你有幫助,歡迎轉(zhuǎn)載,煩請注明出處,謝謝!

向AI問一下細(xì)節(jié)

免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報,并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI