高效的Python通用對(duì)象池化庫(kù)怎么使用

本篇內(nèi)容主要講解“高效的Python通用對(duì)象池化庫(kù)怎么使用”，感興趣的朋友不妨來看看。本文介紹的方法操作簡(jiǎn)單快捷，實(shí)用性強(qiáng)。下面就讓小編來帶大家學(xué)習(xí)“高效的Python通用對(duì)象池化庫(kù)怎么使用”吧!

對(duì)象池模式主要適用于以下應(yīng)用場(chǎng)景：

• 資源受限的場(chǎng)景。比如，不需要可伸縮性的環(huán)境（CPU、內(nèi)存等物理資源有限），CPU性能不夠強(qiáng)勁，內(nèi)存比較緊張，垃圾收集，內(nèi)存抖動(dòng)會(huì)造成比較大的影響，需要提高內(nèi)存管理效率， 響應(yīng)性比吞吐量更為重要。
  

• 在內(nèi)存中數(shù)量受限的對(duì)象。
  

• 創(chuàng)建成本高的對(duì)象。
  

• 大量的存活期短且初始化成本低的對(duì)象池化，以降低內(nèi)存分配和再分配成本，避免內(nèi)存碎片。
  

• Python 的這樣的動(dòng)態(tài)語言，GC 是依靠引用技術(shù)來來保證對(duì)象不會(huì)過早的回收，某些場(chǎng)景下可能出現(xiàn)雖然創(chuàng)建了但是沒人使用的空閑期，導(dǎo)致對(duì)象被回收了?？梢晕薪o對(duì)象池來保管。
  

Pond 介紹

Pond 是一個(gè) Python 中高效的通用對(duì)象池，具有性能好、內(nèi)存占用小、命中率高的特點(diǎn)?；诮平y(tǒng)計(jì)的根據(jù)頻率自動(dòng)回收的能力，能夠自動(dòng)調(diào)整每個(gè)對(duì)象池的空閑對(duì)象數(shù)量。

因?yàn)槟壳?Python 目前沒有比較好的、測(cè)試用例完備、代碼注釋完備、文檔完善的對(duì)象池化庫(kù)，同時(shí)目前的主流對(duì)象池庫(kù)也沒有比較智能的自動(dòng)回收機(jī)制。

Pond 可能是 Python 中第一個(gè)社區(qū)公開的測(cè)試用例完整，覆蓋率 90% 以上、代碼注釋完備、文檔完善的對(duì)象池化庫(kù)。

Pond 靈感來自于 Apache Commons Pool、Netty Recycler、HikariCP、Caffeine，集合了多家的優(yōu)點(diǎn)。

其次 Pond 通過使用近似計(jì)數(shù)的方式以極小的內(nèi)存空間統(tǒng)計(jì)每個(gè)對(duì)象池的使用頻率，并且自動(dòng)回收。

流量較為隨機(jī)平均的情況下，默認(rèn)策略和權(quán)重可以降低 48.85% 內(nèi)存占用，借取命中率 100%。

流量較為符合 2/8 定律的情況下，默認(rèn)策略和權(quán)重可以降低 45.7% 內(nèi)存占用， 借取命中率 100%。

設(shè)計(jì)概述

Pond 主要由 FactoryDict、Counter、PooledObjectTree 三部分以及一個(gè)單獨(dú)的回收線程構(gòu)成。

FactoryDict

使用 Pond 需要實(shí)現(xiàn)對(duì)象工廠 PooledObjectFactory，PooledObjectFactory 提供對(duì)象的創(chuàng)建、初始化、銷毀、驗(yàn)證等操作，由 Pond 調(diào)用。

所以為了讓對(duì)象池支持存放完全不同的對(duì)象，Pond 使用了一個(gè)字典來記錄每個(gè)工廠類的名稱和自己實(shí)現(xiàn)的工廠類的實(shí)例化對(duì)象。

每個(gè) PooledObjectFactory 應(yīng)該具備創(chuàng)建對(duì)象、銷毀對(duì)象、驗(yàn)證對(duì)象是否還可用、重置對(duì)象四個(gè)功能。

比較特別的是 Pond 支持自動(dòng)重置對(duì)象，因?yàn)槟承﹫?chǎng)景下可能會(huì)存在對(duì)象中要先賦值進(jìn)行傳遞，傳遞完又被回收的情況，為了避免污染建議這種場(chǎng)景下無比實(shí)現(xiàn)這個(gè)功能。

Counter

Counter 中保存了一個(gè)近似計(jì)數(shù)器。

PooledObjectTree

PooleedObjectTree 是個(gè)字典，每個(gè) key 對(duì)應(yīng)著一個(gè)先進(jìn)先出的隊(duì)列，這些隊(duì)列都是線程安全的。

每個(gè)隊(duì)列中保存著多個(gè) PooleedObject。PooledObejct 保存了創(chuàng)建時(shí)間、最后借出的時(shí)間以及實(shí)際需要的對(duì)象。

線程安全

Pond 的借用和回收都是線程安全的。Python 的 queue 模塊提供了一個(gè)適用于多線程編程的先進(jìn)先出（FIFO）數(shù)據(jù)結(jié)構(gòu)。它可以用來安全地在生產(chǎn)者和消費(fèi)者線程之間傳遞消息或其他數(shù)據(jù)。

鎖是調(diào)用者來處理的，所有多個(gè)線程能夠安全且容易的使用同樣的 Queue 實(shí)例工作。而 Pond 的借用和回收都是在操作 queue，所以基本可以認(rèn)為是線程安全的。

借出機(jī)制

在使用 Pond 借出一個(gè)對(duì)象時(shí)，會(huì)先檢查想要借出的對(duì)象的種類是否已經(jīng)在 PooledObjectTree 存在，如果存在會(huì)檢查這個(gè)對(duì)象的對(duì)象池是否為空，如果為空會(huì)創(chuàng)建一個(gè)新的。

如果對(duì)象池中有多余的對(duì)象，會(huì)利用 queue 彈出一個(gè)對(duì)象并驗(yàn)證這個(gè)對(duì)象是否可用。如果不可用會(huì)自動(dòng)調(diào)用所屬的 Factory 清理銷毀該對(duì)象，同時(shí)清理它在 Python 中的 GC 計(jì)數(shù)，讓它更快被 GC 回收，不斷拿取下一個(gè)直至有可用的。

如果這個(gè)對(duì)象可用，則會(huì)直接返回。當(dāng)然無論是從對(duì)象池中取出對(duì)象還是新創(chuàng)建了一個(gè)對(duì)象，都會(huì)利用 Counter 增加一個(gè)計(jì)數(shù)。

回收機(jī)制

回收一個(gè)對(duì)象時(shí)會(huì)判斷目標(biāo)對(duì)象池存不存在，如果存在會(huì)檢查對(duì)象池是否已經(jīng)滿了，滿了的話會(huì)自動(dòng)銷毀要?dú)w還的這個(gè)對(duì)象。

然后會(huì)檢查這個(gè)對(duì)象是否已經(jīng)被借出太長(zhǎng)時(shí)間，如果超過了配置的最長(zhǎng)時(shí)間同樣會(huì)被清理掉。

自動(dòng)回收

自動(dòng)回收時(shí)每隔一段時(shí)間，默認(rèn)是 300 s，就會(huì)執(zhí)行一次。自動(dòng)清理不經(jīng)常使用的對(duì)象池中的對(duì)象。

使用說明

你可以先安裝 Pond 的庫(kù)并且在你的項(xiàng)目中引用。

pip install pondpond

from pond import Pond, PooledObjectFactory, PooledObject

首先你需要聲明一個(gè)你想要放入的類型的對(duì)象的工廠類，比如下面的例子我們希望池化的對(duì)象是 Dog，所以我們先聲明一個(gè) PooledDogFactory 類，并且實(shí)現(xiàn) PooledObjectFactory。

class Dog:
 name: str
 validate_result:bool = True
class PooledDogFactory(PooledObjectFactory):
 def creatInstantce(self) -> PooledObject:
 dog = Dog()
 dog.name = "puppy"
 return PooledObject(dog)
 def destroy(self, pooled_object: PooledObject):
 del pooled_object
 def reset(self, pooled_object: PooledObject) -> PooledObject:
 pooled_object.keeped_object.name = "puppy"
 return pooled_object
 def validate(self, pooled_object: PooledObject) -> bool:
 return pooled_object.keeped_object.validate_result

接著你需要?jiǎng)?chuàng)建 Pond 的對(duì)象：

pond = Pond(borrowed_timeout=2,
 time_between_eviction_runs=-1,
 thread_daemon=True,
 eviction_weight=0.8)

Pond 可以傳遞一些參數(shù)進(jìn)去，分別代表：

borrowed_timeout ：?jiǎn)挝粸槊耄璩鰧?duì)象的最長(zhǎng)期限，超過期限的對(duì)象歸還時(shí)會(huì)自動(dòng)銷毀不會(huì)放入對(duì)象池。

time_between_eviction_runs ：?jiǎn)挝粸槊?，自?dòng)回收的間隔時(shí)間。

thread_daemon ：守護(hù)線程，如果為 True，自動(dòng)回收的線程會(huì)隨著主線程關(guān)閉而關(guān)閉。

eviction_weight ：自動(dòng)回收時(shí)權(quán)重，會(huì)將這個(gè)權(quán)重與最大使用頻次想乘，使用頻次小于這個(gè)值的對(duì)象池中的對(duì)象都會(huì)進(jìn)入清理步驟。

實(shí)例化工廠類：

factory = PooledDogFactory(pooled_maxsize=10, least_one=False)

所有繼承了 PooledObjectFactory 都會(huì)自帶構(gòu)造函數(shù)，可以傳遞 pooled_maxsize 和 least_one 兩個(gè)參數(shù)。

pooled_maxsize：這個(gè)工廠類生成出的對(duì)象的對(duì)象池的最大能放置的數(shù)量。

least_one：如果為 True，在進(jìn)入自動(dòng)清理時(shí)，這個(gè)工廠類生成出的對(duì)象的對(duì)象池會(huì)至少保留一個(gè)對(duì)象。

向 Pond 注冊(cè)這個(gè)工廠對(duì)象，默認(rèn)會(huì)使用 factory 的類名作為 PooledObjectTree 的 key ：

pond.register(factory)

當(dāng)然你也可以自定義它的名字，名字會(huì)作為 PooledObjectTree 的 key：

pond.register(factory, name="PuppyFactory")

注冊(cè)成功后，Pond 會(huì)自動(dòng)根據(jù) factory 中設(shè)置的 pooled_maxsize 自動(dòng)開始創(chuàng)建對(duì)象直至填滿這個(gè)對(duì)象池。

借用和歸還對(duì)象：

pooled_object: PooledObject = pond.borrow(factory)
dog: Dog = pooled_object.use()
pond.recycle(pooled_object, factory)

當(dāng)然你可以用名字來進(jìn)行借用和歸還：

pooled_object: PooledObject = pond.borrow(name="PuppyFactory")
dog: Dog = pooled_object.use()
pond.recycle(pooled_object, name="PuppyFactory")

完全清理一個(gè)對(duì)象池：

pond.clear(factory)

通過名字清理一個(gè)對(duì)象池：

pond.clear(name="PuppyFactory")

正常情況下，你只需要使用上面的這些方法，生成對(duì)象和回收對(duì)象都是全自動(dòng)的。

到此，相信大家對(duì)“高效的Python通用對(duì)象池化庫(kù)怎么使用”有了更深的了解，不妨來實(shí)際操作一番吧！這里是億速云網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！