如何異步調(diào)用命令行工具

小編給大家分享一下如何異步調(diào)用命令行工具，希望大家閱讀完這篇文章后大所收獲，下面讓我們一起去探討吧！

當你在自己的 Python 程序中采用了基于事件循環(huán)的異步編程方法之后，你就會發(fā)現(xiàn)自己不自覺地被其牢牢吸引住，并不是說這一方法多么棒，而是因為你不得不想辦法保證程序中的任意環(huán)節(jié)都不能是阻塞的！

例如當前的場景是希望從 MongoDB 中讀取每一條未處理過的數(shù)據(jù)，下載并保存其中的圖片信息，然后更新數(shù)據(jù)庫的內(nèi)容。Python 常用的 MongoDB 異步驅(qū)動是 Motor:

結(jié)合 asyncio 使用方法如下：

import motor.motor_asyncio
import asyncio
client = motor.motor_asyncio.AsyncIOMotorClient()
db = client.test_database
async def run():
    async for mm in db.test_database.find({"status": 0}):
        print(mm['img_src'])
        # Download Image Here
        # dl_img(mm['img_src'])
        await db.test_database.update({"_id": mm['_id']}, {"$set": {"status":1}})
loop = asyncio.get_event_loop()
loop.run_until_complete(run())

此時如果 dl_img() 處的操作是阻塞的，那么異步處理就沒有意義了。當然這里依然可以借助異步網(wǎng)絡(luò)請求庫 aiohttp 來實現(xiàn)圖片下載：

async with session.get(img) as resp:
    with open(img.split("/")[-1], 'wb') as fd:
        while True:
            chunk = await resp.content.read(1024)
            if not chunk:
                break
            fd.write(chunk)

當然也可以不需要自己動手下載，直接調(diào)用系統(tǒng)命令行工具（例如  wget）來完成下載任務(wù)。Python 通過 subprocess 標準庫實現(xiàn)系統(tǒng)命令調(diào)用（取代舊的os.system(cmd)），執(zhí)行下載任務(wù)只需要：

import subprocess as sb
sb.run(['wget', img], shell=True)

但是這種調(diào)用方式是無法直接在asyncio的事件循環(huán)中使用的，但是asyncio提供了對應(yīng)的 subprocess接口：

asyncio.create_subprocess_exec(*args, ...)
asyncio.create_subprocess_shell(cmd, ...)

這兩個方法均返回一個 asyncio.subprocess.Process 實例，而它的接口設(shè)計完全模仿了 subprocess.Popen（上面提到 subprocess.run()的底層實現(xiàn)），因此很容易將其用法移植到事件循環(huán)中：

async def dl_img(src):
    dl = await asyncio.create_subprocess_shell('wget {} -O {}'.format(src, src.split("/")[-1])
    await dl.wait()

除了上面場景中的用法，也可以直接將命令行的執(zhí)行作為任務(wù)放入事件循環(huán)：

loop = asyncio.get_event_loop()
sb = asyncio.create_subprocess_shell('exit 7', loop=loop)
proc = loop.run_until_complete(sb)
exitcode = loop.run_until_complete(proc.wait())

在 Python 異步編程的意義就在于不要讓 CPU 堵在 IO 上，因此需要在每一處涉及到阻塞的操作都需要注意使用正確的異步方法，而一旦這些操作被封裝成異步的 Task 之后，其后續(xù)的調(diào)度執(zhí)行就無需再顧慮了。

看完了這篇文章，相信你對如何異步調(diào)用命令行工具有了一定的了解，想了解更多相關(guān)知識，歡迎關(guān)注億速云行業(yè)資訊頻道，感謝各位的閱讀！