怎么在python爬蟲中利用celery調(diào)取文件

本篇文章給大家分享的是有關(guān)怎么在python爬蟲中利用celery調(diào)取文件，小編覺得挺實用的，因此分享給大家學習，希望大家閱讀完這篇文章后可以有所收獲，話不多說，跟著小編一起來看看吧。

除了通過```import```然后```add.delay()```這種方式，我們還可以通過```send_task()```這種方式，我們在項目根目錄另外新建一個py文件叫做 `excute_tasks.py`，在其中寫下如下的代碼

from tasks import add
 
if __name__ == '__main__':
add.delay(5, 10)

這時候可以在celery的worker界面看到執(zhí)行的結(jié)果

[2017-05-19 14:25:48,039: INFO/MainProcess] Received task: tasks.add[f5ed0d5e-a337-45a2-a6b3-38a58efd9760]
 
[2017-05-19 14:25:48,074: INFO/MainProcess] Task tasks.add[f5ed0d5e-a337-45a2-a6b3-38a58efd9760] succeeded in 0.03369094600020617s: 15

此外，我們還可以通過```send_task()```來調(diào)用，將```excute_tasks.py```改成這樣

from tasks import app
if __name__ == '__main__':
app.send_task('tasks.add', args=(10, 15),)

這種方式也是可以的。`send_task()`還可能接收到為注冊（即通過`@app.task`裝飾）的任務，這個時候worker會忽略這個消息

[2017-05-19 14:34:15,352: ERROR/MainProcess] Received unregistered task of type 'tasks.adds'.
 
The message has been ignored and discarded.

以上就是怎么在python爬蟲中利用celery調(diào)取文件，小編相信有部分知識點可能是我們?nèi)粘９ぷ鲿姷交蛴玫降?。希望你能通過這篇文章學到更多知識。更多詳情敬請關(guān)注億速云行業(yè)資訊頻道。