溫馨提示×
您好，登錄后才能下訂單哦！
點(diǎn)擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》
您好，登錄后才能下訂單哦！
這篇文章主要介紹了python分布式爬蟲中的celery框架如何搭建，具有一定借鑒價(jià)值，需要的朋友可以參考下。希望大家閱讀完這篇文章后大有收獲。下面讓小編帶著大家一起了解一下。
celery典型的分布式任務(wù)隊(duì)列，常用于異步操作中，如tornado、Django的異步任務(wù)中，用celery設(shè)計(jì)分布式爬蟲系統(tǒng)，往往結(jié)合網(wǎng)絡(luò)框架，打造一個(gè)爬蟲任務(wù)接口，提供給其他人使用。
同時(shí)celery在定時(shí)任務(wù)方面有著優(yōu)勢，只需要在配置文件中設(shè)置一下，就可以定期執(zhí)行任務(wù)，不必自己寫定時(shí)操作。
celery使用消息中間件，而這個(gè)消息中間件，可以使用Redis也可以使用RabbitMQ，但他的調(diào)度不必?fù)?dān)心，已經(jīng)封裝。
主程序示例：
# -*- coding:utf-8 -*-
from celery import Celery
app = Celery("tasks")
app.config_from_object("celeryconfig") # 指定配置文件
@app.task
def taskA(x, y):
return x + y
@app.task
def taskB(x, y, z):
return x + y + z
@app.task
def add(x, y):
return x + y感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享python分布式爬蟲中的celery框架如何搭建內(nèi)容對大家有幫助，同時(shí)也希望大家多多支持億速云，關(guān)注億速云行業(yè)資訊頻道，遇到問題就找億速云，詳細(xì)的解決方法等著你來學(xué)習(xí)!
免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場，如果涉及侵權(quán)請聯(lián)系站長郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。
億速云公眾號
手機(jī)網(wǎng)站二維碼