溫馨提示×
您好，登錄后才能下訂單哦！
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》
您好，登錄后才能下訂單哦！
這篇文章主要介紹了python分布式爬蟲(chóng)中的celery如何使用，具有一定借鑒價(jià)值，需要的朋友可以參考下。希望大家閱讀完這篇文章后大有收獲。下面讓小編帶著大家一起了解一下。
1. broker：翻譯過(guò)來(lái)叫做中間人。它是一個(gè)消息傳輸?shù)闹虚g件，可以理解為一個(gè)郵箱。每當(dāng)應(yīng)用程序調(diào)用celery的異步任務(wù)的時(shí)候，會(huì)向broker傳遞消息，而后celery的worker將會(huì)取到消息，執(zhí)行相應(yīng)程序。這其實(shí)就是消費(fèi)者和生產(chǎn)者之間的橋梁。
2. backend: 通常程序發(fā)送的消息，發(fā)完就完了，可能都不知道對(duì)方時(shí)候接受了。為此，celery實(shí)現(xiàn)了一個(gè)backend，用于存儲(chǔ)這些消息以及celery執(zhí)行的一些消息和結(jié)果。
3. worker: Celery類的實(shí)例，作用就是執(zhí)行各種任務(wù)。注意在celery3.1.25后windows是不支持celery worker的！
4. producer: 發(fā)送任務(wù)，將其傳遞給broker
5. beat: celery實(shí)現(xiàn)的定時(shí)任務(wù)?？梢詫⑵淅斫鉃橐粋€(gè)producer，因?yàn)樗彩峭ㄟ^(guò)網(wǎng)絡(luò)調(diào)用定時(shí)將任務(wù)發(fā)送給worker執(zhí)行。注意在windows上celery是不支持定時(shí)任務(wù)的！
下面是關(guān)于celery的架構(gòu)示意圖，結(jié)合上面文字的話應(yīng)該會(huì)更好理解
感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享python分布式爬蟲(chóng)中的celery如何使用內(nèi)容對(duì)大家有幫助，同時(shí)也希望大家多多支持億速云，關(guān)注億速云行業(yè)資訊頻道，遇到問(wèn)題就找億速云，詳細(xì)的解決方法等著你來(lái)學(xué)習(xí)!
免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。
億速云公眾號(hào)
手機(jī)網(wǎng)站二維碼
