您好,登錄后才能下訂單哦!
這篇文章主要介紹了python分布式爬蟲(chóng)中的任務(wù)路由有什么用,具有一定借鑒價(jià)值,需要的朋友可以參考下。希望大家閱讀完這篇文章后大有收獲。下面讓小編帶著大家一起了解一下。
celery的一個(gè)高級(jí)特性了,它叫做任務(wù)路由。直白點(diǎn)說(shuō),它可以規(guī)定哪個(gè)分布式節(jié)點(diǎn)能做哪些任務(wù),不能做哪些任務(wù)。它的存在可以讓資源分配更加合理。
# coding:utf-8 import os from datetime import timedelta from celery import Celery from kombu import Exchange, Queue from config.conf import get_broker_or_backend from celery import platforms # 允許celery以root身份啟動(dòng) platforms.C_FORCE_ROOT = True worker_log_path = os.path.join(os.path.dirname(os.path.dirname(__file__))+'/logs', 'celery.log') beat_log_path = os.path.join(os.path.dirname(os.path.dirname(__file__))+'/logs', 'beat.log') tasks = ['tasks.login', 'tasks.user'] # include的作用就是注冊(cè)服務(wù)化函數(shù) app = Celery('weibo_task', include=tasks, broker=get_broker_or_backend(1), backend=get_broker_or_backend(2)) app.conf.update( CELERY_TIMEZONE='Asia/Shanghai', CELERY_ENABLE_UTC=True, CELERYD_LOG_FILE=worker_log_path, CELERYBEAT_LOG_FILE=beat_log_path, CELERY_ACCEPT_CONTENT=['json'], CELERY_TASK_SERIALIZER='json', CELERY_RESULT_SERIALIZER='json', CELERY_QUEUES=( Queue('login_queue', exchange=Exchange('login', type='direct'), routing_key='for_login'), Queue('user_crawler', exchange=Exchange('user_info', type='direct'), routing_key='for_user_info'), Queue('fans_followers', exchange=Exchange('fans_followers', type='direct'), routing_key='for_fans_followers'), )
上述代碼指定了有`login_queue`、`user_crawler`、`fans_followers`三個(gè)任務(wù)隊(duì)列。它們分別的作用是登錄、用戶信息抓取、粉絲和關(guān)注抓取。
感謝你能夠認(rèn)真閱讀完這篇文章,希望小編分享python分布式爬蟲(chóng)中的任務(wù)路由有什么用內(nèi)容對(duì)大家有幫助,同時(shí)也希望大家多多支持億速云,關(guān)注億速云行業(yè)資訊頻道,遇到問(wèn)題就找億速云,詳細(xì)的解決方法等著你來(lái)學(xué)習(xí)!
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。