溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶(hù)服務(wù)條款》

Django定時(shí)任務(wù)實(shí)現(xiàn)方法有哪些

發(fā)布時(shí)間:2021-12-30 17:39:28 來(lái)源:億速云 閱讀:240 作者:iii 欄目:開(kāi)發(fā)技術(shù)

本篇內(nèi)容介紹了“Django定時(shí)任務(wù)實(shí)現(xiàn)方法有哪些”的有關(guān)知識(shí),在實(shí)際案例的操作過(guò)程中,不少人都會(huì)遇到這樣的困境,接下來(lái)就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧!希望大家仔細(xì)閱讀,能夠?qū)W有所成!

1. 前言

為了做一些報(bào)表,最近需要每日從愛(ài)站上抓取競(jìng)爭(zhēng)對(duì)手的百度流量和移動(dòng)流量,從我能實(shí)現(xiàn)的技術(shù)來(lái)看,大致有三種實(shí)現(xiàn)形式:

  1. 火車(chē)頭定時(shí)抓取;

  2. python+crontab定時(shí)抓取,保存在txt或cav或數(shù)據(jù)庫(kù)中;

  3. django定時(shí)任務(wù),用admin系統(tǒng)或模板系統(tǒng)展現(xiàn)。

第一種不熟悉,還要摸索;第二種數(shù)據(jù)展現(xiàn)還要自己寫(xiě),如果用數(shù)據(jù)庫(kù),還要用很原始的連接方式,至少用了django之后是這樣;第三種優(yōu)點(diǎn)是可以用admin系統(tǒng)或模板系統(tǒng)來(lái),缺點(diǎn)是定時(shí)任務(wù)不熟悉。但考慮到打算深入學(xué)習(xí)django,于是決定用第三種方式來(lái)實(shí)現(xiàn)。

2. Django定時(shí)任務(wù)

Django的定時(shí)任務(wù)基本也有三種實(shí)現(xiàn)形式:

  1. django-celery

  2. Django的command+crontab

  3. 一些第三方庫(kù),如django-crontab

首先,看了下django-celery的官方教程,celery還是比較龐大的,而且教程比較復(fù)雜,沒(méi)耐心的我就先行跳過(guò)了;

其次,又看了Django關(guān)于command的官方文檔,實(shí)現(xiàn)了command+crontab的形式。但因?yàn)槭窃趘irtualenv下部署,一直無(wú)法實(shí)現(xiàn)。即便crontab中已經(jīng)設(shè)置了先進(jìn)入virtualenv再運(yùn)行command仍然失敗了(crontab中語(yǔ)法是source /home/../bin/activate && python /home/.../manage.py aizhan_visits)。

最后,選擇了第三方庫(kù)django-crontab,竟意外的實(shí)現(xiàn)了Django在virtualenv下的的定時(shí)任務(wù)。。

3. django-crontab實(shí)現(xiàn)Django在virtualenv的定時(shí)任務(wù)

3.1 django-crontab安裝

  • django-crontab安裝
    pip install django-crontab

  • django-crontab加入:只需要將django-crontab加入到settings.py的INSTALLED_APPS即可。如下代碼:

    INSTALLED_APPS = ( 'django-crontab', ... )

3.2 django-crontab配置

django-crontab可以定時(shí)運(yùn)行自定義命令和函數(shù)兩種方式,因?yàn)橹皣L試用command+crontab時(shí)已經(jīng)實(shí)現(xiàn)了自定義command,所以自然而然使用了自定義命令這種形式。

3.2.1 django-crontab定時(shí)運(yùn)行命令

我先參考Django官方文檔自定義了一個(gè)命令aizhan_5domain_visits,專(zhuān)門(mén)用于抓取愛(ài)站流量,并將結(jié)果保存在sqlite3數(shù)據(jù)庫(kù)中(具體步驟在本文中不贅述了)。

其次,我在settings.py中加入了django-crontab的命令:

CRONJOBS = [ ('47 11 * * *', 'django.core.management.call_command', ['aizhan_5domain_visits']), ]

意思就是每天11點(diǎn)47分運(yùn)行aizhan_5domain_visits這個(gè)命令。接下來(lái)就剩最后一步任務(wù)加載了。

3.2.2 django-crontab定時(shí)運(yùn)行函數(shù)

django-crontab也可以定時(shí)運(yùn)行函數(shù),只是在CRONJOBS配置時(shí)有差別。CRONJOBS關(guān)于函數(shù)的配置如下:

分析結(jié)果:

  • 初級(jí)模式很直觀,意思就是每五分鐘執(zhí)行一次my_scheduled_job這個(gè)程序;

  • 中級(jí)模式有個(gè)后綴,意思是將程序my_scheduled_job的結(jié)果輸出到文件/tmp/last_scheduled_job.log中;

  • 高級(jí)模式加入了參數(shù),其中['dumpdata', 'auth']和{'indent': 4}都是參數(shù),只是[]中的參數(shù)是按照順序代入,而{}中的參數(shù)指定了變量名稱(chēng),最后一個(gè)也是輸出結(jié)果的后綴。

3.3 django-crontab任務(wù)加載

django-crontab任務(wù)加載比較簡(jiǎn)單,只需要運(yùn)行python manage.py crontab add即可。如果你運(yùn)行crontab -e可以看到crontab中多了一行:

 * * * /home/aizhan/bin/python /home/aizhan/aizhan/manage.py crontab run c27d1050fb7f87225bcff587ef5a35a3 # django-cronjobs for aizhan

這是django-crontab自動(dòng)生成的。

  • 如果要移除所有的任務(wù),則運(yùn)行python manage.py crontab remove;

  • 當(dāng)你修改了任務(wù),需要再次運(yùn)行python manage.py crontab add。

“Django定時(shí)任務(wù)實(shí)現(xiàn)方法有哪些”的內(nèi)容就介紹到這里了,感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注億速云網(wǎng)站,小編將為大家輸出更多高質(zhì)量的實(shí)用文章!

向AI問(wèn)一下細(xì)節(jié)

免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI