【Python】抓取淘寶數據庫月報，發(fā)送郵件，本地存檔，保存元信息

用途

• 定期抓取淘寶數據庫月報
• 發(fā)送郵件，保存到本地，最好是git中
• 發(fā)送元數據到mysql中，后期可以做成接口集成到運維平臺中，便于查詢

使用方式

# 下載（必須）
cd ~ && git clone https://github.com/naughtyGitCat/spider_taobao_mysql.git

# 修改配置（必須）
vim config.py

# 安裝crontab（可選）
"0 10 8 * * source ~/.bashrc && python3 ~/spider_taobao_mysql/main.py" 

# 安裝依賴
pip3 install logbook
pip3 install html2text
pip3 install pymysql
pip3 install requests_html

# 創(chuàng)建元信息庫表（可選）
mysql -d mysql -u root -p < taobao_monthly_report.sql 

# 執(zhí)行程序
python3 main.py

完成情況:

• 定期抓取用crontab來做，不放到本腳本中
• 發(fā)送郵件，保存到本地(html)皆完成
• 保存元數據

問題

• 為什么郵件正文只有前言部分？因為郵件有反垃圾措施，全文容易被屏蔽
• 為什么收件人只有一個？因為郵件有反垃圾措施，多人容易被屏蔽，可以發(fā)送到同一個郵箱中，然后自動轉發(fā)
• 可以也可以保存md格式到本地，但是我的md編輯器好像加載不了圖片，就是用了html的格式本地保存
• 本地保存以及發(fā)送html時都損失了樣式，不太美觀，但我在郵件正文中增加了原文鏈接。
• 文章中的圖片沒有本地化，理論上是有圖片失效的問題的。但考慮到各位都有閱讀后及時總結整理的好習慣，也就無所謂了。

注意

• 一個月運行一次就夠了，可以放到crontab中每月執(zhí)行一次，自動抓取上個月的文章內容
• 阿里的頁面是到下個月后一次性放出上個月所有的文章，總數目前看基本是10篇，
• 如果發(fā)現其一次放出了>10篇的文章，請聯系我進行更改

依賴包

• logbook 日志
• html2text 格式轉換為md
• pymysql 上傳元數據
• requests_html 抓取網頁的正文

TODO:

• 緩存本地圖片
• 把insert into 改成replace into