「docker實(shí)戰(zhàn)篇」python的docker-打造多任務(wù)端app應(yīng)用數(shù)據(jù)抓取系統(tǒng)（終結(jié)）（36）

通過前面35篇文章，完成了python和docker配合抓取移動(dòng)端，一起總結(jié)下吧。

總結(jié)

爬蟲分為：web網(wǎng)頁(yè)數(shù)據(jù)的抓取，app應(yīng)用數(shù)據(jù)的抓取，軟件應(yīng)用數(shù)據(jù)的抓取，本「docker實(shí)戰(zhàn)篇」主要是針對(duì)app應(yīng)用數(shù)據(jù)的抓取的，爬蟲的工程師抓取應(yīng)用的時(shí)候的痛點(diǎn)有哪些呢？

1. 不會(huì)抓包，不知道手機(jī)移動(dòng)數(shù)據(jù)如何抓包

   
   

2. 有些app為了防止破解做了加殼，強(qiáng)證書校驗(yàn)，導(dǎo)致無(wú)從下手

   
   

3. 只知道appium移動(dòng)自動(dòng)化工具可以支持自動(dòng)化，卻不知道它還可以做爬蟲

   
   

4. 不知道爬蟲系統(tǒng)是如何部署到服務(wù)器上的

   
   

• 解決方案

1. 針對(duì)沒有安卓二手手機(jī)的問題，我們通過模擬器的方式來進(jìn)行模擬安卓手機(jī)來進(jìn)行爬取。用自己的手機(jī)確實(shí)很疼，沒有沒關(guān)系可以用模擬器。

2. fiddler 和 mitmpoxy的使用，攔截過濾和Python腳本的交互都進(jìn)行了實(shí)驗(yàn)。

3. 強(qiáng)證書校驗(yàn)的時(shí)候，可以通過破解的方式來進(jìn)行處理。

4. web界面抖音的js的破解方式也做了說明。

5. appium是自動(dòng)化測(cè)試工程師手中的利器，會(huì)爬蟲的老鐵也可以拿來用的。

6. python爬蟲腳本準(zhǔn)備好后，可以通過虛擬機(jī)掛載共享文件的方式，把本地文件映射到虛擬機(jī)，然后映射到docker容器中。

PS：最后docker的實(shí)踐，關(guān)于爬蟲這塊高級(jí)docker的承諾，我也兌現(xiàn)了，其實(shí)很多時(shí)候就是缺少一個(gè)思路，工具真的是一大把，條條大路通羅馬，多學(xué)多問，通過爬蟲的實(shí)踐，讓老鐵對(duì)docker越走越遠(yuǎn)，越用越專。謝謝各位老鐵的支持了。

>>原創(chuàng)文章，歡迎轉(zhuǎn)載。轉(zhuǎn)載請(qǐng)注明：轉(zhuǎn)載自IT人故事會(huì)，謝謝！
>>原文鏈接地址：「docker實(shí)戰(zhàn)篇」python的docker-打造多任務(wù)端app應(yīng)用數(shù)據(jù)抓取系統(tǒng)（終結(jié)）（36）