怎么用Python爬取淘寶2000款套套

本篇文章為大家展示了怎么用Python爬取淘寶2000款套套，內(nèi)容簡明扼要并且容易理解，絕對能使你眼前一亮，通過這篇文章的詳細介紹希望你能有所收獲。

一、淘寶登錄復習

前面我們已經(jīng)介紹過了如何使用requests庫登錄淘寶，收到了很多同學的反饋和提問，豬哥感到很欣慰，同時對那些沒有及時回復的同學說聲抱歉！

順便再提一下這個登錄功能，代碼是完全沒有問題。如果你登錄出現(xiàn)申請st碼失敗的錯誤時候，可以更換_verify_password方法中的所有請求參數(shù)。

在淘寶登錄2.0改進中我們增加了cookies序列化的功能，目的就是為了方便爬取淘寶數(shù)據(jù)，因為如果你同一個ip頻繁登錄淘寶的話可能就會觸發(fā)淘寶的反扒機制！

關(guān)于淘寶登錄的成功率，在豬哥實際的使用中基本都能成功，如果不成功就按上面的方法更換登錄參數(shù)！

二、淘寶商品信息爬取

這篇文章主要是講解如何爬取數(shù)據(jù)，數(shù)據(jù)的分析放在下一篇。之所以分開是因為爬取淘寶遇到的問題太多，而豬哥又打算詳細再詳細的為大家講解如何爬取，所以考慮篇幅及同學吸收率方面就分兩篇講解吧！宗旨還會不變：讓小白也能看得懂！

本次爬取是調(diào)用淘寶pc端搜索接口，對返回的數(shù)據(jù)進行提取、然后保存為excel文件！

看似一個簡單的功能卻包含了很多問題，我們來一點一點往下看吧！

三、爬取單頁數(shù)據(jù)

開始寫一個爬蟲項目我們都需要量化后再分步，而一般第一步便是先爬取一頁試試！

1.查找加載數(shù)據(jù)URL

我們在網(wǎng)頁中打開淘寶網(wǎng)，然后登錄，打開chrome的調(diào)試窗口，點擊network，然后勾選上Preserve log，在搜索框中輸入你想要搜索的商品名稱

這是第一頁的請求，我們查看了數(shù)據(jù)發(fā)現(xiàn)：返回的商品信息數(shù)據(jù)插入到了網(wǎng)頁里面，而不是直接返回的純json數(shù)據(jù)！

2. 是否有返回純json數(shù)據(jù)接口？

然后豬哥就好奇有沒有返回純json的數(shù)據(jù)接口呢？于是我就點了下一頁（也就是第二頁）

請求第二頁后豬哥發(fā)現(xiàn)返回的數(shù)據(jù)竟然是純json，然后比較兩次請求url，找到只返回json數(shù)據(jù)的參數(shù)！

通過比較我們發(fā)現(xiàn)搜索請求url中如果帶ajax=true參數(shù)的話就直接返回json數(shù)據(jù)，那我們是不是可以直接模擬直接請求json數(shù)據(jù)！

所以豬哥就直接使用第二頁的請求參數(shù)去請求數(shù)據(jù)（也就是直接請求json數(shù)據(jù)），但是請求第一頁就出現(xiàn)錯誤：

直接返回一個鏈接而 不是json數(shù)據(jù)，這個鏈接是什么鬼？點一下。。。

鐺鐺鐺，滑塊出現(xiàn)，有同學會問：用requests能搞定淘寶滑塊嗎？豬哥咨詢過幾個爬蟲大佬，滑塊的原理是收集響應時間，拖拽速度，時間，位置，軌跡，重試次數(shù)等然后判斷是否是人工滑動。而且還經(jīng)常變算法，所以豬哥選擇放棄這條路！

3.使用請求網(wǎng)頁接口

所以我們只能選擇類似第一頁（請求url中不帶ajax=true參數(shù)，返回整個網(wǎng)頁形式）的請求接口，然后再把數(shù)據(jù)提取出來！

這樣我們就可以爬取到淘寶的網(wǎng)頁信息了

四、提取商品屬性

爬到網(wǎng)頁之后，我們要做的就是提取數(shù)據(jù)，這里先從網(wǎng)頁提取json數(shù)據(jù)，然后解析json獲取想要的屬性。

1.提取網(wǎng)頁中商品json數(shù)據(jù)

既然我們選擇了請求整個網(wǎng)頁，我們就需要了解數(shù)據(jù)內(nèi)嵌在網(wǎng)頁的哪個位置，該怎么提取出來。

經(jīng)過豬哥搜索比較發(fā)現(xiàn)，返回網(wǎng)頁中的js參數(shù)：g_page_config就是我們要的商品信息，而且也是json數(shù)據(jù)格式！

然后我們寫一個正則就可以將數(shù)據(jù)提取出來了！

goods_match = re.search(r'g_page_config = (.*?)}};', response.text)

2.獲取商品價格等屬性

要想提取json數(shù)據(jù)，就要了解返回json數(shù)據(jù)的結(jié)構(gòu)，我們可以將數(shù)據(jù)復制到一些json插件或在線解析

了解json數(shù)據(jù)結(jié)構(gòu)之后，我們就可以寫一個方法去提取我們想要的屬性了

五、保存為excel

操作excel有很多庫，網(wǎng)上有人專門針對excel操作庫做了對比與測評感興趣可以看看：https://dwz.cn/M6D8AQnq

豬哥選擇使用pandas庫來操作excel，原因是pandas比較操作方便且是比較常用數(shù)據(jù)分析庫！

1.安裝庫

pandas庫操作excel其實是依賴其他的一些庫，所以我們需要安裝多個庫

pip install xlrd
pip install openpyxl
pip install numpy
pip install pandas

2.保存excel

這里有點坑的是pandas操作excel沒有追加模式，只能先讀取數(shù)據(jù)后使用append追加再寫入excel！

查看效果

六、批量爬取

一次爬取的整個流程（爬取、數(shù)據(jù)提取、保存）完成之后，我們就可以批量循環(huán)調(diào)用了。

這里設置的超時秒數(shù)是豬哥實踐出來的，從3s、5s到10s以上，太頻繁容易出現(xiàn)驗證碼！

豬哥分多次爬取了兩千多條數(shù)據(jù)

七、爬取淘寶遇到的問題

爬取淘寶遇到了非常多的問題，這里為大家一一列舉：

1.登錄問題

問題：申請st碼失敗怎么辦？
回答：更換_verify_password方法中的所有請求參數(shù)。

參數(shù)沒問題的話登錄基本都會成功！

2.代理池

為了防止自己的ip被封，豬哥使用了代理池。爬取淘寶需要高質(zhì)量的ip才能爬取，豬哥試了很多網(wǎng)上免費的ip，基本都不能爬取。

但是有一個網(wǎng)站的ip很好：http://ip.zdaye.com/dayProxy.html ，這個網(wǎng)站每小時都會更新一批ip，豬哥試過還是有很多ip是可以爬取淘寶的。

3.重試機制

為了防止正常請求失敗，豬哥在爬取的方法上加上了重試機制！

需要安裝retry庫

pip install retry

4.出現(xiàn)滑塊

上面那些都沒問題，但是還是會出現(xiàn)滑塊，豬哥測試過很多次，有些爬取20次-40次左右最容易出現(xiàn)滑塊。

出現(xiàn)滑塊只能等個半小時后繼續(xù)爬，因為目前還不能使用requests庫解決滑塊，后面學習selenium等其他框架看看是否能解決！

5.目前這只爬蟲

目前這只爬蟲并不完善，只能算是半成品，有很多可以改進的地方，比如自動維護ip池功能，多線程分段爬取功能，解決滑塊問題等等，后面我們一起來慢慢完善這只爬蟲，使他可以成為一只完善懂事的爬蟲！

上述內(nèi)容就是怎么用Python爬取淘寶2000款套套，你們學到知識或技能了嗎？如果還想學到更多技能或者豐富自己的知識儲備，歡迎關(guān)注億速云行業(yè)資訊頻道。