溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
這篇文章主要介紹了如何用python獲取免費代理IP的相關(guān)知識，內(nèi)容詳細易懂，操作簡單快捷，具有一定借鑒價值，相信大家閱讀完這篇如何用python獲取免費代理IP文章都會有所收獲，下面我們一起來看看吧。
首先創(chuàng)建scrapy項目， 運行一下命令：
$ scrapy startproject getProxy kuaidaili.com
$ scrapy genspider proxyKdlSpider kuaidaili.com
百度搜索免費代理ip， 我進的是快代理， 頁面通過列表顯示代理ip及其相關(guān)信息的。
3. 通過以上的界面， 改寫items.py, 增加如下項， 用來保存代理ip的相關(guān)信息
4. 通過觀察頁面源碼， 發(fā)現(xiàn)我們需要的代理ip信息可用xpath輕易獲取。
5. 通過上圖觀察到的規(guī)律改寫proxyKdlSpider.py文件， 通過如下xpath可獲取代理ip信息。
6. 改寫pipelines.py, 將解析提取出來的代理ip信息保存到文件proxy.txt中。
7. 改寫settings.py, 增加以下行：
其中USER_AGENT會改寫請求headers。 因快代理網(wǎng)站會通過USER_AGENT來判斷訪問者是否爬蟲， 不這樣設置會導致運行爬蟲的ip被封禁。
設置DOWNLOAD_DELAY=5含義是爬蟲每5s請求一個網(wǎng)頁， 這樣設置的目的是為了避免快速訪問大量網(wǎng)頁觸發(fā)網(wǎng)站的反爬蟲機制
設置ITEM_PIPELINES是告訴爬蟲在過濾完需要的信息后如何保存。
8 運行編寫的爬蟲：
$ scrapy crawl proxyKdlSpider
由于我們限制了采集速度， 過程會有點長。 運行完畢后采集結(jié)果如下：
關(guān)于“如何用python獲取免費代理IP”這篇文章的內(nèi)容就介紹到這里，感謝各位的閱讀！相信大家對“如何用python獲取免費代理IP”知識都有一定的了解，大家如果還想學習更多知識，歡迎關(guān)注億速云行業(yè)資訊頻道。
免責聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點不代表本網(wǎng)站立場，如果涉及侵權(quán)請聯(lián)系站長郵箱：is@yisu.com進行舉報，并提供相關(guān)證據(jù)，一經(jīng)查實，將立刻刪除涉嫌侵權(quán)內(nèi)容。
億速云公眾號
手機網(wǎng)站二維碼
