怎么驗(yàn)證Python爬取的代理IP是否有效

本篇內(nèi)容介紹了“怎么驗(yàn)證Python爬取的代理IP是否有效”的有關(guān)知識(shí)，在實(shí)際案例的操作過程中，不少人都會(huì)遇到這樣的困境，接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

    在爬蟲工作的過程中，往往由于IP被限制了而無法進(jìn)行下去，工程師們也是智計(jì)百出，購買代理IP，自己搭建IP池，甚至網(wǎng)上抓取免費(fèi)代理IP。我們知道，網(wǎng)絡(luò)上有很多提供免費(fèi)代理IP的網(wǎng)站，我們可以選擇其中一個(gè)或多個(gè)來進(jìn)行代理IP的爬取并存儲(chǔ)到csv文件中，并通過多進(jìn)程來驗(yàn)證爬取IP的可用性。

    通過requests和lxml進(jìn)行網(wǎng)頁的爬取和解析。

    在爬取之前，我們首先設(shè)置請(qǐng)求頭，模擬作為普通瀏覽器進(jìn)行網(wǎng)頁的訪問。

    headers = {

    'accept': "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8",

    'accept-encoding': "gzip, deflate",

    'accept-language': "zh-CN,zh;q=0.9",

    'cache-control': "no-cache",

    'connection': "keep-alive",

    'host': "www.******.com",

    'if-none-match': "W/\"61f3e567b1a5028acee7804fa878a5ba\"",

    'upgrade-insecure-requests': "1",

    'user-agent': "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.119 Safari/537.36"

    }

    要爬取的頁面結(jié)構(gòu)非常簡單，通過lxml的css選擇器選擇所有的ip地址和端口進(jìn)行拼接，然后一行行的寫入到csv文件中。

    代碼如下：

    def getProxyList(target_url=TARGET_URL, pages='1'):

    """

    爬取代理IP地址

    :param target_url: 爬取的代理IP網(wǎng)址

    :return:

    """

    proxyFile = open(FILE_NAME, "a+", newline="")

    writer = csv.writer(proxyFile)

    r = requests.get(target_url + pages, headers=headers, timeout=2.5)

    document_tree = lxml.html.fromstring(r.text)

    rows = document_tree.cssselect("#ip_list tr")

    rows.pop(0)

    for row in rows:

    tds = row.cssselect("td")

    proxy_ip = tds[1].text_content()

    proxy_port = tds[2].text_content()

    proxy_addr = tds[3].text_content().strip()

    writer.writerow([proxy_ip, proxy_port, proxy_addr])

    proxyFile.close()

    自己設(shè)置好爬取的頁面走個(gè)循環(huán)，爬取好的地址就寫入到了csv文件中。不過之前發(fā)布的一些代理IP不能用的可能性較大，可以就爬取前5頁左右即可。

    在驗(yàn)證代理IP的可行性時(shí)，通過進(jìn)程池添加驗(yàn)證每個(gè)代理IP的驗(yàn)證方法即可。通過requests的session可以持續(xù)的進(jìn)行網(wǎng)絡(luò)的訪問。

    def verifyProxies(verify_url, file_path=FILE_NAME):

    session = requests.session()

    proxyFile = open(FILE_NAME, "r+")

    csv_reader = csv.reader(proxyFile)

    p = Pool(10)

    for row in csv_reader:

    proxies = {"http": "http://" + row[0] + ":" + row[1]}

    p.apply_async(verifyProxy, args=(verify_url, proxies, session))

    p.close()

    p.join()

    proxyFile.close()

    驗(yàn)證每個(gè)IP的方法就是通過給網(wǎng)頁發(fā)送GET請(qǐng)求，然后根據(jù)返回的狀態(tài)碼進(jìn)行判斷，并執(zhí)行相應(yīng)的操作。在請(qǐng)求時(shí)設(shè)置了timeout的話，需要使用try-except拋出異常，否則當(dāng)超過timeout設(shè)置的值時(shí)，會(huì)終止相應(yīng)的進(jìn)程。

“怎么驗(yàn)證Python爬取的代理IP是否有效”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注億速云網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！