爬蟲代理IP的類型和原理是什么

本篇內(nèi)容介紹了“爬蟲代理IP的類型和原理是什么”的有關(guān)知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

1、代理類型：透明代理IP、匿名代理IP、高匿名代理

代理IP可以分為四種類型。除透明代理IP、匿名代理IP、高匿名代理IP外，還有一類是混淆代理IP。就基本安全性而言，它們的排列順序是高匿>混淆>匿名>透明。

2、代理原理：REMOTE_ADDR、X-Forwarded-For（XFF）、HTTP_VIA。

代理類型主要依賴于代理服務(wù)器端的配置，不同的配置形成不同的代理類型。在配置中，這三個變量REMOTE_ADDR、HTTP_VIA、HTTP_X_FORWARDED_FOR是決定性因素。

（一）REMOTE_ADDR

REMOTE_ADDR代表客戶機的IP，但是它的值不是由客戶機提供的，而是由服務(wù)器根據(jù)IP指定。

如果您使用瀏覽器直接訪問站點，則站點的web服務(wù)器(Nginx、Apache等)將REMOTE_ADDR設(shè)置為客戶端的IP地址。

如果我們?yōu)闉g覽器設(shè)置代理，我們訪問目標(biāo)站點的請求首先通過代理服務(wù)器，然后代理服務(wù)器將請求轉(zhuǎn)換為目標(biāo)站點。網(wǎng)站的web代理服務(wù)器將REMOTE_ADDR設(shè)置為代理服務(wù)器的IP。

（二）X-Forwarded-For（XFF）

X-Forwarded-For是HTTP擴展頭，用于表示HTTP請求端的真實IP。當(dāng)客戶端使用代理時，網(wǎng)絡(luò)代理服務(wù)器不知道客戶端的真實IP地址。為了避免這種情況，代理服務(wù)器通常會添加X-Forwarded-For的頭部信息，并將客戶端的IP添加到頭部信息中。

X-Forwarded-For請求頭格式如下：

X-Forwarded-For:client,proxy1,proxy2

client表示客戶端的IP地址；proxy1是離服務(wù)器最遠(yuǎn)的設(shè)備IP；proxy2是次級代理設(shè)備的IP；從格式上可以看出，從client到server可以有多層代理。

在HTTP請求到達服務(wù)器之前，通過3個代理Proxy1、Proxy2、Proxy3，IP分別為IP1、IP2、IP3，用戶的實際IP為IP0時，根據(jù)XFF標(biāo)準(zhǔn)，服務(wù)器最終會收到以下信息

X-Forwarded-For:IP0,IP1,IP2

Proxy3直接連接到服務(wù)器，并將IP2添加到XFF，以幫助Proxy2轉(zhuǎn)發(fā)請求。列表中沒有IP3，IP3可以在服務(wù)器上通過RemoteAddress字段獲得。眾所周知，HTTP連接是以TCP連接為基礎(chǔ)的，HTTP協(xié)議中沒有IP概念，RemoteAddress來自TCP連接，這意味著與服務(wù)器建立TCP連接的設(shè)備IP就是IP3。這里我建議爬蟲使用http的時候盡量用像太陽http這樣正規(guī)的產(chǎn)品

（三）HTTP_VIA

via是HTTP協(xié)議中的header，記錄了HTTP請求的代理和網(wǎng)關(guān)，通過一個代理服務(wù)器添加一個代理服務(wù)器的信息，通過兩個添加兩個。

“爬蟲代理IP的類型和原理是什么”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識可以關(guān)注億速云網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實用文章！