我們經(jīng)常在爬取網(wǎng)站時(shí)設(shè)置ip代理來(lái)避免爬蟲程序中被封號(hào)，而獲取ip地址的方式通常來(lái)自提取國(guó)內(nèi)的知名ip代理商提供的ip資源，代理商一般分為透明代理，匿名代理，高匿代理，區(qū)別的方式相信大家也都學(xué)習(xí)了很多，為了更進(jìn)一步的去認(rèn)識(shí)，接下來(lái)了解一下ip代理的工作原理吧。

　　代理ip的類型主要取決于代理服務(wù)器端的配置。不同配置會(huì)形成不同的代理類型。在配置中，這三個(gè)變量REMOTE_ADDR，HTTP_VIA，HTTP_X_FORWARDED_FOR是決定性因素。

　　1)REMOTE_ADDR

　　REMOTE_ADDR表示客戶端的IP，但是它的值不是由客戶端提供的，而是服務(wù)器根據(jù)客戶端的IP指定的。

　　如果使用瀏覽器直接訪問(wèn)某個(gè)網(wǎng)站，那么網(wǎng)站的web服務(wù)器（Nginx、Apache等）就會(huì)把REMOTE_ADDR設(shè)為客戶端的IP地址。

　　如果我們給瀏覽器設(shè)置代理ip，我們?cè)L問(wèn)目標(biāo)網(wǎng)站的請(qǐng)求會(huì)先經(jīng)過(guò)代理服務(wù)器軟件，然后由代理服務(wù)器將請(qǐng)求轉(zhuǎn)化到目標(biāo)網(wǎng)站。那么網(wǎng)站的web服務(wù)器就會(huì)把REMOTE_ADDR設(shè)為代理服務(wù)器的IP。

　　2）X-Forwarded-For（XFF）

　　X-Forwarded-For是一個(gè)HTTP擴(kuò)展頭部，用來(lái)表示HTTP請(qǐng)求端真實(shí)IP。當(dāng)客戶端使用了代理時(shí)，web服務(wù)器就不知道客戶端的真實(shí)IP地址。為了避免這個(gè)情況，代理服務(wù)器通常會(huì)增加一個(gè)X-Forwarded-For的頭信息，把客戶端的IP添加到頭信息里面。

　　X-Forwarded-For請(qǐng)求頭格式如下：

　　X-Forwarded-For:client,proxy1,proxy2

　　client表示客戶端的IP地址；proxy1是離服務(wù)端最遠(yuǎn)的設(shè)備IP;proxy2是次級(jí)代理設(shè)備的IP；從格式中，可以看出從client到server是可以有多層代理的。

　　如果一個(gè)HTTP請(qǐng)求到達(dá)服務(wù)器之前，經(jīng)過(guò)了三個(gè)代理Proxy1、Proxy2、Proxy3，IP分別為IP1、IP2、IP3，用戶真實(shí)IP為IP0，那么按照XFF標(biāo)準(zhǔn)，服務(wù)端最終會(huì)收到以下信息：

　　X-Forwarded-For:IP0,IP1,IP2

　　Proxy3直連服務(wù)器，它會(huì)給XFF追加IP2，表示它是在幫Proxy2轉(zhuǎn)發(fā)請(qǐng)求。列表中并沒(méi)有IP3，IP3可以在服務(wù)端通過(guò)Remote Address字段獲得。我們知道HTTP連接基于TCP連接，HTTP協(xié)議中沒(méi)有IP的概念，Remote Address來(lái)自TCP連接，表示與服務(wù)端建立TCP連接的設(shè)備IP，在這個(gè)例子里就是IP3。

　　3）HTTP_VIA

　　via是HTTP協(xié)議里面的一個(gè)header,記錄了一次HTTP請(qǐng)求所經(jīng)過(guò)的代理和網(wǎng)關(guān)，經(jīng)過(guò)1個(gè)代理服務(wù)器，就添加一個(gè)代理服務(wù)器的信息，經(jīng)過(guò)2個(gè)就添加2個(gè)。

       以上內(nèi)容大概了解代理ip原理的幾種方式，都知道高度匿名代理不改變客戶機(jī)的請(qǐng)求，這樣在服務(wù)器看來(lái)就像有個(gè)真正的客戶瀏覽器在訪問(wèn)它，這時(shí)客戶的真實(shí)IP是隱藏的，服務(wù)器端不會(huì)認(rèn)為我們使用了代理ip工具。因此，爬蟲程序需要使用到ip代理時(shí)，盡量選擇普通匿名代理和高匿名代理，另外，如果要保證數(shù)據(jù)不被代理服務(wù)器知道，推薦使用HTTPS協(xié)議的代理。

       國(guó)內(nèi)知名品牌動(dòng)態(tài)IP海就很符合，提供高質(zhì)量ip，并且可以很方便地指定在哪些地區(qū)切換，穩(wěn)定性也不錯(cuò)，適用于一些對(duì)IP質(zhì)量要求較高的爬蟲項(xiàng)目。

版權(quán)聲明：本文為ipadsl.cn所屬公司原創(chuàng)作品，未經(jīng)許可，禁止轉(zhuǎn)載！