網(wǎng)絡爬蟲技術曾經(jīng)成為一種十分盛行的網(wǎng)絡技術，關于一個內(nèi)容驅(qū)動的網(wǎng)站來說，不可防止的會遭到網(wǎng)絡爬蟲技術的光臨。優(yōu)秀的爬蟲技術不會干擾網(wǎng)站的正常運轉(zhuǎn)，而糟糕的爬蟲技術會帶來很多費事，由于他們的頁面抓取才能差，經(jīng)常會有幾十個或者上百個反復懇求，增加了網(wǎng)絡站點的訪問壓力，導致訪問遲緩以至無法訪問。

 

為了防止這種狀況，網(wǎng)站會運用反抓取技術，普通從普通用戶懇求的頭、普通用戶行為、網(wǎng)站目錄、數(shù)據(jù)加載方式三個方面來完成反爬蟲。

 

1.用戶請求頭反爬蟲技術

 

普通用戶請求頭反爬蟲技術是最常見的反爬蟲技術戰(zhàn)略。很多網(wǎng)站會檢測Headers的User-Agent，有些網(wǎng)站會檢測Referer(有些資源網(wǎng)站的防盜鏈就是檢測Referer)。假如遇到這種反爬蟲技術機制，能夠直接給爬蟲技術添加頭，把閱讀器的User-Agent復制到爬蟲技術頭；或?qū)eferer值修正為目的網(wǎng)絡站點的域名。關于檢測報頭的反爬蟲技術，在爬蟲技術中修正或添加報頭能夠很好的繞過它。

 

2.用戶行為的反爬技術

 

還有一些網(wǎng)站會檢測到普通的用戶行為，比方同一個IP在短時間內(nèi)屢次訪問同一個頁面，或者同一個賬號在短時間內(nèi)屢次做同樣的操作。

 

局部網(wǎng)點都是前一種狀況，關于這種狀況能夠運用IP代理，動態(tài)IP代理在全國各地都有自營的效勞器節(jié)點，有大量的IP地址，就能夠每隔幾個懇求就換一個IP，這在requests或者urllib2中很容易做到，所以能夠很容易的繞過第一道反爬蟲技術。

 

在第二種狀況下，下一個懇求能夠在每次懇求后隨機距離幾秒鐘發(fā)出。一些存在邏輯破綻的網(wǎng)站，能夠經(jīng)過屢次懇求、注銷、再次登錄、繼續(xù)懇求的方式，繞過同一賬號不能在短時間內(nèi)屢次發(fā)出相同懇求的限制。

 

3.動態(tài)頁面的反爬蟲技術

 

以上狀況大多呈現(xiàn)在靜態(tài)頁面，以及一些網(wǎng)站上。我們需求抓取的數(shù)據(jù)是經(jīng)過ajax懇求獲取的，或者是Java生成的。首先，運用Firebug或HttpFox來剖析網(wǎng)絡懇求。假如能找到ajax懇求，剖析出詳細的參數(shù)和響應的詳細含義，就能夠采用上面的辦法，直接用requests或者urllib2模仿ajax懇求，剖析響應的json，得到需求的數(shù)據(jù)。

 

反爬蟲和爬蟲是相輔相成的，恪守目的站點的規(guī)則才是利人利己的好爬蟲，國內(nèi)動態(tài)ip海品牌提供的IP池資源廣，自帶獨立機房，支持協(xié)議有PPTP/L2TP/SSTP，不同的應用場景使用不同的協(xié)議，適合很多平臺的服務。