爬蟲(chóng)的原理是通過(guò)特定的網(wǎng)站請(qǐng)求，去訪問(wèn)網(wǎng)頁(yè)，獲取到網(wǎng)頁(yè)上的源代碼，直接找到我們需要的數(shù)據(jù)。有沒(méi)有發(fā)現(xiàn)小時(shí)候看過(guò)的一些經(jīng)典電影，在網(wǎng)上找好久也找不到資源，如果你運(yùn)用上爬蟲(chóng)的技術(shù)，可以說(shuō)是非常簡(jiǎn)單了，當(dāng)然大家在爬取的時(shí)候希望一次性多備一些資源，留著后期有空了看，在這里，如果嫌一只爬蟲(chóng)效率低，可以開(kāi)多線程相當(dāng)于幾十只爬蟲(chóng)同時(shí)給你爬，效率直接翻幾十倍，如果對(duì)方網(wǎng)站有反爬機(jī)制，擔(dān)心爬取頻率過(guò)高被網(wǎng)站封 IP，最好使用IP代理工具，分不同的ip地址操作，對(duì)方網(wǎng)站就不知道你究竟是爬蟲(chóng)還是正常訪問(wèn)的用戶了。