網(wǎng)站反爬策略分析

網(wǎng)站反爬策略分析了解網(wǎng)站反爬的原因以及如何識(shí)別與懲治一、為什么要反爬

二、如何識(shí)別爬蟲(chóng)

三、如何懲治爬蟲(chóng)

四、反爬策略分析網(wǎng)站為什么要反爬？出于保護(hù)自身網(wǎng)站有價(jià)值的數(shù)據(jù)來(lái)源保護(hù)自身網(wǎng)站服務(wù)器資源的目的識(shí)別出爬蟲(chóng)程序限制惡意訪問(wèn)請(qǐng)求1、為什么要反爬通過(guò)請(qǐng)求信息識(shí)別Header：當(dāng)大規(guī)模請(qǐng)求服務(wù)端時(shí)，如果相同header出現(xiàn)的次數(shù)過(guò)多，則會(huì)被服務(wù)端認(rèn)定為爬蟲(chóng)程序。

Cookie：例如：在第一次請(qǐng)求時(shí)寫(xiě)入某個(gè)cookie,在第二次請(qǐng)求時(shí)攜帶，如果第爬蟲(chóng)程序繞過(guò)第一次請(qǐng)求，在爬取頁(yè)面時(shí)所攜帶的cookie則是不正確的。特定請(qǐng)求參數(shù)：通過(guò)頁(yè)面js計(jì)算一個(gè)參數(shù)，在請(qǐng)求時(shí)攜帶該參數(shù)，如果未攜帶該參數(shù)則認(rèn)定該請(qǐng)求為機(jī)器行為。2、如何識(shí)別爬蟲(chóng)基于用戶行為識(shí)別單位時(shí)間的單個(gè)客戶端的請(qǐng)求頻率，在請(qǐng)求第一次請(qǐng)求服務(wù)端時(shí)為該客戶端做一個(gè)標(biāo)記，比如賬賬號(hào)，客戶端指紋等其他信息，來(lái)監(jiān)測(cè)客戶端的訪問(wèn)頻率鼠標(biāo)移動(dòng)軌跡的監(jiān)測(cè)，機(jī)器程序不能夠很好的模擬人的行為，所以針對(duì)鼠標(biāo)的移動(dòng)軌跡監(jiān)測(cè)可以更好的識(shí)別該客戶端是否為機(jī)器行為頻繁/定期更換反爬措施爬蟲(chóng)技術(shù)也在不斷地進(jìn)行更新，多以反爬措施以及規(guī)則應(yīng)進(jìn)行更替3、如何識(shí)別爬蟲(chóng)網(wǎng)站一旦識(shí)別出某個(gè)請(qǐng)求是爬蟲(chóng)，通常會(huì)采取以下措施：直接拒絕爬蟲(chóng)請(qǐng)求1.4XX2.2XX+空數(shù)據(jù)返回驗(yàn)證碼驗(yàn)證，驗(yàn)證不通過(guò)，則拒絕訪問(wèn)或再次返回驗(yàn)證不拒絕爬蟲(chóng)，但是返回比較真實(shí)的微數(shù)據(jù)和真實(shí)數(shù)據(jù)混在一起4、如何懲治爬蟲(chóng)首先，用現(xiàn)有程序爬取頁(yè)面，如能爬取，則一般是訪問(wèn)頻率受限制如爬蟲(chóng)程序直接不能進(jìn)行爬取，查看請(qǐng)求參數(shù)，是否與抓包參數(shù)一致如參數(shù)不一致，進(jìn)行參數(shù)的驗(yàn)證，先修改為與請(qǐng)求參數(shù)一致，再進(jìn)行查看在獲取反爬策略之后，進(jìn)行爬蟲(chóng)程序的編寫(xiě)在爬蟲(chóng)程序中，要盡可能的模擬人工操作5、反爬策略分析