《數(shù)據(jù)采集技術(shù)》課件-代理服務(wù)器

代理服務(wù)器Contents素養(yǎng)目標(biāo)培養(yǎng)良好的信息素養(yǎng)和道德意識(shí)。技能目標(biāo)熟練使用自定義opener類和設(shè)置代理服務(wù)器。知識(shí)目標(biāo)掌握代理服務(wù)器的用途和用法。思考很多網(wǎng)站會(huì)檢測(cè)某一段時(shí)間某個(gè)IP的訪問(wèn)次數(shù)。過(guò)于頻繁同一IP訪問(wèn)會(huì)被禁止該IP的訪問(wèn)這種情況要怎么辦結(jié)論可以使用代理服務(wù)器每隔一段時(shí)間換一個(gè)代理。被禁止某個(gè)IP繼續(xù)爬取數(shù)據(jù)換成其他IP可以有效解決被網(wǎng)站禁止訪問(wèn)的情況。openerUrlopen就是模塊構(gòu)建好的一個(gè)opener。但是，urlopen不支持代理、Cookie等其他的HTTP/HTTPS高級(jí)功能。而是自定義opener不能使用自帶的urlopenopener是urllib.request.OpenerDirector類的對(duì)象如果要想設(shè)置代理：簡(jiǎn)單的自定義opener使用相關(guān)的Handler處理器創(chuàng)建特定功能的處理器對(duì)象。第1步通過(guò)urllib.request.build_opener()方法使用這些處理器對(duì)象創(chuàng)建自定義的opener對(duì)象。第2步第3步使用自定義的opener對(duì)象，調(diào)用open方法發(fā)送請(qǐng)求。自定義opener需要執(zhí)行下列三個(gè)步驟：簡(jiǎn)單的自定義opener示例importurllib.requesthttp_handler=urllib.request.HTTPHandler()#構(gòu)建一個(gè)HTTPHandler處理對(duì)象，支持處理HTTP請(qǐng)求opener=urllib.request.build_opener(http_handler)#調(diào)用urllib2.build_opener()方法，創(chuàng)建支持處理HTTP請(qǐng)求的opener對(duì)象request=urllib.request.Request('/')#構(gòu)建Request請(qǐng)求response=opener.open(request)#調(diào)用自定義opener對(duì)象的open()方法，發(fā)送request請(qǐng)求print(response.read().decode('utf-8'))#獲取服務(wù)器響應(yīng)內(nèi)容設(shè)置代理服務(wù)器使用urllib.request中的ProxyHandler方法來(lái)設(shè)置代理服務(wù)器。httpproxy_handler=urllib.request.ProxyHandler({"http":"01:4275"})nullproxy_handler=urllib.request.ProxyHandler({})#構(gòu)建了兩個(gè)代理Handler，一個(gè)有代理IP，一個(gè)沒(méi)有代理IPproxy_switch=True#定義一個(gè)代理開(kāi)關(guān)#通過(guò)urllib.request.build_opener()方法使用代理Handler對(duì)象創(chuàng)建自定義的opener對(duì)象#根據(jù)代理開(kāi)關(guān)是否打開(kāi),使用不用的代理模式ifproxy_switch:opener=urllib.request.build_opener(httpproxy_handler)else:opener=urllib.request.build_opener(nullproxy_handler)request=urllib.request.Request("")response=opener.open(request)print(response.read().decode('utf-8'))設(shè)置代理服務(wù)器可以在一些代理網(wǎng)站上收集免費(fèi)代理，測(cè)試后如果可以用，就把它收集起來(lái)用在爬蟲(chóng)上面。西刺免費(fèi)代理IPProxy360代理快代理免費(fèi)代理全網(wǎng)代理IPWWW.免費(fèi)開(kāi)放代理的獲取基本沒(méi)有成本免費(fèi)代理網(wǎng)站主要有以下幾個(gè)：設(shè)置代理服務(wù)器如果代理IP足夠多，就可以像隨機(jī)獲取User-Agent一樣，隨機(jī)選擇一個(gè)代理去訪問(wèn)網(wǎng)站。importrandomproxy_list=[{"http":"1:80"},{"http":"1:80"},{"http":"1:80"},{"http":"1:80"},{"http":"1:80"}]#隨機(jī)選擇一個(gè)代理proxy=random.choice(proxy_list)importurllib.requestimportrandomproxy_list=[{'http':'1:80'},{'http':'1:80'},{'http':'1:80'},{'http':'1:80'}]proxy=random.choice(proxy_list)httpproxy_handler=urllib.request.ProxyHandler(proxy)opener=urllib.request.build_opener(httpproxy_handler)request=urllib.request.Request('')response=opener.open(request)print(response.read())示例設(shè)置代理服務(wù)器設(shè)置代理服務(wù)器有很多人在使用。壽命短速度慢匿名度不高免費(fèi)開(kāi)放代理專業(yè)爬蟲(chóng)工程師或爬蟲(chóng)公司會(huì)使用。高品質(zhì)的私密代理缺點(diǎn)：通常需要找專門(mén)的代理供應(yīng)商購(gòu)買，再通過(guò)用戶名/密碼授權(quán)使用。本講小結(jié)