《數(shù)據(jù)采集技術(shù)》課件-超時(shí)和網(wǎng)絡(luò)異常

超時(shí)和網(wǎng)絡(luò)異常Contents素養(yǎng)目標(biāo)能夠初步建立起大數(shù)據(jù)領(lǐng)域的知識(shí)體系，完成一些初級(jí)技術(shù)實(shí)踐。技能目標(biāo)能夠處理超時(shí)和網(wǎng)絡(luò)異常的處理方法。知識(shí)目標(biāo)掌握常見(jiàn)的超時(shí)和網(wǎng)絡(luò)異常以及處理方法。超時(shí)在互聯(lián)網(wǎng)上抓取數(shù)據(jù)并將其存儲(chǔ)在本地?cái)?shù)據(jù)庫(kù)中。網(wǎng)絡(luò)爬蟲(chóng)是一種自動(dòng)化程序有時(shí)候會(huì)遇到超時(shí)錯(cuò)誤導(dǎo)致無(wú)法成功抓取數(shù)據(jù)超時(shí)的原因1網(wǎng)絡(luò)連接問(wèn)題網(wǎng)絡(luò)爬蟲(chóng)需要通過(guò)網(wǎng)絡(luò)連接到目標(biāo)網(wǎng)站，并從中抓取數(shù)據(jù)。不穩(wěn)定網(wǎng)絡(luò)連接響應(yīng)速度慢網(wǎng)站服務(wù)器超時(shí)錯(cuò)誤會(huì)導(dǎo)致可以嘗試更改網(wǎng)絡(luò)連接或者等待網(wǎng)站服務(wù)器響應(yīng)。超時(shí)的原因2網(wǎng)站限制有些網(wǎng)站會(huì)設(shè)置訪(fǎng)問(wèn)限制。限制每個(gè)IP地址的訪(fǎng)問(wèn)次數(shù)或者訪(fǎng)問(wèn)頻率WWW.網(wǎng)絡(luò)爬蟲(chóng)頻繁訪(fǎng)問(wèn)同一網(wǎng)站超時(shí)錯(cuò)誤會(huì)導(dǎo)致惡意行為可以嘗試更改網(wǎng)絡(luò)爬蟲(chóng)的訪(fǎng)問(wèn)頻率或者使用代理服務(wù)器。超時(shí)的原因3數(shù)據(jù)量過(guò)大網(wǎng)絡(luò)爬蟲(chóng)一次性抓取大量數(shù)據(jù)WWW.容易導(dǎo)致超時(shí)錯(cuò)誤可以嘗試分批次抓取數(shù)據(jù)，或者增加網(wǎng)絡(luò)爬蟲(chóng)的抓取速度。有些網(wǎng)站的數(shù)據(jù)量非常龐大。網(wǎng)站超時(shí)的原因4網(wǎng)站結(jié)構(gòu)變化有些網(wǎng)站的結(jié)構(gòu)會(huì)經(jīng)常發(fā)生變化，例如網(wǎng)頁(yè)布局、URL地址等。沒(méi)有及時(shí)更新適應(yīng)變化容易導(dǎo)致超時(shí)錯(cuò)誤可以嘗試更新網(wǎng)絡(luò)爬蟲(chóng)的代碼或者使用更加靈活的抓取方式。超時(shí)的解決辦法給網(wǎng)站服務(wù)器更多的時(shí)間來(lái)響應(yīng)網(wǎng)絡(luò)爬蟲(chóng)的請(qǐng)求，從而減少超時(shí)錯(cuò)誤的發(fā)生。增加等待時(shí)間1調(diào)整網(wǎng)絡(luò)爬蟲(chóng)代碼中等待時(shí)間參數(shù)來(lái)實(shí)現(xiàn)超時(shí)的解決辦法給網(wǎng)絡(luò)爬蟲(chóng)更多的機(jī)會(huì)來(lái)重新連接網(wǎng)站服務(wù)器并重新嘗試抓取數(shù)據(jù)。增加重試次數(shù)2調(diào)整網(wǎng)絡(luò)爬蟲(chóng)代碼中重試次數(shù)參數(shù)來(lái)實(shí)現(xiàn)超時(shí)的解決辦法有些網(wǎng)站會(huì)設(shè)置訪(fǎng)問(wèn)限制。限制每個(gè)IP地址的訪(fǎng)問(wèn)次數(shù)或者訪(fǎng)問(wèn)頻率WWW.網(wǎng)絡(luò)爬蟲(chóng)頻繁訪(fǎng)問(wèn)同一網(wǎng)站超時(shí)錯(cuò)誤會(huì)導(dǎo)致惡意行為可以嘗試使用代理服務(wù)器來(lái)隱藏網(wǎng)絡(luò)爬蟲(chóng)的真實(shí)IP地址。3使用代理服務(wù)器4優(yōu)化網(wǎng)絡(luò)連接網(wǎng)絡(luò)爬蟲(chóng)需要通過(guò)網(wǎng)絡(luò)連接到目標(biāo)網(wǎng)站，并從中抓取數(shù)據(jù)。不穩(wěn)定網(wǎng)絡(luò)連接響應(yīng)速度慢網(wǎng)站服務(wù)器超時(shí)錯(cuò)誤會(huì)導(dǎo)致可以嘗試優(yōu)化網(wǎng)絡(luò)連接，例如更改網(wǎng)絡(luò)連接或者使用更快速的網(wǎng)絡(luò)連接方式。超時(shí)的解決辦法5更新網(wǎng)絡(luò)爬蟲(chóng)代碼超時(shí)的解決辦法有些網(wǎng)站的結(jié)構(gòu)會(huì)經(jīng)常發(fā)生變化，例如網(wǎng)頁(yè)布局、URL地址等。沒(méi)有及時(shí)更新適應(yīng)變化容易導(dǎo)致超時(shí)錯(cuò)誤可以嘗試更新網(wǎng)絡(luò)爬蟲(chóng)的代碼，使其能夠適應(yīng)網(wǎng)站結(jié)構(gòu)的變化。超時(shí)的解決辦法網(wǎng)絡(luò)爬蟲(chóng)中超時(shí)是常見(jiàn)的問(wèn)題適當(dāng)調(diào)整和優(yōu)化提高抓取效率和成功率需要針對(duì)具體情況進(jìn)行分析和解決常見(jiàn)網(wǎng)絡(luò)異常如果urlopen不能處理返回的響應(yīng)內(nèi)容，就會(huì)產(chǎn)生錯(cuò)誤。兩個(gè)常見(jiàn)異常：URLErrorHTTPError使用urlopen()方法發(fā)送http請(qǐng)求URLError異常和捕獲沒(méi)有連接網(wǎng)絡(luò)服務(wù)器連接失敗找不到指定服務(wù)器URLError產(chǎn)生的原因主要有：request=urllib.request.Request('')try:urllib.request.urlopen(request,timeout=5)excepturllib.error.URLErroraserr:print(err)URLError異常和捕獲可以使用try…except語(yǔ)句捕獲響應(yīng)的異常：上述輸出了11004的錯(cuò)誤碼，其含義是沒(méi)有找到指定的服務(wù)器。<urlopenerror[Error11004]getaddrinfofailed>常見(jiàn)網(wǎng)絡(luò)異常每個(gè)服務(wù)器的HTTP響應(yīng)都有一個(gè)數(shù)字響應(yīng)碼有些表示無(wú)法處理請(qǐng)求內(nèi)容。urlopen()會(huì)拋出HTTPError。HTTPError異常和捕獲HTTPError是URLError的子類(lèi)，它的對(duì)象擁有一個(gè)整型的code屬性，表示服務(wù)器返回的錯(cuò)誤代碼。request=urllib.request.Request('/net')try:urllib.request.urlopen(request)excepturllib.error.HTTPErrorase:print(e.code)上述輸出了404的錯(cuò)誤碼，其含義是沒(méi)有找到這個(gè)頁(yè)面。404HTTPError異常和捕獲名稱(chēng)類(lèi)別說(shuō)明1xxInformational（信息性狀態(tài)碼）接收的請(qǐng)求正在處理2xxSuccess（成功狀態(tài)碼）請(qǐng)求正常處理完畢3xxRedirection（重定向狀態(tài)碼）需要進(jìn)行附加操作以完成請(qǐng)求4xxClientError（客戶(hù)端錯(cuò)誤狀態(tài)碼）服務(wù)器無(wú)法處理請(qǐng)求5xxServerError（服務(wù)器錯(cuò)誤狀態(tài)碼）