《數(shù)據(jù)采集技術》課件-Request 和 Response類

Request和ResponseRequest和ResponseRequest類源碼位置：Request類源碼位置：Request類Request類是Scrapy框架中用于定義爬取請求的類創(chuàng)建Request對象，可以指定要爬?。篣RL請求的方法HeadersCookiesRequest類Request類是Scrapy框架中用于定義爬取請求的類創(chuàng)建Request對象，可以指定要爬?。篣RL請求的方法HeadersCookiesRequest類Request對象包含了HTTP請求的基本信息Request的構造參數(shù)梳理如下：urlRequest的頁面鏈接，即要爬取的地址callbackRequest的回調(diào)方法methodRequest的方法，GET、POST、PUT、DELETE等Request類Request對象包含了HTTP請求的基本信息Request的構造參數(shù)梳理如下：metaRequest請求攜帶的額外參數(shù)可以指定任意處理參數(shù)，特定的參數(shù)經(jīng)由Scrapy各個組件的處理，得到不同的效果。可以用來向回調(diào)方法傳遞信息?？梢砸宰值涞男问絺鬟f，包含的信息不受限制。Request類Request對象包含了HTTP請求的基本信息Request的構造參數(shù)梳理如下：更方便地實現(xiàn)POST請求使用FormRequest或JsonRequest（Scrapy專門為POST請求提供了兩個類）bodyRequest的內(nèi)容，往往RequestBody對應的是POST請求Request類Request對象包含了HTTP請求的基本信息Request的構造參數(shù)梳理如下：bodyRequest的內(nèi)容，往往RequestBody對應的是POST請求headersRequestHeaders，字典形式cookiesRequest攜帶的Cookies，字典或列表形式encodingRequest的編碼，默認是utf-8prorityRequest優(yōu)先級，數(shù)值越大，就越被優(yōu)先調(diào)度并執(zhí)行Request類Request對象包含了HTTP請求的基本信息Request的構造參數(shù)梳理如下：dont_filterRequest不去重，設置為True代表這個Request會被忽略去重操作，默認是Falseerrback錯誤處理方法cb_kwargs回調(diào)方法的額外參數(shù)，可以作為字典傳遞flags請求的標志，可以用于記錄類似的處理Request類callback示例：defparse_page_1(self,response):returnscrapy.Request('/some_page.html',

callback=self.parse_page_2)

defparse_page_2(self,response):

(f'Visited{response.url}')Request類cb_kwargs示例：defparse_page_1(self,response)：

request=scrapy.Request('/some_page.html',callback=self.parse_page_2,cb_kwargs=dict(main_url=response.url))request.cb_kwargs['foo']='bar'yieldrequest

defparse_page_2(self,response,main_url,foo):yielddict(main_url=main_url,other_url=response.url,foo=foo)Request類errback示例：importscrapyfromscrapy.spidermiddlewares.httperrorimportHttpErrorfromernet.errorimportDNSLookupErrorfromernet.errorimportTimeoutError,TCPTimedOutErrordefparse(self,response):request=scrapy.Request('/some_page.html',callback=self.parse_page_1,

errback=self.parse_page_2,cb_kwargs=dict(main_url=response.url))yieldrequestdefparse_page_1(self,response,main_url):passdefparse_page_2(self,failure):iffailure.check(HttpError):response=failure.value.responseself.logger.error(f"HttpErroron{response.url}")eliffailure.check(DNSLookupError):request=failure.requestself.logger.error(f"DNSLookupErroron{request.url}")eliffailure.check(TimeoutError,TCPTimedOutError):request=failure.requestself.logger.error(f'TimeoutErroron{request.url}')eliffailure.check(TimeoutError,TCPTimedOutError):request=failure.requestself.logger.error('TimeoutErroron%s',request.url)Response類errback示例：錯誤處理方法Response類源碼位置：Response類源碼位置：Response類是HTTP請求得到的響應結(jié)果Response的可用的屬性和方法梳理如下：urlRequestURLstatusResponse狀態(tài)碼headersResponseHeaders，字典形式，字段一一對應bodyResponseBody，訪問頁面之后得到的源代碼，其結(jié)果是bytes類型requestResponse對應的Request對象Response類Response類是HTTP請求得到的響應結(jié)果Response的可用的屬性和方法梳理如下：ip_address代表服務器的IP地址urljoin對URL的處理方法follow/follow_all根據(jù)URL來生成后續(xù)Request的方法Response類Response類urljoin示例：fromscrapy.httpimportResponsefromscrapy.utils.urlimporturljoin

response=Response(url='/')

relative_url='/path/to/page'full_url=response.urljoin(relative_url)print(full_url)#輸出:/path/to/page

base_url='/'relative_url='/path/to/page'full_url=response.urljoin(base_url,relative_url)print(full_url)#輸出:/path/to/pageResponse類follow示例：importscrapy

classMySpider(scrapy.Spider):name='my_spider'defstart_requests(self):urls=['/page1','/page2']forurlinurls:yieldscrapy.Request(url=url,callback=self.parse)

defparse(self,response:scrapy.Response):title=response.css('title::text').get()links=response.css('a::attr(href)').getall()

print('Title:'