《數(shù)據(jù)采集技術(shù)》課件-Scrapy shell

ScrapyshellScrapyshellscrapyshell是一個(gè)交互式終端可以在不運(yùn)行Spider的情況下，測(cè)試和調(diào)試自己的數(shù)據(jù)提取代碼，測(cè)試XPath或CSS表達(dá)式屬于scrapy命令行工具Scrapyshell在編寫spider時(shí)終端提供了交互性測(cè)試表達(dá)式代碼的功能可以測(cè)試任何類型的代碼它本就是一個(gè)常規(guī)的PythonshellScrapyshell一般使用標(biāo)準(zhǔn)Python終端如果安裝了IPython，Scrapyshell將優(yōu)先使用Ipython（替代標(biāo)準(zhǔn)Python終端）啟動(dòng)ScrapyShell語法：scrapyshell<url>url可以為空或本地的一個(gè)文件啟動(dòng)ScrapyShell語法：scrapyshell<url>啟動(dòng)ScrapyShell語法：scrapyshell<url>使用Scrapyshell三種快捷命令：快捷命令描述shelp()打印可用對(duì)象和快捷命令的幫助列表fetch(request_or_url)根據(jù)給定的request或URL獲取一個(gè)新的response對(duì)象，并更新原有的相關(guān)對(duì)象view(response)使用本機(jī)的瀏覽器打開給定的response對(duì)象。該函數(shù)會(huì)在response的body中添加一個(gè)<base>標(biāo)簽，使得外部鏈接（如圖片）能正確顯示使用Scrapyshell內(nèi)置對(duì)象描述crawler指定當(dāng)前Crawler對(duì)象spider處理URL的spiderrequest最近獲取到的頁面的Request對(duì)象response包含最近獲取到的頁面的Response對(duì)象settings當(dāng)前的Scrapy設(shè)置使用Scrapyshell內(nèi)置對(duì)象：內(nèi)置對(duì)象描述crawler指定當(dāng)前Crawler對(duì)象spider處理URL的spiderrequest最近獲取到的頁面的Request對(duì)象response包含最近獲取到的頁面的Response對(duì)象settings當(dāng)前的Scrapy設(shè)置使用Scrapyshell示例：使用Scrapyshell示例：使用Scrapyshellresponse對(duì)象有多個(gè)屬性response.status響應(yīng)狀態(tài)碼response.url響應(yīng)地址response.bodyresponse.text文本形式的http正文是response.body經(jīng)過response.encoding解碼得到的response.text=response.body.decode(response.encoding)示例：response對(duì)象示例：response對(duì)象response的解析response解析說明response.xpath()使用xpath路徑查詢特定元素，返回一個(gè)selector列表對(duì)象response.css()使用css_selector查詢?cè)?，返回一個(gè)selector列表對(duì)象selector對(duì)象通過xpath方法調(diào)用返回的是seletor列表response.xpath()示例response的解析extract()使用xpath請(qǐng)求到的對(duì)象是一個(gè)selector對(duì)象，需要進(jìn)一步使用extract()方法拆包，轉(zhuǎn)換為unicode字符串response的解析如果提取不到值會(huì)報(bào)錯(cuò)extract_first()提取seletor列表中的第一個(gè)值如果提取不到值會(huì)返回一個(gè)空值response.css()示例：response的解析本講小結(jié)1啟動(dòng)ScrapyShell2ScrapyShell