《數(shù)據(jù)采集與預處理》課件12：爬蟲框架-scrapy入門

爬蟲框架-scrapy入門網(wǎng)頁爬蟲的流程是什么？復習無論是動態(tài)網(wǎng)頁爬蟲和靜態(tài)網(wǎng)頁爬蟲，實現(xiàn)的思路基本上都是獲取頁面html、頁面解析、數(shù)據(jù)保存或輸出。雖然獲取頁面html以及數(shù)據(jù)保存都已經(jīng)封裝為通用函數(shù)，但依然編寫繁瑣。1、理解Scrpay框架創(chuàng)建爬蟲程序的基本步驟2、能學會創(chuàng)建爬蟲項目、創(chuàng)建爬蟲文件、以及運行爬蟲的命令3、了解Scrapy目錄結構及常用命令教學目標1Scrapy快速入門爬蟲框架-scrapy入門Scrapy簡介以及安裝23Scrapy目錄結構及常用命令所謂的爬蟲框架，是一個半成品的爬蟲，已經(jīng)實現(xiàn)了工作隊列、下載器、保存處理數(shù)據(jù)的邏輯以及日志、異常處理、反反爬蟲等通用功能。對于使用者來說，更多的工作是通過更改配置調整需要開啟的通用功能，讓我們更專注于分析頁面，編寫網(wǎng)站的爬取規(guī)則。Scrapy簡介以及安裝爬蟲框架Scrapy簡介以及安裝現(xiàn)在的爬蟲框架有很多，其中最流行的爬蟲搜索引擎及框架如下：NutchScrapy：Scrapy爬蟲框架是Python中最著名、最受歡迎、社區(qū)最活躍的爬蟲框架。是人們?yōu)榱伺廊【W(wǎng)站數(shù)據(jù)、提取結構性數(shù)據(jù)而編寫，可以應用在包括數(shù)據(jù)挖掘、信息處理或存儲歷史數(shù)據(jù)等一系列的程序中。PySpiderWebCollectorScrapy簡介以及安裝1、命令行安裝

在命令行下安裝Scrapy比較簡單，只需要輸入“pipinstallscrapy”命令即可。

由于pip安裝會自動安裝scrapy爬蟲框架依賴的各種包，安裝速度較慢，出錯概率較大，建議增加-i參數(shù)，使用清華鏡像安裝。>>>pipinstallscrapy-i

/simple在命令行下安裝需要將python的安裝路徑加入到環(huán)境變量中，才能正常使用pip命令進行安裝。如果出現(xiàn)“pip不是內部或外部命令，也不是可運行的程序或批處理文件”的提示代表未將python的路徑加入到環(huán)境變量中。Scrapy簡介以及安裝1、命令行安裝

如果是在pychram中安裝，則直接在終端“Terminal”中安裝。若Pycharm的解釋器關聯(lián)的anaconda環(huán)境，則在anaconda中也能使用。>>>pipinstallscrapy-i

/simple1Scrapy快速入門爬蟲框架-scrapy入門Scrapy簡介以及安裝23Scrapy目錄結構及常用命令Scrapy快速入門以百度首頁導航鏈接爬取為例講解scrapy使用的基本使用方法?；静襟E包括創(chuàng)建爬蟲項目、創(chuàng)建爬蟲文件、創(chuàng)建爬蟲數(shù)據(jù)項、創(chuàng)建爬蟲解析、運行爬蟲。

1、創(chuàng)建爬蟲項目打開pycharm,創(chuàng)建一個“purepython”項目。在底部狀態(tài)欄中點擊“Terminal”，輸入“scrapystartprojectbaiduspider”，其中baiduspier為Scrapy項目名稱。如圖所示。其中“Scrapy_First”為項目文件夾。Scrapy快速入門2、生成爬蟲模板文件

爬蟲項目和爬蟲的關系為1對多的關系。一個爬蟲項目可以由多個爬蟲共同組成。如創(chuàng)建一個新聞類的爬蟲項目，可能會爬取百度新聞、騰訊新聞等多個網(wǎng)站的新聞。就可以創(chuàng)建多個爬蟲文件。

如何創(chuàng)建爬蟲文件？上一步的提示中已經(jīng)指引了此步驟的操作方法。首先使用“cdbaiduspider”命令進入目錄baiduspider，此目錄為“創(chuàng)建爬蟲項目”時通過模板自動生成的。然后使用命令“scrapygenspiderbaidu”創(chuàng)建名稱為baidu的爬蟲。其中參數(shù)“baidu”為爬蟲名稱,需要注意的是爬蟲文件名稱在當前項目中必須保證唯一。參數(shù)“”為域名。用來約定爬蟲爬取的范圍。Scrapy快速入門2、生成爬蟲模板文件

正常執(zhí)行命令后,我們可以查看下genspider生成的爬蟲文件baidu.py，文件位置為baiduspider/baiduspider/spiders/baidu.py。生成的爬蟲模板文件內容如下。name屬性定義的為爬蟲的名稱，是使用“scrapygenspiderbaidu

”命令時定義的，在同一個爬蟲項目中可以定義多個爬蟲，但必須保證爬蟲名稱唯一。屬性allowed_domains定義過濾爬取的域名，不在范圍內約定的域名將不會進行爬取。類型為列表，表示可以有多個域名。屬性start_urls定義爬蟲啟動時的默認爬取的地址，在通常情況下，爬蟲默認從此地址開始爬取。Scrapy框架的爬蟲程序使用面向對象的方式進行封裝。繼承自scrapy.Spider類。parse方法是解析網(wǎng)頁數(shù)據(jù)的核心方法。parse方法以response作為參數(shù)，表示響應對象，可以直接從響應對象中獲取文本。發(fā)送請求的過程Scrapy框架會通過內置的下載器幫完成。Scrapy快速入門3、定義數(shù)據(jù)容器

在正式編寫爬蟲前，我們需要先定義爬取的數(shù)據(jù)項，只是數(shù)據(jù)項的命名，不涉及具體的數(shù)據(jù)類型。百度首頁導航鏈接爬蟲比較簡單，需要爬取的數(shù)據(jù)只有導航標簽名稱以及url地址。定義爬取數(shù)據(jù)項是為后續(xù)步驟輸出做準備。在baiduspider/baiduspider文件夾下找到items.py文件。缺省模板代碼如下。

類BaiduspiderItem繼承自scrapy.Item。注釋的內容約定了定義數(shù)據(jù)項的使用方式。只需要定義數(shù)據(jù)項的名稱即可。數(shù)據(jù)項的值都是scrapy.Field()。刪除pass,按如下代碼修改模板代碼。Scrapy快速入門4、編寫爬蟲spider

在編寫baidu.py中parse方法前，需要優(yōu)先考慮選擇器的使用。Scrapy爬蟲框架是在Lxml基礎上構建了一套提取數(shù)據(jù)的機制，通過特定的XPath或CSS選擇器來選擇HTML頁面中的某個部分。Scrapy爬蟲框架提供了選擇器的快捷方式response.xpath()和response.css()，讓用戶直接使用選擇器。在入門案例中使用response.xpath()來進行頁面解析。

打開“baiduspider/baiduspider/spiders”目錄下找到baidu.py文件，修改解析方法parse。參考代碼如下。Scrapy快速入門4、編寫爬蟲spider（1）由于解析過程中需要使用上一步驟中定義的數(shù)據(jù)項BaiduspiderItem，所以首先使用import進行導入。2、為了提高穩(wěn)定性，解析過程使用二次查找的方式。程序運行后Scrapy框架會將響應對象寫入到response變量中。response.xpath("http://div[@id='u1']/a")可以直接獲取所有的導航鏈接。3、通過for循環(huán)逐行從列表中獲取每個鏈接。在items文件中定義的BaiduspiderItem類初始化后，分別提取標簽文本和href屬性對Baiduspider中Item數(shù)據(jù)項進行賦值。4、最后通過“yielditem”將步驟傳遞下去。response.xpath("表達式")返回的結果為選擇器對象列表，如果需要提取元素屬性或文本需要使用get()或getall()方法。Scrapy快速入門5、運行爬蟲

運行爬蟲程序，需要使用命令“scrapycrawl爬蟲名”。在“Terminal”下執(zhí)行命令“Scrapycrawlbaidu”前，必須進入爬蟲項目所在的目錄，否則無法正常運行。當前項目名為baiduspider，所以首先使用“cdbaiduspider”進入爬蟲項目目錄。Scrapy快速入門5、運行爬蟲爬蟲運行后會打印輸出非常多的日志信息，是因為缺省情況下日志等級為info?？稍谂渲梦募癰aiduspider/baiduspider/settings.py”文件中進行調整。ROBOTSTXT_OBEY=False#關閉robots協(xié)議，否則很多頁面都無法爬取

LOG_LEVEL="WARNING"#日志為警告以上才顯示

調整后程序重新運行，發(fā)現(xiàn)沒有任何提示，是因為parse函數(shù)中沒有任何輸出。增加-o參數(shù)，將爬取的結果輸出為文件。命令為“scrapycrawlbaidu-obaidu.csv”。運行后在baiduspider目錄下查看baidu.csv文件。1Scrapy快速入門爬蟲框架-scrapy入門Scrapy簡介以及安裝23Scrapy目錄結構及常用命令Scrapy目錄結構及常用命令

使用Scrapy框架編寫爬蟲，會生成一個固有的目錄層次結構，目錄中有一系列的文件，這些文件都有什么作用？

命令行“scrapystartproject爬蟲項目名稱”創(chuàng)建項目后，會在當前文件夾下生成Scrapy框架的基本項目結構，以爬蟲項目“baiduspider”來進行說明。項目結構如下表所示。Scrapy目錄結構及常用命令Scrapy框架是通過Scrapy命令行工具進行控制的，包括創(chuàng)建項目、創(chuàng)建爬蟲模板建、啟動爬蟲、相關的設置等，使用Pycharm只是簡化了Scrapy爬蟲的編寫，并沒有改變其本質。Scrapy提供了兩種內置的命令，分別是全局命令和項目命令。全局命令就是在任意位置都可以執(zhí)行的命令，而項目命令只有在你新創(chuàng)建了項目之后，在項目目錄中才可以執(zhí)行的命令：全局命令包括startproject、runspider、shell、fetch、view、version。項目命令包括genspider、crawl、check、list等。下面我們簡單介紹下這些常用的命令。1、startproject

在當前目錄下創(chuàng)建Scrapy爬蟲項目。基本語法格式“scrapystartproject項目名稱

”。2、runspider

在未創(chuàng)建項目的情況下，運行一個編寫在Python文件中的spider?；菊Z法格式為“scrapyrunspiderpython文件名.py”。入門案例百度首頁導航，也可在不創(chuàng)建Scrapy項目的情況下編寫和運行。新建獨立的python文件baidu.py，參考代碼如下。Scrapy目錄結構及常用命令3、ShellShell命令用來在交互模式下調試目標網(wǎng)站。執(zhí)行命令后會啟動Python的交互模式，如果安裝了IPython,默認進入IPython交互頁面。基本語法格式為“scrapyshell[url]”，其中url地址可為空。以入門案例百度首頁鏈接為例，熟悉使用方法。命令行下輸入“scrapyshell”。Scrapy目錄結構及常用命令（1）直接使用response.xpath()函數(shù)驗證百度首頁導航案例中a標簽的提取方法。參考代碼如下圖所示。Scrapy目錄結構及常用命令（2）編寫CSS選擇器語法驗證提取方法。Scrapy的response.css（）使用類似于偽類選擇器的語法可以直接提取文本或屬性。如“::text”可以獲取到標簽文本，“::attr(屬性名)”可以一次性的獲取屬性值。3、shell4、Fetch

使用Scrapy下載器(downloader)下載給定的URL，并將獲取到的內容送到標準輸出。簡單的來說，就是打印url的html代碼?；菊Z法格式為“ScrapyFetchurl地址”。如果要下載并打印163網(wǎng)站，命令為scrapyFetch"http：//“5、view

在瀏覽器中打開給定的url,并以scrapyspider獲取到的形式展現(xiàn)。有些時候spider獲取到的頁面和普通用戶看到的并不相同。基本語法格式為“Scrapyviewurl”，可以用來檢查spider獲取到的頁面，并確認是用戶所期望的。如scrapyview6、version

輸出Scrapy版本。配合-v運行時，該命令同時輸出Python,Twisted以及平臺的信息。如“scrapyverison”。Scrapy目錄結構及常用命令7、genspider