《大數(shù)據(jù)導(dǎo)論》課件-3.5.4 Scrapy爬蟲實(shí)戰(zhàn)

大數(shù)據(jù)導(dǎo)論Scrapy爬蟲實(shí)戰(zhàn)————數(shù)據(jù)采集實(shí)戰(zhàn)題目：2021年GZ-2021041大數(shù)據(jù)技術(shù)與應(yīng)用賽項(xiàng)賽題6月13日更新，任務(wù)書-5，模塊B：數(shù)據(jù)采集與處理.全國職業(yè)院校技能大賽“大數(shù)據(jù)技術(shù)與應(yīng)用”賽項(xiàng)模塊B：數(shù)據(jù)采集與處理Scrapy實(shí)戰(zhàn)說明任務(wù)說明任務(wù)一：獲取“配送平臺”頁面相關(guān)數(shù)據(jù)

自行創(chuàng)建Scrapy工程編寫工程代碼，獲取“配送平臺”頁面相關(guān)數(shù)據(jù)，通過工程代碼分頁獲取，將使用re解析分頁鏈接的程序源代碼復(fù)制粘貼至對應(yīng)報(bào)告中。任務(wù)二：獲取“店鋪運(yùn)營數(shù)據(jù)”頁面相關(guān)數(shù)據(jù)

編寫工程代碼，獲取“店鋪運(yùn)營數(shù)據(jù)”頁面相關(guān)數(shù)據(jù)，通過工程代碼分頁獲取，將使用re解析分頁鏈接的程序源代碼復(fù)制粘貼至對應(yīng)報(bào)告中。任務(wù)說明任務(wù)三：將獲取數(shù)據(jù)存入json文件

運(yùn)行代碼，爬取“配送平臺”頁面與“店鋪運(yùn)營數(shù)據(jù)”頁面數(shù)據(jù)分別至restaurant_data.json與grey_test.json文件。任務(wù)說明源碼分析任務(wù)一：

根據(jù)任務(wù)描述，需要獲取“配送平臺”頁面相關(guān)數(shù)據(jù)，即“配送平臺”頁面的表格中的所有數(shù)據(jù)，且分頁頁面也需要爬取。

分析源碼后，發(fā)現(xiàn)表格數(shù)據(jù)在HTML的如下節(jié)點(diǎn)內(nèi)。<tablecellspacing="0"cellpadding="0"border="0"class="el-table__body"style="width:100%"></table>其對應(yīng)的頁面xpath路徑是：//table[@cellspacing='0']每一行數(shù)據(jù)對應(yīng)的xpath路徑是：

//table[@cellspacing='0']//tr[@class='el-table__row']第一項(xiàng)數(shù)據(jù)在每一行中，對應(yīng)的xpath路徑是：

./td[@class='el-table_2_column_10is-center'][1]/div[@class='cell']/text()源碼分析任務(wù)二：

根據(jù)任務(wù)描述，需要獲取“店鋪運(yùn)營數(shù)據(jù)”頁面相關(guān)數(shù)據(jù)，即“店鋪運(yùn)營數(shù)據(jù)”頁面的表格中的所有數(shù)據(jù)，且分頁頁面也需要爬取。

分析源碼后，發(fā)現(xiàn)“店鋪運(yùn)營數(shù)據(jù)”頁面源代碼結(jié)構(gòu)與任務(wù)一“配送平臺”的結(jié)構(gòu)一致。源碼分析分頁鏈接：

任務(wù)一與任務(wù)二都涉及到頁面分頁爬取的要求。分析網(wǎng)頁html源碼可知，下一頁的鏈接在如下節(jié)點(diǎn)之后：<ulclass="elr"><liclass="numberactive"></li>利用正則表達(dá)式提?。?/p>

active">.*\s+?<liclass="number"><ahref="(.*html)">重寫構(gòu)造請求由于不是單頁面數(shù)據(jù)采集，需要分次根據(jù)頁面實(shí)際下一頁鏈接進(jìn)行爬取。因此需要重寫Scrapy框架的start_requests方法，重寫方法如下：其中，scrapy.Request中的callback參數(shù)是指回調(diào)方法，用于將響應(yīng)的報(bào)文進(jìn)行解析處理。任務(wù)實(shí)現(xiàn)--items.py1、任務(wù)一item模型：2、任務(wù)二item模