《各平臺數(shù)據(jù)采集及方法》課件-銀保監(jiān)官網(wǎng)政策公告采集

銀保監(jiān)官網(wǎng)

政策公告采集官網(wǎng)政策公告采集采集場景進(jìn)入中國銀行保險監(jiān)督管理委員會【新聞資訊】版塊下的【監(jiān)管動態(tài)】欄目，進(jìn)入每條監(jiān)管動態(tài)詳情，采集其詳情頁信息。采集字段當(dāng)前位置、標(biāo)題、標(biāo)題鏈接、發(fā)布時間、來源、正文、當(dāng)前采集時間。采集背景官網(wǎng)政策公告采集

在首頁【輸入框】中輸入目標(biāo)網(wǎng)址，點(diǎn)擊【開始采集】，八爪魚自動打開網(wǎng)頁。步驟一打開網(wǎng)頁官網(wǎng)政策公告采集

1、建立【循環(huán)-點(diǎn)擊元素】，進(jìn)入每條監(jiān)管動態(tài)的詳情頁通過以下3步，實(shí)現(xiàn)循環(huán)點(diǎn)擊每個鏈接，進(jìn)入詳情頁：①選中頁面上第1條監(jiān)管動態(tài)鏈接（注意一定要選中鏈接）②點(diǎn)擊【循環(huán)點(diǎn)擊每個鏈接】，進(jìn)入第1條監(jiān)管動態(tài)的詳情頁

步驟二、建立【循環(huán)-點(diǎn)擊元素】，進(jìn)入每條監(jiān)管動態(tài)的詳情頁官網(wǎng)政策公告采集

2、修改【循環(huán)-點(diǎn)擊元素】Xpath為了精準(zhǔn)定位到所有的監(jiān)管動態(tài)鏈接，需修改一下【循環(huán)翻頁】的XPath。進(jìn)入【循環(huán)翻頁】設(shè)置頁面，選擇【循環(huán)方式】為【不固定元素列表】，修改XPath為：//span[@class="title"]/a，然后點(diǎn)擊【應(yīng)用】保存。改完后，再次點(diǎn)擊【點(diǎn)擊元素】步驟，進(jìn)入問題詳情頁。

步驟二、建立【循環(huán)-點(diǎn)擊元素】，進(jìn)入每條監(jiān)管動態(tài)的詳情頁官網(wǎng)政策公告采集步驟三、提取詳情頁中的文本字段

進(jìn)入詳情頁后，選中頁面中的文本，然后在操作提示框中，點(diǎn)擊【采集該元素文本】。文本類字段都可以按照這樣的方式提取。示例中我們提取了當(dāng)前位置、發(fā)布時間、來源、標(biāo)題、正文等字段。。官網(wǎng)政策公告采集步驟四、編輯字段。1、編輯字段在【當(dāng)前頁面數(shù)據(jù)預(yù)覽】面板中，可刪除多余字段，修改字段名，移動字段順序等，請按需調(diào)整官網(wǎng)政策公告采集步驟四、編輯字段。2、修改字段XPath針對【正文】這個字段，默認(rèn)生成的字段XPath，無法精準(zhǔn)定位到所有監(jiān)管動態(tài)的正文內(nèi)容，需手動修改。進(jìn)入【提取列表數(shù)據(jù)】步驟設(shè)置頁面，修改正文XPath為：//div[@class="Section0"]官網(wǎng)政策公告采集步驟四、編輯字段。3、格式化字段格式化數(shù)據(jù)，對【當(dāng)前位置】、【發(fā)布時間】和【來源】字段進(jìn)行格式化數(shù)據(jù)，去除多余內(nèi)容。具體步驟如下圖所示：官網(wǎng)政策公告采集步驟五、創(chuàng)建循環(huán)翻頁。1、創(chuàng)建循環(huán)翻頁如果只是采集一頁數(shù)據(jù)，可跳過此步驟。如果需要翻頁以采集多頁數(shù)據(jù)：①先點(diǎn)擊流程中的【循環(huán)列表】步驟，以回到列表頁（如果已在列表頁可直接繼續(xù)操作）②再選擇頁面中的【下一頁】按鈕，在操作提示上單擊【循環(huán)點(diǎn)擊下一頁】，創(chuàng)建【循環(huán)翻頁】。

官網(wǎng)政策公告采集步驟五、創(chuàng)建循環(huán)翻頁。2、設(shè)置執(zhí)行前等待時間①進(jìn)入【循環(huán)翻頁1】設(shè)置頁面，設(shè)置【執(zhí)行前等待】3s②進(jìn)入【點(diǎn)擊翻頁1】設(shè)置頁面，設(shè)置【執(zhí)行前等待】3s和【Ajax超時】7s官網(wǎng)政策公告采集1、單擊【采集】并【啟動本地采集】。啟動后八爪魚開始自動采集數(shù)據(jù)。步驟六、啟動采集官網(wǎng)政策公告采集2、采集完成后，選擇合適的導(dǎo)出方式導(dǎo)出數(shù)據(jù)。支持導(dǎo)出為Excel