《大數(shù)據(jù)基礎(chǔ)與實(shí)務(wù)》課件 11a.項(xiàng)目三 任務(wù)四 認(rèn)識(shí)基于Python語(yǔ)言的大數(shù)據(jù)統(tǒng)計(jì)分析虛擬仿真系統(tǒng)

大數(shù)據(jù)基礎(chǔ)與實(shí)務(wù)項(xiàng)目三大數(shù)據(jù)采集與清洗認(rèn)識(shí)Python系統(tǒng)任務(wù)五任務(wù)描述知識(shí)準(zhǔn)備課堂研討拓展訓(xùn)練目錄CONTENTSONETWOTHREEFOUR任務(wù)描述

網(wǎng)絡(luò)爬蟲(chóng)是一個(gè)自動(dòng)提取網(wǎng)頁(yè)的程序，它為搜索引擎從萬(wàn)維網(wǎng)上下載網(wǎng)頁(yè)，是搜索引擎的重要組成。爬蟲(chóng)的工作流程較為復(fù)雜，需要根據(jù)一定的網(wǎng)頁(yè)分析算法過(guò)濾與主題無(wú)關(guān)的鏈接，保留有用的鏈接并將其放入等待抓取的URL隊(duì)列。然后，它將根據(jù)一定的搜索策略從隊(duì)列中選擇下一步要抓取的網(wǎng)頁(yè)URL，并重復(fù)上述過(guò)程，直到達(dá)到系統(tǒng)的某一條件時(shí)停止。另外，所有被爬蟲(chóng)抓取的網(wǎng)頁(yè)將會(huì)被系統(tǒng)存貯，進(jìn)行一定的分析、過(guò)濾，并建立索引，以便之后的查詢和檢索；對(duì)于聚焦爬蟲(chóng)來(lái)說(shuō)，這一過(guò)程所得到的分析結(jié)果還可能對(duì)以后的抓取過(guò)程給出反饋和指導(dǎo)。

知識(shí)準(zhǔn)備

此次實(shí)驗(yàn)以“京東”財(cái)務(wù)指標(biāo)數(shù)據(jù)采集為例。登錄進(jìn)入系統(tǒng)后，默認(rèn)進(jìn)入“案例一單項(xiàng)實(shí)訓(xùn)——數(shù)據(jù)采集”中的“任務(wù)一：‘京東’財(cái)務(wù)指標(biāo)數(shù)據(jù)采集”實(shí)驗(yàn)京東財(cái)務(wù)數(shù)據(jù)采集一知識(shí)準(zhǔn)備點(diǎn)擊【新建】按鈕新增項(xiàng)目，點(diǎn)擊選中項(xiàng)目名稱，鼠標(biāo)右鍵，對(duì)項(xiàng)目進(jìn)行重命名，完成后點(diǎn)擊【保存】保存數(shù)據(jù)采集過(guò)程二步驟1知識(shí)準(zhǔn)備

點(diǎn)擊【注冊(cè)表名】，彈出注冊(cè)數(shù)據(jù)表彈窗，如在彈窗中進(jìn)行數(shù)據(jù)存儲(chǔ)表注冊(cè)。在輸入框中輸入設(shè)計(jì)的表名采集過(guò)程二步驟2知識(shí)準(zhǔn)備

點(diǎn)擊【數(shù)據(jù)向?qū)А浚瑥棾鲫P(guān)鍵詞替換彈窗，根據(jù)任務(wù)描述要求，對(duì)每一關(guān)鍵詞填入正確的參數(shù)，然后點(diǎn)擊【確認(rèn)】，傳入?yún)?shù)數(shù)據(jù)。采集過(guò)程二步驟3知識(shí)準(zhǔn)備

點(diǎn)擊【保存】保存數(shù)據(jù)，然后點(diǎn)擊【執(zhí)行】，執(zhí)行采集數(shù)據(jù)代碼，執(zhí)行完成后，選中項(xiàng)目，鼠標(biāo)右鍵，通過(guò)【查看結(jié)果】，進(jìn)行結(jié)果確認(rèn)。采集過(guò)程二步驟4知識(shí)準(zhǔn)備

點(diǎn)擊【導(dǎo)出數(shù)據(jù)】，可將儲(chǔ)存數(shù)據(jù)的數(shù)據(jù)表導(dǎo)出，點(diǎn)擊【導(dǎo)出】按鈕下載數(shù)據(jù)。采集過(guò)程二步驟5課堂研討在熟悉平臺(tái)操作的過(guò)程中遇到了哪些困難？又是