《數(shù)據(jù)采集與網(wǎng)絡(luò)爬蟲》實驗教學(xué)大綱

《數(shù)據(jù)采集與網(wǎng)絡(luò)爬蟲》實驗教學(xué)大綱(DatacollectionandWebcrawlers)課程代碼：0600074總學(xué)時：32學(xué)時（其中：講課16學(xué)時、實驗16學(xué)時、討論0學(xué)時）C一、目的隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，以及國家產(chǎn)業(yè)信息化進(jìn)程的大力推進(jìn)下，在大數(shù)據(jù)時代背景下，產(chǎn)生了對基于Web網(wǎng)站的數(shù)據(jù)的大量需求?？焖?、穩(wěn)定、健壯、分布式的爬蟲程序呼之欲出。作為大數(shù)據(jù)“采集-存儲-分析-學(xué)科，如果沒有采集數(shù)據(jù)，就得不到可供加工研究的數(shù)據(jù)對象。資源/包以多種方式采集網(wǎng)絡(luò)數(shù)據(jù)實現(xiàn)數(shù)據(jù)處理。二、要求知識要求能力要求熟練使用ullib下載網(wǎng)頁;學(xué)會BeautifulSoup工具包選擇數(shù)據(jù)；掌握scrapy網(wǎng)頁爬取的工作流程；各種資源包工具綜合使用獲取數(shù)據(jù)；爬取數(shù)據(jù)后續(xù)處理；二、實驗項目內(nèi)容及學(xué)時分配培養(yǎng)的探索中與時俱進(jìn)、增量更新。實驗一、Web網(wǎng)站與訪問，使用ullib實現(xiàn)網(wǎng)頁下載（2學(xué)時）實驗?zāi)康囊髐rllib、、pandas程序。的方法；爬取學(xué)生信息、爬蟲程序開發(fā)環(huán)境。實驗主要內(nèi)容應(yīng)用python的urllib從大型網(wǎng)站百度下載網(wǎng)頁并且存儲，爬取學(xué)生信息。實驗類別：基礎(chǔ)實驗類型：綜合實驗要求：必做主要儀器：計算機實驗二、網(wǎng)頁數(shù)據(jù)爬取方法，用BeautifulSoup工具選擇數(shù)據(jù)（2學(xué)時）實驗?zāi)康囊蠊ぞ呦湓谙嚓P(guān)領(lǐng)域的應(yīng)用。。實驗主要內(nèi)容爬取天氣預(yù)報數(shù)據(jù)。實驗類別：基礎(chǔ)實驗類型：綜合實驗要求：必做主要儀器：計算機實驗三、網(wǎng)站數(shù)據(jù)爬取路徑（2學(xué)時）實驗?zāi)康囊笈廊D像；了解網(wǎng)站圖像格式、圖像資源在大型網(wǎng)站中的存儲方式。實驗主要內(nèi)容單線程爬取圖像的程序；多線程爬取圖像的程序。實驗類別：基礎(chǔ)實驗類型：驗證、綜合實驗要求：必做主要儀器：計算機實驗四、scrapy框架爬蟲程序（2學(xué)時）實驗?zāi)康囊?。掌握?yīng)用scrapy網(wǎng)頁爬取的工作流程爬取單個網(wǎng)頁的某幾個特征數(shù)據(jù)；網(wǎng)站圖書數(shù)據(jù)分析。實驗主要內(nèi)容使用scrapy實現(xiàn)網(wǎng)頁遞歸爬??；能夠使用scrapy中Spider的網(wǎng)頁遞歸爬取循環(huán)，能實現(xiàn)數(shù)據(jù)的提取與存儲。實驗類別：專業(yè)基礎(chǔ)實驗類型：綜合實驗要求：選做主要儀器：計算機；建議實驗項目及學(xué)時分配序號實驗項目名稱內(nèi)容提要學(xué)時實驗屬性開出要求1Web網(wǎng)站與訪問爬取學(xué)生信息、爬蟲程序開發(fā)環(huán)境4綜合必做2網(wǎng)頁數(shù)據(jù)爬取方法爬取天氣預(yù)報數(shù)據(jù)4綜