大數(shù)據(jù)項(xiàng)目實(shí)戰(zhàn)第3章 數(shù)據(jù)采集 -教學(xué)設(shè)計(jì)

PAGE1黑馬程序員《大數(shù)據(jù)項(xiàng)目實(shí)戰(zhàn)》教學(xué)設(shè)計(jì)課程名稱：大數(shù)據(jù)項(xiàng)目實(shí)戰(zhàn)授課年級：20xx年級授課學(xué)期：20xx學(xué)年第一學(xué)期教師姓名：某某老師2019年9月1日課題名稱第3章數(shù)據(jù)采集計(jì)劃學(xué)時(shí)7課時(shí)內(nèi)容分析數(shù)據(jù)是開展本書項(xiàng)目重要的基礎(chǔ)，有了這些數(shù)據(jù)才能明確我們的分析內(nèi)容。本章將實(shí)現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)采集程序。教學(xué)目標(biāo)及基本要求了解HTTP協(xié)議了解爬蟲的基本原理掌握HDFSAPI的基本使用熟悉HttpClient爬蟲的使用方法教學(xué)重點(diǎn)通過HttpClient編寫網(wǎng)絡(luò)爬蟲程序HDFSAPI的應(yīng)用HTTP請求過程教學(xué)難點(diǎn)HttpClient編寫網(wǎng)絡(luò)爬蟲程序教學(xué)方式教師課堂教學(xué)要以講演法講授為主，并結(jié)合多媒體進(jìn)行教學(xué)教學(xué)過程第一課時(shí)（數(shù)據(jù)源分類、HTTP請求過程、認(rèn)識HttpClient）一、網(wǎng)絡(luò)數(shù)據(jù)采集1.網(wǎng)絡(luò)數(shù)據(jù)采集知識概要在編寫數(shù)據(jù)采集程序前，對網(wǎng)絡(luò)數(shù)據(jù)采集所涉及的知識點(diǎn)做簡單介紹，奠定網(wǎng)絡(luò)數(shù)據(jù)采集的基礎(chǔ)知識。本節(jié)課將針對這些知識點(diǎn)進(jìn)行講解。2.明確學(xué)習(xí)目標(biāo)（1）了解采集數(shù)據(jù)源的分類（2）了解HTTP請求過程（3）了解HttpClient網(wǎng)絡(luò)框架二、進(jìn)行重點(diǎn)知識講解1．采集數(shù)據(jù)源的分類教師可以參考課件對三大類數(shù)據(jù)源：系統(tǒng)日志采集、網(wǎng)絡(luò)數(shù)據(jù)采集和數(shù)據(jù)庫采集進(jìn)行簡要講解，并介紹本項(xiàng)目使用的數(shù)據(jù)源。2．HTTP請求過程教師可以參考課件以講演法的方式講解，在瀏覽器中輸入U(xiǎn)RL鏈接打開網(wǎng)頁，通過瀏覽器提供的開發(fā)者工具對HTTP請求過程、HTTP請求以及HTTP響應(yīng)進(jìn)行詳細(xì)講解，并對相應(yīng)請求中包含的參數(shù)及內(nèi)容進(jìn)行介紹，使學(xué)生在后續(xù)編寫爬蟲程序使用這些參數(shù)時(shí)有一定來了解。3．HttpClient網(wǎng)絡(luò)框架教師可以參考課件講解HttpClient發(fā)送請求到接收響應(yīng)的過程，為后續(xù)以HttpClient為基礎(chǔ)編寫的爬蟲程序奠定基礎(chǔ)。三、歸納總結(jié)，隨堂練習(xí)，布置作業(yè)1．對課堂上講解的知識點(diǎn)進(jìn)行總結(jié)。2．讓學(xué)生自己動(dòng)手通過瀏覽器動(dòng)手操作，以此來鞏固本節(jié)的學(xué)習(xí)內(nèi)容。第二課時(shí)（分析網(wǎng)頁數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)采集環(huán)境準(zhǔn)備）一、回顧上一節(jié)內(nèi)容，講解通過HTTP請求獲取的數(shù)據(jù)內(nèi)容1．對上一節(jié)課遇到的問題進(jìn)行答疑2．回顧上節(jié)課內(nèi)容，引出本節(jié)課的主題通過上一節(jié)內(nèi)容我們了解到網(wǎng)絡(luò)數(shù)據(jù)采集的一些基礎(chǔ)知識，幫助我們從理論知識方面了解網(wǎng)絡(luò)數(shù)據(jù)采集，在本小節(jié)主要對要采集的數(shù)據(jù)結(jié)構(gòu)進(jìn)行分析以及創(chuàng)建編寫數(shù)據(jù)采集程序的環(huán)境，為最終編寫數(shù)據(jù)采集程序做準(zhǔn)備工作。3．明確學(xué)習(xí)目標(biāo)（1）分析網(wǎng)頁中的數(shù)據(jù)結(jié)構(gòu)（2）準(zhǔn)備數(shù)據(jù)采集環(huán)境二、進(jìn)行重點(diǎn)知識的講解1.分析網(wǎng)頁數(shù)據(jù)結(jié)構(gòu)教師可以參考課件以講演法的方式來講述怎么通過瀏覽器提供的開發(fā)者模式找到存放網(wǎng)頁數(shù)據(jù)的位置及查看數(shù)據(jù)文件的內(nèi)容。2.準(zhǔn)備數(shù)據(jù)采集環(huán)境教師可以參考課件以講演法的方式來講述數(shù)據(jù)采集環(huán)境的準(zhǔn)備，并提醒學(xué)生在運(yùn)行數(shù)據(jù)采集程序前要啟動(dòng)Linux虛擬機(jī)中的大數(shù)據(jù)集群環(huán)境。在Eclipse中創(chuàng)建Maven項(xiàng)目在pom.xml文件中配置本程序所應(yīng)用的jar包三、歸納總結(jié)，隨堂練習(xí)，布置作業(yè)1．對課堂上講解的知識點(diǎn)進(jìn)行總結(jié)。第三課時(shí)（上機(jī)操作）上機(jī)一：環(huán)境準(zhǔn)備與查看數(shù)據(jù)文件按照教材中3.2小節(jié)的內(nèi)容及在教師輔導(dǎo)下完成。第四課時(shí)（創(chuàng)建響應(yīng)結(jié)果JavaBean類、封裝HTTP請求的工具類）一、回顧上節(jié)課內(nèi)容1.對上節(jié)課遇到的問題進(jìn)行答疑2．回顧上節(jié)課內(nèi)容，引出本節(jié)課的主題上一節(jié)中，我們對要采集的數(shù)據(jù)文件進(jìn)行了分析并創(chuàng)建了數(shù)據(jù)采集所需要的環(huán)境，本節(jié)課將通過編寫程序內(nèi)容來實(shí)現(xiàn)數(shù)據(jù)采集程序兩部分內(nèi)容，即定義HTTP請求的類和儲存響應(yīng)結(jié)果數(shù)據(jù)的類。3．明確學(xué)習(xí)目標(biāo)（1）創(chuàng)建響應(yīng)結(jié)果JavaBean類（2）封裝Http請求工具類二、進(jìn)行重點(diǎn)知識的講解1．創(chuàng)建響應(yīng)結(jié)果JavaBean類教師可以參考課件以講演法的方式來講述響應(yīng)結(jié)果JavaBean類的創(chuàng)建。介紹創(chuàng)建這個(gè)類的作用在創(chuàng)建的Maven項(xiàng)目中創(chuàng)建包即對應(yīng)的類。教師可將教材配套提供的源代碼復(fù)制過來進(jìn)行講解。2．封裝Http請求工具類教師可以參考課件以講演法的方式來講述Http請求工具類的封裝。（1）介紹創(chuàng)建這個(gè)類的作用。（2）在已有的包下創(chuàng)建該類（3）教師可將教材配套提供的源代碼復(fù)制過來對類中涉及的多個(gè)方法進(jìn)行講解。三、歸納總結(jié)，隨堂練習(xí)，布置作業(yè)1．對課堂上講解的知識點(diǎn)進(jìn)行總結(jié)。第五課時(shí)（上機(jī)練習(xí)）上機(jī)二：創(chuàng)建HTTP請求的工具類和響應(yīng)結(jié)果JavaBean類按照教材中3.3.1和3.3.2小節(jié)的內(nèi)容及在教師輔導(dǎo)下完成。第六課時(shí)（封裝存儲在HDFS數(shù)據(jù)工具類、實(shí)現(xiàn)網(wǎng)頁數(shù)據(jù)采集）一、回顧前幾節(jié)課內(nèi)容，1.對上一節(jié)遇到的問題進(jìn)行答疑2．回顧上一節(jié)內(nèi)容，引出本節(jié)課的主題在上一節(jié)中，通過編寫Java類實(shí)現(xiàn)HTTP請求和存儲響應(yīng)結(jié)果數(shù)據(jù)的兩個(gè)類，本節(jié)課將講解將采集的數(shù)據(jù)存儲到HDFS上類，并將這些類合并到一個(gè)主類中以實(shí)現(xiàn)網(wǎng)頁數(shù)據(jù)采集的功能。3．明確學(xué)習(xí)目標(biāo)（1）封裝存儲在HDFS數(shù)據(jù)工具類（2）實(shí)現(xiàn)網(wǎng)頁數(shù)據(jù)采集二、進(jìn)行重點(diǎn)知識的講解1．封裝存儲在HDFS數(shù)據(jù)工具類教師可將教材配套提供的源代碼復(fù)制過來對類中涉及的內(nèi)容進(jìn)行講解。2．實(shí)現(xiàn)網(wǎng)頁數(shù)據(jù)采集（1）教師通過瀏覽器的開發(fā)者模式講解該程序需要設(shè)置哪些請求頭參數(shù)（2）教師可將教材配套提供的源代碼復(fù)制過來對類中涉及的內(nèi)容進(jìn)行講解。（3）運(yùn)行程序，讓學(xué)生查看