《Python大數(shù)據(jù)分析與挖掘?qū)崙?zhàn)》教學(xué)大綱 （48課時(shí)）

《python大數(shù)據(jù)分析與挖掘?qū)崙?zhàn)》課程教學(xué)大綱課程代碼：學(xué)分：3學(xué)時(shí)：48（其中：講課學(xué)時(shí)：36實(shí)踐或?qū)嶒?yàn)學(xué)時(shí)：12）先修課程：數(shù)學(xué)分析、高等代數(shù)、概率統(tǒng)計(jì)、Python程序設(shè)計(jì)基礎(chǔ)適用專業(yè)：信息與計(jì)算科學(xué)建議教材：黃恒秋主編.Python大數(shù)據(jù)分析與挖掘?qū)崙?zhàn)（微課版）[M].北京：人民郵電出版社.2020.開(kāi)課系部：數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院一、課程的性質(zhì)與任務(wù)課程性質(zhì)：選修（必修）。課程任務(wù)：大數(shù)據(jù)時(shí)代，數(shù)據(jù)成為決策最為重要的參考之一，數(shù)據(jù)分析行業(yè)邁入了一個(gè)全新的階段。通過(guò)學(xué)習(xí)本課程，使得學(xué)生能夠掌握Python科學(xué)計(jì)算、數(shù)據(jù)處理、數(shù)據(jù)可視化、挖掘建模等基本技能，能夠針對(duì)基本的數(shù)據(jù)挖掘問(wèn)題與樣例數(shù)據(jù)，調(diào)用Python中的第三方擴(kuò)展包Numpy、Pandas、Matplotlib、Scikit-learn及關(guān)聯(lián)規(guī)則算法代碼，進(jìn)行處理、計(jì)算與分析，初步掌握深度學(xué)習(xí)框架TensorFlow2.0安裝及多層神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)基本原理及應(yīng)用舉例程序?qū)崿F(xiàn)，學(xué)會(huì)基本的行業(yè)應(yīng)用實(shí)例。二、課程的基本內(nèi)容及要求第一章Python基礎(chǔ)（復(fù)習(xí)）1.課程教學(xué)內(nèi)容：（1）Python及其發(fā)行版Anaconda的安裝與啟動(dòng)、Spyder開(kāi)發(fā)工具的使用和Python新庫(kù)的安裝方法；（2）Python基本語(yǔ)法和數(shù)據(jù)結(jié)構(gòu)。2.課程的重點(diǎn)、難點(diǎn)：（1）重點(diǎn)：Python基本語(yǔ)法和數(shù)據(jù)結(jié)構(gòu)的靈活運(yùn)用；（2）難點(diǎn)：Python數(shù)據(jù)結(jié)構(gòu)的靈活運(yùn)用。3.課程教學(xué)要求：（1）了解Python的安裝及界面基本使用技能；（2）理解Python基本數(shù)據(jù)結(jié)構(gòu)及方法的使用；

（3）掌握Python基本數(shù)據(jù)結(jié)構(gòu)的使用技能及循環(huán)、條件語(yǔ)句的應(yīng)用。第二章科學(xué)計(jì)算包Numpy1.課程教學(xué)內(nèi)容：（1）導(dǎo)入并使用Numpy創(chuàng)建數(shù)組；（2）數(shù)組的運(yùn)算、切片、連接及存取、排序與搜索；數(shù)組相關(guān)屬性與方法；2.課程的重點(diǎn)、難點(diǎn)：（1）重點(diǎn)：數(shù)組的切片、連接、改變形態(tài)。數(shù)組的相關(guān)方法；（2）難點(diǎn)：數(shù)組的切片及改變形態(tài)。3.課程教學(xué)要求：（1）了解Numpy及導(dǎo)入使用；（2）理解數(shù)組的創(chuàng)建、切片、連接、存取、排序及搜索相關(guān)技能；

（3）掌握數(shù)組靈活切片的方法及數(shù)組連接、排序、搜索相關(guān)知識(shí)。第三章數(shù)據(jù)處理包Pandas1.課程教學(xué)內(nèi)容：（1）導(dǎo)入并使用Pandas創(chuàng)建數(shù)據(jù)框和序列；（2）數(shù)據(jù)框和序列相關(guān)屬性、方法的介紹及使用；（3）數(shù)據(jù)框和序列的訪問(wèn)、切片及運(yùn)算；（4）外部數(shù)據(jù)文件的讀取及滾動(dòng)計(jì)算函數(shù)的使用。2.課程的重點(diǎn)、難點(diǎn)：（1）重點(diǎn)：數(shù)據(jù)框、序列相關(guān)屬性、方法的應(yīng)用，數(shù)據(jù)框和序列數(shù)據(jù)的訪問(wèn)、切片及相互之間的轉(zhuǎn)換。常用外部數(shù)據(jù)文件的讀??；（2）難點(diǎn)：數(shù)據(jù)框、序列的訪問(wèn)及切片。數(shù)據(jù)框、序列、數(shù)組、列表相關(guān)數(shù)據(jù)結(jié)構(gòu)之間的相互轉(zhuǎn)換。3.課程教學(xué)要求：（1）了解Pandas導(dǎo)入及創(chuàng)建數(shù)據(jù)框和序列；（2）理解數(shù)據(jù)框和序列的訪問(wèn)、切片及方法；

（3）掌握數(shù)據(jù)框和序列相關(guān)方法的靈活應(yīng)用，數(shù)據(jù)框、序列、數(shù)組、列表之間的相關(guān)轉(zhuǎn)換及運(yùn)用。第四章數(shù)據(jù)可視化包Matplotlib1.課程教學(xué)內(nèi)容：（1）導(dǎo)入并使用Matplotlib中的pyplot模塊進(jìn)行簡(jiǎn)單繪圖；（2）Matplotlib中的pyplot模塊繪圖基本流程及原理；（3）利用Matplotlib中的yplot模塊繪制常見(jiàn)的圖形，包括散點(diǎn)圖、線性圖、柱狀圖、直方圖、餅圖、箱線圖和子圖。2.課程的重點(diǎn)、難點(diǎn)：（1）重點(diǎn)：利用Matplotlib中的pyplot模塊進(jìn)行散點(diǎn)圖、線性圖、柱狀圖、直方圖、餅圖、箱線圖和子圖的繪制。懂得圖形中文字符的顯示及橫軸字符刻度，子圖的布局排列；（2）難點(diǎn)：Matplotlib繪圖的基本流程及原理。3.課程教學(xué)要求：（1）了解Matplotlib中的pyplot模塊導(dǎo)入及簡(jiǎn)單使用方法；（2）理解利用Matplotlib中的pyplot模塊繪圖的基本流程及原理；

（3）掌握利用Matplotlib中的pyplot模塊繪制散點(diǎn)圖、線性圖、柱狀圖、直方圖、餅圖、箱線圖和子圖的方法，以及中文字符的顯示、橫軸字符刻度和子圖的布局排列。第五章機(jī)器學(xué)習(xí)與實(shí)現(xiàn)1.課程教學(xué)內(nèi)容：（1）導(dǎo)入Scikit-learn包及相關(guān)模塊；（2）缺失值填充、數(shù)據(jù)規(guī)范化或標(biāo)準(zhǔn)化、主成分分析降維及綜合評(píng)價(jià)、線性回歸、邏輯回歸、神經(jīng)網(wǎng)絡(luò)、K-均值聚類、關(guān)聯(lián)規(guī)則相關(guān)的模型、算法與原理；（3）利用Scikit-learn包相關(guān)模塊，完成案例教學(xué)，包括均值、中位數(shù)、最頻繁值的缺失值填充策略，均值-方差、極差數(shù)據(jù)規(guī)范化或標(biāo)準(zhǔn)化，主成分分析降維及綜合評(píng)價(jià)，線性回歸、神經(jīng)網(wǎng)絡(luò)非線性回歸預(yù)測(cè)，邏輯回歸、神經(jīng)網(wǎng)絡(luò)，K-mean聚類；（4）布爾數(shù)據(jù)集的轉(zhuǎn)換、布爾關(guān)聯(lián)規(guī)則挖掘原理、一對(duì)一關(guān)聯(lián)規(guī)則與多對(duì)一關(guān)聯(lián)規(guī)則基本概念與程序?qū)崿F(xiàn)。2.課程的重點(diǎn)、難點(diǎn)：（1）重點(diǎn)：均值、中位數(shù)、最頻繁值的缺失值填充策略，均值-方差、極差數(shù)據(jù)規(guī)范化或標(biāo)準(zhǔn)化，主成分分析降維及綜合評(píng)價(jià)，線性回歸、神經(jīng)網(wǎng)絡(luò)非線性回歸預(yù)測(cè)，邏輯回歸、神經(jīng)網(wǎng)絡(luò)，K-mean聚類，布爾數(shù)據(jù)集轉(zhuǎn)換、一對(duì)一和多對(duì)一關(guān)聯(lián)規(guī)則挖掘相關(guān)原理的理解及程序?qū)崿F(xiàn)；（2）難點(diǎn)：主成分分析降維及綜合評(píng)價(jià)，線性回歸、神經(jīng)網(wǎng)絡(luò)非線性回歸預(yù)測(cè)，邏輯回歸、神經(jīng)網(wǎng)絡(luò)，K-mean聚類、布爾數(shù)據(jù)集轉(zhuǎn)換、關(guān)聯(lián)規(guī)則挖掘相關(guān)原理的理解。3.課程教學(xué)要求：（1）了解Scikit-learn包及相關(guān)模塊導(dǎo)入及簡(jiǎn)單使用方法；（2）理解均值、中位數(shù)、最頻繁值的缺失值填充策略，均值-方差、極差數(shù)據(jù)規(guī)范化或標(biāo)準(zhǔn)化，主成分分析降維及綜合評(píng)價(jià)，線性回歸、神經(jīng)網(wǎng)絡(luò)非線性回歸預(yù)測(cè)，邏輯回歸、神經(jīng)網(wǎng)絡(luò)，K-mean聚類相關(guān)的基本原理與方法；

（3）掌握均值、中位數(shù)、最頻繁值的缺失值填充策略，均值-方差、極差數(shù)據(jù)規(guī)范化或標(biāo)準(zhǔn)化，主成分分析降維及綜合評(píng)價(jià)，線性回歸、神經(jīng)網(wǎng)絡(luò)非線性回歸預(yù)測(cè)，邏輯回歸、神經(jīng)網(wǎng)絡(luò)，K-mean聚類的程序?qū)崿F(xiàn)及案例應(yīng)用。（4）了解關(guān)聯(lián)規(guī)則的基本概念；理解布爾數(shù)據(jù)集轉(zhuǎn)換及布爾關(guān)聯(lián)規(guī)則挖掘的基本概念與程序?qū)崿F(xiàn)方法；掌握一對(duì)一、多對(duì)一關(guān)聯(lián)規(guī)則挖掘的基本原理及程序?qū)崿F(xiàn)方法，并進(jìn)行案例應(yīng)用。第六章深度學(xué)習(xí)與實(shí)現(xiàn)1.課程教學(xué)內(nèi)容：（1）TensorFlow2.0的安裝及基本知識(shí)；（2）多層神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)基本原理及程序?qū)崿F(xiàn)；2.課程的重點(diǎn)、難點(diǎn)：（1）重點(diǎn)：TensorFlow2.0安裝及多層神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用舉例程序?qū)崿F(xiàn)；（2）難點(diǎn)：多層神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)原理；3.課程教學(xué)要求：（1）深度學(xué)習(xí)基本概念；（2）了解多層神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)基本原理；（3）掌握TensorFlow2.0安裝及多層神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用舉例程序?qū)崿F(xiàn)。第7章基于財(cái)務(wù)與交易數(shù)據(jù)的量化投資分析1.課程教學(xué)內(nèi)容：（1）上市公司綜合評(píng)價(jià)、優(yōu)質(zhì)股票選擇、量化投資等基本概念；（2）基于總體規(guī)模與效率指標(biāo)的主成分分析綜合評(píng)價(jià)方法；（3）股票技術(shù)指標(biāo)分析及程序計(jì)算（4）數(shù)據(jù)預(yù)處理及訓(xùn)練、測(cè)試樣本劃分、邏輯回歸模型應(yīng)用（5）量化投資策略設(shè)計(jì)實(shí)現(xiàn)及結(jié)果分析。2.課程的重點(diǎn)、難點(diǎn)：（1）重點(diǎn)：業(yè)務(wù)數(shù)據(jù)理解、指標(biāo)數(shù)據(jù)的選擇、預(yù)處理、程序?qū)崿F(xiàn)；（2）難點(diǎn)：業(yè)務(wù)數(shù)據(jù)理解、模型的理解、場(chǎng)景應(yīng)用。3.課程教學(xué)要求：（1）了解上市公司綜合評(píng)價(jià)的基本概念及模型、股票技術(shù)分析指標(biāo)概念及計(jì)算方法；（2）理解業(yè)務(wù)數(shù)據(jù)、指標(biāo)數(shù)據(jù)選取、預(yù)處理、量化投資設(shè)計(jì)的基本原理、原則及流程；

（3）掌握指標(biāo)數(shù)據(jù)選取、預(yù)處理、程序?qū)崿F(xiàn)、量化投資策略設(shè)計(jì)實(shí)現(xiàn)的全部流程。第8章眾包任務(wù)定價(jià)優(yōu)化方案1.課程教學(xué)內(nèi)容：（1）經(jīng)緯度坐標(biāo)數(shù)據(jù)可視化等基本概念及計(jì)算實(shí)現(xiàn)方法；（2）指標(biāo)的設(shè)計(jì)原理和計(jì)算公式；（3）數(shù)據(jù)獲取及指標(biāo)計(jì)算；（4）主成分分析、神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)模型的具體應(yīng)用場(chǎng)景及程序?qū)崿F(xiàn)；（5）方案評(píng)價(jià)指標(biāo)設(shè)計(jì)及實(shí)現(xiàn)。2.課程的重點(diǎn)、難點(diǎn)：（1）重點(diǎn)：地理信息數(shù)據(jù)可視化，指標(biāo)設(shè)計(jì)原理、公式和程序?qū)崿F(xiàn)，主成分分析、神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)模型的具體應(yīng)用場(chǎng)景；（2）難點(diǎn)：指標(biāo)設(shè)計(jì)原理、公式和程序?qū)崿F(xiàn)。3.課程教學(xué)要求：（1）了解地理信息數(shù)據(jù)處理的基本概念、方法和可視化；（2）根據(jù)具體業(yè)務(wù)場(chǎng)景，設(shè)計(jì)指標(biāo)及程序?qū)崿F(xiàn)；（3）掌握眾包任務(wù)定價(jià)特征指標(biāo)的設(shè)計(jì)、計(jì)算、程序?qū)崿F(xiàn)及模型應(yīng)用。第11章基于水色圖像的水質(zhì)評(píng)價(jià)1.課程教學(xué)內(nèi)容：（1）圖像的讀取、圖像數(shù)據(jù)處理，圖像顏色特征提取與計(jì)算方法；（2）基于支持向量機(jī)的圖像識(shí)別方法及程序?qū)崿F(xiàn)；（3）基于卷積神經(jīng)網(wǎng)絡(luò)的圖像識(shí)別方法和程序?qū)崿F(xiàn)；2.課程的重點(diǎn)、難點(diǎn)：（1）重點(diǎn)：圖像數(shù)據(jù)處理和顏色特征提取、計(jì)算和程序?qū)崿F(xiàn)，針對(duì)灰圖和彩圖的卷積神經(jīng)網(wǎng)絡(luò)圖像識(shí)別模型與程序?qū)崿F(xiàn)；（2）難點(diǎn)：卷積神經(jīng)網(wǎng)絡(luò)模型原理及程序?qū)崿F(xiàn)。3.課程教學(xué)要求：（1）了解圖像讀取、數(shù)據(jù)處理、顏色特征提取與計(jì)算的基本方法；（2）理解利用支持向量機(jī)模型與卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行圖像識(shí)別的基本思路、流程和方法；

（3）掌握?qǐng)D像讀取、數(shù)據(jù)處理和顏色特征提取、支持向量機(jī)模型和卷積神經(jīng)網(wǎng)絡(luò)模型的程序?qū)崿F(xiàn)方法。三、實(shí)踐教學(xué)要求Python大數(shù)據(jù)分析與挖掘基礎(chǔ)是一門(mén)應(yīng)用性極強(qiáng)的課程，涉及數(shù)據(jù)處理、數(shù)據(jù)分析與探索、數(shù)據(jù)挖掘模型與算法、Python編程技能等。本課程要求學(xué)生會(huì)利用Python第三方擴(kuò)展包，進(jìn)行外部數(shù)據(jù)讀取、數(shù)據(jù)處理、探索與分析、數(shù)據(jù)挖掘模型與算法應(yīng)用等，并初步掌握深度學(xué)習(xí)框架及主要模型應(yīng)用舉例程序?qū)崿F(xiàn)，同時(shí)拓展到一些主流行業(yè)應(yīng)用中。本課程建議使用Python的集成開(kāi)發(fā)平臺(tái)進(jìn)行程序編寫(xiě)及教學(xué)，比如Anaconda、pycharm等。四、課程學(xué)時(shí)分配序號(hào)教學(xué)內(nèi)容理論教學(xué)學(xué)時(shí)實(shí)驗(yàn)學(xué)時(shí)實(shí)驗(yàn)（實(shí)踐）內(nèi)容課外實(shí)驗(yàn)1第1章Python基礎(chǔ)102第2章科學(xué)計(jì)算包Numpy30數(shù)組切片、運(yùn)算、存取及連接頭歌平臺(tái)配套實(shí)驗(yàn)3第3章數(shù)據(jù)處理包Pandas52數(shù)據(jù)框切片、轉(zhuǎn)換、運(yùn)算及連接頭歌平臺(tái)配套實(shí)驗(yàn)4第4章數(shù)據(jù)可視化包Matplotlib32子圖繪制及排列頭歌平臺(tái)配套實(shí)驗(yàn)5第5章機(jī)器學(xué)習(xí)與實(shí)現(xiàn)83分類、聚類應(yīng)用頭歌平臺(tái)配套實(shí)驗(yàn)6第6章深度學(xué)習(xí)與實(shí)現(xiàn)40頭歌平臺(tái)配套實(shí)驗(yàn)7第7章基于財(cái)務(wù)與交易數(shù)據(jù)的量化投資分析40頭歌平臺(tái)配套實(shí)驗(yàn)8第8章眾包任務(wù)定價(jià)優(yōu)化方案42本章練習(xí)頭歌平臺(tái)配套實(shí)驗(yàn)9第11章基于水色圖像的水質(zhì)評(píng)價(jià)43本章練習(xí)頭歌平臺(tái)配套實(shí)驗(yàn)合計(jì)3612五、大綱說(shuō)明1.教學(xué)手段：（1）理論與實(shí)踐相結(jié)合，多媒體機(jī)房上課，帶黑板（方便板書(shū)及推導(dǎo)）；（2）講授課程結(jié)束后即開(kāi)展實(shí)驗(yàn)，在機(jī)房進(jìn)行。2.考核方式建議：（1