R語言大數(shù)據(jù)分析教與學(xué)（課程教學(xué)大綱）

R語言大數(shù)據(jù)分析教與學(xué)（課程教學(xué)大綱）01課程基本信息02課程內(nèi)容概述與教學(xué)目的簡介（一）內(nèi)容概述大數(shù)據(jù)分析包括查詢型分析、描述性分析、探索性分析、挖掘型分析等。本書介紹基于R途徑的大數(shù)據(jù)分析解決方案。第一篇R語言，介紹以交互方式和腳本方式使用R的方法，R的基本數(shù)據(jù)類型以及向量、矩陣、數(shù)據(jù)框、列表等類，還包括面向向量的程序設(shè)計(jì)方法。第二篇可視化，介紹R基本的繪圖API，并重點(diǎn)解釋如何應(yīng)用ggplot2包繪制更為復(fù)雜的圖形來展示大數(shù)據(jù)。從第三篇開始介紹三種類型的分析：查詢型分析、統(tǒng)計(jì)分析和挖掘型分析。第三篇查詢型分析講述如何應(yīng)用data.table查詢“大表”。表是關(guān)系數(shù)據(jù)庫中的概念，data.table在R中實(shí)現(xiàn)了這個(gè)概念，使得用戶能夠像增刪查改數(shù)據(jù)庫表一樣操作R中的表。第四篇統(tǒng)計(jì)分析，主要介紹描述性統(tǒng)計(jì)和探索性分析。第五篇挖掘型分析介紹如何在R中實(shí)現(xiàn)分類、聚類、關(guān)聯(lián)規(guī)則、序列模式等數(shù)據(jù)挖掘任務(wù)，并重點(diǎn)介紹如何檢測(cè)離群值，另外還介紹了在文本挖掘中的應(yīng)用。本課程不僅能夠使學(xué)生掌握R語言基本技術(shù)和程序設(shè)計(jì)方法，而且能夠使學(xué)生體驗(yàn)數(shù)據(jù)可視化以及大數(shù)據(jù)分析基本技術(shù)等。（二）教學(xué)目的通過本課程的學(xué)習(xí)，引導(dǎo)學(xué)生認(rèn)識(shí)專注、敬業(yè)、責(zé)任、擔(dān)當(dāng)?shù)穆殬I(yè)道德，理解工匠精神；能夠以社會(huì)主義核心價(jià)值觀指導(dǎo)職業(yè)行為。使學(xué)生掌握R語言“面向向量”的程序設(shè)計(jì)范式、掌握R語言向量、矩陣、數(shù)據(jù)框、列表、數(shù)據(jù)表等基本數(shù)據(jù)對(duì)象的用法，能夠針對(duì)不同的數(shù)據(jù)分析問題設(shè)計(jì)R的數(shù)據(jù)可視化方案，能夠應(yīng)用R語言完成大數(shù)據(jù)查詢，能夠?qū)崿F(xiàn)描述性統(tǒng)計(jì)，通過實(shí)現(xiàn)探索性分析和挖掘型分析。03授課教師（教學(xué)團(tuán)隊(duì)）基本情況（序號(hào)1為課程負(fù)責(zé)人）04教材及參考書目05課程教案大綱第1篇R語言第1章R概覽【目的要求】能夠安裝和更新R軟件，能夠安裝和加載R包，能夠設(shè)計(jì)工作文件夾，能夠列出工作空間中的數(shù)據(jù)對(duì)象，能夠保存工作空間。能夠解釋R包提供的常見數(shù)據(jù)集。【課時(shí)安排】2【講授內(nèi)容與方式】下載和安裝R；安裝和加載R程序包；R的基本使用；工作文件夾與工作空間；數(shù)據(jù)集。【其他】無第2章表達(dá)式【目的要求】能夠解釋R字面量、運(yùn)算符和表達(dá)式，能夠區(qū)分POSIXct、POSIXlt和Date類型日期，能夠在不同尺度上計(jì)算日期類型的數(shù)據(jù)。【課時(shí)安排】2【講授內(nèi)容與方式】字面量；運(yùn)算符和表達(dá)式；日期時(shí)間；保留字；空白符；程序設(shè)計(jì)風(fēng)格。【其他】無第3章字符串與正規(guī)表達(dá)式【目的要求】能夠使用基本的字符串操作函數(shù)對(duì)字符串查詢和編輯，能夠應(yīng)用正規(guī)表達(dá)式實(shí)現(xiàn)查找和替換。【課時(shí)安排】2【講授內(nèi)容與方式】字符串處理，正規(guī)表達(dá)式?！酒渌恐攸c(diǎn)：字符串處理；難點(diǎn)：正規(guī)表達(dá)式第4章函數(shù)【目的要求】能夠定義和調(diào)用函數(shù)，能夠解釋環(huán)境，能夠應(yīng)用分支、循環(huán)控制結(jié)構(gòu)?！菊n時(shí)安排】2【講授內(nèi)容與方式】函數(shù)聲明和調(diào)用；環(huán)境；控制結(jié)構(gòu)【其他】重點(diǎn)：函數(shù)；難點(diǎn)：環(huán)境第5章向量【目的要求】能夠通過枚舉、數(shù)列和描述等方法創(chuàng)建向量，能夠解釋以向量為操作數(shù)的各類運(yùn)算，能夠設(shè)計(jì)條件查詢和聚合查詢完成特定需求，能夠完成對(duì)向量集合運(yùn)算，能夠應(yīng)用面向向量的程序設(shè)計(jì)范式設(shè)計(jì)R腳本?！菊n時(shí)安排】2【講授內(nèi)容與方式】創(chuàng)建向量；訪問向量；算術(shù)運(yùn)算；邏輯運(yùn)算和關(guān)系運(yùn)算；查詢；面向集合的查詢；面向向量的程序設(shè)計(jì)，能夠定義和使用無序因子類型和有序因子類型?！酒渌恐攸c(diǎn)：創(chuàng)建和訪問向量；難點(diǎn)：面向向量的程序設(shè)計(jì)范式第6章矩陣【目的要求】能夠基于向量創(chuàng)建矩陣，能夠通過行列的索引或者名字訪問矩陣元素，能夠完成對(duì)矩陣的加、減、數(shù)乘、轉(zhuǎn)置等基本運(yùn)算?！菊n時(shí)安排】2【講授內(nèi)容與方式】創(chuàng)建矩陣；訪問矩陣；矩陣運(yùn)算?！酒渌康?章

數(shù)據(jù)框【目的要求】能夠創(chuàng)建數(shù)據(jù)框，能夠通過行列索引號(hào)或者名字訪問數(shù)據(jù)框，能夠解釋tibble對(duì)象?！菊n時(shí)安排】2【講授內(nèi)容與方式】創(chuàng)建數(shù)據(jù)框；訪問數(shù)據(jù)框；tibble數(shù)據(jù)對(duì)象?！酒渌康?章

列表【目的要求】能夠基于不同類型的分量創(chuàng)建列表，能夠訪問列表中的分量，能夠遍歷列表?！菊n時(shí)安排】2【講授內(nèi)容與方式】創(chuàng)建列表；訪問列表；泛函數(shù)。【其他】第9章

面向?qū)ο蟪绦蛟O(shè)計(jì)【目的要求】能夠定義類，能夠解釋保留字self和super的用法，能夠解釋繼承現(xiàn)象，能夠區(qū)分不同的私有、公共等不同的可訪問性，能夠區(qū)分靜態(tài)成員和非靜態(tài)成員。能夠解釋面向?qū)ο箫L(fēng)格的R腳本程序構(gòu)成與運(yùn)行時(shí)刻行為。【課時(shí)安排】2【講授內(nèi)容與方式】類的定義；靜態(tài)屬性；面向?qū)ο蟮腞腳本設(shè)計(jì)。【其他】第10章

數(shù)據(jù)存儲(chǔ)【目的要求】能夠通過文本文件、CSV文件、EXCEL文件導(dǎo)入數(shù)據(jù)，能夠從R數(shù)據(jù)對(duì)象導(dǎo)出數(shù)據(jù)到各類文件，能夠從ODBC數(shù)據(jù)源導(dǎo)入數(shù)據(jù)，能夠直接保存R數(shù)據(jù)對(duì)象，能夠通過formatC格式化輸出；能夠使用虛擬內(nèi)存；能夠在腳本中操作文件和文件夾。【課時(shí)安排】2【講授內(nèi)容與方式】導(dǎo)入導(dǎo)出；函數(shù)read.table和write.table；函數(shù)read.csv和write.csv；

函數(shù)readLines和writeLines；讀取Excel工作表；ODBC數(shù)據(jù)源；持久化R數(shù)據(jù)對(duì)象；

格式化輸出；虛擬內(nèi)存；操作文件和文件夾?！酒渌康?1章

統(tǒng)計(jì)繪圖【目的要求】能夠列舉不同的繪圖設(shè)備；能夠解釋圖的布局；能夠解釋基本繪圖函數(shù)的功能，能夠使用常用繪圖函數(shù)繪制散點(diǎn)圖、核密度圖、箱線圖、柱狀圖、條形圖、餅圖、直方圖、折線圖。能夠識(shí)別不同類型的圖適合的場(chǎng)景?！菊n時(shí)安排】2【講授內(nèi)容與方式】繪圖設(shè)備；布局；繪圖函數(shù)；常用繪圖參數(shù)；散點(diǎn)圖；核密度圖；箱線圖；柱狀圖與條形圖；餅圖；直方圖；折線圖?！酒渌恐攸c(diǎn)：圖的布局；難點(diǎn)：圖的應(yīng)用場(chǎng)景第12章

圖形文法ggplot2【目的要求】能夠應(yīng)用ggplot2繪制各類圖形，能夠設(shè)置統(tǒng)計(jì)變換，能夠變換尺度，能夠調(diào)整位置，能夠應(yīng)用切面，能夠應(yīng)用主題，能夠針對(duì)離散數(shù)據(jù)和連續(xù)數(shù)據(jù)手工設(shè)置色彩，能夠應(yīng)用調(diào)色板設(shè)置色彩?！菊n時(shí)安排】2【講授內(nèi)容與方式】散點(diǎn)圖、直方圖、箱線圖、柱狀圖、折線圖的繪制；標(biāo)注圖形；統(tǒng)計(jì)變換；位置調(diào)整；尺度變換；切面；主題；色彩與構(gòu)成；顏色與顏色的屬性；色彩搭配；調(diào)色板；案例研究。【其他】重點(diǎn)：應(yīng)用ggplot2繪制各類圖形。難點(diǎn)：統(tǒng)計(jì)變換，尺度變換。第13章

數(shù)據(jù)分析【目的要求】能夠解釋對(duì)數(shù)據(jù)質(zhì)量的度量，能夠通過處理缺失值、重復(fù)值、有效性等技術(shù)對(duì)數(shù)據(jù)清洗變換，能夠可視化不同類型數(shù)據(jù)的分布；能夠解釋查詢型大數(shù)據(jù)分析、探索型大數(shù)據(jù)分析、挖掘型大數(shù)據(jù)分析的關(guān)鍵特征?！菊n時(shí)安排】2【講授內(nèi)容與方式】數(shù)據(jù)質(zhì)量的度量；數(shù)據(jù)清洗變換，缺失值，重復(fù)，有效性，統(tǒng)計(jì)量；可視化分布；查詢型大數(shù)據(jù)分析；探索型大數(shù)據(jù)分析；挖掘型大數(shù)據(jù)分析。【其他】第14章

查詢型分析與數(shù)據(jù)表【目的要求】能夠創(chuàng)建數(shù)據(jù)表；能夠引用數(shù)據(jù)表；能夠在數(shù)據(jù)表上完成各類查詢；按行號(hào)查詢、條件查詢、分組匯總等。能夠設(shè)置、應(yīng)用鍵和索引，能夠應(yīng)用只讀變量查詢，能夠按行或者按列連接數(shù)據(jù)表；能夠完成基于數(shù)據(jù)表的集合運(yùn)算；能夠更新數(shù)據(jù)表中的元素；能夠?qū)崿F(xiàn)行列變換?！菊n時(shí)安排】2【講授內(nèi)容與方式】創(chuàng)建數(shù)據(jù)表；數(shù)據(jù)表引用；查詢數(shù)據(jù)表；按行號(hào)查詢；條件查詢；查詢結(jié)果的類型；分組匯總；鍵和索引；應(yīng)用只讀變量查詢；去重；上卷；連接；集合運(yùn)算；更新；行列變換。【其他】第15章

描述性統(tǒng)計(jì)與探索性分析【目的要求】能夠報(bào)告描述性統(tǒng)計(jì)的過程和結(jié)果，能夠報(bào)告探索性分析的過程與結(jié)果?！菊n時(shí)安排】2【講授內(nèi)容與方式】總體與樣本；概率分布；聯(lián)合分布；可視化分布；樣本平均數(shù)的分布；描述性統(tǒng)計(jì)；集中趨勢(shì)；變異性；探索性數(shù)據(jù)分析；Pearson相關(guān)；斯皮爾曼等級(jí)相關(guān)；Kendall相關(guān)；z分?jǐn)?shù)；假設(shè)檢驗(yàn)；卡方檢驗(yàn)；抽樣?！酒渌康?6章

挖掘型分析【目的要求】能夠識(shí)別不同類型的數(shù)據(jù)挖掘任務(wù)，能夠應(yīng)用基本的算法解決挖掘任務(wù)，能夠遍歷列表。能夠解釋查準(zhǔn)率、查全率、正確率、ROC曲線。能夠區(qū)分標(biāo)準(zhǔn)化和歸一化?！菊n時(shí)安排】2【講授內(nèi)容與方式】數(shù)據(jù)挖掘任務(wù)；決策樹分類；樸素貝葉斯分類；K最近鄰分類；一元線性回歸；Logistic回歸；分類算法的性能評(píng)估；查準(zhǔn)率和查全率；ROC曲線；K均值聚類；標(biāo)準(zhǔn)化和歸一化；EM聚類；Apriori關(guān)聯(lián)規(guī)則；序列模式挖掘?！酒渌康?7章

離群點(diǎn)檢測(cè)【目的要求】能夠解釋不同類型的離群點(diǎn)檢測(cè)方法，能夠在不同的場(chǎng)景下應(yīng)用離群的檢測(cè)算法。【課時(shí)安排】2【講授內(nèi)容與方式】基于統(tǒng)計(jì)的檢測(cè)；基于近鄰的方法；基于劃分的算法；隔離森林算法；

擴(kuò)展的隔離森林算法；基于聚類的方法；多變量離群點(diǎn)檢測(cè)；單變量離群點(diǎn)檢測(cè)；貢獻(xiàn)分析。【其他】重點(diǎn)：隔離森林算法第18章

文本挖掘【目的要求】能夠演示影評(píng)分類的挖掘過程與結(jié)果。【課時(shí)安排】2【講授內(nèi)容與方式】語篇分析；詞嵌入；影評(píng)分類案例；基于詞匯表的向量化；特征哈希。【其他】參考書籍《R語言大數(shù)據(jù)分析》ISBN：9787302677017作者：董東，高峰定價(jià)：79元內(nèi)容簡介大數(shù)據(jù)分析包括查詢型分析、描述性分析、探索性分析、挖掘型分析等。本書介紹基于R語言的大數(shù)據(jù)分析解決方案。全書分3篇共18章。第1篇R語言，包括第1～10章，分別為R語言概覽、表達(dá)式、字符串與正規(guī)表達(dá)式、函數(shù)、向量、矩陣、數(shù)據(jù)框、列表、面向?qū)ο蟪绦蛟O(shè)計(jì)、數(shù)據(jù)存儲(chǔ)；第2篇可視化，包括第11、12章，分別為統(tǒng)計(jì)繪圖、圖形文法ggplot2；第3篇數(shù)據(jù)分析，包括第13～18章，分別為數(shù)據(jù)分析基礎(chǔ)、查詢型分析與數(shù)據(jù)表、描述性統(tǒng)計(jì)與探索性分析、挖掘型分析、離群點(diǎn)檢測(cè)、文本挖掘。本書力求通俗易懂、簡單實(shí)用，示例豐富，可供大數(shù)據(jù)領(lǐng)域工程技術(shù)人員、計(jì)算機(jī)類專業(yè)高年級(jí)本科學(xué)生和碩士研究生使用。目錄向上滑動(dòng)閱覽第1篇R語言第1章R語言概覽/31.1下載和安裝R41.2安裝和加載R程序包61.3R的基本使用71.4工作文件夾與工作空間101.5數(shù)據(jù)集12第2章表達(dá)式/182.1字面量182.2運(yùn)算符和表達(dá)式202.3日期時(shí)間23第3章字符串與正規(guī)表達(dá)式/273.1字符串處理273.1.1字符個(gè)數(shù)273.1.2子串283.1.3拆分293.1.4連接303.1.5查找313.1.6替換313.1.7大小寫轉(zhuǎn)換323.1.8格式化323.2正規(guī)表達(dá)式33第4章函數(shù)/374.1函數(shù)聲明和調(diào)用374.2環(huán)境404.2.1環(huán)境的嵌套404.2.2訪問環(huán)境424.2.3與函數(shù)相關(guān)的環(huán)境444.3控制結(jié)構(gòu)46第5章向量/515.1創(chuàng)建向量515.1.1枚舉法515.1.2描述法525.1.3數(shù)列法535.1.4向量元素的命名545.1.5類型判斷與類型轉(zhuǎn)換545.2訪問向量555.3算術(shù)運(yùn)算575.4邏輯運(yùn)算和關(guān)系運(yùn)算605.5查詢625.5.1條件查詢625.5.2聚合查詢635.6面向集合的查詢665.7面向向量的程序設(shè)計(jì)675.8因子69第6章矩陣/726.1創(chuàng)建矩陣726.2訪問矩陣756.3矩陣運(yùn)算77第7章數(shù)據(jù)框/817.1創(chuàng)建數(shù)據(jù)框817.2訪問數(shù)據(jù)框827.3tibble對(duì)象87第8章列表/908.1創(chuàng)建列表908.2訪問列表918.3泛函數(shù)93第9章面向?qū)ο蟪绦蛟O(shè)計(jì)/1029.1類的定義1029.2靜態(tài)屬性1049.3面向?qū)ο蟮腞腳本設(shè)計(jì)107第10章數(shù)據(jù)存儲(chǔ)/11310.1導(dǎo)入導(dǎo)出11310.1.1函數(shù)read.table和write.table11310.1.2函數(shù)read.csv和write.csv11410.1.3函數(shù)readLines和writeLines11610.1.4讀取Excel工作表11610.1.5ODBC數(shù)據(jù)源11710.2持久化R數(shù)據(jù)對(duì)象11910.3格式化輸出12010.4虛擬內(nèi)存12110.5操作文件和文件夾125第2篇可視化第11章統(tǒng)計(jì)繪圖/13111.1繪圖設(shè)備13111.2布局13311.3繪圖函數(shù)13511.4常用繪圖參數(shù)14511.5散點(diǎn)圖14811.6核密度圖15011.7箱線圖15111.8柱形圖15211.9餅圖15511.10直方圖15611.11折線圖157第12章圖形文法ggplot2/15812.1ggplot2簡介15812.2散點(diǎn)圖17012.3直方圖17512.4箱線圖18012.5柱形圖18212.6折線圖18712.7標(biāo)注19212.8統(tǒng)計(jì)變換19712.9位置調(diào)整20012.10尺度變換20212.11切面21212.12主題21612.13色彩與構(gòu)成21712.13.1顏色與顏色的屬性21712.13.2色彩搭配21812.14調(diào)色板21812.15案例研究221第3篇數(shù)

據(jù)

分

析第13章數(shù)據(jù)分析基礎(chǔ)/22913.1數(shù)據(jù)質(zhì)量的度量22913.2數(shù)據(jù)清洗變換23013.2.1缺失值23013.2.2重復(fù)23213.2.3有效性23313.2.4統(tǒng)計(jì)量23313.3可視化23413.4查詢型大數(shù)據(jù)分析24113.5探索性大數(shù)據(jù)分析24213.6挖掘型大數(shù)據(jù)分析245第14章查詢型分析與數(shù)據(jù)表/24714.1數(shù)據(jù)表24714.2創(chuàng)建和引用數(shù)據(jù)表24814.2.1創(chuàng)建數(shù)據(jù)表24814.2.2引用數(shù)據(jù)表25014.3查詢數(shù)據(jù)表25014.3.1按行號(hào)查詢25014.3.2條件查詢25114.3.3查詢結(jié)果的類型25214.3.4分組匯總25414.3.5鍵和索引25614.3.6應(yīng)用只讀變量查詢25814.3.7其他26014.4去重26314.5上卷26614.6連接26814.7集合運(yùn)算27114.8更新27214.9行列變換276第15章描述性統(tǒng)計(jì)與探索性分析/27815.1總體與樣本27815.2概率分布28015.3聯(lián)合分布28115.4可視化分布28315.5樣本