《大數(shù)據(jù)管理》課程教學大綱

《大數(shù)據(jù)管理》教學大綱一、課程基本信息課程名稱大數(shù)據(jù)管理BigDataManagement課程編碼SCC320611020開課院部理學院課程團隊數(shù)據(jù)科學團隊學分2.0課內(nèi)學時32講授32實驗0上機0實踐0課外學時32適用專業(yè)數(shù)據(jù)科學與大數(shù)據(jù)技術(shù)授課語言中文先修課程數(shù)據(jù)科學與大數(shù)據(jù)技術(shù)導論、數(shù)據(jù)結(jié)構(gòu)與算法、數(shù)據(jù)庫原理與應(yīng)用課程簡介（必修）《大數(shù)據(jù)管理》是數(shù)據(jù)科學與大數(shù)據(jù)技術(shù)專業(yè)的一門必修課。本課程以大數(shù)據(jù)管理中相關(guān)概念和模型為主題，結(jié)合大數(shù)據(jù)管理系統(tǒng)，了解和掌握大數(shù)據(jù)管理過程和基本方法。通過本課程的學習，學生自主選擇相關(guān)課題，利用大數(shù)據(jù)管理系統(tǒng)進行研究，形成研究報告。本課程內(nèi)容主要包括大數(shù)據(jù)管理概述、關(guān)系數(shù)據(jù)模型與SQL、鍵值對數(shù)據(jù)模型、文檔模型與查詢語言、圖模型與類SQL查詢語言，大數(shù)據(jù)管理系統(tǒng)的體系架構(gòu)、數(shù)據(jù)組織與存儲、分布式查詢處理優(yōu)化。這些課程內(nèi)容的學習，有助于學習后繼大數(shù)據(jù)類相關(guān)課程。"BigDataManagement"isacompulsorycoursefordatascienceandbigdatatechnologymajors.Thiscoursetakestherelatedconceptsandmodelsinbigdatamanagementasthethemeandcombinesbigdatamanagementsystemstounderstandandmasterthebigdatamanagementprocessandbasicmethods.Throughthestudyofthiscourse,studentsindependentlyselectrelatedtopics,usethebigdatamanagementsystemtoconductresearch,andformaresearchreport.Thecontentofthiscoursemainlyincludesanoverviewofbigdatamanagement,relationaldatamodelandSQL,key-valuedatamodel,documentmodelandquerylanguage,graphmodelandSQL-likequerylanguage,architectureofbigdatamanagementsystem,dataorganizationandstorage,distributionQueryprocessingoptimization.Thestudyofthesecoursecontentsishelpfulforlearningthesubsequentbigdatarelatedcourses.負責人大綱執(zhí)筆人審核人二、課程目標序號代號課程目標OBE畢業(yè)要求指標點任務(wù)自選1M1目標1：掌握大數(shù)據(jù)管理中數(shù)據(jù)模型、語言及管理系統(tǒng)中的基本概念和原理。是4.12M2目標2：掌握常見非結(jié)構(gòu)化數(shù)據(jù)庫的原理與應(yīng)用。是4.13M3目標3：通過課程項目的實踐，完成報告并答辯，培育團隊溝通和交流的能力和解決實際問題的能力。是6.1,6.24M4目標4：能保障課程正常秩序（政治層面、課堂保障層面，非學生能力層面）否三、課程內(nèi)容序號章節(jié)號標題課程內(nèi)容/重難點支撐課程目標課內(nèi)學時教學方式課外學時課外環(huán)節(jié)1第1章第1章數(shù)據(jù)庫管理系統(tǒng)概述本章重點難點：大數(shù)據(jù)的數(shù)據(jù)特征、大數(shù)據(jù)的應(yīng)用特征、混合負載系統(tǒng)架構(gòu)、分布式系統(tǒng)架構(gòu)。////21.11.1數(shù)據(jù)管理系統(tǒng)的發(fā)展歷史第一代層次和網(wǎng)狀數(shù)據(jù)庫系統(tǒng)、第二代關(guān)系數(shù)據(jù)庫系統(tǒng)、第三代數(shù)據(jù)倉庫系統(tǒng)、第四代大數(shù)據(jù)管理系統(tǒng)M10.5講授0.5自學、作業(yè)31.21.2大數(shù)據(jù)管理系統(tǒng)的特征大數(shù)據(jù)管理系統(tǒng)的數(shù)據(jù)特征、系統(tǒng)特征、應(yīng)用特征M10.5講授0.5自學、作業(yè)41.31.3大數(shù)據(jù)管理系統(tǒng)的組成多引擎系統(tǒng)結(jié)構(gòu)、混合負載系統(tǒng)架構(gòu)、分布式系統(tǒng)架構(gòu)M11講授1自學、作業(yè)5第2章第2章關(guān)系數(shù)據(jù)模型與SQL本章重點難點：SQL擴展語法、SQLonHadoop、常見NoSQL數(shù)據(jù)庫、常見關(guān)系數(shù)據(jù)庫。////62.12.1關(guān)系數(shù)據(jù)庫概述基本概念、基本關(guān)系操作與實現(xiàn)技術(shù)M1,M21講授1自學、作業(yè)72.22.2關(guān)系數(shù)據(jù)庫標準語言SQLSQL基本語法、SQL擴展語法M1,M21講授1自學、作業(yè)82.32.3SQLonHadoopHiveSQL創(chuàng)建表命令、HiveSQL查詢命令M1,M21講授1自學、作業(yè)92.42.4NoSQL數(shù)據(jù)庫NoSQL數(shù)據(jù)庫的特點M1,M21講授1自學、作業(yè)102.52.5代表性的關(guān)系數(shù)據(jù)庫傳統(tǒng)數(shù)據(jù)庫技術(shù)的發(fā)展、代表性的MPP數(shù)據(jù)庫、代表性的NewSQL數(shù)據(jù)庫、基于新硬件技術(shù)的數(shù)據(jù)庫、關(guān)系數(shù)據(jù)庫到大數(shù)據(jù)的數(shù)據(jù)轉(zhuǎn)換相關(guān)方法與技術(shù)M1,M22講授2自學、作業(yè)11第3章第3章鍵值對數(shù)據(jù)模型本章重點難點：Dynamo數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)操作、Redis數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)操作、BigTable數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)操作。////123.13.1概述什么是鍵值對模型、鍵值對模型應(yīng)用現(xiàn)狀M1,M20.5講授0.5自學、作業(yè)133.23.2數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)操作Dynamo、Redis、RAMCloud、BigTableM1,M21.5講授1.5自學、作業(yè)14第4章第4章文檔模型與查詢語言本章重點難點：XML結(jié)構(gòu)、JSON結(jié)構(gòu)、DOM接口、XQuery、JSONAPI、MongoDB。////154.14.1概述文檔數(shù)據(jù)庫特點M1,M2,M30.5講授0.5自學、大作業(yè)164.24.2文檔結(jié)構(gòu)XML結(jié)構(gòu)、JSON結(jié)構(gòu)M1,M2,M31.5講授1自學、大作業(yè)174.34.3查詢語言DOM接口及應(yīng)用實例、XQuery及應(yīng)用實例M1,M2,M31講授1自學、大作業(yè)184.44.4文檔數(shù)據(jù)庫舉例eXistdb、MongoDBM1,M2,M31講授0.5自學、大作業(yè)19第5章第5章圖模型與類SQL查詢語言本章重點難點：屬性圖、圖匹配、圖導航、圖與關(guān)系的復雜操作、Cypher操作、知識圖譜。////205.15.1圖的數(shù)據(jù)結(jié)構(gòu)及其形式化定義簡單圖、標簽圖、屬性圖M1,M2,M31講授0.2自學、大作業(yè)215.25.2圖數(shù)據(jù)操作圖匹配、圖導航、圖與關(guān)系的復合操作M1,M2,M31講授0.5自學、大作業(yè)225.35.3圖查詢語言Cypher對象創(chuàng)建、檢索、圖的更新M1,M2,M32講授0.3自學、大作業(yè)235.45.4Neo4j圖數(shù)據(jù)庫Neo4j簡介、Neo4j應(yīng)用實例M1,M2,M32講授0.5自學、大作業(yè)24第6章第6章大數(shù)據(jù)管理系統(tǒng)的體系架構(gòu)本章重點難點：并行與分布式體系架構(gòu)、分布式數(shù)據(jù)庫體系架構(gòu)、阿里PolarDB分布式數(shù)據(jù)庫體系架構(gòu)。////256.16.1數(shù)據(jù)庫系統(tǒng)體系結(jié)構(gòu)的發(fā)展集中式體系結(jié)構(gòu)、客戶-服務(wù)器體系架構(gòu)、并行與分布式體系架構(gòu)簡介、數(shù)據(jù)庫系統(tǒng)體系架構(gòu)的相關(guān)概念M1,M21講授1自學、作業(yè)266.26.2并行數(shù)據(jù)庫體系架構(gòu)并行數(shù)據(jù)庫體系架構(gòu)設(shè)計、IO并行、查詢間與查詢內(nèi)并行、操作間與操作內(nèi)并行M1,M21講授1自學、作業(yè)276.36.3分布式數(shù)據(jù)庫體系架構(gòu)分布式事務(wù)系統(tǒng)結(jié)構(gòu)、分布式數(shù)據(jù)庫中的并發(fā)控制、分布式數(shù)據(jù)庫設(shè)計中的折中方案、異構(gòu)與基于云的分布式數(shù)據(jù)庫、目錄系統(tǒng)M1,M21講授1自學、作業(yè)286.46.4實例分析Greenplum分布式數(shù)據(jù)庫、HAWQ、Impala、AuroraM1,M21講授1自學、作業(yè)29第7章第7章數(shù)據(jù)組織與存儲本章重點難點：文件系統(tǒng)、非易失內(nèi)存訪問模型、哈希索引、基于哈希索引的鍵值存儲系統(tǒng)、JSON文檔存儲、圖存儲。////307.17.1概述數(shù)據(jù)組織與存儲的嵌套關(guān)系、文件系統(tǒng)、數(shù)據(jù)組織帶來的數(shù)據(jù)映射與放大M1,M2,M30.5講授0.5自學、大作業(yè)317.27.2硬件訪問模型內(nèi)存訪問模型、磁盤訪問模型、閃存訪問模型、瓦記錄磁盤訪問模型、非易失內(nèi)存訪問模型M1,M2,M30.5講授0.5自學、大作業(yè)327.37.3索引技術(shù)哈希索引、有序索引、哈希-有序符合索引、存在索引M1,M2,M31講授1自學、大作業(yè)337.47.4鍵值存儲基于哈希索引的鍵值存儲系統(tǒng)、基于LSM樹索引的鍵值存儲系統(tǒng)、基于B/B+樹的鍵值存儲系統(tǒng)M1,M2,M31講授1自學、大作業(yè)347.57.5列存儲列存儲數(shù)據(jù)庫、HDFS列存儲M1,M2,M31講授1自學、大作業(yè)357.67.6其他類型存儲文檔存儲、XML文檔存儲、JSON文檔存儲、圖存儲M1,M2,M32講授2自學、大作業(yè)36第8章第8章分布式查詢處理優(yōu)化本章重點難點：數(shù)據(jù)分布策略、面向關(guān)系數(shù)據(jù)的分布式查詢處理與優(yōu)化。////378.18.1分布式查詢處理概述數(shù)據(jù)分布策略、分布式查詢處理、分布式查詢優(yōu)化技術(shù)M1,M2,M31講授1自學、大作業(yè)388.28.2面向關(guān)系數(shù)據(jù)的分布式查詢處理概述、分布式關(guān)系數(shù)據(jù)庫查詢處理、分布式關(guān)系數(shù)據(jù)庫查詢優(yōu)化、分布式關(guān)系數(shù)據(jù)庫查詢處理技術(shù)實例分析M1,M2,M31講授1自學、大作業(yè)四、考核方式序號考核環(huán)節(jié)操作細節(jié)總評占比1平時作業(yè)1.每周布置2~3道題目，平均每次課1道題以上。2.成績采用百分制，根據(jù)作業(yè)完成準確性、是否按時上交、是否獨立完成評分。3.考核學生對大數(shù)據(jù)管理知識的掌握能力，學生綜合運用所學知識分析問題、解決問題的能力題型主要有分析、設(shè)計和查詢計算題。20%2總結(jié)1.使用思維導圖對每章節(jié)進行提煉總結(jié)。2.成績采用百分制，根據(jù)思維導圖的中心主題、整體布局、關(guān)鍵詞和層級完成評分。3.考核學生對大數(shù)據(jù)管理知識的掌握能力、學習總結(jié)能力。15%3實驗1.本課程依托大數(shù)據(jù)平臺，課外完成4~6次實驗。2.成績采用百分制，根據(jù)實驗完成情況評分。3.考核學生基本數(shù)據(jù)模型設(shè)計、分析和管理能力。15%4考勤刷卡點名5%5大作業(yè)1.本課程要求學生組隊自選一個大數(shù)據(jù)管理系統(tǒng)相關(guān)題目或?qū)嶋H問題，并利用Python或Java語言進行編程實現(xiàn)。2.成績采用百分制，根據(jù)數(shù)據(jù)模型設(shè)計、分析、管理過程的完整性和準確性評分。3.考核學生認識和發(fā)現(xiàn)問題的能力，以及解決實際問題的能力。40%6課堂表現(xiàn)課堂回答問題情況5%五、評分細則序號課程目標考核環(huán)節(jié)大致占比評分等級1M1平時作業(yè)50%A-獨立思考、按時完成，解題思路清晰、步驟完整、格式合理、答案準確。B-獨立思考、按時完成，解題思路比較清晰、步驟比較完整、格式合理、答案基本準確。C-基本按時完成，解題思路比較清晰、步驟比較完整、格式比較合理、答案有少量錯誤。D-作業(yè)抄襲，未能按時完成，解題思路混亂，答案錯誤多。2M1總結(jié)50%A-中心主題明確，整體布局合理，關(guān)鍵詞提取精準、合理、完整，層級科學。B-中心主題明確，整體布局合理，關(guān)鍵詞提取比較精準、合理、完整，層級科學。C-中心主題比較明確，整體布局比較合理，關(guān)鍵詞提取比較精準、合理、完整，層級亂。D-中心主題不明確，整體布局比較混亂，關(guān)鍵詞提取不精準、不合理、不完整，層級亂。3M2實驗100%A-實驗過程中認真完成實驗要求，得到正確的實驗結(jié)果，實驗報告格式正確，步驟敘述清楚，正確分析實驗數(shù)據(jù)，從技術(shù)角度優(yōu)選解決方案獲得有效結(jié)論。B-實驗過程中認真完成實驗要求，得到正確的實驗結(jié)果，實驗報告格式正確，步驟敘述比較清楚，正確分析實驗數(shù)據(jù)，從技術(shù)角度優(yōu)選解決方案獲得比較有效的結(jié)論。C-實驗過程中認真完成實驗要求，不能得到正確的實驗結(jié)果，實驗報告格式正確，步驟敘述清楚，沒有正確分析實驗數(shù)據(jù)，但是結(jié)合理論分析可以從技術(shù)角度優(yōu)選解決方案獲得有效的結(jié)論。D-實驗過程中不能完成實驗要求，不能得到正確的實驗結(jié)果，不能從技術(shù)角度優(yōu)選解決方案獲得有效的結(jié)論。4M3大作業(yè)60%A-數(shù)據(jù)庫設(shè)計正確，完整實現(xiàn)數(shù)據(jù)存儲、模式、查詢等管理過程，結(jié)果驗證正確。B-數(shù)據(jù)庫設(shè)計正確，完整實現(xiàn)數(shù)據(jù)存儲、模式、查詢等管理過程，結(jié)果驗證比較正確。C-數(shù)據(jù)庫設(shè)計正確，比較完整實現(xiàn)數(shù)據(jù)存儲、模式、查詢等管理過程，結(jié)果驗證有較少錯誤。D-數(shù)據(jù)庫設(shè)計有缺陷，部分實現(xiàn)數(shù)據(jù)存儲、模式、查詢等管理過程，結(jié)果驗證不完全正確。5M3實驗40%A-實驗過程中認真完成實驗要求，得到正確的實驗結(jié)果，實驗報告格式正確，步驟敘述清楚，正確分析實驗數(shù)據(jù)，從技術(shù)角度優(yōu)選解決方案獲得有效結(jié)論。B-實驗過程中認真完成實驗要求，得到正確的實驗結(jié)果，實驗報告格式正確，步驟敘述比較清楚，正確分析實驗數(shù)據(jù)，從技術(shù)角度優(yōu)選解決方案獲得比較有效的結(jié)論。C-實驗過程中認真完成實驗要求，不能得到正確的實驗結(jié)果，實驗報告格式正確，步驟敘述清楚，沒有正確分析實驗數(shù)據(jù)，但是結(jié)合理論分析可以從技術(shù)角度優(yōu)選解決方案獲得有效的結(jié)論。D-實驗過程中不能完成實驗要求，不能得到正確的實驗結(jié)果