《分布式存儲技術(shù)》教學(xué)大綱

《分布式存儲技術(shù)》教學(xué)大綱適用范圍：202X版本科人才培養(yǎng)方案課程代碼：08150311課程性質(zhì)：專業(yè)選修課學(xué)分：4學(xué)分學(xué)時：64學(xué)時（理論48學(xué)時，實驗16學(xué)時）先修課程：數(shù)據(jù)庫原理及應(yīng)用、計算機網(wǎng)絡(luò)后繼課程：大數(shù)據(jù)平臺與架構(gòu)適用專業(yè)：數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)開課單位：計算機科學(xué)與技術(shù)學(xué)院一、課程說明《分布式存儲技術(shù)》是數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)的專業(yè)選修課。本課程的任務(wù)是讓學(xué)生了解當前主要分布式存儲的歷史和發(fā)展，熟悉Ceph、Swift、Gluster和FastDFS等當前主流分布式存儲技術(shù)的特點及其差別，掌握當前流行的并處理技術(shù)的部署、建立和主要存儲操作，同時通過使用課內(nèi)實驗方式來提升學(xué)生對分布式存儲技術(shù)的實際操作能力及動手能力。二、課程目標通過本課程的學(xué)習(xí)，使學(xué)生達到如下目標：課程目標1：熟練掌握大數(shù)據(jù)系統(tǒng)架構(gòu)、分布式協(xié)調(diào)系統(tǒng)與非關(guān)系型數(shù)據(jù)庫，培養(yǎng)大數(shù)據(jù)思維，為后續(xù)的“課程設(shè)計”和“畢業(yè)設(shè)計”打下良好的基礎(chǔ)。課程目標2：掌握數(shù)據(jù)離線處理、Spark生態(tài)圈和數(shù)據(jù)采集技術(shù)，具備初步的部署分布式存儲系統(tǒng)解決實際問題的能力，能夠使用分布式存儲系統(tǒng)實現(xiàn)對復(fù)雜工程問題的模擬、預(yù)測和分析。課程目標3：積極培育社會主義核心價值觀，踐行中國優(yōu)秀傳統(tǒng)文化教育，樹立正確的人生觀、世界觀和價值觀；樹立正確的勞動觀念，切實提升心理素質(zhì)，增強干事創(chuàng)業(yè)的信心。三、課程目標與畢業(yè)要求《分布式存儲技術(shù)》課程教學(xué)目標對數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)畢業(yè)要求的支撐見表1。表1課程教學(xué)目標與畢業(yè)要求關(guān)系畢業(yè)要求指標點課程目標支撐強度2.問題分析2.2能根據(jù)數(shù)學(xué)、自然科學(xué)和工程科學(xué)的基本原理為數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)領(lǐng)域復(fù)雜工程問題選擇合適的問題解決方案。課程目標1：熟練掌握大數(shù)據(jù)系統(tǒng)架構(gòu)、分布式協(xié)調(diào)系統(tǒng)與非關(guān)系型數(shù)據(jù)庫，培養(yǎng)大數(shù)據(jù)思維，為后續(xù)的“課程設(shè)計”和“畢業(yè)設(shè)計”打下良好的基礎(chǔ)。課程目標2：掌握數(shù)據(jù)離線處理、Spark生態(tài)圈和數(shù)據(jù)采集技術(shù)，具備初步的部署分布式存儲系統(tǒng)解決實際問題的能力，能夠使用分布式存儲系統(tǒng)實現(xiàn)對復(fù)雜工程問題的模擬、預(yù)測和分析。H3.設(shè)計/開發(fā)解決方案3.2能夠針對大數(shù)據(jù)應(yīng)用相關(guān)領(lǐng)域的復(fù)雜工程問題設(shè)計整體項目解決方案，掌握項目開發(fā)全周期、全流程的基本設(shè)計/開發(fā)方法和技術(shù)，完成項目的軟硬件設(shè)計、仿真、實現(xiàn)、運行和維護等。課程目標1：熟練掌握大數(shù)據(jù)系統(tǒng)架構(gòu)、分布式協(xié)調(diào)系統(tǒng)與非關(guān)系型數(shù)據(jù)庫，培養(yǎng)大數(shù)據(jù)思維，為后續(xù)的“課程設(shè)計”和“畢業(yè)設(shè)計”打下良好的基礎(chǔ)。課程目標2：掌握數(shù)據(jù)離線處理、Spark生態(tài)圈和數(shù)據(jù)采集技術(shù)，具備初步的部署分布式存儲系統(tǒng)解決實際問題的能力，能夠使用分布式存儲系統(tǒng)實現(xiàn)對復(fù)雜工程問題的模擬、預(yù)測和分析。H6.工程與社會6.2在對數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)領(lǐng)域復(fù)雜工程問題解決方案的評價中，能夠考慮安全、隱私、法律、知識產(chǎn)權(quán)保護等方面的因素，以及這些制約因素對方案實施的影響，給出正確的評價結(jié)論，能夠理解大數(shù)據(jù)工程師應(yīng)承擔的社會責(zé)任。課程目標3：積極培育社會主義核心價值觀，踐行中國優(yōu)秀傳統(tǒng)文化教育，樹立正確的人生觀、世界觀和價值觀；樹立正確的勞動觀念，切實提升心理素質(zhì)，增強干事創(chuàng)業(yè)的信心。M注：表中“H（高）、M（中）”表示課程與相關(guān)畢業(yè)要求的關(guān)聯(lián)度。四、教學(xué)內(nèi)容、基本要求與學(xué)時分配1.理論部分理論部分的教學(xué)內(nèi)容、基本要求與學(xué)時分配見表2。表2教學(xué)內(nèi)容、基本要求與學(xué)時分配教學(xué)內(nèi)容教學(xué)要求，教學(xué)重點難點理論學(xué)時實驗學(xué)時對應(yīng)的課程目標1.分布式存儲技術(shù)概論1.1分布式存儲技術(shù)基本概念1.2分布式存儲主要技術(shù)1.3分布式存儲主要工具教學(xué)要求:理解分布式存儲基本概念；掌握分布式存儲主要技術(shù)；了解分布式存儲主要工具。重點:分布式存儲技術(shù)基本概念。難點:分布式存儲主要技術(shù)。21、22.Ceph分布式存儲系統(tǒng)基礎(chǔ)2.1Ceph分布式存儲系統(tǒng)的起源與發(fā)展2.2Ceph分布式存儲系統(tǒng)基本結(jié)構(gòu)與特點2.3Ceph分布式存儲系統(tǒng)軟件部署與配置教學(xué)要求：了解Ceph分布式存儲系統(tǒng)的起源與發(fā)展；理解Ceph分布式存儲系統(tǒng)基本結(jié)構(gòu)與特點；掌握Ceph分布式存儲系統(tǒng)部署與配置。重點:Ceph分布式存儲系統(tǒng)基本結(jié)構(gòu)與特點。難點:Ceph分布式存儲系統(tǒng)軟件部署與配置。61、23.Ceph分布式存儲系統(tǒng)高級操作3.1Ceph分布式存儲系統(tǒng)建立3.2Ceph分布式存儲系統(tǒng)文件操作3.3Ceph分布式存儲系統(tǒng)維護教學(xué)要求：了解Ceph分布式存儲系統(tǒng)高級操作的種類；理解Ceph分布式存儲系統(tǒng)維護的必要性；掌握Ceph分布式存儲系統(tǒng)建立、文件操作和維護的各種命令。重點:Ceph分布式存儲系統(tǒng)操作建立與操作。難點:Ceph分布式存儲系統(tǒng)維護。841、24.Swift分布式存儲系統(tǒng)基礎(chǔ)4.1Swift分布式存儲系統(tǒng)的起源與發(fā)展4.2Swift分布式存儲系統(tǒng)基本結(jié)構(gòu)與特點4.3Swift分布式存儲系統(tǒng)軟件部署與配置教學(xué)要求：了解Swift分布式存儲系統(tǒng)的起源與發(fā)展；理解Swift分布式存儲系統(tǒng)基本結(jié)構(gòu)與特點；掌握Swift分布式存儲系統(tǒng)部署與配置。重點:Swift分布式存儲系統(tǒng)基本結(jié)構(gòu)與特點。難點:Swift分布式存儲系統(tǒng)軟件部署與配置。61、25.Swift分布式存儲系統(tǒng)高級操作5.1Swift分布式存儲系統(tǒng)建立5.2Swift分布式存儲系統(tǒng)文件操作5.3Swift分布式存儲系統(tǒng)維護教學(xué)要求：了解Swift分布式存儲系統(tǒng)高級操作的種類；理解Swift分布式存儲系統(tǒng)維護的必要性；掌握Swift分布式存儲系統(tǒng)建立、文件操作和維護的各種命令。重點:Swift分布式存儲系統(tǒng)操作建立與操作。難點:Swift分布式存儲系統(tǒng)維護。841、26.Gluster分布式存儲系統(tǒng)基礎(chǔ)6.1Gluster分布式存儲系統(tǒng)的起源與發(fā)展6.2Gluster分布式存儲系統(tǒng)基本結(jié)構(gòu)與特點6.3Gluster分布式存儲系統(tǒng)軟件部署與配置教學(xué)要求：了解Gluster分布式存儲系統(tǒng)的起源與發(fā)展；理解Gluster分布式存儲系統(tǒng)基本結(jié)構(gòu)與特點；掌握Gluster分布式存儲系統(tǒng)部署與配置。重點:Gluster分布式存儲系統(tǒng)基本結(jié)構(gòu)與特點。難點:Gluster分布式存儲系統(tǒng)軟件部署與配置。61、27.Gluster分布式存儲系統(tǒng)高級操作7.1Gluster分布式存儲系統(tǒng)建立7.2Gluster分布式存儲系統(tǒng)文件操作7.3Gluster分布式存儲系統(tǒng)維護教學(xué)要求：了解Gluster分布式存儲系統(tǒng)高級操作的種類；理解Gluster分布式存儲系統(tǒng)維護的必要性；掌握Gluster分布式存儲系統(tǒng)建立、文件操作和維護的各種命令。重點:Gluster分布式存儲系統(tǒng)操作建立與操作。難點:Gluster分布式存儲系統(tǒng)維護。841、2、38.FastDFS分布式存儲系統(tǒng)8.1FastDFS分布式存儲系統(tǒng)的起源與發(fā)展8.2FastDFS分布式存儲系統(tǒng)基本結(jié)構(gòu)與特點8.3FastDFS分布式存儲系統(tǒng)基本特點8.4FastDFS分布式存儲系統(tǒng)部署8.5FastDFS分布式存儲系統(tǒng)建立教學(xué)要求：了解FastDFS分布式存儲系統(tǒng)的起源與發(fā)展；理解FastDFS分布式存儲系統(tǒng)基本結(jié)構(gòu)；理解FastDFS分布式存儲系統(tǒng)基本特點；掌握FastDFS分布式存儲系統(tǒng)部署；掌握FastDFS分布式存儲系統(tǒng)建立。重點:FastDFS分布式存儲系統(tǒng)基本結(jié)構(gòu)與特點。難點:FastDFS分布式存儲系統(tǒng)部署與建立。441、2、3合計=SUM(ABOVE)48162.實驗部分實驗部分的教學(xué)內(nèi)容、基本要求與學(xué)時分配見表3。表3實驗內(nèi)容與學(xué)時實驗項目實驗內(nèi)容和要求實驗學(xué)時對應(yīng)的課程目標1.Ceph分布式存儲系統(tǒng)建立和維護實驗內(nèi)容：基于部署的Ceph系統(tǒng)，建立Ceph分布式存儲系統(tǒng)，并進行一系列維護操作。實驗要求：基于部署的Ceph系統(tǒng)，建立Ceph分布式存儲系統(tǒng)，并進行一系列維護操作。41、22.Swift分布式存儲系統(tǒng)建立和維護實驗內(nèi)容：基于部署的Swift系統(tǒng)，建立Swift分布式存儲系統(tǒng)，并進行一系列維護操作。實驗要求：基于部署的Swift系統(tǒng)，建立Swift分布式存儲系統(tǒng)，并進行一系列維護操作。41、23.Gluster分布式存儲系統(tǒng)建立和維護實驗內(nèi)容：基于部署的Gluster系統(tǒng)，建立Gluster分布式存儲系統(tǒng)，并進行一系列維護操作。實驗要求：基于部署的Gluster系統(tǒng)，建立Gluster分布式存儲系統(tǒng)，并進行一系列維護操作。41、24.FastDFS分布式存儲系統(tǒng)實驗實驗內(nèi)容：部署、建立、維護FastDFS存儲系統(tǒng)。實驗要求：部署、建立、維護FastDFS存儲系統(tǒng)。41、2合計16五、教學(xué)方法及手段本課程以課堂講授為主，結(jié)合討論、案例、視頻資源、實驗等教學(xué)手段完成課程教學(xué)任務(wù)和相關(guān)能力的培養(yǎng)。在實驗教學(xué)環(huán)節(jié)中，通過啟發(fā)式教學(xué)、討論式教學(xué)培養(yǎng)學(xué)生分布式存儲系統(tǒng)的設(shè)計、部署、監(jiān)控、運行的基本能力和基本方法。培養(yǎng)學(xué)生自主學(xué)習(xí)能力、實際動手能力，激發(fā)學(xué)生的創(chuàng)新思維。采用學(xué)習(xí)通、釘釘、QQ、微信等交流工具，加強和學(xué)生之間的交流和溝通。六、課程資源庫1.推薦教材（1）陳康.大數(shù)據(jù)存儲技術(shù)（第一版）[M].北京:人民郵電出版社.2021.（2）陳建平等.分布式數(shù)據(jù)庫HBase案例教程[M].北京:清華大學(xué)出版社.2022.2.參考書（1）中國移動云能力中心.存儲漫談Ceph原理與實踐[M].北京:人民郵電出版社.2021.（2）景顯強等.Ceph企業(yè)級分布式存儲原理與工程實踐[M].北京:機械工業(yè)出版社.2021.（3）胡世杰.分布式對象存儲：原理、架構(gòu)及Go語言實現(xiàn)[M].北京:人民郵電出版社.2018.3.期刊（1）陳旭輝,劉洋,高鵬等.NVMe在氣象大數(shù)據(jù)分布式存儲中的研究與應(yīng)用[J].氣象水文海洋儀器,2021,38(04):12-15.（2）岑星星,湯欽華,馬群圣.基于Hadoop分布式存儲的區(qū)域醫(yī)聯(lián)體云PACS的研究與應(yīng)用[J].中國醫(yī)療設(shè)備,2021,36(12):103-107.（3）陳學(xué)淵,梁璟,倪辰辰等.跨地域環(huán)境下的電磁數(shù)據(jù)分布式存儲架構(gòu)[J].電子信息對抗技術(shù),2021,36(06):114-118.（4）胡瓊.大數(shù)據(jù)環(huán)境中計算機網(wǎng)絡(luò)安全存儲研究[J].佳木斯大學(xué)學(xué)報(自然科學(xué)版),2021,39(06):73-75,128.（5）ShinH,LeeK,KwonHY.AcomparativeexperimentalstudyofdistributedstorageenginesforbigspatialdataprocessingusingGeoSpark[J].TheJournalofSupercomputing.2021:1-24.4.網(wǎng)絡(luò)資源（1）FANCYPANDA.大數(shù)據(jù)存儲技術(shù)了解.2022./weixin_44955712/article/details/122594400（2）楊俊生.大數(shù)據(jù)時代數(shù)據(jù)存儲技術(shù)的發(fā)展.2019./article/pz2f8a03agfk.html七、課程考核對課程目標的支撐課程成績由過程性考核成績和期末大作業(yè)成績兩部分構(gòu)成，具體考核/評價細則及對課程目標的支撐關(guān)系見表4。表4課程考核對課程目標的支撐考核環(huán)節(jié)占比考核/評價細則課程目標123過程考核課程視頻10（1）根據(jù)學(xué)生觀看學(xué)習(xí)通中本課程的視頻資料進度和完成情況進行考核，未學(xué)完者依據(jù)所學(xué)視頻進度得相應(yīng)的分數(shù)，滿分100分。（2）以課程視頻成績乘以其在總評成績中所占的比例計入課程總評成績?！獭獭?52課堂表現(xiàn)7.5（1）根據(jù)課堂考勤、課堂回答問題和小組討論等情況進行考核，滿分100分。（2）以課堂表現(xiàn)成績乘以其在總評成績中所占的比例計入課程總評成績。√√√24.51作業(yè)評價10（1）主要考核學(xué)生對各章節(jié)知識點的復(fù)習(xí)、理解和掌握程度，滿分100分；（2）每次作業(yè)單獨評分，取各次成績的平均值作為此環(huán)節(jié)的最終成績。（3）以作業(yè)評價成績乘以其在總評成績中所占的比例計入課程總評成績。√√√253課內(nèi)實驗12.5（1）根據(jù)每個實驗的實驗情況和實驗報告質(zhì)量單獨評分；（2）取各次實驗成績的平均值作為此環(huán)節(jié)的最終成績?！獭獭?5.52階段測驗10（1）主要考核學(xué)生對各章知識點的綜合應(yīng)用能力，滿分100分。（2）以階段測驗成績乘以其在總評成績中所占的比例計入課程總評成績?！獭獭?52期末考核50（1）期末大作業(yè)成績100分，以大作業(yè)成績乘以其在總評成績中所占的比例計入課程總評成績。（2）讓學(xué)生了解當前主要分布式存儲的歷史和發(fā)展，熟悉Ceph、Swift、Gluster和FastDFS等當前主流分布式存儲技術(shù)的特點及其差別，掌握當前流行的并處理技術(shù)的部署、建立和主要存儲操作。（3）題型為：綜合應(yīng)用題?！獭獭?0255合計：100分355015八、考核與成績評定1.考核方式及成績評定考核方式：本課程主要以課程視頻、課堂表現(xiàn)、作業(yè)評價、課內(nèi)實驗、階段測驗、期末大作業(yè)等方式對學(xué)生進行考核評價。考核基本要求：考核總成績由期末大作業(yè)成績和過程性評價成績組成。其中：期末大作業(yè)成績?yōu)?00分（權(quán)重50%），類型為綜合應(yīng)用題；課程視頻、課堂表現(xiàn)、作業(yè)評價、課內(nèi)實驗、階段測驗等過程性評價成績?yōu)?00分（權(quán)重50%）；過程性評價和大作業(yè)分值分配應(yīng)與教學(xué)大綱各章節(jié)的學(xué)時基本成比例。2.過程性考核成績的標準過程性考核方式重點考核內(nèi)容、