《大數(shù)據(jù)開發(fā)案例實(shí)訓(xùn)》教學(xué)大綱

《大數(shù)據(jù)開發(fā)案例實(shí)訓(xùn)》教學(xué)大綱課程編號(hào)：13220705英文名稱：CaseAnalysisofBigDataDevelopment學(xué)分：3學(xué)時(shí)：總學(xué)時(shí)64學(xué)時(shí)，其中理論32學(xué)時(shí)，實(shí)踐32學(xué)時(shí)先修課程：云計(jì)算與大數(shù)據(jù)基礎(chǔ)、數(shù)據(jù)挖掘與應(yīng)用課程類別：選修授課對(duì)象：數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)學(xué)生教學(xué)單位：機(jī)械與電氣工程學(xué)院修讀學(xué)期：第6學(xué)期一、課程描述和目標(biāo)本課程是數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)、計(jì)算機(jī)科學(xué)與技術(shù)專業(yè)中一門綜合性很強(qiáng)的實(shí)戰(zhàn)開發(fā)課程，通過本課程，學(xué)生能夠?qū)υ朴?jì)算的由來、概念、原理和實(shí)現(xiàn)技術(shù)有個(gè)基本的認(rèn)識(shí)，了解支持云計(jì)算的主要產(chǎn)品和工具以及掌握其技術(shù)原理和應(yīng)用方法，了解云計(jì)算的主要研究熱點(diǎn)與應(yīng)用領(lǐng)域，認(rèn)清云計(jì)算的發(fā)展趨勢(shì)和前景；另外，通過基于ApacheHadoop等開源工具的相關(guān)實(shí)驗(yàn)，讓學(xué)生親身體驗(yàn)分布式文件系統(tǒng)、分布式計(jì)算和分布式數(shù)據(jù)庫的應(yīng)用及實(shí)現(xiàn)，從而加深所學(xué)的理論知識(shí)的理解，為今后處理實(shí)際的問題打下基礎(chǔ)。課程目標(biāo)1從云計(jì)算和大數(shù)據(jù)的基本概念入手，由淺入深學(xué)習(xí)大數(shù)據(jù)實(shí)戰(zhàn)技術(shù)平臺(tái)軟件的各種相關(guān)知識(shí)，讓學(xué)生掌握大數(shù)據(jù)的相關(guān)常用技能。課程目標(biāo)2學(xué)會(huì)云計(jì)算和大數(shù)據(jù)的相關(guān)技術(shù)和大數(shù)據(jù)模式，以及云計(jì)算和大數(shù)據(jù)處理機(jī)制，以梳理知識(shí)脈絡(luò)和要點(diǎn)的方式把握新技術(shù)。要求學(xué)生學(xué)會(huì)分析問題的思想和方法，為更深入地學(xué)習(xí)和今后的實(shí)踐打下良好的基礎(chǔ)。課程目標(biāo)3：要求學(xué)生了解大數(shù)據(jù)實(shí)戰(zhàn)技術(shù)的發(fā)展方向，根據(jù)具體問題能選擇合適數(shù)據(jù)，選擇和探索相關(guān)的新算法進(jìn)行數(shù)據(jù)處理分析。二、課程目標(biāo)對(duì)畢業(yè)要求的支撐關(guān)系畢業(yè)要求指標(biāo)點(diǎn)課程目標(biāo)權(quán)重指標(biāo)點(diǎn)2.2:能夠通過文獻(xiàn)檢索、資料查詢的基本方法以及網(wǎng)絡(luò)等現(xiàn)代信息技術(shù)獲得可用的知識(shí)、技術(shù)或方法，輔助進(jìn)行復(fù)雜大數(shù)據(jù)工程問題的識(shí)別、分析與表達(dá)。課程目標(biāo)1H指標(biāo)點(diǎn)3.4：針對(duì)大數(shù)據(jù)實(shí)戰(zhàn)，能夠設(shè)計(jì)評(píng)價(jià)和實(shí)施復(fù)雜工程問題的解決方案。課程目標(biāo)2H指標(biāo)點(diǎn)5.1：能夠針對(duì)大數(shù)據(jù)實(shí)戰(zhàn)，為構(gòu)建復(fù)雜工程問題的模擬環(huán)境選擇和使用合適的現(xiàn)代工程工具和信息技術(shù)工具，并能理解其局限性。課程目標(biāo)3M三、教學(xué)內(nèi)容、基本要求、實(shí)驗(yàn)項(xiàng)目與學(xué)時(shí)分配序號(hào)教學(xué)內(nèi)容基本要求及重、難點(diǎn)（含德育要求）學(xué)時(shí)教學(xué)方式對(duì)應(yīng)課程目標(biāo)1大數(shù)據(jù)服務(wù)推薦系統(tǒng)項(xiàng)目?jī)?nèi)容包括：推薦系統(tǒng)可幫助用戶從海量信息中高效地獲得自己所需的信息，不同的推薦方法以及推薦系統(tǒng)在電子商務(wù)、在線音樂等網(wǎng)站中的具體應(yīng)用重點(diǎn)：協(xié)同過濾算法、推薦算法難點(diǎn)：計(jì)算用戶和物品的相似度度德育：積極向上、自主學(xué)習(xí)、團(tuán)隊(duì)合作、探索創(chuàng)新。6講授演示練習(xí)課程目標(biāo)1課程目標(biāo)2課程目標(biāo)32大數(shù)據(jù)個(gè)性化隱私保護(hù)項(xiàng)目?jī)?nèi)容包括：學(xué)習(xí)大數(shù)據(jù)的個(gè)人隱私保護(hù)的相關(guān)概念，研究相關(guān)的隱私保護(hù)技術(shù)。重點(diǎn)：數(shù)據(jù)脫敏、匿名化難點(diǎn)：隱私度量模型，隱私保護(hù)強(qiáng)度衡量德育：積極向上、自主學(xué)習(xí)、團(tuán)隊(duì)合作、探索創(chuàng)新。6講授演示練習(xí)課程目標(biāo)1課程目標(biāo)2課程目標(biāo)33大數(shù)據(jù)網(wǎng)站用戶購物行為分析項(xiàng)目?jī)?nèi)容包括：從網(wǎng)絡(luò)業(yè)務(wù)出發(fā),通過數(shù)據(jù)分析得出結(jié)論并提出改進(jìn)業(yè)務(wù)的方式方法,提升業(yè)務(wù)的銷售額和盈利,為公司創(chuàng)造價(jià)值重點(diǎn)：數(shù)據(jù)集的預(yù)處理分析消費(fèi)者對(duì)商品的行為難點(diǎn)：消費(fèi)者的習(xí)慣挖掘分析搜索德育：積極向上、自主學(xué)習(xí)、團(tuán)隊(duì)合作、探索創(chuàng)新。；4講授演示案例課程目標(biāo)1課程目標(biāo)2課程目標(biāo)34大數(shù)據(jù)物聯(lián)網(wǎng)應(yīng)用項(xiàng)目?jī)?nèi)容包括：學(xué)習(xí)大數(shù)據(jù)物聯(lián)網(wǎng)的體系架構(gòu)與相關(guān)概念，研究相關(guān)的技術(shù)應(yīng)用。重點(diǎn)：物聯(lián)網(wǎng)傳感器的數(shù)據(jù)實(shí)時(shí)處理和存儲(chǔ)難點(diǎn)：將種類繁多傳感數(shù)據(jù)的進(jìn)行及時(shí)歸一化處理德育：積極向上、自主學(xué)習(xí)、團(tuán)隊(duì)合作、探索創(chuàng)新。4講授演示案例課程目標(biāo)1課程目標(biāo)2課程目標(biāo)35大數(shù)據(jù)審計(jì)應(yīng)用項(xiàng)目?jī)?nèi)容包括：學(xué)習(xí)大數(shù)據(jù)在審計(jì)方面平臺(tái)相關(guān)概念，學(xué)習(xí)相關(guān)的審計(jì)子系統(tǒng)數(shù)據(jù)處理。重點(diǎn)：多元大數(shù)據(jù)的整合、檢驗(yàn)分析技術(shù)難點(diǎn)：相似性度量方法，數(shù)據(jù)知識(shí)檢驗(yàn)算法與指標(biāo)提取德育：積極向上、自主學(xué)習(xí)、團(tuán)隊(duì)合作、探索創(chuàng)新。4講授演示案例課程目標(biāo)1課程目標(biāo)2課程目標(biāo)36大數(shù)據(jù)智能交通應(yīng)用項(xiàng)目?jī)?nèi)容包括：學(xué)習(xí)智能交通應(yīng)用相關(guān)概念，研究車聯(lián)網(wǎng)等智能交通大數(shù)據(jù)技術(shù)應(yīng)用。重點(diǎn)：交通大數(shù)據(jù)采集和處理難點(diǎn)：車輛軌跡數(shù)據(jù)處理德育：積極向上、自主學(xué)習(xí)、團(tuán)隊(duì)合作、探索創(chuàng)新。4講授演示案例課程目標(biāo)1課程目標(biāo)2課程目標(biāo)37大數(shù)據(jù)社交網(wǎng)絡(luò)應(yīng)用項(xiàng)目?jī)?nèi)容包括：學(xué)習(xí)大數(shù)據(jù)的在線社交網(wǎng)絡(luò)相關(guān)概念，研究相關(guān)的應(yīng)用技術(shù)。重點(diǎn)：社交網(wǎng)絡(luò)知識(shí)以及相應(yīng)的要素建模難點(diǎn)：社交數(shù)據(jù)量化以及數(shù)據(jù)開放和隱私平衡德育：積極向上、自主學(xué)習(xí)、團(tuán)隊(duì)合作、探索創(chuàng)新。4講授演示案例課程目標(biāo)1課程目標(biāo)2課程目標(biāo)3合計(jì)32序號(hào)實(shí)驗(yàn)項(xiàng)目實(shí)驗(yàn)內(nèi)容與要求學(xué)時(shí)類型對(duì)應(yīng)課程目標(biāo)1大數(shù)據(jù)服務(wù)推薦系統(tǒng)分析服務(wù)推薦系統(tǒng)中的數(shù)據(jù)，利?Hive?具完成對(duì)推薦物品的統(tǒng)計(jì)，包含協(xié)同過濾算法、用戶物品相似度等，同時(shí)將統(tǒng)計(jì)結(jié)果輸出??頁。實(shí)驗(yàn)要求：必修6設(shè)計(jì)討論驗(yàn)證綜合課程目標(biāo)1課程目標(biāo)2課程目標(biāo)32大數(shù)據(jù)個(gè)性化隱私保護(hù)分析大數(shù)據(jù)中的多樣化個(gè)性化數(shù)據(jù)，利?相關(guān)?具完成隱私數(shù)據(jù)處理，包含數(shù)據(jù)脫敏、隱私度量等，同時(shí)將統(tǒng)計(jì)結(jié)果輸出??頁。實(shí)驗(yàn)要求：必修6設(shè)計(jì)討論驗(yàn)證綜合課程目標(biāo)1課程目標(biāo)2課程目標(biāo)33大數(shù)據(jù)網(wǎng)站用戶購物行為分析分析商務(wù)網(wǎng)絡(luò)中客戶的消費(fèi)數(shù)據(jù)，利?Hive?具完成對(duì)客戶購物記錄的統(tǒng)計(jì)，包含商品種類排?、?戶購物時(shí)間等，同時(shí)將統(tǒng)計(jì)結(jié)果輸出??頁。實(shí)驗(yàn)要求：必修4設(shè)計(jì)討論驗(yàn)證綜合課程目標(biāo)1課程目標(biāo)2課程目標(biāo)34大數(shù)據(jù)物聯(lián)網(wǎng)應(yīng)用分析物聯(lián)網(wǎng)中多傳感器數(shù)據(jù)，利?Hive?具完成對(duì)多個(gè)種類數(shù)據(jù)的進(jìn)行及時(shí)歸一化處理，同時(shí)將統(tǒng)計(jì)結(jié)果輸出??頁。實(shí)驗(yàn)要求：必修4設(shè)計(jì)討論驗(yàn)證綜合課程目標(biāo)1課程目標(biāo)2課程目標(biāo)35大數(shù)據(jù)審計(jì)平臺(tái)應(yīng)用對(duì)審計(jì)方面數(shù)據(jù)進(jìn)?實(shí)踐分析，利?Hive?具以及相關(guān)工具完成對(duì)多元大數(shù)據(jù)的整合、檢驗(yàn)和分析，同時(shí)將統(tǒng)計(jì)結(jié)果輸出??頁。實(shí)驗(yàn)要求：必修4設(shè)計(jì)討論驗(yàn)證綜合課程目標(biāo)1課程目標(biāo)2課程目標(biāo)36大數(shù)據(jù)智能交通應(yīng)用分析智能交通中的數(shù)據(jù)，利?Hive?具完成對(duì)交通數(shù)據(jù)的統(tǒng)計(jì)，包含車輛出行方向、軌跡數(shù)據(jù)等，同時(shí)將統(tǒng)計(jì)結(jié)果輸出??頁。實(shí)驗(yàn)要求：選修4設(shè)計(jì)討論驗(yàn)證綜合課程目標(biāo)1課程目標(biāo)2課程目標(biāo)37大數(shù)據(jù)社交網(wǎng)絡(luò)應(yīng)用分析社交網(wǎng)絡(luò)中用戶?志的數(shù)據(jù)，利?Hive?具完成對(duì)社交用戶出現(xiàn)頻率的統(tǒng)計(jì)，包含關(guān)鍵詞排?、?戶習(xí)慣點(diǎn)擊、訪問?標(biāo)等，同時(shí)將統(tǒng)計(jì)結(jié)果輸出??頁。實(shí)驗(yàn)要求：選修4設(shè)計(jì)討論驗(yàn)證綜合課程目標(biāo)1課程目標(biāo)2課程目標(biāo)3合計(jì)32注：實(shí)驗(yàn)要求包括必修、選修；實(shí)驗(yàn)類型包括演示、驗(yàn)證、綜合、設(shè)計(jì)等，后兩類占比大于80%。四、課程教學(xué)方法如集中講授、演示、學(xué)習(xí)、案例等教學(xué)方式五、學(xué)業(yè)評(píng)價(jià)和課程考核推行多元評(píng)價(jià)，對(duì)本課程所采用的評(píng)價(jià)和考核方式作具體說明，若采用多種考核方法請(qǐng)分別列出考核評(píng)價(jià)的方法、內(nèi)容、考核標(biāo)準(zhǔn)、成績(jī)占比等，考核方法、內(nèi)容應(yīng)突出“學(xué)生中心、產(chǎn)出導(dǎo)向”。（一）考核方式及具體要求序號(hào)教學(xué)環(huán)節(jié)課程目標(biāo)1（分值）課程目標(biāo)2（分值）課程目標(biāo)3（分值）合計(jì)1平時(shí)作業(yè)32272課堂表現(xiàn)33393實(shí)驗(yàn)操作121010324實(shí)驗(yàn)報(bào)告22201052課程目標(biāo)對(duì)應(yīng)分值403525100（二）考核與評(píng)價(jià)標(biāo)準(zhǔn)1.平時(shí)成績(jī)考核與評(píng)價(jià)標(biāo)準(zhǔn)分值觀測(cè)點(diǎn)90-100分70-89分60-69分0-59分作業(yè)按時(shí)完成，90%以上的作業(yè)內(nèi)容齊全，基本知識(shí)點(diǎn)理解、掌握到位。能夠利用理論知識(shí)識(shí)別、分析大數(shù)據(jù)領(lǐng)域相關(guān)專業(yè)問題。按時(shí)完成，70%以上的作業(yè)內(nèi)容齊全，基本知識(shí)點(diǎn)理解、掌握較到位。能夠較好利用理論知識(shí)識(shí)別、分析大數(shù)據(jù)相關(guān)專業(yè)問題。延時(shí)完成，60%以上的作業(yè)內(nèi)容齊全，基本知識(shí)點(diǎn)理解、掌握基本到位。利用理論知識(shí)對(duì)大數(shù)據(jù)有一定的識(shí)別、分析。不交和補(bǔ)交，50%以下的作業(yè)內(nèi)容齊全，基本知識(shí)點(diǎn)理解、掌握有偏差。不能利用理論知識(shí)對(duì)大數(shù)據(jù)領(lǐng)域相關(guān)專業(yè)問題進(jìn)行識(shí)別、分析。2.課堂表現(xiàn)評(píng)價(jià)標(biāo)準(zhǔn)出勤，遲到1次扣0.5分，無故曠課1次扣1分；上課玩手機(jī)1次扣1分，擾亂課堂秩序1次扣1分；參與課堂討論加1分。3.實(shí)驗(yàn)評(píng)價(jià)標(biāo)準(zhǔn)分值觀測(cè)點(diǎn)90-100分70-89分60-69分0-59分課程論文獨(dú)立正確完成實(shí)驗(yàn)內(nèi)容，方法具有一定的創(chuàng)新性，認(rèn)真撰寫實(shí)驗(yàn)報(bào)告和實(shí)驗(yàn)心得和總結(jié)。實(shí)驗(yàn)報(bào)告內(nèi)容完整。能根據(jù)實(shí)驗(yàn)要求自主設(shè)計(jì)實(shí)驗(yàn)方案，代碼比較規(guī)范，實(shí)驗(yàn)完成度高，效果比較好。實(shí)驗(yàn)報(bào)告內(nèi)容比較完整。獨(dú)立正確完成實(shí)驗(yàn)，方法沒有太多創(chuàng)新，提交實(shí)驗(yàn)報(bào)告和總結(jié)。實(shí)驗(yàn)報(bào)告基本完整。基本能根據(jù)實(shí)驗(yàn)要求自主設(shè)計(jì)實(shí)驗(yàn)方案，實(shí)驗(yàn)完成度較差，效果較差。實(shí)驗(yàn)報(bào)告不完整。4.期末試卷考核與評(píng)價(jià)標(biāo)準(zhǔn)根據(jù)期末考試及評(píng)分標(biāo)準(zhǔn)評(píng)分（百分制）。六、教材與參考書（一）推薦教材1．《大數(shù)據(jù)基礎(chǔ)編程、實(shí)驗(yàn)和案例教程》，林子雨主編，清華大學(xué)出版社第二版，2020年10月出版；2．《實(shí)戰(zhàn)大數(shù)據(jù)（Hadoop+S