《大數(shù)據(jù)案例分析與應用》教學大綱

《大數(shù)據(jù)案例分析與應用》教學大綱課程編號：06220229英文名稱：BigDataCaseAnalysisandApplication學分：3學時：總學時64學時，其中理論32學時，實驗32學時先修課程：管理信息系統(tǒng)、高等數(shù)學、數(shù)據(jù)挖掘原理與應用、軟件開發(fā)工具實訓課程類別：專業(yè)必修課程授課對象：大數(shù)據(jù)管理與應用專業(yè)學生教學單位：商學院修讀學期：第4學期一、課程描述和目標本課程主要針對各個行業(yè)大數(shù)據(jù)的分析和處理，內(nèi)容上涉及到之前所學到的大數(shù)據(jù)相關內(nèi)容：包括大數(shù)據(jù)系統(tǒng)和平臺技術、海量數(shù)據(jù)處理，數(shù)據(jù)采集和數(shù)據(jù)清洗，大數(shù)據(jù)生態(tài)，數(shù)據(jù)挖掘，可視化等。框架上會涉及到：Hadoop、Spark、kafka、kibana、redis、echarts等，目的是將所學習的技能進行綜合應用，解決各行業(yè)實際項目中的真實問題。通過實際案例的分析和討論，了解大數(shù)據(jù)在不同領域的應用，掌握大數(shù)據(jù)處理和分析的方法和技巧，培養(yǎng)解決實際問題的能力。課程目標：1．專業(yè)知識方面。掌握大數(shù)據(jù)的基本概念、特點，掌握大數(shù)據(jù)系統(tǒng)開發(fā)的基本概念只是和算法知識。2．專業(yè)能力方面。熟練掌握大數(shù)據(jù)的收集、存儲、處理和分析技術運用能力，能夠熟悉大數(shù)據(jù)工具和平臺并運用大數(shù)據(jù)管理工具進行數(shù)據(jù)分析并解決實際問題。3．綜合能力和素質(zhì)方面。能夠綜合掌握數(shù)據(jù)整理、統(tǒng)計技術選擇、大數(shù)據(jù)軟件應用、海量數(shù)據(jù)處理、大數(shù)據(jù)挖掘和統(tǒng)計分析報告撰寫等基本技能，實施完整的大數(shù)據(jù)分析。強化學生在應用大數(shù)據(jù)分析工具實踐中的道德品質(zhì)與倫理素養(yǎng)，要求學生在其中培養(yǎng)愛國敬業(yè)、誠實守信等基本素質(zhì)。二、課程目標對畢業(yè)要求的支撐關系畢業(yè)要求指標點課程目標權重專業(yè)素養(yǎng)：2-1課程目標1M實踐應用能力：3-1、3-2課程目標2、3H人文道德素養(yǎng)：1-1課程目標3M三、教學內(nèi)容、基本要求與學時分配序號教學內(nèi)容基本要求及重、難點（含德育要求）學時教學方式對應課程目標1大數(shù)據(jù)概述1.1大數(shù)據(jù)的定義和特點（1）介紹大數(shù)據(jù)的定義，強調(diào)其對數(shù)據(jù)量、速度、多樣性和價值的要求（2）解釋大數(shù)據(jù)分析的意義和作用1.2大數(shù)據(jù)的挑戰(zhàn)和機遇：（1）分析大數(shù)據(jù)帶來的挑戰(zhàn)，如數(shù)據(jù)獲取、處理和隱私保護等（2）探討大數(shù)據(jù)的機遇，如商業(yè)洞察、科學研究和社會決策等4集中講授課程目標1、22大數(shù)據(jù)技術與工具2.1分布式計算與存儲技術（1）介紹分布式計算和存儲的基本概念和原理（2）解釋如何利用分布式技術處理大數(shù)據(jù)2.2大數(shù)據(jù)處理和分析工具介紹（1）簡要介紹Hadoop、Spark、Flink等大數(shù)據(jù)處理和分析工具的特點和應用領域（2）強調(diào)在實際應用中如何選擇適合的工具以及工具的生態(tài)系統(tǒng)4集中講授課程目標1、2、33大數(shù)據(jù)收集與存儲3.1數(shù)據(jù)收集的方法和技術（1）介紹傳統(tǒng)和新型數(shù)據(jù)收集方法，如傳感器數(shù)據(jù)、社交媒體數(shù)據(jù)和日志數(shù)據(jù)等（2）探討數(shù)據(jù)采集過程中的挑戰(zhàn)，如數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全和數(shù)據(jù)持續(xù)性等3.2大數(shù)據(jù)存儲與管理（1）介紹大數(shù)據(jù)存儲的不同方式，如關系型數(shù)據(jù)庫、NoSQL數(shù)據(jù)庫和數(shù)據(jù)倉庫等（2）探討大數(shù)據(jù)存儲管理的挑戰(zhàn)，如數(shù)據(jù)一致性、數(shù)據(jù)安全性和數(shù)據(jù)備份等2集中講授課程目標1、24數(shù)據(jù)清洗與預處理4.1數(shù)據(jù)清洗的目的和方法（1）解釋數(shù)據(jù)清洗的重要性和作用，如去除噪聲、填充缺失值和處理異常值等（2）探討常用的數(shù)據(jù)清洗方法和技術，如數(shù)據(jù)去重、數(shù)據(jù)歸一化和數(shù)據(jù)轉(zhuǎn)換等4.2數(shù)據(jù)預處理技術（1）介紹數(shù)據(jù)預處理的步驟和方法，如特征選擇、特征變換和數(shù)據(jù)集劃分等（2）解釋數(shù)據(jù)預處理在大數(shù)據(jù)分析中的重要性和挑戰(zhàn)，如維度災難和特征選擇等4集中講授、案例討論課程目標1、2、35數(shù)據(jù)分析與建模5.1數(shù)據(jù)分析的基本方法和技巧（1）掌握數(shù)據(jù)分析的基本步驟，包括數(shù)據(jù)探索、數(shù)據(jù)可視化和數(shù)據(jù)模型構建等（2）強調(diào)數(shù)據(jù)分析中常用的統(tǒng)計學和機器學習方法，如回歸分析、聚類分析和分類算法等5.2數(shù)據(jù)建模與預測（1）掌握數(shù)據(jù)建模的概念和方法，如回歸模型、決策樹和神經(jīng)網(wǎng)絡等（2）熟悉數(shù)據(jù)建模和預測在實際應用中的挑戰(zhàn)，如過擬合、模型評估和模型解釋等4集中講授、案例討論課程目標1、2、36實時數(shù)據(jù)處理與流式分析6.1實時數(shù)據(jù)處理的概念和應用（1）熟悉實時數(shù)據(jù)處理的特點和優(yōu)勢，如低延遲和動態(tài)性能等（2）掌握實時數(shù)據(jù)處理的常用場景，如金融交易、網(wǎng)絡監(jiān)控和物聯(lián)網(wǎng)等6.2流式數(shù)據(jù)分析的方法和工具（1）掌握流式數(shù)據(jù)分析的基本概念和流式計算模型，如Storm、Samza和Kafka等（2）掌握流式數(shù)據(jù)處理在數(shù)據(jù)實時分析和洞察中的應用和挑戰(zhàn)2集中講授、案例討論課程目標1、27大數(shù)據(jù)在營銷領域的應用7.1個性化推薦系統(tǒng)（1）分析個性化推薦系統(tǒng)的原理和應用場景，如電商和音樂推薦等（2）強調(diào)大數(shù)據(jù)在個性化推薦中的作用和挑戰(zhàn)，如數(shù)據(jù)稀疏和冷啟動等7.2智能廣告投放（1）介紹智能廣告投放的原理和應用，如定向投放和內(nèi)容匹配等（2）解釋大數(shù)據(jù)在智能廣告投放中的作用和挑戰(zhàn)，如隱私保護和用戶反饋等4集中講授課程目標1、28大數(shù)據(jù)在金融領域的應用8.1風險識別與控制（1）探討大數(shù)據(jù)在金融風險識別和控制中的應用，如信用風險和市場風險等（2）分析大數(shù)據(jù)在風險識別中的角色和挑戰(zhàn)，如數(shù)據(jù)質(zhì)量和模型復雜性等8.2信用評估與欺詐檢測（1）介紹大數(shù)據(jù)在信用評估和欺詐檢測中的應用，如個人信用評分和交易欺詐檢測等（2）強調(diào)大數(shù)據(jù)對信用評估和欺詐檢測的貢獻和挑戰(zhàn)，如數(shù)據(jù)隱私和模型解釋等2集中講授課程目標1、29大數(shù)據(jù)在醫(yī)療領域的應用9.1醫(yī)療數(shù)據(jù)分析與預測（1）分析大數(shù)據(jù)在醫(yī)療數(shù)據(jù)分析和預測中的應用，如疾病預測和醫(yī)療資源優(yōu)化等（2）探討大數(shù)據(jù)對醫(yī)療數(shù)據(jù)分析和預測的挑戰(zhàn)，如數(shù)據(jù)安全和數(shù)據(jù)隱私等9.2個性化醫(yī)療推薦（1）掌握個性化醫(yī)療推薦的原理和應用，如個體化治療和健康管理等（2）熟悉大數(shù)據(jù)在個性化醫(yī)療推薦中的作用和挑戰(zhàn)，如數(shù)據(jù)可靠性和模型解釋性。2集中講授課程目標1、210大數(shù)據(jù)在城市管理領域的應用10.1智慧交通系統(tǒng)（1）探討大數(shù)據(jù)在智慧交通系統(tǒng)中的應用，如交通流預測和擁堵疏導等（2）分析大數(shù)據(jù)對智慧交通系統(tǒng)的挑戰(zhàn)，如數(shù)據(jù)實時性和數(shù)據(jù)一致性等10.2環(huán)境監(jiān)測與資源優(yōu)化（1）熟悉大數(shù)據(jù)在環(huán)境監(jiān)測和資源優(yōu)化中的應用，如空氣質(zhì)量監(jiān)測和能源管理等（2）強調(diào)大數(shù)據(jù)在環(huán)境監(jiān)測和資源優(yōu)化中的作用和挑戰(zhàn)，如數(shù)據(jù)準確性和數(shù)據(jù)可視化等2集中講授課程目標1、2合計32序號實驗項目實驗內(nèi)容與要求學時類型對應課程目標1數(shù)據(jù)收集與清洗實驗實驗內(nèi)容：學生需要選擇一個特定領域的數(shù)據(jù)集，并使用相應的數(shù)據(jù)收集技術（如Web爬蟲、API接口等）獲取數(shù)據(jù)。然后，學生需要對收集到的數(shù)據(jù)進行清洗，包括去除重復數(shù)據(jù)、處理缺失值和異常值等。實驗要求：1.學生能夠選擇適當?shù)臄?shù)據(jù)集和數(shù)據(jù)收集方法；2.學生能夠獨立完成數(shù)據(jù)收集和清洗的過程；3.學生需要展示清洗后的數(shù)據(jù)，并解釋清洗過程中的處理策略。4演示課程目標1、22大數(shù)據(jù)處理與分析實驗實驗內(nèi)容：學生需要使用大數(shù)據(jù)處理工具（如Hadoop、Spark等）對收集到的數(shù)據(jù)進行處理和分析。包括數(shù)據(jù)轉(zhuǎn)換、特征提取、聚類分析等操作，并對分析結(jié)果進行解釋和討論。實驗要求：1.學生能夠熟練使用大數(shù)據(jù)處理工具進行數(shù)據(jù)處理和分析；2.學生能夠選擇和應用適當?shù)臄?shù)據(jù)處理和分析方法；3.學生需要展示數(shù)據(jù)處理和分析的結(jié)果，并進行結(jié)果解釋和討論。4演示課程目標1、23實時數(shù)據(jù)流處理實驗實驗內(nèi)容：學生需要使用流處理引擎（如Flink、Kafka等）對實時數(shù)據(jù)流進行處理和分析。學生需要設計流處理任務，包括數(shù)據(jù)窗口計算、數(shù)據(jù)聚合和模式識別等，并實時監(jiān)控和可視化處理結(jié)果。實驗要求：1.學生能夠理解實時數(shù)據(jù)流處理的基本概念和原理；2.學生能夠使用流處理引擎設計和實現(xiàn)實時數(shù)據(jù)處理任務；3.學生需要展示實時數(shù)據(jù)處理的結(jié)果，并解釋處理過程和效果。4綜合課程目1、2、34大數(shù)據(jù)應用案例實驗（一）實驗內(nèi)容：學生可以選擇營銷領域的一個具體應用案例（如個性化推薦系統(tǒng)），并基于收集到的數(shù)據(jù)進行分析和應用。學生需要設計和實現(xiàn)相關的算法和模型，并對應用效果進行評估和優(yōu)化。實驗要求：1.學生能夠理解所選擇應用案例的原理和關鍵技術；2.學生能夠獨立完成算法和模型的設計與實現(xiàn)；3.學生需要展示應用結(jié)果，并對效果進行評估和優(yōu)化。4綜合課程目標1、2、35大數(shù)據(jù)應用案例實驗（二）實驗內(nèi)容：學生可以選擇金融領域的一個具體應用案例（如風險識別與控制），并基于收集到的數(shù)據(jù)進行分析和應用。學生需要設計和實現(xiàn)相關的模型和策略，并對應用效果進行評估和改進。實驗要求：1.學生能夠理解所選擇應用案例的背景和特點；2.學生能夠獨立完成模型和策略的設計與實現(xiàn)；3.學生需要展示應用結(jié)果，并對效果進行評估和改進。4綜合課程目標1、2、36大數(shù)據(jù)應用案例實驗（三）實驗內(nèi)容：學生可以選擇醫(yī)療領域的一個具體應用案例（如個性化醫(yī)療推薦），并基于收集到的數(shù)據(jù)進行分析和應用。學生需要設計和實現(xiàn)相關的模型和算法，并對應用效果進行評估和調(diào)優(yōu)。實驗要求：1.學生能夠了解所選擇應用案例的研究現(xiàn)狀和挑戰(zhàn)；2.學生能夠獨立完成模型和算法的設計與實現(xiàn)；3.學生需要展示應用結(jié)果，并對效果進行評估和調(diào)優(yōu)。4綜合課程目標1、2、37實驗項目七：大數(shù)據(jù)應用案例實驗（四）實驗內(nèi)容：學生可以選擇城市管理領域的一個具體應用案例（如智慧交通系統(tǒng)），并基于收集到的數(shù)據(jù)進行分析和應用。學生需要設計和實現(xiàn)相關的系統(tǒng)和算法，并對應用效果進行評估和優(yōu)化。實驗要求：1.學生能夠了解所選擇應用案例的需求和挑戰(zhàn)；2.學生能夠獨立完成系統(tǒng)和算法的設計與實現(xiàn)；3.學生需要展示應用結(jié)果，并對效果進行評估和優(yōu)化。4綜合課程目標1、2、38大數(shù)據(jù)應用案例實驗（五）實驗內(nèi)容：學生可以選擇自己感興趣的領域，設計并完成一個大數(shù)據(jù)應用案例項目。學生需要自行確定所選擇領域的問題和數(shù)據(jù)，并采用適當?shù)姆椒ㄟM行分析和應用。實驗要求：1.學生需要設計和實現(xiàn)具體案例項目的整體流程和實施方案；2.學生需要獨立完成案例項目的數(shù)據(jù)分析和應用實現(xiàn)；3.學生需要展示項目結(jié)果，并對方法和效果進行總結(jié)和討論。4綜合課程目標1、2、3合計32四、課程教學方法如集中講授、小組討論等教學方式五、學業(yè)評價和課程考核推行多元評價，對本課程所采用的評價和考核方式作具體說明，若采用多種考核方法請分別列出考核評價的方法、內(nèi)容、考核標準、成績占比等，考核方法、內(nèi)容應突出“學生中心、產(chǎn)出導向”。（以下以工科某課程為例，僅供參考。各課程要按課程實際情況設計填寫）（一）考核方式及具體要求1.課程成績構成與要求課程考核注重形成性和終結(jié)性評價相結(jié)合，考核內(nèi)容主要由平時作業(yè)、章節(jié)測試、期末考核組成，均按百分制計分，其中平時作業(yè)成績占30%、章節(jié)測試成績占10%、期末考核成績占60%。2.課程目標達成考核與評價序號教學環(huán)節(jié)課程目標1（分值）課程目標2（分值）課程目標3（分值）合計1平時作業(yè)15105302章節(jié)測試532103期末考試30201060課程目標對應分值503317100（二）考核與評價標準1.平時成績考核與評價標準分值觀測點90-100分70-89分60-69分0-59分作業(yè)按時完成，90%以上的作業(yè)內(nèi)容齊全，基本知識點理解、掌握到位。能夠利用理論知識識別、分析大數(shù)據(jù)管理與應用相關專業(yè)問題。按時完成，70%以上的作業(yè)內(nèi)容齊全，基本知識點理解、掌握較到位。能夠較好利用理論知識識別、分析大數(shù)據(jù)管理與應用領域相關專業(yè)問題。延時完成，60%以上的作業(yè)內(nèi)容齊全，基本知識點理解、掌握基本到位。利用理論知識對大數(shù)據(jù)管理與應用相關專業(yè)問題有一定的識別、分析。不交和補交，50%以下的作業(yè)內(nèi)容齊全，基本知識點理解、掌握有偏差。不能利用理論知識對大數(shù)據(jù)管理與應用相關專業(yè)問題進行識別、分析。2.章節(jié)測試與評價標準章節(jié)測試根據(jù)測試題目及評分標注進行打分（