2025年《數據采集與處理》課程標準VIP

2/2《數據采集與處理》課程標準課程名稱：數據采集與處理課程代碼：3180537適用專業(yè)：商務數據分析與應用課程性質：專業(yè)核心課學時：54學時（理論：26實踐：28）學分：3學分一、課程概述（一）課程性質與任務《數據采集與處理》課程是商務數據分析與應用專業(yè)的一門專業(yè)核心課，對商務數據分析與應用能力的培養(yǎng)起著重要的支撐作用。通過本課程的學習，學生能夠掌握數據采集和數據處理的知識與方法，通過企業(yè)數據系統(tǒng)、Python等工具或途徑獲取內、外部數據；能夠通過Excel、Pentaho、Informatica等數據ETL工具對數據進行清洗，并根據分析的目的和主題對數據進行整理，掌握數據采集與處理的能力。（二）課程設計思路本課程根據數據分析崗位的能力要求而設置，主要工作任務是根據數據分析需求進行數據采集、清洗和整理等操作，最終形成可供分析的業(yè)務數據。依據該崗位的真實業(yè)務內容與流程選取課程內容、構建學習單元，將數據采集與處理的基本知識、方法、工具與相關實際工作任務結合，選擇合適的工具對企業(yè)內外部進行采集、清洗和整理，形成可供后續(xù)分析的業(yè)務數據，從而培養(yǎng)學生數據采集和處理的能力。二、培養(yǎng)目標與要求（一）總體目標與要求學生通過《數據采集與處理》課程的學習，能夠根據企業(yè)數據化運營的需求，使用合適的工具對企業(yè)供應鏈、運營、市場等內外部數據進行采集，完成缺失數據、重復數據、異常數據、錯誤數據及不一致數據的清洗工作，將多個數據源的數據合并整理形成業(yè)務數據，使學生具備數據采集與處理能力。（二）具體目標與要求1.素質（1）具備互聯網思維、結構化思維和邏輯思維；（2）具有環(huán)境適應能力、耐心細致的工作態(tài)度、精益求精的工匠精神；（3）對數據具有敏感性，有一定的設計和創(chuàng)新能力；（4）具備信息分析、情報分析、社會熱點事件、追蹤的敏感意識，具備全球視野；（5）具備法律意識，能自覺遵守相關法律、行業(yè)法規(guī)規(guī)范和企業(yè)規(guī)章制度，嚴守公司數據保密制度。2.知識了解數據采集和數據處理的流程邏輯，熟悉數據采集和數據處理的基本知識與方法，掌握Excel、Pentaho、Informatica等數據ETL工具。3.能力（1）能夠運用行業(yè)基本知識、數據分析的常用指標，熟練設計數據采集方案，構建數據指標采集體系；（2）能夠運用企業(yè)內外部數據收集的常用方法，通過企業(yè)數據平臺、問卷調查、爬蟲工具等途徑獲取企業(yè)內外部數據；（3）能夠運用數據清洗的知識和方法，通過Excel、Pentaho、Informatica等數據ETL工具對數據進行清洗；（4）能夠運用數據處理的知識和常用方法通過Excel、Pentaho、Informatica等數據ETL工具對數據進行抽取、合并、轉換等操作，完成對數據的加工；（5）能夠運用數據處理的知識和常用方法，通過Excel、SPSS等工具進行數據分類、整理、匯總和導入，加載到指定的數據儲存位置。三、課程結構與內容（一）課程結構與進程安排課程結構與進程安排見下表：表1《數據采集與處理》課程結構與進程表學習任務（項目）子任務（項目）課時周學時/周次項目一：數據源確定采集方案設計44/第2周采集工具選擇64/第3—4周項目二：數據采集企業(yè)數據平臺采集64/第4—5周數據庫查詢工具采集64/第6—7周外部數據采集84/第7—9周項目三：數據清洗Excel數據清洗44/第9—10周Pentaho數據清洗、44/第10—11周Informatica數據清洗44/第11—12周項目四：數據整理數據抽取44/第12—13周數據轉換44/第13—14周數據加載44/第14—15周備注：本課程安排在第2學期，實際執(zhí)行計劃中課程周學時和周次可結合師資、教室等實際情況進行微調。（二）教學內容1.課程內容安排學習任務（項目）描述、結構與內容、目標與要求及學時分配（總學時：54，理論26/實踐28）見下表：表2《數據采集與處理》課程教學內容表序號學習任務（項目）子任務（項目）教學內容課時數（理論/實踐）目標與要求（知識點、能力點、素質點）教學方式（教學方法、教學手段）教學場地1數據源確定采集方案設計能夠運用數據檢索、采集的基本理論知識和方法設計合理的采集方案4（2/2）數據檢索、采集的基本理論知識和方法理論講授，實操教室，機房采集工具選擇能明確數據分析所需的數據，選擇合適的采集工具6（2/4）數據采集的基本理論知識，能明確數據分析所需的數據，選擇合適的采集工具理論講授，實操教室，機房2數據采集企業(yè)數據平臺采集下載或導出直接獲得企業(yè)內部數據6（4/2）能夠運用企業(yè)內部數據收集的基本流程和常用方法，通過企業(yè)數據平臺等途徑下載或導出直接獲得內部數據理論講授，實操教室，機房數據庫查詢工具采集用數據庫查詢工具將數據從數據庫中導出6（2/4）能夠運用企業(yè)內部數據收集的基本流程和常用方法，通過數據庫查詢工具將數據從數據庫中導出，獲得內部數據理論講授，實操教室，機房外部數據采集通過爬蟲工具等途徑采集外部數據8（4/4）能夠運用企業(yè)外部數據采集的基本流程和常用方法，通過爬取工具等途徑采集外部數據理論講授，實操教室，機房Excel數據清洗完成缺失數據、重復數據、異常數據、錯誤數據及不一致數據的清洗工作4（2/2）能夠運用數據清洗的知識和方法，通過Exce完成缺失數據、重復數據、異常數據、錯誤數據及不一致數據的清洗工作理論講授，實操教室，機房3數據清洗Pentaho數據清洗、Informatica數據清洗完成缺失數據、重復數據、異常數據、錯誤數據及不一致數據的清洗工作4（2/2）能夠運用數據清洗的知識和方法，通過Pentah完成缺失數據、重復數據、異常數據、錯誤數據及不一致數據的清洗工作理論講授，實操教室，機房完成缺失數據、重復數據、異常數據、錯誤數據及不一致數據的清洗工作4（2/2）能夠運用數據清洗的知識和方法，通過Informatica完成缺失數據、重復數據、異常數據、錯誤數據及不一致數據的清洗工作理論講授，實操教室，機房數據抽取應用數據ETL工具進行數據抽取工具4（2/2）能夠運用數據處理的策略和方法，通過Excel、Pentaho、Informatica等數據ETL工具進行數據抽取工作理論講授，實操教室，機房4數據整理數據轉換應用數據ETL工具進行數據抽取工具4（2/2）能夠運用數據處理的基礎知識和常用方法，通過Excel、Pentaho、Informatica等數據ETL工具進行數據轉換工作理論講授，實操教室，機房數據加載數據加載至指定的數據存儲位置4（2/2）能夠運用數據存儲的常用方法，通過Excel、Pentaho、Informatica等數據ETL工具將數據加載指定的數據存儲位置理論講授，實操教室，機房2.課程實驗（實訓）安排課程中開設的實驗（實訓）教學內容參考下表：表3實驗（實訓）教學內容標準表實驗（實訓）項目名稱：數據采集與處理綜合實訓參考學時28實驗目的通過本項目實訓，讓學生將數據采集與處理的基本知識、方法、工具與相關實際工作任務結合，選擇合適的工具對企業(yè)內外部進行采集、清洗和整理，儀器設備計算機房一間，容納學生50人，計算機50臺，能夠上網。場地要求多媒體設備可供學生演示匯報成果。實訓內容按照任務單要求進行數據源確定、數據采集、數據清洗、數據整理并形成數據文件實訓項目名稱主要內容目的要求學時數據源確定采集方案設計數據檢索、采集的基本理論知識和方法2采集工具選擇數據采集的基本理論知識，能明確數據分析所需的數據，選擇合適的采集工具4數據采集企業(yè)數據平臺采集能夠運用企業(yè)內部數據收集的基本流程和常用方法，通過企業(yè)數據平臺等途徑下載或導出直接獲得內部數據2數據庫查詢工具采集能夠運用企業(yè)內部數據收集的基本流程和常用方法，通過數據庫查詢工具將數據從數據庫中導出，獲得內部數據4外部數據采集能夠運用企業(yè)外部數據采集的基本流程和常用方法，通過爬取工具等途徑采集外部數據4Excel數據清洗能夠運用數據清洗的知識和方法，通過Exce完成缺失數據、重復數據、異常數據、錯誤數據及不一致數據的清洗工作2數據清洗Pentaho數據清洗能夠運用數據清洗的知識和方法，通過Pentah完成缺失數據、重復數據、異常數據、錯誤數據及不一致數據的清洗工作2Informatica數據清洗能夠運用數據清洗的知識和方法，通過Informatica完成缺失數據、重復數據、異常數據、錯誤數據及不一致數據的清洗工作2數據整理數據抽取能夠運用數據處理的策略和方法，通過Excel、Pentaho、Informatica等數據ETL工具進行數據抽取工作2數據轉換能夠運用數據處理的基礎知識和常用方法，通過Excel、Pentaho、Informatica等數據ETL工具進行數據轉換工作2數據加載能夠運用數據存儲的常用方法，通過Excel、Pentaho、Informatica等數據ETL工具將數據加載指定的數據存儲位置2成果任務單作品文件展示考核評價過程性評價，占課程成績30%四、課程實施與保障（一）教材的選用及編寫建議依據課程標準選擇與編寫教材。教材應充分體現工學結合、任務驅動、項目教學的課程設計思想，要體現通用性、實用性、先進性，項目活動載體的選擇要科學。優(yōu)先選用高職教育國家規(guī)劃教材，省級規(guī)劃教材、全國電子商務職業(yè)教學指導員會推薦教材。（二）教學參考資料推薦建議暫無（三）主要教學方法建議1.教學方法多樣化，教學內容真實化。建議教師在教學過程中通過案例激發(fā)學生思考，基于真實的第三方平臺店鋪運營數據和抓取的外部數據來布置任務，驅動教學，從而提高學生學習積極性，提高學生的實操能力。2.教學手段團隊化。利用多媒體、網絡平臺、信息系統(tǒng)、視屏錄像等現代手段，強化實踐操作技能的訓練，提高課堂教學效率。3.教學組織團隊化。運營管理實踐工作都是以團隊形式完成的，教學過程中同樣采取分組方式來組織實踐教學。每項實踐活動都是一個完整的工作過程，因此都可以成立類似于企業(yè)中的一個工作小組；每小組由5～6人組成，小組工作要按企業(yè)化運作，實行組長負責制；并在班級或年級內開展小組競賽，培養(yǎng)學生的團隊協(xié)作能力和職業(yè)意識，提高學生的管理能力。（四）其他教學資源配置《數據采集與處理》課程建議安排在校內實訓室和校外實習基地上課，實現教學場所與職業(yè)場所的一體化，以提高學習效率。建議本課程配套至少1個商務數據分析與應用實訓室和多個校外實習基地。校內實訓室應安裝Excel、Pentaho、Informatica、Python等數據采集軟件，并安裝SQLServer、MySQL、Oracle等數據庫系，具備課程相應的數據源資料。（五）課程教學團隊建議本課程建議采用專任教師和兼職教