職業(yè)能力提升行動《大數(shù)據(jù)應(yīng)用開發(fā)》培訓(xùn)課程標準

編號類別信息技術(shù)類珠海市職業(yè)技能提升行動《》培訓(xùn)課程標準珠海市職業(yè)技能培訓(xùn)課程標準委員會辦公室2020年3月

目錄一、培訓(xùn)說明 31.課程名稱 32.標準定義 33.培訓(xùn)對象 3二、培訓(xùn)目標 31.職業(yè)素養(yǎng)目標 42.理論知識目標 43.開發(fā)技能目標 5三、課時分配 51.總培訓(xùn)課時 52.培訓(xùn)課時分配表 6四、培訓(xùn)要求與培訓(xùn)內(nèi)容 7五、推薦教材 9六、培訓(xùn)實施 101.培訓(xùn)師資 102.培訓(xùn)場地 103.實訓(xùn)設(shè)備 104.培訓(xùn)方法 115.課程資源 11七、考核評價 121.考核方式 122.考核內(nèi)容 123.考核標準 134.考核時間 135.考核設(shè)施 13八、編寫說明 13

《大數(shù)據(jù)應(yīng)用開發(fā)》課程標準一、培訓(xùn)說明1.課程名稱大數(shù)據(jù)應(yīng)用開發(fā)2.標準定義運用Python程序設(shè)計語言，實現(xiàn)大數(shù)據(jù)采集工具、大數(shù)據(jù)統(tǒng)計分析、數(shù)據(jù)預(yù)處理及數(shù)據(jù)挖掘建模，最后應(yīng)用Web技術(shù)完成大數(shù)據(jù)可視化呈現(xiàn)。具備在企事業(yè)單位數(shù)據(jù)分析和數(shù)據(jù)運營崗位進行數(shù)據(jù)采集、數(shù)據(jù)分析和數(shù)據(jù)可視化呈現(xiàn)的應(yīng)用開發(fā)能力。3.培訓(xùn)對象從事大數(shù)據(jù)系統(tǒng)工程需求分析及設(shè)計的人員、數(shù)據(jù)分析應(yīng)用的開發(fā)人員、數(shù)據(jù)運營的工程技術(shù)人員。二、培訓(xùn)目標掌握大數(shù)據(jù)采集、大數(shù)據(jù)分析（描述性和預(yù)測性）和大數(shù)據(jù)可視化呈現(xiàn)的基本技術(shù)與工作流程，熟練掌握Python程序設(shè)計及數(shù)據(jù)庫操作方法，能在企事業(yè)單位從事技術(shù)管理和咨詢服務(wù)崗位常規(guī)工作。通過培訓(xùn)，學(xué)員遵循國家和行業(yè)有關(guān)標準，按照大數(shù)據(jù)分析規(guī)范化流程，分析行業(yè)/企業(yè)發(fā)展現(xiàn)狀與競爭環(huán)境，開展業(yè)務(wù)風(fēng)險評判與決策支持，利用數(shù)據(jù)挖掘與建模分析技術(shù)充分挖掘大數(shù)據(jù)的價值，并通過可視化技術(shù)呈現(xiàn)給企事業(yè)單位決策者一張清晰、準確、形象且有數(shù)據(jù)支撐的大數(shù)據(jù)展示頁面；通過培訓(xùn)，使學(xué)員熟悉整個大數(shù)據(jù)分析的生命期，加深理解大數(shù)據(jù)在行業(yè)/企業(yè)中的角色和用途，推動大數(shù)據(jù)技術(shù)在企事業(yè)單位的應(yīng)用。1.職業(yè)素養(yǎng)目標（1）具有積極的人生態(tài)度、健康的心理素質(zhì)、良好的職業(yè)道德（2）具有高度責(zé)任心、進取心和堅強意志（3）具有良好的人際交往、團隊協(xié)作能力（4）具有良好的表達能力，善于和協(xié)作部門溝通（5）具有良好的人文素養(yǎng)和持續(xù)學(xué)習(xí)的能力（6）具有信息系統(tǒng)安全意識，重視數(shù)據(jù)存儲安全和保護2.理論知識目標（1）掌握大數(shù)據(jù)應(yīng)用開發(fā)基本流程（2）了解數(shù)據(jù)運營的意義（3）熟悉大數(shù)據(jù)系統(tǒng)基本架構(gòu)（4）掌握HTTP協(xié)議（5）了解網(wǎng)頁數(shù)據(jù)與結(jié)構(gòu)（6）了解結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)特點（7）掌握非結(jié)構(gòu)化數(shù)據(jù)庫基本概念（8）掌握數(shù)據(jù)質(zhì)量和數(shù)據(jù)的一致性概念（9）掌握常用的數(shù)理統(tǒng)計概念（10）了解常用的數(shù)據(jù)分類算法（回歸分析、決策樹、神經(jīng)網(wǎng)絡(luò)、貝葉斯網(wǎng)絡(luò)、支持向量機等）（11）了解常用的數(shù)據(jù)聚類算法（12）了解常用的平穩(wěn)時間序列分析方法（13）了解大數(shù)據(jù)可視化主流技術(shù)（14）掌握WEB前端可視化基礎(chǔ)語法3.開發(fā)技能目標（1）能使用在線幫助文件獲得開發(fā)資料（2）能使用Scrapy框架編寫爬蟲工具抓取互聯(lián)網(wǎng)數(shù)據(jù)（3）能實現(xiàn)數(shù)據(jù)庫的數(shù)據(jù)存取（4）能對數(shù)據(jù)進行結(jié)構(gòu)化和非結(jié)構(gòu)化分析（5）能使用numpy、scipy、pandas等Python庫進行數(shù)據(jù)預(yù)處理（6）能對數(shù)據(jù)進行數(shù)據(jù)分析與挖掘（7）能使用可視化工具進行數(shù)據(jù)展示（8）能編寫規(guī)范化項目文檔三、課時分配1.總培訓(xùn)課時總培訓(xùn)課時：802.培訓(xùn)課時分配表具體培訓(xùn)課時分配見下：培訓(xùn)課時分配表培訓(xùn)內(nèi)容培訓(xùn)課時總課時模塊一：數(shù)據(jù)采集技術(shù)——網(wǎng)絡(luò)爬蟲程序設(shè)計241.爬蟲的實現(xiàn)原理與技術(shù)22.爬蟲框架Scrapy及爬蟲工具程序?qū)崿F(xiàn)83.網(wǎng)絡(luò)數(shù)據(jù)抓取44.網(wǎng)站數(shù)據(jù)解析45.非結(jié)構(gòu)化數(shù)據(jù)庫存取6模塊二：數(shù)據(jù)分析技術(shù)——基于Python的數(shù)據(jù)分析241.numpy數(shù)組計算22.scipy科學(xué)計算23.pandas統(tǒng)計分析44.數(shù)據(jù)預(yù)處理85.數(shù)據(jù)挖掘與建模（數(shù)據(jù)分類、聚類和預(yù)測）8模塊三：數(shù)據(jù)可視化報表設(shè)計121.數(shù)據(jù)可視化工具概述22.數(shù)據(jù)與圖表選擇43.使用可視化工具設(shè)計BI報表6模塊四：大數(shù)據(jù)可視化前端技術(shù)201.HTML+CSS+JavaScript語法基礎(chǔ)42.ECharts基礎(chǔ)圖表43.ECharts交互組件44.ECharts可視化綜合應(yīng)用8總計=SUM(ABOVE)80四、培訓(xùn)要求與培訓(xùn)內(nèi)容培訓(xùn)內(nèi)容培訓(xùn)要求培訓(xùn)建議模塊一數(shù)據(jù)采集技術(shù)操作技能要求：熟練掌握HTTP抓包工具Fiddler配置與數(shù)據(jù)抓取掌握Scrapy框架的安裝與應(yīng)用(Scrapy網(wǎng)站：/)熟練使用urllib包抓取網(wǎng)頁掌握代理服務(wù)器設(shè)置熟練使用requests類庫抓取數(shù)據(jù)熟練使用Xpath與lxml解析庫熟練使用BeautifulSoup熟練使用JsonPath與JSON模塊掌握MongoDB的安裝與基本使用熟練掌握PyMongo接口開發(fā)包基本操作能按照工作規(guī)范保存項目進度文件與終稿，并整理歸檔。理論知識要求：理解爬蟲的基本工作原理了解網(wǎng)絡(luò)數(shù)據(jù)抓取流程掌握HTTP網(wǎng)絡(luò)請求原理掌握HTTP抓包工具Fiddler工作原理掌握urllib包抓取數(shù)據(jù)原理理解代理服務(wù)器原理了解常見的網(wǎng)絡(luò)異常了解網(wǎng)頁數(shù)據(jù)與結(jié)構(gòu)理解正則表達式掌握Xpath、lxml、BeautifulSoup、JsonPath與JSON模塊等方法原理理解MongoDB功能與特點理解Scrapy架構(gòu)與運作流程重點：使用urllib包抓取網(wǎng)絡(luò)數(shù)據(jù)使用requests類庫抓取網(wǎng)絡(luò)數(shù)據(jù)使用Scrapy框架抓取網(wǎng)絡(luò)數(shù)據(jù)難點：使用Xpath與lxml解析庫解析數(shù)據(jù)使用BeautifulSoup進行數(shù)據(jù)匹配搜索使用JsonPath與JSON模塊解析JSON數(shù)據(jù)模塊二數(shù)據(jù)分析技術(shù)操作技能要求：熟練使用numpy、scipy和pandas等Python科學(xué)計算庫掌握Python科學(xué)計算庫網(wǎng)站幫助文件的查閱技巧（numpy網(wǎng)站：/，scipy網(wǎng)站：/，pandas網(wǎng)站：/）熟練操作數(shù)組，進行數(shù)值計算熟練使用常用的插補方法和異常值處理方法進行缺失值和異常值分析與處理熟練掌握幾種常用的一致性分析方法，并進行數(shù)據(jù)匯總熟練使用幾種常用的數(shù)據(jù)變換方法熟練使用Python相關(guān)函數(shù)實現(xiàn)分布分析、對比分析、統(tǒng)計量分析、周期性分析、貢獻度分析、相關(guān)性分析熟練使用Python主要數(shù)據(jù)探索函數(shù)，包括基本統(tǒng)計特征函數(shù)、拓展統(tǒng)計特征函數(shù)、統(tǒng)計作圖函數(shù)熟練應(yīng)用回歸分析、決策樹、神經(jīng)網(wǎng)絡(luò)、貝葉斯網(wǎng)絡(luò)、支持向量機等相關(guān)Python函數(shù)實現(xiàn)數(shù)據(jù)分類熟練應(yīng)用k-means算法相關(guān)函數(shù)實現(xiàn)數(shù)據(jù)聚類分析熟練應(yīng)用相關(guān)Python函數(shù)實現(xiàn)平穩(wěn)時間序列分析與預(yù)測能按照工作規(guī)范保存項目進度文件與終稿，并整理歸檔。理論知識要求：掌握常用的插補方法原理掌握常用的異常值處理技術(shù)掌握一致性分析方法原理掌握數(shù)據(jù)變換方法（簡單的函數(shù)變換、規(guī)范化、連續(xù)屬性離散化、屬性構(gòu)造）掌握數(shù)據(jù)規(guī)約要求（屬性規(guī)約、數(shù)值規(guī)約）掌握幾種常用數(shù)據(jù)統(tǒng)計特征分析原理了解回歸分析、決策樹、神經(jīng)網(wǎng)絡(luò)、貝葉斯網(wǎng)絡(luò)、支持向量機、k-means等分類和聚類算法基本原理了解常用的時間序列算法原理重點：應(yīng)用回歸分析、決策樹、支持向量機等相關(guān)Python函數(shù)實現(xiàn)數(shù)據(jù)分類難點：應(yīng)用k-means算法相關(guān)函數(shù)實現(xiàn)數(shù)據(jù)聚類分析模塊三數(shù)據(jù)可視化報表設(shè)計操作技能要求：能根據(jù)業(yè)務(wù)需求，選擇合適的可視化工具能根據(jù)業(yè)務(wù)需求，針對不同數(shù)據(jù)指標選擇不同的圖表表現(xiàn)形式能使用可視化工具，設(shè)計可視化方案能根據(jù)業(yè)務(wù)需求，優(yōu)化可視化報表能按照工作規(guī)范保存項目進度文件與終稿，并整理歸檔。理論知識要求：熟悉數(shù)據(jù)可視化基本工作流程熟悉主流可視化工具及語言的特點掌握常用可視化圖表的功能掌握數(shù)據(jù)與圖形的映射關(guān)系掌握常用可視化圖表的構(gòu)成重點：能根據(jù)數(shù)據(jù)特點選用可視化圖形能使用可視化工具，設(shè)計可視化方案難點：數(shù)據(jù)與圖表的映射關(guān)系模塊四大數(shù)據(jù)可視化前端技術(shù)操作技能要求：會安裝與使用ECharts會繪制常見可視化圖表能實現(xiàn)圖表數(shù)據(jù)異步加載與更新能在圖表中加入交互組件會優(yōu)化圖表輔助組件參數(shù)能按照工作規(guī)范保存項目進度文件與終稿，并整理歸檔。理論知識要求：掌握WEB前端基礎(chǔ)語法掌握ECharts語法規(guī)則掌握ECharts常用圖表配置掌握ECharts組件配置重點：ECharts可視化圖表繪制ECharts組件參數(shù)配置難點：ECharts組件參數(shù)配置五、推薦教材1.《解析Python網(wǎng)絡(luò)爬蟲：核心技術(shù)、Scrapy框架、分布式爬蟲》，黑馬程序員編著，中國鐵道出版社，2018年8月第1版，ISBN97871132467852.《Python數(shù)據(jù)分析與挖掘?qū)崙?zhàn)》，張良均等主編，機械工業(yè)出版社，2019年11月第2版，ISBN97871116400283.《大數(shù)據(jù)可視化技術(shù)與應(yīng)用》,黃源，蔣文豪，徐受蓉主編，清華大學(xué)出版社，2020年6月第1版，ISBN：9787302547501六、培訓(xùn)實施1.培訓(xùn)師資要求主講教師畢業(yè)于計算機或應(yīng)用數(shù)學(xué)專業(yè)，具有本職業(yè)技師及以上職業(yè)資格證書或本專業(yè)中級及以上專業(yè)技術(shù)職務(wù)任職資格，掌握計算機應(yīng)用專業(yè)基礎(chǔ)知識，熟悉信息技術(shù)行業(yè)工作，熱愛教育事業(yè)。2.培訓(xùn)場地培訓(xùn)場地應(yīng)具有滿足教學(xué)需要的面積80平米以上、且能安排40個以上機位的計算機機房1間，要求配有3~4臺數(shù)據(jù)庫服務(wù)器、投影設(shè)備、互聯(lián)網(wǎng)接口和教學(xué)用廣播軟件等。3.實訓(xùn)設(shè)備技能培訓(xùn)的實習(xí)工具與設(shè)備表序號設(shè)備及用品名稱數(shù)量備注1專業(yè)開發(fā)軟件40套部署客戶端開發(fā)環(huán)境，一機一套2服務(wù)器4臺用于大數(shù)據(jù)存儲和數(shù)據(jù)處理3大數(shù)據(jù)案例庫3套用于應(yīng)用開發(fā)案例教學(xué)4電腦40臺學(xué)員使用5大屏幕顯示器2臺用于課堂教學(xué)和大數(shù)據(jù)可視化呈現(xiàn)4.培訓(xùn)方法推薦采用案例分析法、實訓(xùn)操作法、小組學(xué)習(xí)法等。5.課程資源本課程提供以下基本資源：PPT課件、實訓(xùn)指導(dǎo)書、作業(yè)解答、項目案例及錄像、微課、行業(yè)資訊等。此外，可使用以下公開網(wǎng)站：智慧職教/portalproject/themes/default/efn3aj6nk75bryjc0daqpq/sta_page/index.html?projectId=efn3aj6nk75bryjc0daqpq主要內(nèi)容包括：大數(shù)據(jù)技術(shù)與應(yīng)用專業(yè)核心課程資源，包括多門課程的PPT課件、實訓(xùn)指導(dǎo)書、作業(yè)解答、項目案例及錄像、微課等。億信社區(qū)：/主要內(nèi)容包括：數(shù)據(jù)分析學(xué)習(xí)交流社區(qū)，包括交流活動、問答、學(xué)習(xí)認證、產(chǎn)品演示、案例等。數(shù)據(jù)分析網(wǎng)：/主要內(nèi)容包括：大數(shù)據(jù)相關(guān)的最新的資訊、業(yè)內(nèi)人物的點評文章、數(shù)據(jù)分析相關(guān)的技術(shù)文章、大量的數(shù)據(jù)分析的相關(guān)免費的學(xué)習(xí)資源以及相關(guān)的線下線上活動。愛統(tǒng)計網(wǎng)：/主要內(nèi)容包括：數(shù)據(jù)運營、數(shù)據(jù)平臺、大數(shù)據(jù)技術(shù)、數(shù)據(jù)分析、數(shù)據(jù)挖掘、數(shù)據(jù)百科等。七、考核評價1.考核方式本課程著重考核學(xué)員掌握所學(xué)的基本技能，并能綜合運用所學(xué)知識和技能分析、解決實際問題的能力。采用理論+實操考核方式。考核成績均實行百分制，成績皆達60分及以上者為合格。2.考核內(nèi)容（1）理論知識權(quán)重表技能等級項目比重（%）基本要求職業(yè)道德5程序設(shè)計基礎(chǔ)知識25相關(guān)知識要求HTTP數(shù)據(jù)傳輸原理10數(shù)據(jù)采集常用技術(shù)15數(shù)據(jù)統(tǒng)計分析方法20常用可視化圖表功能10WEB前端基礎(chǔ)知識15合計=SUM(ABOVE)100（2）技能要求權(quán)重表技能等級項目比重（%）技能要求規(guī)范化項目文檔的編寫10網(wǎng)頁數(shù)據(jù)抓取與存儲20Python科學(xué)計算庫的使用30數(shù)據(jù)可視化工具使用20ECharts圖表繪制20合計=SUM(ABOVE)1003.考核標準（1）理論知識考核題型考核標準總分值客觀題考核學(xué)員對考核內(nèi)容的基本概念的理解與掌握。題型包括單選題、多選題、填空題、判斷題等。40分主觀題考核學(xué)員對考核內(nèi)容相關(guān)知識點的分析和綜合應(yīng)用能力。題型包括：簡答題、問答題、畫圖題等。60分總分100分（2）技能操作考核考核環(huán)節(jié)考核標準總分值程序編寫考核各課程模塊核心技術(shù)的代碼編寫及調(diào)試能力。能完成功能并成功運行，該項滿分；無法成功運行，但基本功能編寫完善，根據(jù)代碼內(nèi)容酌情扣分；70分文檔編寫考核學(xué)員能否按照規(guī)范完成項目文檔編寫。10分工作規(guī)范考核學(xué)員能否按照企業(yè)工作規(guī)范進行項目實操，此項考核貫穿技能操作考核全程。20分總分100