《大數(shù)據(jù)存儲(chǔ)技術(shù)與應(yīng)用》 課件 項(xiàng)目七 高校大數(shù)據(jù)決策分析系統(tǒng)

《大數(shù)據(jù)存儲(chǔ)技術(shù)與應(yīng)用》拓展篇大數(shù)據(jù)存儲(chǔ)技術(shù)與應(yīng)用篇章引入最近幾年，隨著高校業(yè)務(wù)信息系統(tǒng)的建設(shè)日趨完善，云計(jì)算、物聯(lián)網(wǎng)、移動(dòng)互聯(lián)、大數(shù)據(jù)、以及知識(shí)管理與社交網(wǎng)絡(luò)等新型信息技術(shù)的廣泛應(yīng)用，高校信息系統(tǒng)的建設(shè)已經(jīng)邁入到了一個(gè)新的時(shí)代－智慧校園時(shí)代。高校大數(shù)據(jù)決策分析系統(tǒng)對(duì)高校各業(yè)務(wù)系統(tǒng)數(shù)據(jù)進(jìn)行采集、存儲(chǔ)、分析、計(jì)算，為各業(yè)務(wù)部門提供決策服務(wù)。章節(jié)任務(wù)大數(shù)據(jù)存儲(chǔ)技術(shù)與應(yīng)用項(xiàng)目七高校大數(shù)據(jù)決策分析系統(tǒng)任務(wù)一概述及存儲(chǔ)規(guī)劃什么是GlusterFS分布式文件系統(tǒng)？GlusterFS分布式文件系統(tǒng)架構(gòu)？GlusterFS的安裝部署？GlusterFS的應(yīng)用場(chǎng)景？回顧任務(wù)引入-智慧校園總體框架2010年，在信息化“十二五”規(guī)劃中，浙江大學(xué)提出建設(shè)一個(gè)“令人激動(dòng)”的“智慧校園”。這幅藍(lán)圖描繪的是：無(wú)處不在的網(wǎng)絡(luò)學(xué)習(xí)、融合創(chuàng)新的網(wǎng)絡(luò)科研、透明高效的校務(wù)治理、豐富多彩的校園文化、方便周到的校園生活。簡(jiǎn)而言之，“要做一個(gè)安全、穩(wěn)定、環(huán)保、節(jié)能的校園。”2018年6月7日，國(guó)家標(biāo)準(zhǔn)《智慧校園總體框架》（Smartcampusoverallframework）發(fā)布。任務(wù)描述:本項(xiàng)目數(shù)據(jù)存儲(chǔ)以Greeplum（ProgresSQL底層架構(gòu)）大數(shù)據(jù)集群為背景，提煉工程項(xiàng)目中的關(guān)鍵技術(shù)要素，進(jìn)行實(shí)現(xiàn)。任務(wù)教學(xué)目標(biāo)：理解案例實(shí)現(xiàn)的意義；理解大數(shù)據(jù)項(xiàng)目建設(shè)流程；理解數(shù)據(jù)存儲(chǔ)的概念；學(xué)會(huì)將數(shù)據(jù)存儲(chǔ)到ProgresSQL數(shù)據(jù)庫(kù)；掌握大數(shù)據(jù)存儲(chǔ)綜合應(yīng)用開(kāi)發(fā)。任務(wù)概要教學(xué)內(nèi)容系統(tǒng)概述系統(tǒng)架構(gòu)一二數(shù)據(jù)存儲(chǔ)規(guī)劃NoSQL代表三四系統(tǒng)概述知識(shí)點(diǎn)一（一）項(xiàng)目背景最近幾年，隨著高校業(yè)務(wù)信息系統(tǒng)的建設(shè)日趨完善，云計(jì)算、物聯(lián)網(wǎng)、移動(dòng)互聯(lián)、大數(shù)據(jù)、以及知識(shí)管理與社交網(wǎng)絡(luò)等新型信息技術(shù)的廣泛應(yīng)用，高校信息系統(tǒng)的建設(shè)已經(jīng)邁入到了一個(gè)新的時(shí)代－智慧校園時(shí)代。高校大數(shù)據(jù)決策分析系統(tǒng)對(duì)高校各業(yè)務(wù)系統(tǒng)數(shù)據(jù)進(jìn)行采集、存儲(chǔ)、分析、計(jì)算，為各業(yè)務(wù)部門提供決策服務(wù)。

安裝依賴（53&54）（二）項(xiàng)目背景-數(shù)據(jù)分析

安裝依賴（53&54）（三）項(xiàng)目背景-精準(zhǔn)畫像

安裝依賴（53&54）（四）項(xiàng)目背景-虛擬校園

安裝依賴（53&54）（五）項(xiàng)目背景-大數(shù)據(jù)管理平臺(tái)（六）項(xiàng)目需求本項(xiàng)目數(shù)據(jù)存儲(chǔ)以Greeplum（ProgresSQL底層架構(gòu)）大數(shù)據(jù)集群為背景，提煉工程項(xiàng)目中的關(guān)鍵技術(shù)要素，以ProgresSQL對(duì)典型功能進(jìn)行實(shí)現(xiàn)。系統(tǒng)架構(gòu)知識(shí)點(diǎn)二系統(tǒng)架構(gòu)系統(tǒng)存儲(chǔ)規(guī)劃知識(shí)點(diǎn)三系統(tǒng)存儲(chǔ)規(guī)劃本項(xiàng)目數(shù)據(jù)存儲(chǔ)以Greeplum（ProgresSQL底層架構(gòu)）大數(shù)據(jù)集群為背景，提煉工程項(xiàng)目中的關(guān)鍵技術(shù)要素，以ProgresSQL對(duì)典型功能進(jìn)行實(shí)現(xiàn)。任務(wù)小結(jié)本節(jié)以理-實(shí)一體化的方式展開(kāi)，課程以高校大數(shù)據(jù)決策分析系統(tǒng)為項(xiàng)目背景，提煉工程項(xiàng)目中的關(guān)鍵技術(shù)要素，以ProgresSQL對(duì)典型功能進(jìn)行實(shí)現(xiàn)。業(yè)務(wù)服務(wù)基于Python框架展開(kāi)。擴(kuò)展訓(xùn)練信息標(biāo)準(zhǔn)獨(dú)立學(xué)習(xí)數(shù)據(jù)模型遵循教育部頒發(fā)的《教育管理信息化標(biāo)準(zhǔn)》和相關(guān)行業(yè)信息標(biāo)準(zhǔn)，制定符合學(xué)校實(shí)際情況的校數(shù)據(jù)字典和信息編碼標(biāo)準(zhǔn)，建立統(tǒng)一的數(shù)據(jù)交換體系，規(guī)范信息從采集、處理、計(jì)算、加載到綜合利用的全過(guò)程，實(shí)現(xiàn)全校資源數(shù)據(jù)的有效存儲(chǔ)與管理，完成全校范圍的數(shù)據(jù)的統(tǒng)一、集中和共享，為學(xué)校領(lǐng)導(dǎo)和有關(guān)部門信息利用、分析決策提供支持，為學(xué)校的長(zhǎng)遠(yuǎn)發(fā)展奠定堅(jiān)實(shí)基礎(chǔ)。課后閱讀信息標(biāo)準(zhǔn)文檔。1.編寫《高校大數(shù)據(jù)決策分析系統(tǒng)》需求分析？作業(yè)謝謝！THANKS!《大數(shù)據(jù)存儲(chǔ)技術(shù)與應(yīng)用》大數(shù)據(jù)存儲(chǔ)技術(shù)與應(yīng)用項(xiàng)目七高校大數(shù)據(jù)決策分析系統(tǒng)任務(wù)二項(xiàng)目實(shí)戰(zhàn)高校大數(shù)據(jù)決策分析系統(tǒng)數(shù)據(jù)存儲(chǔ)？Greenplum基于什么語(yǔ)言實(shí)現(xiàn)？高校大數(shù)據(jù)決策分析系統(tǒng)的背景？高校大數(shù)據(jù)決策分析系統(tǒng)的業(yè)務(wù)功能？回顧任務(wù)引入-智慧校園總體框架2010年，在信息化“十二五”規(guī)劃中，浙江大學(xué)提出建設(shè)一個(gè)“令人激動(dòng)”的“智慧校園”。這幅藍(lán)圖描繪的是：無(wú)處不在的網(wǎng)絡(luò)學(xué)習(xí)、融合創(chuàng)新的網(wǎng)絡(luò)科研、透明高效的校務(wù)治理、豐富多彩的校園文化、方便周到的校園生活。簡(jiǎn)而言之，“要做一個(gè)安全、穩(wěn)定、環(huán)保、節(jié)能的校園。”2018年6月7日，國(guó)家標(biāo)準(zhǔn)《智慧校園總體框架》（Smartcampusoverallframework）發(fā)布。任務(wù)描述:本任務(wù)對(duì)主要的技術(shù)要點(diǎn)進(jìn)行了剖析，大家可以根據(jù)實(shí)際情況進(jìn)行拓展。任務(wù)教學(xué)目標(biāo)：1.了解大數(shù)據(jù)分析應(yīng)用項(xiàng)目開(kāi)發(fā)流程。2.熟悉大數(shù)據(jù)分析應(yīng)用開(kāi)發(fā)。任務(wù)概要教學(xué)內(nèi)容項(xiàng)目準(zhǔn)備應(yīng)用需求一二分析計(jì)算數(shù)據(jù)可視化應(yīng)用三四項(xiàng)目準(zhǔn)備知識(shí)點(diǎn)一數(shù)據(jù)模型字段名字段類型是否允許空字段描述SNOCHAR(10)否學(xué)號(hào)T1CHAR(10)是第1題原始成績(jī)T2CHAR(10)是第2題原始成績(jī)T3CHAR(10)是第3題原始成績(jī)T4CHAR(10)是第4題原始成績(jī)T5CHAR(10)是第5題原始成績(jī)數(shù)據(jù)連接pip3installpsycopg2importpsycopg2#數(shù)據(jù)庫(kù)連接參數(shù)，數(shù)據(jù)庫(kù)名稱、用戶密碼、IP地址和端口根據(jù)實(shí)際環(huán)境配置。conn=psycopg2.connect(database="bigdata",user="postgres",password="postgres",host="",port="5432")conn.close()數(shù)據(jù)導(dǎo)入數(shù)據(jù)清洗應(yīng)用需求知識(shí)點(diǎn)二應(yīng)用需求（一）課程成績(jī)分布分析計(jì)算《計(jì)算機(jī)網(wǎng)絡(luò)》課程成績(jī)?nèi)藬?shù)分布，即分析計(jì)算“60分以下、60~69、70~79、80~89、90~100”各組總成績(jī)的人數(shù)分布。通過(guò)成績(jī)?nèi)藬?shù)分布了解學(xué)生對(duì)該門課程的掌握情況。（二）成績(jī)分析分析計(jì)算《計(jì)算機(jī)網(wǎng)絡(luò)》選擇題、填空題、判斷題、簡(jiǎn)答題、應(yīng)用題的平均成績(jī)、最高成績(jī)、最低成績(jī)。分析計(jì)算知識(shí)點(diǎn)三分析計(jì)算數(shù)據(jù)可視化應(yīng)用知識(shí)點(diǎn)四數(shù)據(jù)可視化應(yīng)用任務(wù)小結(jié)本節(jié)介紹了高校大數(shù)據(jù)決策分析系統(tǒng)的項(xiàng)目實(shí)戰(zhàn)，系統(tǒng)開(kāi)發(fā)可以基于PostgreSQL、Python、ApacheECharts展開(kāi)。項(xiàng)目準(zhǔn)備階段對(duì)成績(jī)數(shù)據(jù)建模、數(shù)據(jù)連接、數(shù)據(jù)導(dǎo)入、數(shù)據(jù)分析檢索進(jìn)行了講解。應(yīng)用需求部分針對(duì)課程成績(jī)分析、選擇題成績(jī)分析進(jìn)行了講解。分析計(jì)算部分講解了關(guān)鍵分析指標(biāo)的計(jì)算方式，并以選擇題成績(jī)分析為例進(jìn)行分析計(jì)算，最后，以pyecharts組件實(shí)現(xiàn)數(shù)據(jù)可視化分析應(yīng)用。擴(kuò)展訓(xùn)練信息標(biāo)準(zhǔn)獨(dú)立學(xué)習(xí)數(shù)據(jù)模型遵循教育部頒發(fā)的《教育管理信息化標(biāo)準(zhǔn)》和相關(guān)行業(yè)信息標(biāo)準(zhǔn)，制定符合學(xué)校實(shí)際情況的校數(shù)據(jù)字典和信息編碼標(biāo)準(zhǔn)，建立統(tǒng)一的數(shù)據(jù)交換體系，規(guī)范信息從采集、處理、計(jì)算、加載到綜合利用的全過(guò)程，實(shí)現(xiàn)全校資源數(shù)據(jù)的有效存儲(chǔ)與管理，完成全校范圍的數(shù)據(jù)的統(tǒng)一、集中和共享，為學(xué)校領(lǐng)導(dǎo)和有關(guān)部門信息利用、分析決策提供支持，為學(xué)校的長(zhǎng)遠(yuǎn)發(fā)展奠定堅(jiān)實(shí)基礎(chǔ)。課后閱讀信息標(biāo)準(zhǔn)文檔。按照步驟完成本項(xiàng)目作業(yè)謝謝！THANKS!《大數(shù)據(jù)存儲(chǔ)技術(shù)與應(yīng)用》大數(shù)據(jù)專業(yè)委員會(huì)大數(shù)據(jù)存儲(chǔ)技術(shù)與應(yīng)用項(xiàng)目七高校大數(shù)據(jù)決策分析系統(tǒng)任務(wù)二項(xiàng)目實(shí)戰(zhàn)高校大數(shù)據(jù)決策分析系統(tǒng)數(shù)據(jù)存儲(chǔ)？Greenplum基于什么語(yǔ)言實(shí)現(xiàn)？高校大數(shù)據(jù)決策分析系統(tǒng)的背景？高校大數(shù)據(jù)決策分析系統(tǒng)的業(yè)務(wù)功能？回顧任務(wù)引入-智慧校園總體框架2010年，在信息化“十二五”規(guī)劃中，浙江大學(xué)提出建設(shè)一個(gè)“令人激動(dòng)”的“智慧校園”。這幅藍(lán)圖描繪的是：無(wú)處不在的網(wǎng)絡(luò)學(xué)習(xí)、融合創(chuàng)新的網(wǎng)絡(luò)科研、透明高效的校務(wù)治理、豐富多彩的校園文化、方便周到的校園生活。簡(jiǎn)而言之，“要做一個(gè)安全、穩(wěn)定、環(huán)保、節(jié)能的校園。”2018年6月7日，國(guó)家標(biāo)準(zhǔn)《智慧校園總體框架》（Smartcampusoverallframework）發(fā)布。任務(wù)描述:本任務(wù)對(duì)主要的技術(shù)要點(diǎn)進(jìn)行了剖析，大家可以根據(jù)實(shí)際情況進(jìn)行拓展。任務(wù)教學(xué)目標(biāo)：1.理解Django框架；2.理解Django應(yīng)用開(kāi)發(fā)流程；3.了解Greenplum集群連接。任務(wù)概要教學(xué)內(nèi)容項(xiàng)目準(zhǔn)備應(yīng)用開(kāi)發(fā)一二系統(tǒng)部署系統(tǒng)應(yīng)用三四項(xiàng)目準(zhǔn)備知識(shí)點(diǎn)一項(xiàng)目背景最近幾年，隨著高校業(yè)務(wù)信息系統(tǒng)的建設(shè)日趨完善，云計(jì)算、物聯(lián)網(wǎng)、移動(dòng)互聯(lián)、大數(shù)據(jù)、以及知識(shí)管理與社交網(wǎng)絡(luò)等新型信息技術(shù)的廣泛應(yīng)用，高校信息系統(tǒng)的建設(shè)已經(jīng)邁入到了一個(gè)新的時(shí)代－智慧校園時(shí)代。高校大數(shù)據(jù)決策分析系統(tǒng)對(duì)高校各業(yè)務(wù)系統(tǒng)數(shù)據(jù)進(jìn)行采集、存儲(chǔ)、分析、計(jì)算，為各業(yè)務(wù)部門提供決策服務(wù)。系統(tǒng)架構(gòu)

安裝依賴（53&54）系統(tǒng)設(shè)計(jì)常見(jiàn)問(wèn)題及解決辦法代碼規(guī)范問(wèn)題調(diào)試技巧開(kāi)發(fā)環(huán)境-版本版本：Python3.7+ProgreSQLDjango3.0.4應(yīng)用開(kāi)發(fā)知識(shí)點(diǎn)二

Django簡(jiǎn)介Django框架于2005年開(kāi)源Django框架是迄今為止Python界名氣最大的Web框架Django框架是美國(guó)WorldCompany的工程師AdrianHolovaty和SimonWillison在開(kāi)發(fā)其公司運(yùn)行的新聞網(wǎng)站（LJW、L、KU）過(guò)程中，逐漸完善豐富而成

Django簡(jiǎn)介Django官網(wǎng)/Django的特點(diǎn)完善的文檔數(shù)據(jù)庫(kù)訪問(wèn)組件（ORM）URL映射技術(shù)自帶管理界面（admin）調(diào)試信息完整

DjangoMVT開(kāi)發(fā)模式MVC：M表示Model，主要用于對(duì)數(shù)據(jù)庫(kù)層的封裝V表示View，用于向用戶展示結(jié)果C表示Controller，用于處理請(qǐng)求、獲取數(shù)據(jù)、返回結(jié)果MVC框架的核心思想是：解耦DjangoMTV開(kāi)發(fā)模式MTV：在MVC基礎(chǔ)上，對(duì)控制器Controller進(jìn)行了封裝，增加了模塊功能Template實(shí)現(xiàn)前端網(wǎng)頁(yè)M為Model與MVC中的M功能相同，負(fù)責(zé)和數(shù)據(jù)庫(kù)交互，進(jìn)行數(shù)據(jù)處理T為Template與MVC中的V功能相同，負(fù)責(zé)封裝構(gòu)造要返回的HTMLV為View與MVC中的C功能相同，接收請(qǐng)求，進(jìn)行業(yè)務(wù)處理，返回應(yīng)答搭建開(kāi)發(fā)環(huán)境搭建Python環(huán)境：在Python官網(wǎng)中選擇電腦對(duì)應(yīng)的版本進(jìn)行下載搭建開(kāi)發(fā)環(huán)境Django安裝：pipinstallDjango==3.0.4查看Django安裝版本：進(jìn)入到Pythonshell下查看需求說(shuō)明:搭建開(kāi)發(fā)所需要的虛擬環(huán)境，安裝Django3.0.4，成功安裝后，進(jìn)入Pythonshell查看Django版本操作—搭建開(kāi)發(fā)環(huán)境創(chuàng)建Django項(xiàng)目在想要?jiǎng)?chuàng)建項(xiàng)目的文件夾下面執(zhí)行以下命令目錄結(jié)構(gòu)__init__.py：一個(gè)空文件，表示這個(gè)目錄應(yīng)該被看作一個(gè)Python包settings.py：項(xiàng)目的配置urls.py：項(xiàng)目的URL聲明wsgi.py：項(xiàng)目與WSGI兼容的Web服務(wù)器入口manage.py：項(xiàng)目管理器（一個(gè)命令行工具）django-adminstartprojecttest1創(chuàng)建應(yīng)用在項(xiàng)目中可以創(chuàng)建多個(gè)應(yīng)用，每個(gè)應(yīng)用處理一種業(yè)務(wù)邏輯在項(xiàng)目的目錄下執(zhí)行以下命令目錄結(jié)構(gòu)migrations：數(shù)據(jù)遷移模塊__init__.py：一個(gè)空文件，表示這個(gè)目錄是一個(gè)Python包admin.py：當(dāng)前應(yīng)用的后臺(tái)管理系統(tǒng)配置apps.py：當(dāng)前應(yīng)用的配置models.py：數(shù)據(jù)模型tests.py：自動(dòng)化測(cè)試模塊views.py：執(zhí)行相應(yīng)代碼pythonmanage.pystartappbooks編寫HelloWorld創(chuàng)建視圖函數(shù)配置URL路由fromdjango.httpimportHttpResponsedefindex(request):

returnHttpResponse("HelloWorld")fromdjango.urlsimportpathfromusers.viewsimportindexurlpatterns=[path('index/',index)]系統(tǒng)部署知識(shí)點(diǎn)三Django項(xiàng)目配置調(diào)試配置DEBUG=True當(dāng)DEBUG為False，ALLOWED_HOSTS則為必填項(xiàng)，否則程序無(wú)法啟動(dòng)如果想要所有域名都可以訪問(wèn)則配置：ALLOWED_HOSTS=[‘*’]如需指定域名則配置：ALLOWED_HOSTS=[‘’]Django項(xiàng)目配置應(yīng)用配置：在開(kāi)發(fā)過(guò)程中，無(wú)論是第三方應(yīng)用還是自己創(chuàng)建的應(yīng)用都需要配置到INSTALLED_APPS下，只有配置后應(yīng)用才會(huì)生效。INSTALLED_APPS=['django.contrib.admin','django.contrib.auth