高校大數(shù)據(jù)專業(yè)教學科研平臺建設方案

高校大數(shù)據(jù)專業(yè)教學科研平臺建設方案一、項目建設的意義及目的芝諾數(shù)據(jù)自主研發(fā)的高校大數(shù)據(jù)教學科研平臺以校企聯(lián)合培養(yǎng)模式為手段,通過校企合作聯(lián)合培養(yǎng)機制,讓企業(yè)、行業(yè)深度參與人才培養(yǎng)過程,逐步實現(xiàn)校企共同制定培養(yǎng)目標、共同建設課程體系和教學內容、共同實施培養(yǎng)過程、共同把控培養(yǎng)質量,全面提升學生的應用實踐能力。該平臺以應用型人才培養(yǎng)為目標定位,在以解決現(xiàn)實問題為目的的前提下,使培養(yǎng)的學生有更寬廣和跨學科的知識視野,注重知識的實用性,有創(chuàng)新精神和綜合運用知識的能力。注重培養(yǎng)學生具有在創(chuàng)新中應用、在應用中創(chuàng)新的能力,讓學生真正學會大數(shù)據(jù)行業(yè)各個崗位真正的職業(yè)技能。二、功能模塊和建設思路芝諾大數(shù)據(jù)教學科研平臺構建總體分為三大部分,一是平臺硬件,二是教學與實驗支撐系統(tǒng)(包括:芝諾數(shù)據(jù)綜合分析ZDM平臺、芝諾數(shù)據(jù)教學實訓平臺),三是產品服務體系。具體如下:第1頁共40頁教學與實驗支撐系統(tǒng)由芝諾數(shù)據(jù)綜合分析ZDM平臺和芝諾數(shù)據(jù)教學實訓平臺構成,教學與實驗支撐系統(tǒng)部署在大數(shù)據(jù)教學科研一體機中。二、項目建設的目標及內容1、項目建設目標1)平臺的建設能讓高校大數(shù)據(jù)專業(yè)與實際應用相結合,提高學生的學習、實踐和創(chuàng)新創(chuàng)業(yè)能力,能夠培養(yǎng)實用性人才所需的專業(yè)能力,提升教學效果與就業(yè)率,為“大數(shù)據(jù)時代”的創(chuàng)新人才培養(yǎng)做出貢獻。2)平臺的建設將支撐大數(shù)據(jù)去冗降噪、大數(shù)據(jù)融合、大數(shù)據(jù)可視化等關鍵技術研究,能夠服務于學校的教學和科研,有助于大數(shù)據(jù)方向發(fā)展和自主創(chuàng)新,有利于創(chuàng)新團隊培育和高水平研究成果積累,有利于提升教師的教學和科研水平,推動教學和科研團隊建設。3)平臺的建設搭建可以發(fā)揮學校的行業(yè)優(yōu)勢,體現(xiàn)學校辦學特色,推進與國內外高校、科研機構和企業(yè)間的產學研合作,開展項目合作研究和人才培養(yǎng),促進科研成果轉化,促進產學研協(xié)同創(chuàng)新。4)平臺的建設有利于促進學科交叉與融合。2、項目建設內容1)模塊一:平臺相關硬件建設本模塊主要包含:大數(shù)據(jù)教學科研一體機技術參數(shù):作為一個可供大量學生完成大數(shù)據(jù)實訓的集成環(huán)境,該平臺同步提供了配套的培訓服務,對于教學組件的安裝、配置、教材、實驗手冊等具體應用提供一站式服務,有助于高校更好地滿足課程設計、課程上機實驗、實習實訓、科研訓練等多方面需求,并在一定程度上緩解大數(shù)據(jù)師資不足的問題。對于各大高校而言,即使沒有任何大數(shù)據(jù)實驗基礎,該平臺也能助其輕松開展大數(shù)據(jù)的教學、實驗與科研。2)模塊二:教學與實踐支撐系統(tǒng)芝諾大數(shù)據(jù)教學科研平臺由芝諾數(shù)據(jù)綜合分析ZDM平臺及芝諾數(shù)據(jù)教學實訓平臺聯(lián)合搭建。通過典型的算法展示、算法實現(xiàn)結合大數(shù)據(jù)分析的應用場景與案例對學生進行數(shù)據(jù)分析方面的綜合訓練,從而實現(xiàn)專業(yè)實驗教學的由點及面、理論到應用、涵蓋原理驗證/綜合應用/自主設計及創(chuàng)新的多層次實踐教學體系。(1)芝諾數(shù)據(jù)綜合分析ZDM平臺芝諾數(shù)據(jù)綜合分析ZDM平臺是全面基于ApacheHadoop及ApacheSpark計算框架的高性能大數(shù)據(jù)分析平臺,提供一站式大數(shù)據(jù)開發(fā)環(huán)境和工具,包括數(shù)據(jù)存儲、分布式計算、分析挖掘及數(shù)據(jù)可視化的整套支持。用戶可以在大數(shù)據(jù)綜合分析處理平臺上采集、存儲、分析、挖掘海量數(shù)據(jù)及其內在價值。ZDM平臺包含的Hadoop生態(tài)組件:①平臺構成:i.ZenoContainer分布式實時數(shù)據(jù)庫:支持結構化、半結構化和非結構化數(shù)據(jù)的存儲;采用分布式存儲,支持海量數(shù)據(jù)存儲,支持高并發(fā)的快速查詢。ii.ZenoMonitor服務器監(jiān)控套件:服務器監(jiān)控是利用Ganglia和Nagios對集群機器進行資源監(jiān)控,包括CPU內存,硬盤,網(wǎng)絡資源等進行實時監(jiān)控,方便用戶實時掌握集群機器資源的利用情況。通過典型的算法展示、算法實現(xiàn)結合大數(shù)據(jù)分析的應用場景與案例對學生進行數(shù)據(jù)分析方面的綜合訓練,從而實現(xiàn)專業(yè)實驗教學的由點及面、理論到應用、涵蓋原理驗證/綜合應用/自主設計及創(chuàng)新的多層次實驗體系,以滿足不同學校的實踐需求。iii.ZenoMining數(shù)據(jù)挖掘套件:支持多種數(shù)據(jù)挖掘工具相結合,支持Mahout,MLlib自帶的并行化的高性能機器學習算法庫;同時也致辭基于R自定義的編程算法;也有強大的主流數(shù)據(jù)統(tǒng)計個繪圖語言R以及Web圖形化開發(fā)界面R-Studio。iv.ZenoAnalysis數(shù)據(jù)分析套件:使用Sqoop和Flume支持數(shù)據(jù)遷移和采集;采用多計算框架模型,可滿足不同數(shù)據(jù)的計算要求。及支持Hadoop離線大數(shù)據(jù)的計算,也支持Stream實時流式處理,還支持Spak內存快速計算;支持多語言的數(shù)據(jù)分析工作,支持SQL、Java、Python、Scala等。v.ZenoCoop協(xié)作管理引擎:基于Zookeeper的協(xié)調服務機制,采用Yarn的管理模式,支持同時運行多個計算框架,可同時部署Hadoop、Storm、Spark等計算框架。ZDM平臺工作流:②平臺優(yōu)點:I安裝方便友好的圖形化安裝界面,使用戶可在1小時內,零基礎搭建基于Hadoop/Spark的大數(shù)據(jù)存儲、分析、監(jiān)控及可視化平臺。確保安裝100%成功。Ⅱ功能完備提供一站式大數(shù)據(jù)開發(fā)環(huán)境和工具,解決從數(shù)據(jù)源采集/清洗/存儲/分析/挖掘/機器學習到數(shù)據(jù)流處理/可視化/集群監(jiān)控等問題。Stream分布式實時流處理引擎提供強大的流計算能力,可支持復雜的實時處理邏輯,滿足企業(yè)實時告警、風險控制、在線統(tǒng)計和挖掘等應用需求Ⅲ性能保障計算速度比傳統(tǒng)關系型數(shù)據(jù)庫快50-100倍。例如,一個集群包括13個Spark節(jié)點,每個256G內存的服務器,1個計算任務30秒以內處理200M數(shù)據(jù),處理過程包括數(shù)據(jù)入庫、邏輯計算、結果展現(xiàn)。同時,系統(tǒng)可線性擴充存儲容量或提高處理性能,只需要簡單地向集群中增加機器,無需停機。Ⅳ使用方便圖形化的數(shù)據(jù)分析和挖掘界面,令使用者不用理會Hadoop底層技術,只需專注于自身業(yè)務邏輯。③基于Hadoop的ZDM分布式存儲與計算的優(yōu)點Ⅰ高可擴展性Hadoop是一個高度可擴展的存儲平臺,可以存儲和分發(fā)橫跨數(shù)百個并行操作的廉價的服務器數(shù)據(jù)集群。不同于傳統(tǒng)的關系型數(shù)據(jù)庫系統(tǒng)不能擴展到處理大量的數(shù)據(jù),Hadoop是能給企業(yè)提供涉及成百上千TB的數(shù)據(jù)節(jié)點上運行的應用程序。Ⅱ成本效益Hadoop還為企業(yè)用戶提供了極具成本效益的存儲解決方案。傳統(tǒng)關系型數(shù)據(jù)庫管理系統(tǒng)并不符合海量數(shù)據(jù)的處理器,不符合企業(yè)的成本效益。許多公司過去不得不假設哪些數(shù)據(jù)最優(yōu)價值,根據(jù)這些有價值的數(shù)據(jù)設定分類,如果保存所有的數(shù)據(jù),那么成本就會過高。Hadoop的架構則不同,其被設計為一個向外擴展的架構,可以經濟的存儲所有公司的數(shù)據(jù)供以后使用,節(jié)省的費用是非常驚人的。Ⅲ靈活性更好Hadoop能夠使企業(yè)訪問新的數(shù)據(jù)源,并可以分析不同類型的數(shù)據(jù),從這些數(shù)據(jù)中產生價值,這意味著企業(yè)可以利用Hadoop的靈活性從社交媒體、電子郵件或點擊流量等數(shù)據(jù)源獲得寶貴的商業(yè)價值。Ⅳ處理速度更快Hadoop擁有獨特的存儲方式,用于數(shù)據(jù)處理的工具通常在與數(shù)據(jù)相同的服務器上,從而導致能夠更快的處理器數(shù)據(jù)。如果處理大量的非結構化數(shù)據(jù),Hadoop能夠在幾分鐘內處理TB級的數(shù)據(jù),而不是像以前都需要以小時為單位。Ⅴ容錯能力更強Hadoop的一個關鍵優(yōu)勢就是它的容錯能力,Hadoop能夠自動保存數(shù)據(jù)的多個副本,并且能夠自動將失敗的任務重新分配。。當數(shù)據(jù)被發(fā)送到一個單獨的節(jié)點,該數(shù)據(jù)也被復制到集群的其它節(jié)點上,這意味著在故障情況下,存在另外的副本可供使用。④ZDM平臺安裝界面截圖:ⅠZDM平臺登陸界面用戶名密碼登陸后,可以看到如下的首頁。Ⅱ系統(tǒng)管理界面在系統(tǒng)管理界面中,“用戶管理”和“角色管理”中,可以定義角色(管理員、操作員等)、添加用戶、修改用戶密碼等。此外,在“資源管理”頁面中,可以為每一個用戶指定允許安裝的組件或者模塊。Ⅲ組件安裝界面在“組件安裝”界面中,具有以下功能:基礎信息配置(主機名映射)、Hadoop組件安裝、Spark組件安裝、數(shù)據(jù)挖掘工具安裝、集群監(jiān)控及HUE安裝。以下逐一進行介紹。ⅰ基礎信息配置基礎信息配置,也即主機名映射,在初次安裝Hadoop集群前需要配置各服務器的IP地址與主機名的映射。點擊“配置”按鈕后,系統(tǒng)會在后臺完成以下配置。修改各服務器的主機名,完成映射。完成各服務器之間的SSH互信。完成各服務器javaJDK環(huán)境配置。ⅱHadoop基礎組件在Hadoop基礎組件頁面,可以點擊各個Hadoop基礎組件的圖標,完成相應組件的安裝及配置。說明:由于組件之間有相互依賴關系,因此,如果某個組件的前序依賴組件沒有安裝,系統(tǒng)會提示用戶安裝前序依賴組件。ⅲSpark基礎組件安裝在Spark基礎組件頁面,可以點擊Spark基礎組件的圖標,完成Spark集群(包括,SparkSQL,SparkStreaming,MlLib,GraphX)的安裝及配置。ⅳ數(shù)據(jù)挖掘工具安裝在數(shù)據(jù)挖掘工具安裝頁面,可以點擊各個數(shù)據(jù)挖掘工具的圖標,完成相應工具的安裝及配置。ⅴ集群監(jiān)控及HUE在集群監(jiān)控及HUE安裝頁面,可以點擊相應的圖標,完成Ganglia及HUE的安裝及配置。Ⅳ基礎應用模塊在上述Hadoop集群及相關的組件安裝配置完成后,在基礎應用模塊,可以是用Rstudio,以及查看Ganglia、HDFS、YARN的監(jiān)控頁面。ⅰRstudio登陸后可以看到如下Rstudio的頁面。(用戶名:hadoop,密碼:hadoop)ⅱGanglia監(jiān)控頁面ⅲHDFS監(jiān)控頁面ⅳYARN監(jiān)控頁面Ⅴ定制應用模塊該模塊使用系統(tǒng)自帶的數(shù)據(jù),展示了大數(shù)據(jù)可視化的三個應用效果。ⅰ靜態(tài)報表展示ⅱ多維報表展示ⅲ動態(tài)實時報表展示(2)大數(shù)據(jù)教學實訓平臺芝諾數(shù)據(jù)教學實訓平臺包括大數(shù)據(jù)系統(tǒng)和大數(shù)據(jù)應用2個方向共計60個實驗項目,能夠為大數(shù)據(jù)教學及科研提供一個完整的、一體化的實驗教學環(huán)境,打造出全方位的專業(yè)大數(shù)據(jù)實訓室。每個項目實驗材料包括:A實驗數(shù)據(jù)B實驗指導C實驗原理D實驗環(huán)境E實驗考核等內容。該平臺集學員實訓學習與教師教學管理于一體,因此,對于學員和教師這兩類不同的角色,可以通過不同的賬號登陸,進入平臺的相應界面。學員登錄實訓平臺后,可以選擇相應的實驗課程,并按照實驗指南完成大數(shù)據(jù)處理與分析實操案例的教學實訓,并提交實驗報告。教師登陸管理平臺后,可以通過對班級與學員學習情況進行管理,統(tǒng)計各個班級總體學習進度、每門課程學習進度、查看學生實驗報告并批閱評分等。以下就分別對學生與教師這兩類不同角色登陸平臺后的界面操作進行說明。大數(shù)據(jù)實訓管理平臺登陸鏈接如下::8081/TPF①大數(shù)據(jù)實訓管理平臺--學生登陸Ⅰ學生登陸后的課程界面學生登陸后可以看到如下圖所示的“我的課程”界面。大數(shù)據(jù)實訓管理平臺現(xiàn)在共有四門課程,分別為:A數(shù)據(jù)分析員B大數(shù)據(jù)分析師C大數(shù)據(jù)挖掘工程師D大數(shù)據(jù)系統(tǒng)工程師Ⅱ點擊課程,進入實驗列表界面點擊上述四門課程的任何一個,即可進入相應課程的實驗列表界面。比如,點擊“大數(shù)據(jù)分析師課程”,就可進入如下的實驗列表。Ⅲ點擊“開始實驗”按鈕,即可進入對應實驗的實訓界面由于不同類型實驗的實訓環(huán)境不同,以下分別就RStudio與WebTerm環(huán)境分別說明。ⅰRStudio實訓環(huán)境該實訓環(huán)境主要針對大數(shù)據(jù)統(tǒng)計分析與建模的相應實驗,也就是通過R語言來完成相應的大數(shù)據(jù)統(tǒng)計分析實驗。比如,點擊上述大數(shù)據(jù)分析師課程實驗列表中的,“R語言實現(xiàn)多元線性回歸模型案例”,即進入如下的實訓平臺界面。說明:對R語言操作的實驗,需要登陸Rstudio,登陸的用戶名和密碼與實訓平臺的用戶名和密碼一致。輸入實訓平臺的用戶名和密碼,登陸RStudio,登陸后的界面如下。在該實訓界面中,學員就可以按照左側的實驗指南,在RStudio的環(huán)境中,完成該多元線性回歸模型實驗的操作與練習。ⅱWebTerm實訓環(huán)境該實訓環(huán)境主要用于大數(shù)據(jù)挖掘工程師與大數(shù)據(jù)系統(tǒng)工程師相關的實驗,可以在WebTerm環(huán)境下運行Linux系統(tǒng)及Hadoop大數(shù)據(jù)生態(tài)圈工具的相關命令。比如,進入“大數(shù)據(jù)系統(tǒng)工程師”課程,點擊課程實驗列表中的,“Linux基本命令操作實例”,即進入如下的實訓平臺界面。說明:對Linux命令操作的實驗,需要登陸WebTerm,登陸的用戶名和密碼與實訓平臺的用戶名和密碼一致。輸入實訓平臺的用戶名和密碼,登陸WebTerm,登陸后的界面如下。在該實訓界面中,學員就可以按照左側的實驗指南,在WebTerm的環(huán)境中,完成該實驗的操作與練習。Ⅳ下載實驗資源在RStudio或者WebTerm環(huán)境的實訓頁面中,如果該實驗有附加的軟件安裝包或者數(shù)據(jù)文件等需要下載的資源,都可以點擊“下載資源”按鈕一鍵下載,下載的資源文件為壓縮的ZIP文件。如下圖所示。Ⅴ提交實驗報告每一個實驗演示操作完成后,都有一個實驗作業(yè),如下圖所示。學生可根據(jù)該實驗所練習的內容,完成相應的實驗作業(yè),并點擊“實驗報告”按鈕,就可進入如下的實驗報告提交頁面。在該頁面中,可以“輸入內容”、“上傳圖片”等。Ⅵ查看實驗報告學生在完成實驗練習并提交實驗作業(yè)后,可以點擊“我的實驗報告”,查看已提交的實驗報告列表,而且還可以對已提交的實驗報告進行編輯。示意圖如下所示。②大數(shù)據(jù)實訓管理平臺--教師登陸Ⅰ教師登陸后的管理界面教師登陸大數(shù)據(jù)實訓管理平臺后,可以看到上圖的管理界面。教師賬號主要有三方面的功能:創(chuàng)建和管理班級批閱學生提交的實驗報告集群監(jiān)控以下對這三方面的功能逐一進行介紹。Ⅱ我的班級ⅰ創(chuàng)建班級在“我的班級”頁面,教師可以創(chuàng)建和編輯班級。按照上述示意圖操作,即可創(chuàng)建班級。創(chuàng)建班級后的效果如下圖所示。ⅱ導入學員在創(chuàng)建了班級后,可以對該班級的學員進行管理。點擊上圖的“學員管理”按鈕,即可進入如下的學員管理。對于新創(chuàng)建的班級,可以點擊“下載學員模板”,根據(jù)模板導入該班級的學員。ⅲ課程管理可以通過“課程管理”為該班級的學員分配相應的課程。點擊上圖中的“課程管理”按鈕,即進入課程分配頁面,為該班級分配相應的實驗課程。Ⅲ批閱報告點擊“批閱報告”,可以篩選“專業(yè)”與“班級”,查看相應班級學生提交的實驗報告,并進行批閱。Ⅳ集群監(jiān)控點擊“集群監(jiān)控”,可以進入分布式計算機集群的監(jiān)控頁面,如下圖所示。在該頁面中,可以分別查看Hadoop集群、Spark集群、Ganglia集群監(jiān)控,以及,進程啟動等監(jiān)控信息。示意圖如下。Hadoop集群信息:Spark集群信息:Ganglia集群監(jiān)控信息:進程啟動頁面信息:3、項目教學內容及數(shù)據(jù)庫(1)芝諾數(shù)據(jù)教學課程(2)實訓平臺實驗教學大綱(3)芝諾數(shù)據(jù)庫