大數(shù)據(jù)教學(xué)實驗室方案復(fù)習(xí)過程

大數(shù)據(jù)教學(xué)實驗室方

案

ORACLG

鴻高明大輛喈

數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)教學(xué)科研實驗室建設(shè)方案

ShanghaiRealactionSoftware&ServicesCo.fLtd.

目錄

一、數(shù)據(jù)科學(xué)與大數(shù)據(jù)專業(yè)人才定位與培養(yǎng)目標(biāo)1

1.1數(shù)據(jù)科學(xué)及大數(shù)據(jù)人才定位2

1.2數(shù)據(jù)科學(xué)及大數(shù)據(jù)人才培養(yǎng)目標(biāo)3

1.2.1大數(shù)據(jù)即服務(wù)架構(gòu)設(shè)置4

1.2.2大數(shù)據(jù)基礎(chǔ)關(guān)鍵技術(shù)5

1.2.3大數(shù)據(jù)存儲和管理技術(shù)5

1.2.4大數(shù)據(jù)分析及挖掘技術(shù)5

1.2.5多媒體及非結(jié)構(gòu)化數(shù)據(jù)管理與分析6

二、數(shù)據(jù)科學(xué)與大數(shù)據(jù)專業(yè)支撐平臺7

2.1企業(yè)級大數(shù)據(jù)工程實踐系統(tǒng)環(huán)境7

2.2開放的商用及開源組件共享平臺10

2.3基于智慧教育云的實踐教學(xué)平臺11

2.3.1總體架構(gòu)11

2.3.2虛擬桌面云14

2.3.3教學(xué)云平臺19

2.4中國高校大數(shù)據(jù)課程公共服務(wù)平臺23

三、數(shù)據(jù)科學(xué)與大數(shù)據(jù)專業(yè)教學(xué)資源26

3.1教學(xué)計劃支撐26

3.2核心課程設(shè)計及實驗29

3.2.1《大數(shù)據(jù)技術(shù)原理與應(yīng)用——概念、存儲、處理、分析與應(yīng)用》29

3.2.2《大數(shù)據(jù)即服務(wù)：云計算與數(shù)據(jù)引擎管理》33

3.2.3《大數(shù)據(jù)基礎(chǔ)及實戰(zhàn)課程》35

3.2.4《基于數(shù)據(jù)挖掘工作流的分析與預(yù)測》43

3.2.5《R語言企業(yè)版》44

3.2.6《大數(shù)據(jù)可視化及圖像分析》45

四、貫穿教學(xué)全過程的大數(shù)據(jù)項目案例48

4.1在線視頻點播網(wǎng)站用戶行為預(yù)測：MoviePlex49

4.1.1客戶需求概述49

4.1.2技術(shù)架構(gòu)及目標(biāo)描述50

4.1.3視頻網(wǎng)站門戶51

4.1.4登錄后用戶個性化界面52

4.1.5用戶Profile查詢及管理52

4.1.6電影詳細信息54

4.1.7數(shù)據(jù)采集:FLUME55

4.1.8數(shù)據(jù)組織:HUE-HIVEEDITOR-QUREY58

4.1.9數(shù)據(jù)集成:OracleDataIntegrator60

4.1.10數(shù)據(jù)分析：R-Studio61

4.1.11用戶推送：WEB呈現(xiàn)62

4.2"健康醫(yī)療大數(shù)據(jù)"：流行性感冒數(shù)據(jù)分析及趨勢預(yù)測62

4.2.1美國疾病控制中心數(shù)據(jù)集63

4.2.2世界衛(wèi)生組織數(shù)據(jù)集63

4.2.3美國衛(wèi)生及公共服務(wù)部地區(qū)分布數(shù)據(jù)集64

4.2.4世界動物健康組織流感數(shù)據(jù)集65

4.2.5世界銀行經(jīng)濟發(fā)展指標(biāo)數(shù)據(jù)集66

4.2.6數(shù)據(jù)不譯概述66

4.2.7通過公眾數(shù)據(jù)源加載各種科研數(shù)據(jù)67

4.2.8分析及可視化數(shù)據(jù)67

4.2.9使用ApacheSpark分析數(shù)據(jù)69

五、科研、師資培訓(xùn)與增值服務(wù)74

5.1為教學(xué)與科研提供“全數(shù)據(jù)”支撐平臺74

5.1.1數(shù)據(jù)組織74

5.1.2數(shù)據(jù)類型75

5.1.3數(shù)據(jù)采集77

5.2面向教學(xué)與科研的增值服務(wù)78

521合作開發(fā)高校自主版權(quán)的教育資源及科研成果78

5.2.2領(lǐng)先的行業(yè)軟件與企業(yè)級仿真工程實踐環(huán)境79

5.2.3提供技術(shù)講座及認(rèn)證優(yōu)惠資源79

5.3校企合作的師資培訓(xùn)與人才培養(yǎng)79

5.3.1企業(yè)師資支持79

5.3.2雙證型人才培養(yǎng)計劃80

六、方案總結(jié)與公司簡介81

6.1方案總結(jié)81

6.2公司簡介81

七、大數(shù)據(jù)實驗室配置清單83

八、大數(shù)據(jù)實驗室平面圖效果圖（參考）101

一、數(shù)據(jù)科學(xué)與大數(shù)據(jù)專業(yè)人才定位與培養(yǎng)目標(biāo)

當(dāng)前，在"數(shù)字中國"的時代背景下，大數(shù)據(jù)概念引起了科技界、產(chǎn)業(yè)界和政府

部門的高度關(guān)注。多份國際頂級學(xué)術(shù)刊物相繼出版?？瘉韺ｉT探討對大數(shù)據(jù)的研究，

從多個方面介紹了海量數(shù)據(jù)帶來的挑戰(zhàn)，特別指出——倘若能夠更有效地組織和使用

這些數(shù)據(jù)，人們將得到更多的機會發(fā)揮科學(xué)技術(shù)對社會發(fā)展的巨大推動作用；大數(shù)據(jù)

的開發(fā)與利用已經(jīng)在互聯(lián)網(wǎng)、醫(yī)療服務(wù)、零售業(yè)、金融業(yè)、制造業(yè)、物流、電信、工

業(yè)4.0等行業(yè)廣泛展開，并產(chǎn)生了巨大的社會價值和產(chǎn)業(yè)空間；政府部門也高度重視

大數(shù)據(jù)技術(shù)，2013年初，中科院倡議應(yīng)將大數(shù)據(jù)提升為國家戰(zhàn)略。由此可見，大數(shù)據(jù)

確實引起并必將掀起一股"數(shù)據(jù)革命"熱潮，在多所高等院校及科研機構(gòu)間形成共

識。

計算機科學(xué)與技術(shù)（數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)方向）專業(yè)為國家新增專業(yè)，該專業(yè)

主要培養(yǎng)大數(shù)據(jù)科學(xué)與工程領(lǐng)域的復(fù)合型高級技術(shù)人才。畢業(yè)生具有信息科學(xué)、管理

科學(xué)和數(shù)據(jù)科學(xué)基礎(chǔ)知識與基本技能，掌握大數(shù)據(jù)科學(xué)與技術(shù)所需要的計算機、網(wǎng)

絡(luò)、數(shù)據(jù)編碼、數(shù)據(jù)處理等相關(guān)學(xué)科的基本理論和基本知識，熟練掌握大數(shù)據(jù)采集、

存儲、處理與分析、傳輸與應(yīng)用等技術(shù)，具備大數(shù)據(jù)工程項目的系統(tǒng)集成能力、應(yīng)用

軟件設(shè)計和開發(fā)能力，具有一定的大數(shù)據(jù)科學(xué)研究能力及數(shù)據(jù)科學(xué)家崗位的基本能力

與素質(zhì)。畢業(yè)后能從事各行業(yè)大數(shù)據(jù)分析、處理、服務(wù)、開發(fā)和利用工作，大數(shù)據(jù)系

統(tǒng)集成與管理維護等各方面工作，亦可從事大數(shù)據(jù)研究、咨詢、教育培訓(xùn)工作。

1.1數(shù)據(jù)科學(xué)及大數(shù)據(jù)人才定位

大數(shù)據(jù)是繼云計算，物聯(lián)網(wǎng)之后興起的又一新興發(fā)展方向，被學(xué)術(shù)界、工業(yè)界乃

至政府機構(gòu)密切關(guān)注和廣泛研究。大數(shù)據(jù)不僅僅是面向大型企業(yè)，基于數(shù)據(jù)驅(qū)動的決

策制定過程，正迅速成為幾乎所有行業(yè)的標(biāo)準(zhǔn)，這使得在各種各樣的行業(yè)、組織和學(xué)

科中，對于數(shù)據(jù)導(dǎo)向的專業(yè)人才的需求空前高漲。從廣義上講，大數(shù)據(jù)人才就是具備

大數(shù)據(jù)處理能力的科學(xué)家和工程師。目前，國際上開設(shè)了大量的數(shù)據(jù)科學(xué)方面的課

程、數(shù)據(jù)科學(xué)學(xué)位計劃以及數(shù)據(jù)科學(xué)短期培訓(xùn)班。從國際上設(shè)置的培養(yǎng)計劃來看，大

數(shù)據(jù)人才應(yīng)該系統(tǒng)地掌握數(shù)據(jù)分析相關(guān)的技能，主要包括數(shù)學(xué)、統(tǒng)計學(xué)、數(shù)據(jù)分析、

商業(yè)分析和自然語言處理等，具有較寬的知識面，具有獨立獲取知識的能力，具有較

強的實踐能力、創(chuàng)新意識和團隊合作意識。

大數(shù)據(jù)人才首先應(yīng)具備獲取大數(shù)據(jù)的能力，例如能根據(jù)任務(wù)的具體要求，綜合利

用各種計算機手段和知識，收集整理海量數(shù)據(jù)并加以存儲，為支撐相關(guān)的決策和行為

做好數(shù)據(jù)準(zhǔn)備。同時，應(yīng)具備分析大數(shù)據(jù)的能力，對于經(jīng)過預(yù)處理的各類數(shù)據(jù)，能夠

根據(jù)具體的需求，進行選擇、轉(zhuǎn)換、加載，采用有效方法和模型對數(shù)據(jù)進行分析，并

形成分析報告，為實際問題提供決策依據(jù)。最后，大數(shù)據(jù)行業(yè)的產(chǎn)生的需求本身來源

于業(yè)務(wù)應(yīng)用，因此在大數(shù)據(jù)人才培養(yǎng)的過程中更應(yīng)該將大數(shù)據(jù)的理論回歸業(yè)務(wù)應(yīng)用，

加強學(xué)生的動手實驗操作及技術(shù)應(yīng)用能力。因此，借助行業(yè)領(lǐng)先的大數(shù)據(jù)解決方案，

產(chǎn)品，以及教育資源，可以使學(xué)生高效的獲得大數(shù)據(jù)知識和動手實踐體驗，這是現(xiàn)代

職業(yè)所必備的數(shù)據(jù)技能。

從本專業(yè)畢業(yè)學(xué)生，不但應(yīng)該具備深入了解數(shù)據(jù)科學(xué)基礎(chǔ)理論及大數(shù)據(jù)核心技術(shù)

原理，了解大數(shù)據(jù)基礎(chǔ)架構(gòu)設(shè)計，了解大數(shù)據(jù)項目完整生命周期（采集，訪問，處

理，集成，分析，可視化，安全，治理，優(yōu)化……）的各個階段所需要的技能，根據(jù)項

目需求正確選擇行業(yè)常用大數(shù)據(jù)工具，熟練部署與應(yīng)用相關(guān)工具。同時，作為一門源

自業(yè)務(wù)需求的跨學(xué)科專業(yè)，應(yīng)該進一步突破IT熟練技工與業(yè)務(wù)需求絕緣的傳統(tǒng)定位，

加重行業(yè)特性與IT技術(shù)的粘合度，結(jié)合業(yè)務(wù)邏輯（如健康管理，醫(yī)療衛(wèi)生），能通過

選擇先進及適配的IT信息化工具提供高效能解決方案。實現(xiàn)立足技術(shù)實施培養(yǎng)，更兼

顧行業(yè)發(fā)展趨勢及需求，能準(zhǔn)確定位行業(yè)發(fā)展趨勢及科研方向，并實現(xiàn)規(guī)劃業(yè)務(wù)流程

與大數(shù)據(jù)技術(shù)支撐架構(gòu)銜接的SOA（面向業(yè)務(wù)架構(gòu)設(shè)計）級別跨界人才。

I，COMPARISON

-o-JobsinDataScience一

數(shù)據(jù)科學(xué)家?■

JLJ數(shù)據(jù)工程師LVS統(tǒng)J計分析師

運用CS據(jù)分析和i十時機處理快力落■應(yīng)用層和平臺層2問的數(shù)博好統(tǒng)計學(xué)BHf,并目出用以勘

從海81018中提取有價傀的僖息,并目負(fù)im骷唳構(gòu)的總也嘛決小阿園的人

的人A

1.2數(shù)據(jù)科學(xué)及大數(shù)據(jù)人才培養(yǎng)目標(biāo)

大數(shù)據(jù)技術(shù)是網(wǎng)絡(luò)技術(shù)、人工智能、數(shù)據(jù)庫技術(shù)等現(xiàn)代信息技術(shù)的有效結(jié)合，具

有無可比擬的先進性。同時，大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展，對大數(shù)據(jù)人才提出了新的需求，國

內(nèi)各高校在積極進行大數(shù)據(jù)學(xué)術(shù)研究的同時，也開始考慮將大數(shù)據(jù)相關(guān)課程納入培養(yǎng)

體系，以滿足社會對大數(shù)據(jù)人才的需求。因此，大數(shù)據(jù)技術(shù)課程旨在培養(yǎng)能夠熟練掌

握并利用計算機技術(shù)，云計算技術(shù)，大數(shù)據(jù)存儲管理技術(shù)，大數(shù)據(jù)分析挖掘技術(shù)，具

備數(shù)據(jù)爆炸時代能夠解決實際大數(shù)據(jù)應(yīng)用問題的理論與實踐能力并長的高素質(zhì)復(fù)合型

管理人才。

數(shù)據(jù)科學(xué)家數(shù)據(jù)工程師數(shù)據(jù)分析師

職責(zé)RSEPONSIBILITSES

1、根據(jù)商業(yè)需要規(guī)劃和實施1,設(shè)計.搭建.安裝.測試和維1,應(yīng)用統(tǒng)計學(xué)原理和方法解決企業(yè)

數(shù)據(jù)分忻項目；護大規(guī)模數(shù)據(jù)管理系統(tǒng)；實際問題；

2、致力于數(shù)據(jù)挖瘋架物、模型2、改進數(shù)據(jù)基礎(chǔ)迨施、業(yè)務(wù)流程2.決定數(shù)據(jù)采集和數(shù)據(jù)發(fā)現(xiàn)的方法；

標(biāo)裝、數(shù)據(jù)報告、數(shù)據(jù)分析方和數(shù)據(jù)標(biāo)準(zhǔn)；3、分折和解釋數(shù)據(jù)，承擔(dān)數(shù)據(jù)分析

法；3、在現(xiàn)有體系架構(gòu)中集成新的數(shù)師一職；

3.與利益相關(guān)人合作在現(xiàn)有的據(jù)管理技術(shù)和軟件工具；4、提供數(shù)據(jù)分析結(jié)果報告；

數(shù)據(jù)系統(tǒng)中集成數(shù)據(jù)挖掘結(jié)果；4、開發(fā)用戶網(wǎng)軟件和數(shù)據(jù)分析應(yīng)

4、監(jiān)督數(shù)據(jù)疙掘系統(tǒng)性隹并實用理序；

施優(yōu)化和改進.

技或SKILLS

編程、數(shù)學(xué)、統(tǒng)計學(xué)、商業(yè)理數(shù)據(jù)序設(shè)計、程序開發(fā)、數(shù)據(jù)采計算機處理能力、數(shù)學(xué)、溺研、寫作

解、數(shù)據(jù)可視化、機器學(xué)習(xí)、集、數(shù)據(jù)存儲.數(shù)據(jù)轉(zhuǎn)換、與數(shù)能力，分折、建模和解釋數(shù)據(jù)的嵋力

關(guān)注細石的他力據(jù)打交道的能力用簡單方式理解數(shù)據(jù)的數(shù)銃洞察戰(zhàn)力

1.2.1大數(shù)據(jù)即服務(wù)架構(gòu)設(shè)置

大數(shù)據(jù)即服務(wù)(BigDataasaServices-BDaaS),旨在為用戶提供簡單部署在

"云計算”架構(gòu)之上的Hadoop集群的能力，并且部署數(shù)據(jù)處理框架，如：

Hadoop,Spark,Yarn,Strom等。通過簡單的配置：比如Hadoop版本、集群結(jié)

構(gòu)、節(jié)點硬件信息等一在用戶提供了這些參數(shù)后，BDaaS能夠迅速的把大數(shù)據(jù)集群

機構(gòu)部署起來。同時也支持集群的擴容和減容。以Hadoop應(yīng)用為代表的大數(shù)據(jù)分

析,是最適合在云上運行的業(yè)務(wù)之一。也正因為如此，AWS、OracleCloud、

WindowsAzure、阿里云等知名"公有云"上都推出了相關(guān)服務(wù)。同時，高等院校采

用Hadoop分布式大數(shù)據(jù)"云計算”架構(gòu)，將是一個先進的融合兩大熱門技術(shù)的理想

選擇。大數(shù)據(jù)與“云計算”的結(jié)合是一個值得關(guān)注的方向。毋庸置疑，"云計算”和

大數(shù)據(jù)目前都位列IT領(lǐng)域中最受矚目的方向之中，而二者的結(jié)合則更是不可回避的話

題。在這種情況下，BDaaS作為一個典型的、開源的大數(shù)據(jù)與“云計算”結(jié)合方案，

必然是值得關(guān)注的。特別是，如果希望對這個方向有一個清晰直觀的、技術(shù)層面上的

認(rèn)識，BDaaS則更是一個可以重點分析學(xué)習(xí)的對象。

1.2.2大數(shù)據(jù)基礎(chǔ)關(guān)鍵技術(shù)

大數(shù)據(jù)時代面臨的新挑戰(zhàn)，包括大數(shù)據(jù)集成（數(shù)據(jù)異構(gòu)性和數(shù)據(jù)質(zhì)量問題）、大

數(shù)據(jù)分析（數(shù)據(jù)形式多樣化、數(shù)據(jù)處理的實時性、索引結(jié)構(gòu)的復(fù)雜性等）、大數(shù)據(jù)隱

私問題（隱私保護和數(shù)據(jù)分析的矛盾）、大數(shù)據(jù)能耗問題（低功耗硬件的設(shè)計）、大

數(shù)據(jù)處理與硬件的協(xié)同、大數(shù)據(jù)管理易用性問題以及性能測試基準(zhǔn)。

1.2.3大數(shù)據(jù)存儲和管理技術(shù)

如何把采集到的大數(shù)據(jù)存儲起來，建立相應(yīng)的數(shù)據(jù)庫，并進行管理和調(diào)用。主要

內(nèi)容包括：分布式文件系統(tǒng)（HDFS）、去冗余及高效低成本的大數(shù)據(jù)存儲技術(shù)、新型

數(shù)據(jù)庫技術(shù)（鍵值數(shù)據(jù)庫，列式存數(shù)據(jù)庫、圖存數(shù)據(jù)庫以及文檔數(shù)據(jù)庫等）、異構(gòu)數(shù)

據(jù)融合技術(shù)、分布式非關(guān)系型大數(shù)據(jù)管理與處理技術(shù)、大數(shù)據(jù)索引技術(shù)和大數(shù)據(jù)移

動、備份、復(fù)制等技術(shù)。

1.2.4大數(shù)據(jù)分析及挖掘技術(shù)

從大量數(shù)據(jù)中尋找其規(guī)律的技術(shù)，通常由數(shù)據(jù)準(zhǔn)備、規(guī)律尋找和規(guī)律表示3個階

段組成。數(shù)據(jù)準(zhǔn)備是從上述大數(shù)據(jù)中心存儲的數(shù)據(jù)中選取所需數(shù)據(jù)并整合成用于數(shù)據(jù)

挖掘的數(shù)據(jù)集；規(guī)律尋找是用某種方法將數(shù)據(jù)集所含規(guī)律找出來；規(guī)律表示則是盡可

能以用戶可理解的方式（如可視化）將找出的規(guī)律表示出來。根據(jù)挖掘任務(wù)可分為分

類或預(yù)測模型發(fā)現(xiàn)、數(shù)據(jù)總結(jié)、聚類、關(guān)聯(lián)規(guī)則發(fā)現(xiàn)、序列模式發(fā)現(xiàn)、依賴關(guān)系或依

賴模型發(fā)現(xiàn)、異常和趨勢發(fā)現(xiàn)等。

1.2.5多媒體及非結(jié)構(gòu)化數(shù)據(jù)管理與分析

大數(shù)據(jù)不單單意味這數(shù)據(jù)量發(fā)生了巨量提升，更重要的在于數(shù)據(jù)類型以及可用于

業(yè)務(wù)分析的數(shù)據(jù)格式也在不斷豐富。新的數(shù)據(jù)類型也正在對傳統(tǒng)數(shù)據(jù)源和熟悉的商務(wù)

智能活動進行補充。例如，網(wǎng)絡(luò)日志文件可跟蹤網(wǎng)站訪問者的運動，這將揭示何人、

何時、在何處、訪問了該網(wǎng)站。這種數(shù)據(jù)可揭示人們與您網(wǎng)站的交互情況。社交媒體

有助于您了解人們想些什么或者他們對某些事情的感覺。數(shù)據(jù)可來源于網(wǎng)頁、社交媒

體網(wǎng)站、微博、博客、"微信"的朋友圈、電子郵件交流、搜索索引、點擊流、設(shè)備

傳感器和所有類型的多媒體文件（包括音頻、視頻和攝影）。隨著計算機網(wǎng)絡(luò)，分布

式計算的發(fā)展，對多媒體信息進行高效的管理，存取，查詢已經(jīng)成了一種迫切需求。

數(shù)據(jù)科學(xué)與大數(shù)據(jù)人才所采用的數(shù)據(jù)分析資源不單包括傳統(tǒng)的數(shù)據(jù)源，同時應(yīng)該有能

力將數(shù)據(jù)庫的可靠性、可用性和數(shù)據(jù)管理擴展到了傳統(tǒng)、互聯(lián)網(wǎng)、電子商務(wù)和多媒體

應(yīng)用程序中的多媒體內(nèi)容。除存儲和檢索大圖像外，還了解如何提取圖像屬性，包括

以下圖像的高度、寬度和壓縮格式：這些圖像包含的像素高達二十億，或者分辨率高

達46000x46000。

二、數(shù)據(jù)科學(xué)與大數(shù)據(jù)專業(yè)支撐平臺

2.1企業(yè)級大數(shù)據(jù)工程實踐系統(tǒng)環(huán)境

大數(shù)據(jù)工程實踐系統(tǒng)環(huán)境，是面向國內(nèi)高等院校大數(shù)據(jù)學(xué)科及研究院建設(shè)，本科

及工程碩士實習(xí)教學(xué)，及教師及科研項目團隊開發(fā)等多種應(yīng)用場景，專門為高校教師

與學(xué)生定制化開發(fā)，基于企業(yè)真實的大數(shù)據(jù)業(yè)務(wù)開發(fā)環(huán)境全面仿真，匹配至高校教學(xué)

與科研應(yīng)用場景的整體系統(tǒng)環(huán)境。借助"云計算”平臺的優(yōu)勢，工程實踐系統(tǒng)環(huán)境之

間相互獨立應(yīng)用，以虛擬機文件格式交付，可供大數(shù)據(jù)專業(yè)學(xué)生、項目開發(fā)小組，及

科研開發(fā)團隊，分別完成大數(shù)據(jù)學(xué)習(xí)及端到端的項目開發(fā)全生命周期的實驗操作，工

程實踐及項目開發(fā)。

滿足高校大數(shù)據(jù)專業(yè)人才培養(yǎng)需求，端到端業(yè)務(wù)流

程支持的產(chǎn)品與平臺架構(gòu)

>流》獲取》組織/安全〉分析〉可視化/決策

港e?

g匕

口

K<一

3二

合

@3

InfiniBands

e

Hq

e

K_

rae

密Ja

.

s

大數(shù)據(jù)基礎(chǔ)平臺

基于大數(shù)據(jù)業(yè)務(wù)的行業(yè)最佳實踐經(jīng)驗，將滿足大數(shù)據(jù)端到端的業(yè)務(wù)流程的核心平

臺在大數(shù)據(jù)工程實踐系統(tǒng)環(huán)境內(nèi)部，包括：大數(shù)據(jù)基礎(chǔ)平臺，高級分析與R語言平

臺，大數(shù)據(jù)可視化探索平臺。采用統(tǒng)一的集成化系統(tǒng)，滿足高等院校面向多學(xué)科，多

學(xué)院，包括：計算機學(xué)院，軟件學(xué)院，商學(xué)院，管理學(xué)院，梳理學(xué)院的大數(shù)據(jù)專業(yè)設(shè)計

需求，并滿足多種項目科研方向的需求。

滿足多學(xué)科大數(shù)據(jù)專業(yè)設(shè)計及科研方向的業(yè)務(wù)平臺

析方向臺部署方向深度挖掘算法分析方向

型學(xué)院）（數(shù)理學(xué)院）

業(yè)

開

?信息結(jié)構(gòu)

務(wù)

?市場營銷售?采樣jm計方海發(fā)?噓/S與報告

分

?客戶關(guān)系1?8m庫開發(fā)挖?數(shù)據(jù)清洗

?業(yè)務(wù)分析:?信息系統(tǒng)分析與設(shè)計

析

策略與管理掘

?IT.

?商業(yè)智能一?數(shù)據(jù)管治與安全?空間位置雌分析

?圖表分析?IT安全策略與流程?骷8可視化

?營銷預(yù)測與判斷?單/多趣性回歸

?數(shù)據(jù)倉庫設(shè)計與部署?高級建模

?分析及信息管理

|*L

?企業(yè)信息慘構(gòu)設(shè)計-顏L

?資產(chǎn)頻?商業(yè)智能

?供應(yīng)鏈優(yōu)化?分析及信息管理

?ggilgS?-雌^

ORACLE大數(shù)蒯索平臺ORACLE大數(shù)據(jù)基礎(chǔ)平臺ORACLE高級分析及R語言平臺

對應(yīng)相關(guān)課程模塊教學(xué)與實驗需求，預(yù)裝包含：系統(tǒng)環(huán)境，功能連接中間件，應(yīng)

用數(shù)據(jù)庫，SQL大數(shù)據(jù)數(shù)據(jù)庫，NoSQL數(shù)據(jù)庫，教學(xué)及科研用示例數(shù)據(jù)資源，以及面

向?qū)I(yè)類開發(fā)，管理，調(diào)優(yōu)等功能組件及應(yīng)用軟件，滿足相關(guān)教學(xué)與實驗所需的應(yīng)用

場景。大數(shù)據(jù)工程實踐系統(tǒng)環(huán)境保持每年隨技術(shù)升級至少三次整體更新，提供未來3

年系統(tǒng)及組件升級服務(wù)，含：ORACLE操作系統(tǒng)，數(shù)據(jù)庫，軟件；課程體系及教材，

實驗，項目案例，源代碼，教學(xué)用數(shù)據(jù)案例等教學(xué)資源。最新版本的大數(shù)據(jù)工程實踐

系統(tǒng)環(huán)境包含軟件及版本包括：

開源|商用|性能中間件

?Linux6.7-支持開源

?OracleDatabase12cRelease1EnterpriseEdition()

■OracleBigDataSQL-enabledexternaltables,

■OracleMultitenant,

■OracleAdvancedAnalytics,

■OracleOLAP,

■OraclePartitioning,

■OracleSpatialandGraph,

?ClouderaDistributionincludingApacheHadoop(CDH5.5.1)-開源

?ClouderaManager(5.5.1)-支持開源

?OracleBigDataSpatialandGraph1.1.2

?OracleBigDataDiscovery1.1.1

?OracleBigDataConnectors4.4

?OracleSQLConnectorforHDFS3.4.0

?OracleLoaderforHadoop3.5.0

?OracleDataIntegrator12c

?RAdvancedAnalyticsforHadoop2.5.1-支持開源

?OracleXQueryforHadoop4.2.1

?NoSQLDatabaseEnterpriseEdition12cRl(3.5.2)-支持遷移

?JDeveloper12c(12.1.3)-支持開源

?SQLDeveloperandDataModeler4.1.3withOracleRESTData

Services3.0.3-支持SQL代碼開源

?OracleDataIntegrator12cRl(12.2.1)

?OracleGoldenGate12cR2()

?RDistribution3.2.0-支持開源

?OraclePerfectBalance2.6.0

可以發(fā)現(xiàn)，大數(shù)據(jù)工程實踐系統(tǒng)環(huán)境保持著開放的態(tài)度，為高校架設(shè)了一個面向

開源生態(tài)圈的統(tǒng)一平臺，僅僅保留傳統(tǒng)數(shù)據(jù)庫12c與性能優(yōu)化相關(guān)組件。同時，在大

數(shù)據(jù)工程實踐系統(tǒng)環(huán)境中安裝一站式的系統(tǒng)服務(wù)管理平臺，用戶及管理員均可以通過

直觀的管理界面，根據(jù)課程及科研項目需求啟動或者關(guān)閉特定服務(wù)，以匹配實際需

求：

Usethearrowkeystonavigatebetweenservices.Usethespacebartoselect

servicestostart.Deselectservicestostopthem.Hit<enter>toacceptthe

changes,<CTRL>-ctocancel.

Note:UsingClouderaManagerandmanuallystartingservicesaremutually

exclusive；youmuststoponetoaccesstheother.Also,pleaseperfoma

systemrebootaftershuttingdownClouderaManager.

WEQ!HoracleDatabase^2c7offW

[?]Zookeeperzookeeper(on)

[,]HOFSnamenode(on)secondarynamenode(on)hadoop-httpfs(on)

]Hivemetastore(off)hive-server2(off)

(1HueHue(off)

[]I?ipalaimpala-server(off)catalog(off)state-store(off)

[]NoSQLOracleNoSQLDatabase(off)

[]Oozieoozie(off)

[]Solrsolr-server(off)

I1Sqoop2sqoop2-server(off)

[]WebLogic-MovieDe：WebLogic-MovieDemo(off)

[*]YARNresourcemanager(on)nodemanager(on)history-server()

2.2開放的商用及開源組件共享平臺

開源共享必然是科研與技術(shù)發(fā)展的潮流，大數(shù)據(jù)工程實踐系統(tǒng)環(huán)境本身，基于

ORACLE開源Linux發(fā)行版部署，借助靈活開放的系統(tǒng)接口,高校師生可以自由靈活

的在系統(tǒng)平臺上加載其他商用及開源軟件。

大數(shù)據(jù)工程實踐系統(tǒng)環(huán)境中，不單提供了基于ORACLE核心技術(shù)的ORACLE婁媚

庫12c,大數(shù)據(jù)SQL,大數(shù)據(jù)發(fā)現(xiàn)數(shù)據(jù)可視化探索平臺(ORACLEBigData

Discovery),高級數(shù)據(jù)挖掘分析套件；同時，還提供了全球最大的大數(shù)據(jù)企業(yè)解決方

案公司Cloudera的開源大數(shù)據(jù)開源套件：ClouderaDistributionof

在高?？蒲协h(huán)境中，科研項目小組完全可以通過調(diào)用基于開源平臺的

Hadoop(CDH)o

大數(shù)據(jù)開發(fā)環(huán)境與完整的Apache開源項目，實現(xiàn)獨立及靈活自主的項目開發(fā)與科研

探索，組件包括：

ApacheHadoop(Core)

ApacheAccumulo

ApacheFlume

ApacheHBaseSpork

ApacheHive

HUE

Impala

ApacheKafka

ApachePig

ApacheSentry

ClouderaSearch

ApacheSpark

ApacheSqoop

2.3基于智慧教育云的實踐教學(xué)平臺

23.1總體架構(gòu)

基于智慧教育云的實踐教學(xué)平臺依托于云計算、虛擬化以及大數(shù)據(jù)技術(shù)，將分散

的IT軟硬件資源與教學(xué)資源整合在一起，通過統(tǒng)一的教學(xué)平臺，向用戶提供各種服

務(wù)，其總體架構(gòu)如圖所示。

通過教學(xué)

管理客戶

端“學(xué)寶”

環(huán)

實現(xiàn)單用環(huán)

戶跨課程境

境闞恤、

的多桌面分

分教學(xué)奧源和實踐敦學(xué)費源和實踐

獨立的,多

應(yīng)用組

組環(huán)境打包的桌面環(huán)境打包的桌面

樣性的實踐

1統(tǒng)一分發(fā)給用戶N分發(fā)給用戶

環(huán)境

PaaS

各種學(xué)

專業(yè)實驗

環(huán)境提供

云博教育云教學(xué)資源計算機專業(yè)環(huán)文科實驗環(huán)境人文和經(jīng)濟數(shù)云計算大數(shù)據(jù)

數(shù)據(jù)挖掘

平臺笞理服務(wù)境管理服務(wù)服務(wù)據(jù)庫資源服務(wù)實訓(xùn)環(huán)境服務(wù)

和報表

在KVMXMicrosoft

□。吧鄴k8SWindowsAzure白戰(zhàn)黑亮

laaS

UCLOUDamazon

_we_b_serv_ic_es-J

總體架構(gòu)按照云計算的服務(wù)模式劃分，可以分為三個層次。

最底層laaS是有機地整合在一起的IT資源，包括計算資源、網(wǎng)絡(luò)資源和存儲資

源。統(tǒng)一的云計算管理平臺將這些資源進行虛擬化管理，向上提供基礎(chǔ)服務(wù)，包括分

布式數(shù)據(jù)存儲與計算服務(wù)、負(fù)載管理、數(shù)據(jù)備份等。這一層使用服務(wù)器虛擬化技術(shù)，

將分布式計算資源進行整合，達到統(tǒng)一管理和使用的目的。

中間的PaaS層為云平臺業(yè)務(wù)調(diào)度中心，包括統(tǒng)一身份認(rèn)證管理、各種教學(xué)業(yè)務(wù)

引擎、各種教學(xué)應(yīng)用服務(wù)器、教學(xué)資源管理、數(shù)據(jù)統(tǒng)計和分析功能等。這一層使用虛

擬化技術(shù)將各種實踐環(huán)境需要的實驗工具、業(yè)務(wù)與管理支持工具、實踐教學(xué)管理工具

等有機地整合在一起，對上一層應(yīng)用進行按需分配。

SaaS包含了向最終用戶提供的各種服務(wù)以及各種調(diào)用方式。一種方式為一般桌面

應(yīng)用，提供基礎(chǔ)的桌面環(huán)境和辦公、實驗工具。另外一種方式為通過教學(xué)平臺，將課

程資源和課程需要的專業(yè)實踐環(huán)境進行打包整合來為用戶進行服務(wù)。調(diào)用資源的終端

可以為PC、筆記本電腦、各種云終端和平板電腦。

總體架構(gòu)從組成形式來看，主要如下圖所示。

教學(xué)模式創(chuàng)新。過程性評價。實訓(xùn)實險室“在線作業(yè)、考試，

墓課、翻轉(zhuǎn)課堂,以學(xué)生為中心科研活動"其他應(yīng)用。

八

在最底層，是整個智慧教育云的基礎(chǔ)架構(gòu)，包含服務(wù)器、存儲設(shè)備、網(wǎng)絡(luò)安全等

軟硬件設(shè)備。在此基礎(chǔ)上，有一個虛擬桌面云，將基礎(chǔ)軟硬件設(shè)備整合為各種業(yè)務(wù)場

景資源、計算資源、存儲資源、網(wǎng)絡(luò)資源等。根據(jù)生產(chǎn)實踐型教學(xué)體系，將企業(yè)真實

案例等資源分解整合為生產(chǎn)實踐型教學(xué)資源庫，并通過虛擬桌面云來提供虛擬化實訓(xùn)

環(huán)境。通過教學(xué)云平臺，對教學(xué)資源、實訓(xùn)環(huán)境進行統(tǒng)一管理，組織實施教學(xué)過程、

教學(xué)活動。通過教學(xué)資源庫與教學(xué)云平臺的融合，提供各種應(yīng)用場景，以開展教學(xué)模

式創(chuàng)新、實訓(xùn)實驗室建設(shè)、在線考試以及其他各種應(yīng)用。

大數(shù)據(jù)/移動互聯(lián)網(wǎng)/物聯(lián)部署實訓(xùn)套件OpenStack平

網(wǎng)/云計算/金融分析/商臺并提供VDI桌面交付

業(yè)智能/網(wǎng)絡(luò)安全/數(shù)字媒

Oracle測試優(yōu)化實驗室應(yīng)實驗室實訓(xùn)套件通過學(xué)生接入

體/電子商務(wù)/互聯(lián)網(wǎng)營銷

用平臺,創(chuàng)建虛機模板Oracle交付

實訓(xùn)套件

ORAULW

E-BUSINESSSUITE

+

ORACLW

SOLARIS

“云博"教學(xué)平臺

通過預(yù)安裝體驗套件實現(xiàn)平臺部署

2.3.2虛擬桌面云

虛擬桌面云是采用全球領(lǐng)先的服務(wù)器虛擬化、用戶桌面虛擬化、云存儲、云安

全、云管理技術(shù)，自主研發(fā)的一項云計算應(yīng)用實例。虛擬桌面云利用云計算技術(shù)在高

校數(shù)據(jù)中心內(nèi)搭建一個服務(wù)器集群，通過創(chuàng)建多個虛擬機來提供遠程虛擬桌面；以

"虛擬機"和"虛擬桌面”的形式向用戶提供所需的計算、存儲和應(yīng)用程序等個性化

內(nèi)容。用戶不再需要使用傳統(tǒng)PC終端，而是通過多種精簡且便捷的云終端設(shè)備通過網(wǎng)

絡(luò)訪問遠程虛擬桌面的形式獲得屬于自己的計算與存儲能力、個性化的應(yīng)用與數(shù)據(jù)內(nèi)

容，實現(xiàn)與PC一致的使用體驗。

虛擬桌面云解決了傳統(tǒng)PC構(gòu)架下，數(shù)據(jù)分散、安全性低、部署復(fù)雜、維護工作量

大、難于管理、能耗巨大、資源浪費等問題，實現(xiàn)了數(shù)據(jù)高安全性、用戶高便利性、

系統(tǒng)易管理性、桌面高可用性與綜合成本最低化等特征。

(1)數(shù)據(jù)高安全

在虛擬桌面云架構(gòu)下，任何用戶數(shù)據(jù)的處理和存儲，都是在服務(wù)器端進行處理和

完成的，同時，用戶的數(shù)據(jù)和桌面環(huán)境保存在專門的后臺存儲設(shè)備中，保證了用戶數(shù)

據(jù)資料的安全管理與可靠存儲。

所有終端的接入都經(jīng)過嚴(yán)格的認(rèn)證過程，只有被認(rèn)證的合法終端才能夠接入自己

的虛擬桌面。用戶終端與虛擬桌面云之間傳輸?shù)母鞣N信息，全部按照SSL標(biāo)準(zhǔn)進行加

密，確保數(shù)據(jù)從錄入、處理、呈現(xiàn)、存儲全過程的安全。

用戶終端相連的U盤等所有外設(shè)設(shè)備，都必須經(jīng)過嚴(yán)格的控制與認(rèn)證管理，才能

夠被使用，并且可以從后臺直接進行"禁用/啟用"管理。

(2)系統(tǒng)易管理

在PC模式下大規(guī)模部署的環(huán)境下，IT管理人員需耗費大量精力和時間去配置每

一臺PC終端。采用虛擬桌面云方案，桌面環(huán)境僅需在后臺制作一個母鏡像，即可以批

量復(fù)制的方式，分發(fā)給所有虛擬機，在極端的時間內(nèi)完成部署，現(xiàn)場維護工作量隨之

將大大減少。

虛擬桌面云架構(gòu)實現(xiàn)了桌面?zhèn)€性化與統(tǒng)一管理的平衡，既可以放開所有權(quán)限，使

用戶擁有最大化的自由度、享受個性化的便利；也可以采用統(tǒng)一管理的模式，對用戶

桌面環(huán)境和權(quán)限進行統(tǒng)一的管理。管理員不僅可以對每一個終端、每一個用戶，在后

臺靈活地調(diào)度與管理服務(wù)器資源、存儲資源、虛擬內(nèi)存、虛擬CPU等各種虛擬資源，

也可以遠程登錄虛擬桌面云服務(wù)器，對所有虛擬資源進行有效管理。

X*??Id*?似帆9

□□一杳磔

?云?夏38MS

號人號出啟動美機WHO任務(wù)管理紀(jì)量主磯

,QKWW

a系線狀靠$兄使用*?nr*S?五?d?Td

再比不可修改1?53::55

>Jj片口寸&XPUnWMl，m0取機停止再修改10色安?SOL8ERVER2005

”2515

ubuntutiienn運行中m修改ubuntu

▼(■南m1442

〃

町伸小

9用戶V*n7.X32停止(6V*?N7JG2

色自

*蜀云WM

■(lefauttCiusMfA

fdefaunclusterB

foefaultCMterC

?detunehrttarD

J<?3“本值.|情僧―|歷史|

Anew膝CPVBI

內(nèi)W大小(MB)星存大小(MB)

Bit

I

(3)桌面高可用

在傳統(tǒng)PC模式下，用戶往往因為PC設(shè)備的軟硬件故障，導(dǎo)致用戶數(shù)據(jù)丟失與用

戶使用環(huán)境重置。采用虛擬桌面云模式，所有的桌面內(nèi)容和用戶數(shù)據(jù)，以鏡像的方式

集中存儲于高性能的存儲設(shè)備中，并會得到自動的、安全的備份，即使用戶正在處理

的、未保存的數(shù)據(jù)也不會因為用戶端的突發(fā)故障而丟失。

虛擬桌面云服務(wù)器間構(gòu)建集群，并且虛擬機采用動態(tài)啟動模式、用戶桌面鏡像單

獨保存在存儲設(shè)備中，最大限度降低因軟硬件故障造成用戶數(shù)據(jù)丟失和桌面環(huán)境重置

的風(fēng)險，也有力保證了用戶工作與學(xué)習(xí)的連續(xù)性和高可用性。

(4)用戶高便利

通過虛擬桌面云,用戶的使用環(huán)境不再局限于某臺具體的PC,而是可以在任何時

間、任何地點，通過BYOD的方式，快速訪問自己的虛擬桌面，實現(xiàn)靈活的、移動式

的工作與學(xué)習(xí)。而且，因為用戶的虛擬桌面是存儲于服務(wù)器端，用戶通過不同的終端

設(shè)備訪問，都可以獲得一致性的使用體驗。

如果同一用戶需要不同的虛擬環(huán)境，比如不同的操作系統(tǒng)、不同的應(yīng)用軟件，無

需配置多臺PC,只需要在虛擬桌面云端開設(shè)多個虛擬環(huán)境，即可滿足用戶的多樣化需

求。與此類似，如果用戶對硬件資源有新需求，也不用改變用戶設(shè)備的配置，只需要

在虛擬桌面云端調(diào)整用戶的虛擬CPU、虛擬內(nèi)存、虛擬硬盤等虛擬硬件配置，即可使

用戶獲得彈性的計算與存儲能力。

(5)綜合成本低

采用虛擬桌面云架構(gòu)，所有計算、存儲、網(wǎng)絡(luò)、應(yīng)用等資源都部署在數(shù)據(jù)中心,

并通過虛擬化技術(shù)統(tǒng)一管理，實現(xiàn)資源共享與彈性的調(diào)度，只有在用戶需要時，才提

供實際資源，因此可以有效地控制能耗，實現(xiàn)節(jié)能減排。

采用虛擬桌面云架構(gòu)，還可以利用原有的無法滿足新應(yīng)用的計算速度與使用需求

的舊設(shè)備，使其變?yōu)楸镜赜嬎隳芰σ筝^低的云終端。另外，BYOD的使用方式，使

得終端設(shè)備的采購、運營成本降低，軟硬件環(huán)境的維護、管理成本也有所下降，最終

達到綜合成本降低的目的。

2.3.3教學(xué)云平臺

教學(xué)云平臺用來提供全方位的教學(xué)過程支撐環(huán)境，包括資源管理、課程組織，教

學(xué)互動，教學(xué)統(tǒng)計等功能，并且可以和教學(xué)資源庫有機結(jié)合。根據(jù)國內(nèi)院校的使用習(xí)

慣，教學(xué)云平臺融合了MOOC,翻轉(zhuǎn)課堂等教學(xué)形式和理念，并基于云計算、大數(shù)據(jù)

分析技術(shù)，通過智能輔導(dǎo)及多媒體資源，為老師和學(xué)生提供個性化的交互性教學(xué)與實

踐環(huán)境，并為管理者提供統(tǒng)一的教務(wù)管理途徑。

教學(xué)云平臺的功能特色主要有：

(1)支持教學(xué)創(chuàng)新

通過教學(xué)云平臺，能夠全面呈現(xiàn)各學(xué)院下各專業(yè)課程的教學(xué)過程和相關(guān)數(shù)據(jù)，方

便教學(xué)管理?？梢詰?yīng)用以MOOC,翻轉(zhuǎn)課堂為代表的混合式教學(xué)等多種新型教學(xué)模

式，支持教師對課程進行課前課中課后的個性化設(shè)計，滿足專業(yè)改革、課程改革的需

求。

(2)教學(xué)輔助管理

教學(xué)云平臺可以和教學(xué)指導(dǎo)、多媒體資源、習(xí)題庫、實踐案例庫等多種教學(xué)資源

有機結(jié)合，并支持教師上傳自己積累的教學(xué)內(nèi)容，形成個性化的課程內(nèi)容。通過教學(xué)

過程組織，實現(xiàn)備課、作業(yè)布置提交與批改、教學(xué)過程檢杳等系統(tǒng)管理。

(3)教學(xué)數(shù)據(jù)分析

教學(xué)數(shù)據(jù)分析包含學(xué)生成績、教學(xué)活動統(tǒng)計等多個層面，可以客觀真實地體現(xiàn)學(xué)

生的學(xué)習(xí)情況以及教學(xué)活動的實施情況。這些有效數(shù)據(jù)的匯總可以有效幫助教師調(diào)整

教學(xué)方案，提高教學(xué)效果。同時，數(shù)據(jù)的積累與分析，也有助于綜合化的教學(xué)評價、

可量化的教學(xué)過程、個性化的教學(xué)模式、可視化的教育管理、數(shù)據(jù)化的教育決策等改

革與創(chuàng)新的實施。

(4)"學(xué)寶"客戶端

教學(xué)云平臺配備有"學(xué)寶”客戶端，使用者可以BYOD形式訪問平臺，客戶端采

用類似QQ界面，賬號與老師工號和學(xué)生學(xué)號結(jié)合，免培訓(xùn)，操作簡單，使用便捷。

此外，教師和學(xué)生可通過"學(xué)寶"客戶端進行實時的互動與反饋，或者遠程查看學(xué)生

實踐活動環(huán)境，進行遠程指導(dǎo)。

(5)跨系統(tǒng)集成

教學(xué)云平臺具有第三方接口，可與學(xué)校教務(wù)系統(tǒng)對接(如青果、正方、

Blackboard等),配合教務(wù)系統(tǒng)對教學(xué)過程全程管理。也可與考試系統(tǒng)、MOOC平

臺、網(wǎng)絡(luò)教學(xué)平臺等高校其他應(yīng)用集成。

教學(xué)云平臺的主要功能包括：

(1)教學(xué)資源管理

支持文本、圖像、音頻、視頻等主流資源格式；

支持多層次結(jié)構(gòu)化管理，支持模糊檢索，支持樹形結(jié)構(gòu)展示；

支持對校內(nèi)資源知識產(chǎn)權(quán)進行加密保護;

支持批量轉(zhuǎn)換、打包上傳、校內(nèi)共享等功能;

支持在線學(xué)習(xí)、課堂教學(xué)、作業(yè)考試、實驗實訓(xùn)等教學(xué)活動。

,?Mrtrw?w?<

/AX?*>XHMit■!,

j???*?????

jaiwwww.t.x.

)>i<

?_i**?????

jSmrejniMitu,

,PWWtWHiwa.

?一E：*Eht

jiwirwMMH.1.物業(yè)管理;

glMBMif<u

」”卻得的B4"*1，

」《WMWa?,

；既?什■1?用例表示