大數(shù)據(jù)實驗室建設(shè)方案

1、高校大數(shù)據(jù)實驗室建設(shè)方案一、 建設(shè)目標xx 大數(shù)據(jù)實驗室的建設(shè)目的是作為大數(shù)據(jù)教學(xué)實驗及科研平臺，包括數(shù)據(jù)挖掘與大數(shù)據(jù)分析平臺。實驗室的設(shè)計全面落實“產(chǎn)、學(xué)、研、用”一體化的思想和模式，從教學(xué)、實踐、科研和使用多方面注重專業(yè)人才和特色人才的培養(yǎng)。利用虛擬化教學(xué)資源， 搭建教學(xué)系統(tǒng)和集群平臺， 將理論學(xué)習(xí)、 實踐教學(xué)和大數(shù)據(jù)項目實戰(zhàn)融為一體，由難而易、循序漸進，逐步提升學(xué)生的學(xué)習(xí)技能和實踐水平，提高“學(xué)”的質(zhì)量和成效。利用大數(shù)據(jù)分析主流軟件框架，搭建與業(yè)界主要用戶一致的實驗與科研環(huán)境， 將理論課程中學(xué)到的數(shù)據(jù)挖掘算法運用到實際的數(shù)據(jù)分析過程中， 提升學(xué)生的動手操作和項目實踐能力。 使得學(xué)生所學(xué)與

2、企業(yè)項目人才需求無縫銜接， 與教師的科研工作緊密配合。通過專業(yè)的大數(shù)據(jù)分析計算資源搭建的開放式大數(shù)據(jù)分析平臺，可以充分的融合教師的科研需求，教師可以在開放的平臺環(huán)境下開展大數(shù)據(jù)科研工作， 提升教師的科研創(chuàng)新能力， 充分提高“研”的成效。二、 產(chǎn)品優(yōu)勢交互式學(xué)習(xí)模式提供體系完整、簡單易用的在線教學(xué)課堂；以基礎(chǔ)知識學(xué)習(xí)、在線視頻教學(xué)、習(xí)題、線上測試、評估等為主線的一系列方法，確保學(xué)生在短時間內(nèi)掌握大數(shù)據(jù)虛擬仿真實驗、分析部署技能。真機實驗訓(xùn)練實驗訓(xùn)練體系設(shè)計成各模塊相對獨立的形式，各模塊交互式的實驗任務(wù)、大數(shù)據(jù)實驗機、實際項目上機操作，通過多方位的訓(xùn)練，最終靈活的、漸進式地掌握大數(shù)據(jù)生態(tài)體系。大數(shù)

3、據(jù)實戰(zhàn)及案例分析提供實驗數(shù)據(jù)，包括網(wǎng)站流量數(shù)據(jù)、租房及二手房數(shù)據(jù)、電商商品交易數(shù)據(jù)、搜索引擎訪問等多種行業(yè)數(shù)據(jù)，數(shù)據(jù)內(nèi)容超過 20TB，同時周期更新數(shù)據(jù)內(nèi)容。充分支撐科研工作提供行業(yè)數(shù)據(jù)及案例解剖用于基礎(chǔ)研究，提供數(shù)據(jù)分析方案及流程，提供數(shù)據(jù)更新接口，可以對行業(yè)數(shù)據(jù)進行分析統(tǒng)計，按需求生成數(shù)據(jù)報表， 為科研工作提供數(shù)據(jù)支撐。 例如某地區(qū)經(jīng)濟數(shù)據(jù)分析、股市數(shù)據(jù)分析、全國地震數(shù)據(jù)分析、食品價格行業(yè)數(shù)據(jù)分析等。三、 建設(shè)規(guī)模按照 60 臺大數(shù)據(jù)實驗機容量進行同時在線使用進行建設(shè)為基礎(chǔ)，整體系統(tǒng)提供快速擴容升級服務(wù)。四、 硬件配置采用十六臺高性能品牌服務(wù)器作為大數(shù)據(jù)節(jié)點進行建設(shè)，采用企業(yè)級全千兆三層交

4、換機進行網(wǎng)絡(luò)數(shù)據(jù)交換。每臺節(jié)點的配置如下：處理器每節(jié)點支持 2 個英特爾 ? 至強 ? 處理器E5-2650 CPU高速緩存15MBQPI 總線速率7.2GT/s內(nèi)存提供 12 個內(nèi)存插槽，標配192G 內(nèi)存，支持高級內(nèi)存糾錯，內(nèi)存鏡像，內(nèi)存熱備等高級功能磁盤標配 4 塊 3TB SATA硬盤標配 2 塊 120G SSD硬盤300G 10000轉(zhuǎn) SAS系統(tǒng)盤網(wǎng)絡(luò)控制器集成 1 個高性能千兆以太網(wǎng)控制器（雙口） ，支持虛擬化加速，網(wǎng)絡(luò)加速，負載均衡，冗余等高級功能電源標配大功率高效白金級電源，1+1 冗余虛擬化技術(shù)支持 VMware vSphere、Docker、OpenStack等五、 軟

5、件平臺介紹1、大數(shù)據(jù)教學(xué)管理系統(tǒng)1.1 專業(yè)管理提供對專業(yè)信息的增加、刪除、修改、查詢功能。1.2 班級管理提供對專業(yè)下屬班級的增加、刪除、修改、查詢功能。1.3 學(xué)生管理提供對班級內(nèi)學(xué)生的管理，學(xué)生內(nèi)容包含姓名、學(xué)號、所屬班級、所屬專業(yè)、聯(lián)系手機、登錄次數(shù)等內(nèi)容。1.4 交流日志查閱對實驗機分享交流的內(nèi)容進行查詢，包含交流 IP、相關(guān)學(xué)員、相關(guān)老師、實驗機編號、交流內(nèi)容等內(nèi)容。1.5 成績管理對于學(xué)習(xí)中心在線學(xué)習(xí)的學(xué)習(xí)考核成績進行管理，包含查詢及刪除等功能。1.6 學(xué)習(xí)記錄提供每個學(xué)生在學(xué)習(xí)中心平臺內(nèi)學(xué)習(xí)課程的學(xué)習(xí)記錄，包含日期、計劃、課程、章節(jié)、學(xué)習(xí) IP等。1.7 學(xué)習(xí)行為報表對所有學(xué)生

6、的課程學(xué)習(xí)記錄進行統(tǒng)計，包含個體統(tǒng)計、班級統(tǒng)計、全體統(tǒng)計等。1.8 課程管理對學(xué)習(xí)課程進行查詢、修改、刪除等操作。1.9 開通課程計劃對于學(xué)習(xí)開課計劃的字段內(nèi)容包含計劃名稱、授課講師、授課時間段、開通狀態(tài)、允許申請周期，允許申請人數(shù)等，功能提供綁定課程計劃相關(guān)實訓(xùn)平臺課程、授課助教、云實驗機綁定、實驗任務(wù)綁定等功能。1.10 課程測驗習(xí)題管理提供對課程相關(guān)的習(xí)題管理，題型包含單選、多選、判斷題等類型，對習(xí)題進行增、冊、改、查操作。1.11 分級權(quán)限功能系統(tǒng)分為總管理員、助教等二級管理角色，總管理員進行管理所有的功能點，助教可以進行班級管理、學(xué)生管理、開課計劃制作、實驗機遠程協(xié)助等。1.12 學(xué)

7、生實訓(xùn)系統(tǒng)提供學(xué)生根據(jù)姓名、學(xué)號、密碼登錄系統(tǒng)進行實訓(xùn)操作，學(xué)生只需安裝瀏覽即可進行實驗任務(wù)操作；提供實訓(xùn)課程在線學(xué)習(xí)功能、實驗機在線操作、實驗報告提交、實驗機界面截圖、記錄課程學(xué)習(xí)時長等。1.13 實驗機桌面分享提供實驗機桌面分享功能，如學(xué)生在學(xué)習(xí)、操作云實驗機的過程中，有問題可以向老師發(fā)起協(xié)助請求，助教在收到請求時，可以遠程訪問學(xué)生的實驗機，并指導(dǎo)如何操作。2、云實驗機及實驗任務(wù)2.1 云實驗機提供基于 Web 瀏覽器的實驗機可視化操作，操作終端無需安裝其它開發(fā)軟件即可進行實驗操作；云實驗機可以根據(jù)學(xué)生編號、 實驗任務(wù)和環(huán)境要求自動創(chuàng)建， 無需管理人員參與實驗機創(chuàng)建操作過程。管理平臺對云實

8、驗機可以進行停止、銷毀操作。2.2 云實驗機集群管理功能提供云實驗機集群管理，對實驗機所屬服務(wù)器進行新增、刪除等操作。2.3 云實驗機類型包含 Hadoop 實驗機、 Hive 實驗機、 HBase實驗機、 R 語言實驗機、 Scala實驗機、 Spark 實驗機、 Kafka實驗機、 Sqoop 實驗機、 Flume 實驗機、數(shù)據(jù)可視化實驗機等。2.4 實驗機運行監(jiān)控系統(tǒng)系統(tǒng)提供對實驗集群運行的所有實驗機進行監(jiān)控， 可以查詢編號、所屬服務(wù)器、創(chuàng)建時間、運行狀態(tài)、開放端口等內(nèi)容。2.5 實驗任務(wù)管理提供對實驗任務(wù)內(nèi)容的管理， 包含任務(wù)課程、綁定實驗機、設(shè)定任務(wù)成績總分， 排序值等，提供多種實驗

9、任務(wù)內(nèi)容，例如 Hadoop 實驗任務(wù)、 Hive 實驗任務(wù)、 HBase 實驗任務(wù)、 Flume 與 kafka 實驗任務(wù)等。2.6 實驗報告審閱功能在實驗任務(wù)過程中學(xué)生上交的任務(wù)報告進行審閱評分，提供按照學(xué)生、實驗任務(wù)等字段進行檢索功能。2.7 云實驗機桌面分享系統(tǒng)提供實驗機桌面基于瀏覽器的分享功能，允許學(xué)生與學(xué)生、學(xué)生與老師同步操作實驗機桌面系統(tǒng)，提供基于瀏覽器的交流功能。3、大數(shù)據(jù)實戰(zhàn)平臺系統(tǒng)3.1 大數(shù)據(jù)集群管理系統(tǒng)基于分布式集群管理系統(tǒng)，提供大數(shù)據(jù)集群管理系統(tǒng)，功能包含Hadoop、Hive、HBase、Sqoop、Flume、 Spark 等節(jié)點部屬及管理，提供實時監(jiān)控集群的CP

10、U、內(nèi)存、硬盤等使用率及相關(guān)信息，可以對管理節(jié)點、計算節(jié)點進行啟動、停止等操作管理。3.2 大數(shù)據(jù)作業(yè)工作流系統(tǒng)提供大數(shù)據(jù)相關(guān)作業(yè)的上傳、 部屬、流程管理等功能，基于 Web 的任務(wù)調(diào)度、兼容 Hadoop、Spark 主流版本、失敗任務(wù)的、運行狀態(tài)監(jiān)控等。六、 大數(shù)據(jù)課程及行業(yè)案例實驗平臺提供 100 個課時的 Hadoop、Spark等大數(shù)據(jù)主流課程，課程與大數(shù)據(jù)實驗機完美結(jié)合，學(xué)員在教學(xué)管理系統(tǒng)學(xué)習(xí)課程，隨時進行實訓(xùn)操作，包含項目設(shè)計、數(shù)據(jù)采集、清洗、建模、技術(shù)實現(xiàn)等，快速提升實操技能，最終掌握大數(shù)據(jù)開發(fā)、數(shù)據(jù)分析與數(shù)據(jù)挖掘等大數(shù)據(jù)能力。部分案例圖片：【電商大數(shù)據(jù)分析案例】【電商大數(shù)據(jù)分

11、析架構(gòu)】【房產(chǎn)大數(shù)據(jù)分析架構(gòu)】【房產(chǎn)大數(shù)據(jù)分析可視化】【搜索大數(shù)據(jù)分析架構(gòu)】【網(wǎng)站日志大數(shù)據(jù)分析架構(gòu)】課程實驗內(nèi)容包含：課程名稱課時課程內(nèi)容介紹Hadoop 基礎(chǔ)10講解 Hadoop 生態(tài)系統(tǒng)，包括操作與開發(fā)；詳細講解HDFS 和Map-Reduce 的功能及作用；了解 MapReduce 原理、運行流程、壓縮數(shù)據(jù)處理、作業(yè)調(diào)度、計算器等環(huán)節(jié)。HDFS程序開發(fā)6講解 Hadoop 文件系統(tǒng) HDFS JAVA API的使用。掌握如何使用 HDFSJava API，讀寫文件、讀寫目錄、以及對文件進行壓縮處理等。MapReduce 開發(fā)6本課程針對 Hadoop MapReduce 開發(fā)進行講解

12、。課程以案例為基礎(chǔ)，重點介紹 MapReduce 程序結(jié)構(gòu)，以及如何使用MapReduce進行數(shù)據(jù)統(tǒng)計，去重，排序，Map 端 Join， Reduce 端 Join 等關(guān)聯(lián)操作，掌握 MapReduce 處理過程。Hive 數(shù)據(jù)倉庫24Hive 是基于 Hadoop 構(gòu)建的數(shù)據(jù)倉庫分析系統(tǒng)， 通過學(xué)習(xí)掌握 Hive的函數(shù)、 Hive 數(shù)據(jù)的加載、 Hive 的 DDL 操作、自定義函數(shù) （ UDF）等內(nèi)容，達到使用 Hive 進行查詢、匯總、分析數(shù)據(jù)的能力。分布式數(shù)據(jù)庫 HBase6HBase 是 Hadoop 生態(tài)系統(tǒng)中的重要一員，主要用于海量結(jié)構(gòu)化數(shù)據(jù)存儲； 通過學(xué)習(xí)對 HBase 表設(shè)

13、計、表操作、數(shù)據(jù)操作、 Java API等內(nèi)容，掌握對 HBase 系統(tǒng)的開發(fā)及使用。數(shù)據(jù)遷移工具Sqoop4Sqoop 是關(guān)系型數(shù)據(jù)庫和Hadoop 生態(tài)系統(tǒng)之間進行數(shù)據(jù)轉(zhuǎn)換的主要工具； 通過學(xué)習(xí)將 mysql 中的數(shù)據(jù)導(dǎo)入到 hdfs 中、將數(shù)據(jù)導(dǎo)入到 HBase 中、定義導(dǎo)入導(dǎo)出任務(wù)等，掌握對數(shù)據(jù)遷移的能力。分布式日志框架Flume4Flume 對海量日志進行采集、聚合和傳輸?shù)闹髁鞔髷?shù)據(jù)工具；課程內(nèi)容包含 Flume 應(yīng)用場景、 FlumeNG、 FlumeOG、Flume 的核心組件、 Flume 的架構(gòu)、 Flume 的 source、 sink 配置說明等。Kafka 流式數(shù)據(jù)采集

14、4Kafka 是分布式的消息隊列，廣泛應(yīng)用于實時數(shù)據(jù)處理。學(xué)習(xí)內(nèi)容包含 Kafka 的體系結(jié)構(gòu)、 安裝模式及安裝部署、 Topic、Producer、Consumer、發(fā)布訂閱消息以及Kafka JAVA開發(fā)等。Spark6Spark 是一款高性能的分布式計算框架，比MapReduce 計算快百倍；本課程內(nèi)容全面涵蓋了Spark 生態(tài)系統(tǒng)、 Spark 與 Hadoop 對比、開發(fā)環(huán)境搭建、 RDD、編程模型、 Web 監(jiān)控等內(nèi)容。Spark Streaming4Spark Streaming 是用戶結(jié)合流式、批處理和交互式查詢應(yīng)用的實時計算框架；本課程內(nèi)容詳細講解原理與特點、適用場景、Dst

15、ream 操作、容錯、性能優(yōu)化和內(nèi)存優(yōu)化等。Spark SQL4Spark SQL的出現(xiàn)，使得SQL-on-Hadoop 的性能相對于Hive 有了顯著的提高。 達到 Spark 兼容 Hive 的功能。本課程詳細講解特點、運行架構(gòu)、數(shù)據(jù)源、數(shù)據(jù)緩存、DataFrame 等。實戰(zhàn)案例6講解 Hadoop 系統(tǒng)架構(gòu)設(shè)計以及項目分析流程；通過對用戶搜索搜索引擎日志記錄數(shù)據(jù)的清洗，分析指標內(nèi)容，得出關(guān)鍵詞排行榜、用戶停留數(shù)據(jù)統(tǒng)計分析時間最高頁面等。實戰(zhàn)案例6講解 Spark 系統(tǒng)架構(gòu)設(shè)計以及項目分析流程；本課程主要講解搭電子商務(wù)平臺建電商的數(shù)據(jù)處理平臺、數(shù)據(jù)統(tǒng)計、分析及可視化技術(shù)的應(yīng)用開大數(shù)據(jù)分析發(fā)

16、流程。七、 行業(yè)數(shù)據(jù)及案例提供大數(shù)據(jù)實戰(zhàn)案例以及行業(yè)數(shù)據(jù)，提供包含海量網(wǎng)站日志分析案例、租房及二手房大數(shù)據(jù)分析案例、 電商商品交易大數(shù)據(jù)挖掘、搜索引擎關(guān)鍵詞分析算法案例、汽車銷售數(shù)據(jù)分析案例等案例講解及實戰(zhàn)作業(yè)工作流內(nèi)容。數(shù)據(jù)名稱數(shù)據(jù)描述更新地區(qū)房產(chǎn)數(shù)據(jù)包含二手房在售數(shù)據(jù)、出租房屋數(shù)據(jù)、經(jīng)紀人評價數(shù)據(jù)等。每周全國汽車數(shù)據(jù)包含國內(nèi)不同種類汽車詳細配置信息、汽車使用評論數(shù)據(jù)、汽車銷每月售數(shù)據(jù)以及二手車數(shù)據(jù)等?？捎糜谄囆袠I(yè)市場行情分析。法律咨詢數(shù)據(jù)包含國內(nèi)所有法律咨詢服務(wù)機構(gòu)數(shù)據(jù)、機構(gòu)評論數(shù)據(jù)、有關(guān)法律咨每周詢話題的數(shù)據(jù)?？捎糜诜勺稍冃袠I(yè)市場行情分析，社會治安情況分析。疾病問答數(shù)據(jù)包含國內(nèi)不同種類疾病問題數(shù)據(jù)、醫(yī)生回復(fù)數(shù)據(jù)、有關(guān)疾病常識等每月話題的數(shù)據(jù)。股票基金交易數(shù)據(jù)包含國內(nèi)、港股、美股等國內(nèi)外股票行情及交易數(shù)據(jù)、按照時間段每日提供詳細數(shù)據(jù)；也包含證券投資基金、保險基金、信托投資基金等行情數(shù)據(jù)。天氣、氣象數(shù)據(jù)包含全國各個地區(qū)氣象數(shù)據(jù)（氣溫、降水量、風(fēng)、氣壓等）、氣象觀每日測產(chǎn)品數(shù)據(jù)?？捎糜跉庀髽I(yè)務(wù)、天氣預(yù)報、氣候預(yù)測以及氣象服務(wù)。人臉圖像數(shù)據(jù)包含國內(nèi)多種年齡段的人臉圖像數(shù)據(jù)。用于臉部特征分析、人臉識每月別、人臉檢測等，每個人提供多個角度的圖片。電商評價數(shù)據(jù)包含上百萬條國內(nèi)知名電商平臺產(chǎn)品評價數(shù)據(jù)。可用于用戶購買產(chǎn)每周品意愿分析、個性化推薦和精準營銷，進行商業(yè)