高校大數(shù)據(jù)實驗室建設解決方案

1、高校大數(shù)據(jù)實驗室建設方案一、 建設目標章魚大數(shù)據(jù)實驗室的建設目的是作為大數(shù)據(jù)教學實驗及科研平臺， 包括數(shù)據(jù)挖掘與大數(shù)據(jù)分析平臺。實驗室的設計全面落實“產(chǎn)、學、研、用”一體化的思想和模式，從教學、實踐、科研和使用多方面注重專業(yè)人才和特色人才的培養(yǎng)。利用虛擬化教學資源， 搭建教學系統(tǒng)和集群平臺， 將理論學習、 實踐教學和大數(shù)據(jù)項目實戰(zhàn)融為一體，由難而易、循序漸進，逐步提升學生的學習技能和實踐水平，提高“學”的質量和成效。利用大數(shù)據(jù)分析主流軟件框架，搭建與業(yè)界主要用戶一致的實驗與科研環(huán)境， 將理論課程中學到的數(shù)據(jù)挖掘算法運用到實際的數(shù)據(jù)分析過程中， 提升學生的動手操作和項目實踐能力。 使得學生所學與

2、企業(yè)項目人才需求無縫銜接， 與教師的科研工作緊密配合。通過專業(yè)的大數(shù)據(jù)分析計算資源搭建的開放式大數(shù)據(jù)分析平臺，可以充分的融合教師的科研需求，教師可以在開放的平臺環(huán)境下開展大數(shù)據(jù)科研工作， 提升教師的科研創(chuàng)新能力， 充分提高“研”的成效。二、 產(chǎn)品優(yōu)勢精選文庫交互式學習模式提供體系完整、簡單易用的在線教學課堂；以基礎知識學習、在線視頻教學、習題、線上測試、評估等為主線的一系列方法，確保學生在短時間內掌握大數(shù)據(jù)虛擬仿真實驗、分析部署技能。真機實驗訓練實驗訓練體系設計成各模塊相對獨立的形式，各模塊交互式的實驗任務、大數(shù)據(jù)實驗機、實際項目上機操作，通過多方位的訓練，最終靈活的、漸進式地掌握大數(shù)據(jù)生態(tài)體

3、系。大數(shù)據(jù)實戰(zhàn)及案例分析提供實驗數(shù)據(jù)，包括網(wǎng)站流量數(shù)據(jù)、租房及二手房數(shù)據(jù)、電商商品交易數(shù)據(jù)、搜索引擎訪問等多種行業(yè)數(shù)據(jù)，數(shù)據(jù)內容超過 20TB ，同時周期更新數(shù)據(jù)內容。充分支撐科研工作-2精選文庫提供行業(yè)數(shù)據(jù)及案例解剖用于基礎研究，提供數(shù)據(jù)分析方案及流程，提供數(shù)據(jù)更新接口，可以對行業(yè)數(shù)據(jù)進行分析統(tǒng)計，按需求生成數(shù)據(jù)報表， 為科研工作提供數(shù)據(jù)支撐。例如某地區(qū)經(jīng)濟數(shù)據(jù)分析、股市數(shù)據(jù)分析、全國地震數(shù)據(jù)分析、食品價格行業(yè)數(shù)據(jù)分析等。三、 建設規(guī)模按照 60 臺大數(shù)據(jù)實驗機容量進行同時在線使用進行建設為基礎，整體系統(tǒng)提供快速擴容升級服務。四、 硬件配置采用十六臺高性能品牌服務器作為大數(shù)據(jù)節(jié)點進行建設，采

4、用企業(yè)級全千兆三層交換機進行網(wǎng)絡數(shù)據(jù)交換。每臺節(jié)點的配置如下：處理器每節(jié)點支持 2 個英特爾 ? 至強 ? 處理器E5-2650 CPU高速緩存15MBQPI 總線速率7.2GT/s內存提供 12 個內存插槽，標配192G 內存，支持高級內存糾錯，內存鏡像，內存熱備等高級功能磁盤標配 4 塊 3TB SATA硬盤標配 2 塊 120G SSD硬盤300G 10000轉 SAS系統(tǒng)盤網(wǎng)絡控制器集成 1 個高性能千兆以太網(wǎng)控制器（雙口） ，支持虛擬化加速，網(wǎng)絡加速，負載均衡，冗余等高級功能電源標配大功率高效白金級電源，1+1 冗余虛擬化技術支持 VMware vSphere、Docker、Open

5、Stack等五、 軟件平臺介紹-3精選文庫1、大數(shù)據(jù)教學管理系統(tǒng)1.1 專業(yè)管理提供對專業(yè)信息的增加、刪除、修改、查詢功能。1.2 班級管理提供對專業(yè)下屬班級的增加、刪除、修改、查詢功能。1.3 學生管理提供對班級內學生的管理，學生內容包含姓名、學號、所屬班級、所屬專業(yè)、聯(lián)系手機、登錄次數(shù)等內容。1.4 交流日志查閱對實驗機分享交流的內容進行查詢，包含交流 IP、相關學員、相關老師、實驗機編號、交流內容等內容。1.5 成績管理對于學習中心在線學習的學習考核成績進行管理，包含查詢及刪除等功能。1.6 學習記錄提供每個學生在學習中心平臺內學習課程的學習記錄，包含日期、計劃、課程、章節(jié)、學習 IP等

6、。1.7 學習行為報表對所有學生的課程學習記錄進行統(tǒng)計，包含個體統(tǒng)計、班級統(tǒng)計、全體統(tǒng)計等。1.8 課程管理-4精選文庫對學習課程進行查詢、修改、刪除等操作。1.9 開通課程計劃對于學習開課計劃的字段內容包含計劃名稱、授課講師、授課時間段、開通狀態(tài)、允許申請周期，允許申請人數(shù)等，功能提供綁定課程計劃相關實訓平臺課程、授課助教、云實驗機綁定、實驗任務綁定等功能。1.10 課程測驗習題管理提供對課程相關的習題管理，題型包含單選、多選、判斷題等類型，對習題進行增、冊、改、查操作。1.11 分級權限功能系統(tǒng)分為總管理員、助教等二級管理角色，總管理員進行管理所有的功能點，助教可以進行班級管理、學生管理、

7、開課計劃制作、實驗機遠程協(xié)助等。1.12 學生實訓系統(tǒng)提供學生根據(jù)姓名、學號、密碼登錄系統(tǒng)進行實訓操作，學生只需安裝瀏覽即可進行實驗任務操作；提供實訓課程在線學習功能、實驗機在線操作、實驗報告提交、實驗機界面截圖、記錄課程學習時長等。1.13 實驗機桌面分享提供實驗機桌面分享功能，如學生在學習、操作云實驗機的過程中，有問題可以向老師發(fā)起協(xié)助請求，助教在收到請求時，可以遠程訪問學生的實驗機，并指導如何操作。2、云實驗機及實驗任務2.1 云實驗機提供基于Web 瀏覽器的實驗機可視化操作，操作終端無需安裝其它開發(fā)軟件即可進行實驗操作；云實驗機可以根據(jù)學生編號、實驗任務和環(huán)境要求自動創(chuàng)建，無需管理人員

8、參與實驗-5精選文庫機創(chuàng)建操作過程。管理平臺對云實驗機可以進行停止、銷毀操作。2.2 云實驗機集群管理功能提供云實驗機集群管理，對實驗機所屬服務器進行新增、刪除等操作。2.3 云實驗機類型包含 Hadoop 實驗機、 Hive 實驗機、 HBase實驗機、 R 語言實驗機、 Scala實驗機、 Spark 實驗機、 Kafka實驗機、 Sqoop 實驗機、 Flume 實驗機、數(shù)據(jù)可視化實驗機等。2.4實驗機運行監(jiān)控系統(tǒng)系統(tǒng)提供對實驗集群運行的所有實驗機進行監(jiān)控，可以查詢編號、 所屬服務器、 創(chuàng)建時間、運行狀態(tài)、開放端口等內容。2.5實驗任務管理提供對實驗任務內容的管理， 包含任務課程、 綁定

9、實驗機、 設定任務成績總分， 排序值等，提供多種實驗任務內容，例如 Hadoop 實驗任務、 Hive 實驗任務、 HBase實驗任務、 Flume 與 kafka 實驗任務等。2.6 實驗報告審閱功能在實驗任務過程中學生上交的任務報告進行審閱評分，提供按照學生、實驗任務等字段進行檢索功能。2.7 云實驗機桌面分享系統(tǒng)提供實驗機桌面基于瀏覽器的分享功能，允許學生與學生、學生與老師同步操作實驗機桌面系統(tǒng)，提供基于瀏覽器的交流功能。3、大數(shù)據(jù)實戰(zhàn)平臺系統(tǒng)-6精選文庫3.1 大數(shù)據(jù)集群管理系統(tǒng)基于分布式集群管理系統(tǒng)，提供大數(shù)據(jù)集群管理系統(tǒng)，功能包含Hadoop、Hive、HBase、Sqoop、Fl

10、ume、 Spark 等節(jié)點部屬及管理，提供實時監(jiān)控集群的CPU、內存、硬盤等使用率及相關信息，可以對管理節(jié)點、計算節(jié)點進行啟動、停止等操作管理。3.2 大數(shù)據(jù)作業(yè)工作流系統(tǒng)提供大數(shù)據(jù)相關作業(yè)的上傳、 部屬、流程管理等功能，基于 Web 的任務調度、兼容 Hadoop、Spark 主流版本、失敗任務的、運行狀態(tài)監(jiān)控等。六、 大數(shù)據(jù)課程及行業(yè)案例實驗平臺提供 100 個課時的 Hadoop、Spark等大數(shù)據(jù)主流課程，課程與大數(shù)據(jù)實驗機完美結合，學員在教學管理系統(tǒng)學習課程，隨時進行實訓操作，包含項目設計、數(shù)據(jù)采集、清洗、建模、技術實現(xiàn)等，快速提升實操技能，最終掌握大數(shù)據(jù)開發(fā)、數(shù)據(jù)分析與數(shù)據(jù)挖掘等

11、大數(shù)據(jù)能力。部分案例圖片：-7精選文庫【電商大數(shù)據(jù)分析案例】【電商大數(shù)據(jù)分析架構】-8精選文庫【房產(chǎn)大數(shù)據(jù)分析架構】【房產(chǎn)大數(shù)據(jù)分析可視化】-9精選文庫【搜索大數(shù)據(jù)分析架構】【網(wǎng)站日志大數(shù)據(jù)分析架構】-10精選文庫課程實驗內容包含：課程名稱課時課程內容介紹Hadoop 基礎10講解 Hadoop 生態(tài)系統(tǒng)，包括操作與開發(fā)；詳細講解HDFS 和Map-Reduce 的功能及作用；了解MapReduce 原理、運行流程、壓縮數(shù)據(jù)處理、作業(yè)調度、計算器等環(huán)節(jié)。HDFS程序開發(fā)6講解 Hadoop 文件系統(tǒng) HDFS JAVA API的使用。掌握如何使用 HDFSJava API，讀寫文件、讀寫目錄、

12、以及對文件進行壓縮處理等。MapReduce 開發(fā)6本課程針對 Hadoop MapReduce 開發(fā)進行講解。課程以案例為基礎，重點介紹 MapReduce 程序結構，以及如何使用MapReduce進行數(shù)據(jù)統(tǒng)計， 去重， 排序， Map 端 Join，Reduce 端 Join 等關聯(lián)操作，掌握 MapReduce 處理過程。Hive 數(shù)據(jù)倉庫24Hive 是基于 Hadoop 構建的數(shù)據(jù)倉庫分析系統(tǒng)， 通過學習掌握 Hive的函數(shù)、 Hive 數(shù)據(jù)的加載、 Hive 的 DDL 操作、自定義函數(shù) （ UDF）等內容，達到使用 Hive 進行查詢、匯總、分析數(shù)據(jù)的能力。分布式數(shù)據(jù)庫 HBas

13、e6HBase 是 Hadoop 生態(tài)系統(tǒng)中的重要一員，主要用于海量結構化數(shù)據(jù)存儲； 通過學習對 HBase 表設計、表操作、數(shù)據(jù)操作、 Java API等內容，掌握對 HBase 系統(tǒng)的開發(fā)及使用。數(shù)據(jù)遷移工具Sqoop4Sqoop 是關系型數(shù)據(jù)庫和Hadoop 生態(tài)系統(tǒng)之間進行數(shù)據(jù)轉換的主要工具； 通過學習將 mysql 中的數(shù)據(jù)導入到 hdfs 中、將數(shù)據(jù)導入到 HBase 中、定義導入導出任務等，掌握對數(shù)據(jù)遷移的能力。分布式日志框架Flume4Flume 對海量日志進行采集、聚合和傳輸?shù)闹髁鞔髷?shù)據(jù)工具；課程內容包含 Flume 應用場景、 FlumeNG、 FlumeOG、Flume

14、的核心組件、 Flume 的架構、 Flume 的 source、 sink 配置說明等。Kafka 流式數(shù)據(jù)采集4Kafka 是分布式的消息隊列，廣泛應用于實時數(shù)據(jù)處理。學習內容包含 Kafka 的體系結構、 安裝模式及安裝部署、 Topic、Producer、Consumer、發(fā)布訂閱消息以及Kafka JAVA開發(fā)等。Spark6Spark 是一款高性能的分布式計算框架，比MapReduce 計算快百倍；本課程內容全面涵蓋了Spark 生態(tài)系統(tǒng)、 Spark 與 Hadoop 對比、開發(fā)環(huán)境搭建、 RDD、編程模型、 Web 監(jiān)控等內容。Spark Streaming4Spark Str

15、eaming 是用戶結合流式、批處理和交互式查詢應用的實時計算框架；本課程內容詳細講解原理與特點、適用場景、Dstream 操作、容錯、性能優(yōu)化和內存優(yōu)化等。Spark SQL4Spark SQL的出現(xiàn)，使得SQL-on-Hadoop 的性能相對于Hive 有了顯著的提高。 達到 Spark 兼容 Hive 的功能。本課程詳細講解特點、運行架構、數(shù)據(jù)源、數(shù)據(jù)緩存、DataFrame 等。實戰(zhàn)案例6講解 Hadoop 系統(tǒng)架構設計以及項目分析流程；通過對用戶搜索搜索引擎日志記錄數(shù)據(jù)的清洗，分析指標內容，得出關鍵詞排行榜、用戶停留數(shù)據(jù)統(tǒng)計分析時間最高頁面等。實戰(zhàn)案例6講解 Spark 系統(tǒng)架構設計

16、以及項目分析流程；本課程主要講解搭電子商務平臺建電商的數(shù)據(jù)處理平臺、數(shù)據(jù)統(tǒng)計、分析及可視化技術的應用開大數(shù)據(jù)分析發(fā)流程。-11精選文庫七、 行業(yè)數(shù)據(jù)及案例提供大數(shù)據(jù)實戰(zhàn)案例以及行業(yè)數(shù)據(jù)，提供包含海量網(wǎng)站日志分析案例、租房及二手房大數(shù)據(jù)分析案例、 電商商品交易大數(shù)據(jù)挖掘、搜索引擎關鍵詞分析算法案例、汽車銷售數(shù)據(jù)分析案例等案例講解及實戰(zhàn)作業(yè)工作流內容。數(shù)據(jù)名稱數(shù)據(jù)描述更新地區(qū)房產(chǎn)數(shù)據(jù)包含二手房在售數(shù)據(jù)、出租房屋數(shù)據(jù)、經(jīng)紀人評價數(shù)據(jù)等。每周全國汽車數(shù)據(jù)包含國內不同種類汽車詳細配置信息、汽車使用評論數(shù)據(jù)、汽車銷每月售數(shù)據(jù)以及二手車數(shù)據(jù)等。可用于汽車行業(yè)市場行情分析。法律咨詢數(shù)據(jù)包含國內所有法律咨詢服務

17、機構數(shù)據(jù)、機構評論數(shù)據(jù)、有關法律咨每周詢話題的數(shù)據(jù)?？捎糜诜勺稍冃袠I(yè)市場行情分析，社會治安情況分析。疾病問答數(shù)據(jù)包含國內不同種類疾病問題數(shù)據(jù)、醫(yī)生回復數(shù)據(jù)、有關疾病常識等每月話題的數(shù)據(jù)。股票基金交易數(shù)據(jù)包含國內、港股、美股等國內外股票行情及交易數(shù)據(jù)、按照時間段每日提供詳細數(shù)據(jù)；也包含證券投資基金、保險基金、信托投資基金等行情數(shù)據(jù)。天氣、氣象數(shù)據(jù)包含全國各個地區(qū)氣象數(shù)據(jù)（氣溫、降水量、風、氣壓等）、氣象觀每日測產(chǎn)品數(shù)據(jù)?？捎糜跉庀髽I(yè)務、天氣預報、氣候預測以及氣象服務。人臉圖像數(shù)據(jù)包含國內多種年齡段的人臉圖像數(shù)據(jù)。用于臉部特征分析、人臉識每月別、人臉檢測等，每個人提供多個角度的圖片。電商評價數(shù)據(jù)包含上百萬條國內知名電商平臺產(chǎn)品評價數(shù)據(jù)?？捎糜谟脩糍徺I產(chǎn)每周品意愿分析、個性化推薦和精準營銷，進行商業(yè)輿情監(jiān)控和產(chǎn)