高校大數(shù)據(jù)實驗室建設(shè)解決方案

高校大數(shù)據(jù)實驗室建設(shè)方案一、建設(shè)目標(biāo)章魚大數(shù)據(jù)實驗室的建設(shè)目的是作為大數(shù)據(jù)教學(xué)實驗及科研平臺，包括數(shù)據(jù)挖掘與大數(shù)據(jù)分析平臺。實驗室的設(shè)計全面落實“產(chǎn)、學(xué)、研、用”一體化的思想和模式，從教學(xué)、實踐、科研和使用多方面注重專業(yè)人材和特色人材的培養(yǎng)。利用虛擬化教學(xué)資源，搭建教學(xué)系統(tǒng)和集群平臺，將理論學(xué)習(xí)、實踐教學(xué)和大數(shù)據(jù)項目實戰(zhàn)融為一體，由難而易、循序漸進(jìn)，逐步提升學(xué)生的學(xué)習(xí)技能和實踐水平，提高“學(xué)”的質(zhì)量和成效。利用大數(shù)據(jù)分析主流軟件框架，搭建與業(yè)界主要用戶一致的實驗與科研環(huán)境，將理論課程中學(xué)到的數(shù)據(jù)挖掘算法運用到實際的數(shù)據(jù)分析過程中，提升學(xué)生的動手操作和項目實踐能力。使得學(xué)生所學(xué)與企業(yè)項目人材需求無縫銜接，與教師的科研工作密切配合。通過專業(yè)的大數(shù)據(jù)分析計算資源搭建的開放式大數(shù)據(jù)分析平臺，可以充分的融合教師的科研需求，教師可以在開放的平臺環(huán)境下開展大數(shù)據(jù)科研工作，提升教師的科研創(chuàng)新能力，充分提高“研”的成效。二、產(chǎn)品優(yōu)勢交互式學(xué)習(xí)模式提供體系完整、簡單易用的在線教學(xué)課堂；以基礎(chǔ)知識學(xué)習(xí)、在線視頻教學(xué)、習(xí)題、線上測試、評估等為主線的一系列方法，確保學(xué)生在短期內(nèi)掌握大數(shù)據(jù)虛擬仿真實驗、分析部署技能。真機(jī)實驗訓(xùn)練實驗訓(xùn)練體系設(shè)計成各模塊相對獨立的形式，各模塊交互式的實驗任務(wù)、大數(shù)據(jù)實驗機(jī)、實際項目上機(jī)操作，通過多方位的訓(xùn)練，最終靈便的、漸進(jìn)式地掌握大數(shù)據(jù)生態(tài)體系。大數(shù)據(jù)實戰(zhàn)及案例分析提供實驗數(shù)據(jù)，包括網(wǎng)站流量數(shù)據(jù)、租房及二手房數(shù)據(jù)、電商商品交易數(shù)據(jù)、搜索引擎訪問等多種行業(yè)數(shù)據(jù)，數(shù)據(jù)內(nèi)容超過 ，同時周期更新數(shù)據(jù)內(nèi)容。充分支撐科研工作提供行業(yè)數(shù)據(jù)及案例解剖用于基礎(chǔ)研究，提供數(shù)據(jù)分析方案及流程，提供數(shù)據(jù)更新接口，可以對行業(yè)數(shù)據(jù)進(jìn)行分析統(tǒng)計，按需求生成數(shù)據(jù)報表，為科研工作提供數(shù)據(jù)支撐。例如某地區(qū)經(jīng)濟(jì)數(shù)據(jù)分析、股市數(shù)據(jù)分析、全國地震數(shù)據(jù)分析、食品價格行業(yè)數(shù)據(jù)分析等。三、建設(shè)規(guī)模按照臺大數(shù)據(jù)實驗機(jī)容量進(jìn)行同時在線使用進(jìn)行建設(shè)為基礎(chǔ)，整體系統(tǒng)提供快速擴(kuò)容升級服務(wù)。四、硬件配置采用十六臺高性能品牌服務(wù)器作為大數(shù)據(jù)節(jié)點進(jìn)行建設(shè)，采用企業(yè)級全千兆三層交換機(jī)進(jìn)行網(wǎng)絡(luò)數(shù)據(jù)交換。每臺節(jié)點的配置如下:處理器 每節(jié)點支持個英特爾?至強(qiáng)?處理器高速緩存總線速率內(nèi)存 提供個內(nèi)存插槽，標(biāo)配內(nèi)存，支持高級內(nèi)存糾錯，內(nèi)存鏡像，內(nèi)存熱備等高級功能磁盤標(biāo)配塊 硬盤磁盤標(biāo)配塊 硬盤轉(zhuǎn)系統(tǒng)盤網(wǎng)絡(luò)控制器 集成個高性能千兆以太網(wǎng)控制器（雙口），支持虛擬化加速，網(wǎng)絡(luò)加速，負(fù)載均衡，冗余等高級功能標(biāo)配大功率高效白金級電源,虛擬化技術(shù) > 選五、軟件平臺介紹、大數(shù)據(jù)教學(xué)管理系統(tǒng)專業(yè)管理提供對專業(yè)信息的增加、刪除、修改、查詢功能。班級管理提供對專業(yè)下屬班級的增加、刪除、修改、查詢功能。學(xué)生管理提供對班級內(nèi)學(xué)生的管理，學(xué)生內(nèi)容包含姓名、學(xué)號、所屬班級、所屬專業(yè)、聯(lián)系手機(jī)、登錄次數(shù)等內(nèi)容。交流日志查閱對實驗機(jī)分享交流的內(nèi)容進(jìn)行查詢，包含交流、相關(guān)學(xué)員、相關(guān)老師、實驗機(jī)編號、交流內(nèi)容等內(nèi)容。成績管理對于學(xué)習(xí)中心在線學(xué)習(xí)的學(xué)習(xí)考核成績進(jìn)行管理，包含查詢及刪除等功能。學(xué)習(xí)記錄提供每一個學(xué)生在學(xué)習(xí)中心平臺內(nèi)學(xué)習(xí)課程的學(xué)習(xí)記錄，包含日期、計劃、課程、章節(jié)、學(xué)習(xí)等。學(xué)習(xí)行為報表對所有學(xué)生的課程學(xué)習(xí)記錄進(jìn)行統(tǒng)計，包含個體統(tǒng)計、班級統(tǒng)計、全體統(tǒng)計等。課程管理對學(xué)習(xí)課程進(jìn)行查詢、修改、刪除等操作。開通課程計劃對于學(xué)習(xí)開課計劃的字段內(nèi)容包含計劃名稱、授課講師、授課時間段、開通狀態(tài)、允許申請周期，允許申請人數(shù)等，功能提供綁定課程計劃相關(guān)實訓(xùn)平臺課程、授課助教、云實驗機(jī)綁定、實驗任務(wù)綁定等功能。課程測驗習(xí)題管理提供對課程相關(guān)的習(xí)題管理，題型包含單選、多選、判斷題等類型，對習(xí)題進(jìn)行增、冊、改、查操作。分級權(quán)限功能系統(tǒng)分為總管理員、助教等二級管理角色，總管理員進(jìn)行管理所有的功能點，助教可以進(jìn)行班級管理、學(xué)生管理、開課計劃制作、實驗機(jī)遠(yuǎn)程協(xié)助等。學(xué)生實訓(xùn)系統(tǒng)提供學(xué)生根據(jù)姓名、學(xué)號、密碼登錄系統(tǒng)進(jìn)行實訓(xùn)操作，學(xué)生只需安裝瀏覽即可進(jìn)行實驗任務(wù)操作；提供實訓(xùn)課程在線學(xué)習(xí)功能、實驗機(jī)在線操作、實驗報告提交、實驗機(jī)界面截圖、記錄課程學(xué)習(xí)時長等。實驗機(jī)桌面分享提供實驗機(jī)桌面分享功能，如學(xué)生在學(xué)習(xí)、操作云實驗機(jī)的過程中，有問題可以向老師發(fā)起協(xié)助請求，助教在收到請求時，可以遠(yuǎn)程訪問學(xué)生的實驗機(jī)，并指導(dǎo)如何操作。、云實驗機(jī)及實驗任務(wù)云實驗機(jī)提供基于瀏覽器的實驗機(jī)可視化操作，操作終端無需安裝其它開辟軟件即可進(jìn)行實驗操作；云實驗機(jī)可以根據(jù)學(xué)生編號、實驗任務(wù)和環(huán)境要求自動創(chuàng)建，無需管理人員參與實驗機(jī)創(chuàng)建操作過程。管理平臺對云實驗機(jī)可以進(jìn)行住手、銷毀操作。云實驗機(jī)集群管理功能提供云實驗機(jī)集群管理，對實驗機(jī)所屬服務(wù)器進(jìn)行新增、刪除等操作。云實驗機(jī)類型包含實驗機(jī)、實驗機(jī)、 實驗機(jī)、語言實驗機(jī)、 實驗機(jī)、實驗機(jī)、 實驗機(jī)、 實驗機(jī)、 實驗機(jī)、數(shù)據(jù)可視化實驗機(jī)等。實驗機(jī)運行監(jiān)控系統(tǒng)系統(tǒng)提供對實驗集群運行的所有實驗機(jī)進(jìn)行監(jiān)控，可以查詢編號、所屬服務(wù)器、創(chuàng)建時間、運行狀態(tài)、開放端口等內(nèi)容。實驗任務(wù)管理提供對實驗任務(wù)內(nèi)容的管理，包含任務(wù)課程、綁定實驗機(jī)、設(shè)定任務(wù)成績總分，排序值等，提供多種實驗任務(wù)內(nèi)容，例如 實驗任務(wù)、 實驗任務(wù)、 實驗任務(wù)、與 實驗任務(wù)等。實驗報告審閱功能在實驗任務(wù)過程中學(xué)生上交的任務(wù)報告進(jìn)行審閱評分，提供按照學(xué)生、實驗任務(wù)等字段進(jìn)行檢索功能。云實驗機(jī)桌面分享系統(tǒng)提供實驗機(jī)桌面基于瀏覽器的分享功能，允許學(xué)生與學(xué)生、學(xué)生與老師同步操作實驗機(jī)桌面系統(tǒng)，提供基于瀏覽器的交流功能。、大數(shù)據(jù)實戰(zhàn)平臺系統(tǒng)大數(shù)據(jù)集群管理系統(tǒng)基于分布式集群管理系統(tǒng)，提供大數(shù)據(jù)集群管理系統(tǒng)，功能包含、 、 、、 、 等節(jié)點部屬及管理，提供實時監(jiān)控集群的 、內(nèi)存、硬盤等使用率及相關(guān)信息，可以對管理節(jié)點、計算節(jié)點進(jìn)行啟動、住手等操作管理。大數(shù)據(jù)作業(yè)工作流系統(tǒng)提供大數(shù)據(jù)相關(guān)作業(yè)的上傳、部屬、流程管理等功能，基于 的任務(wù)調(diào)度、兼容、 主流版本、失敗任務(wù)的、運行狀態(tài)監(jiān)控等。六、大數(shù)據(jù)課程及行業(yè)案例實驗平臺提供 個課時的 、 等大數(shù)據(jù)主流課程，課程與大數(shù)據(jù)實驗機(jī)完美結(jié)合，學(xué)員在教學(xué)管理系統(tǒng)學(xué)習(xí)課程，隨時進(jìn)行實訓(xùn)操作，包含項目設(shè)計、數(shù)據(jù)采集、清洗、建模、技術(shù)實現(xiàn)等，快速提升實操技能，最終掌握大數(shù)據(jù)開辟、數(shù)據(jù)分析與數(shù)據(jù)挖掘等大數(shù)據(jù)能力。部份案例圖片：【電商大數(shù)據(jù)分析案例】【電商大數(shù)據(jù)分析架構(gòu)】【房產(chǎn)大數(shù)據(jù)分析架構(gòu)】【房產(chǎn)大數(shù)據(jù)分析可視化】【搜索大數(shù)據(jù)分析架構(gòu)】【網(wǎng)站日志大數(shù)據(jù)分析架構(gòu)】課程實驗內(nèi)容包含：課程名稱課時課程內(nèi)容介紹基礎(chǔ)講解 生態(tài)系統(tǒng)，包括操作與開辟；詳細(xì)講解 和 的功能及作用；了解原理、運行流程、壓縮數(shù)據(jù)處理、作業(yè)調(diào)度、計算器等環(huán)節(jié)。程序開辟講解 文件系統(tǒng) 的使用。掌握如何使用 ，讀寫文件、讀寫目錄、以及對文件進(jìn)行壓縮處理等。開辟本課程針對 開辟進(jìn)行講解。課程以案例為基礎(chǔ)，重點介紹 程序結(jié)構(gòu)，以及如何使用 進(jìn)行數(shù)據(jù)統(tǒng)計，去重，排序， 端， 端 等關(guān)聯(lián)操作，掌握 處理過程。數(shù)據(jù)倉庫是基于 構(gòu)建的數(shù)據(jù)倉庫分析系統(tǒng)，通過學(xué)習(xí)掌握 的函數(shù)、 數(shù)據(jù)的加載、的操作、自定義函數(shù)（）等內(nèi)容，達(dá)到使用 進(jìn)行查詢、匯總、分析數(shù)據(jù)的能力。分布式數(shù)據(jù)庫是 生態(tài)系統(tǒng)中的重要一員，主要用于海量結(jié)構(gòu)化數(shù)據(jù)存儲；通過學(xué)習(xí)對表設(shè)計、表操作、數(shù)據(jù)操作、 等內(nèi)容，掌握對 系統(tǒng)的開辟及使用。數(shù)據(jù)遷移工具是關(guān)系型數(shù)據(jù)庫和 生態(tài)系統(tǒng)之間進(jìn)行數(shù)據(jù)轉(zhuǎn)換的主要工具；通過學(xué)習(xí)將中的數(shù)據(jù)導(dǎo)入到 中、將數(shù)據(jù)導(dǎo)入到中、定義導(dǎo)入導(dǎo)出任務(wù)等，掌握對數(shù)據(jù)遷移的能力。分布式日志框架對海量日志進(jìn)行采集、聚合和傳輸?shù)闹髁鞔髷?shù)據(jù)工具；課程內(nèi)容包含 應(yīng)用場景、、 、 的核心組件、的架構(gòu)、 的 、 配置說明等。流式數(shù)據(jù)采是分布式的消息隊列，廣泛應(yīng)用于實時數(shù)集據(jù)處理。學(xué)習(xí)內(nèi)容包含 的體系結(jié)構(gòu)、安裝模式及安裝部署、 .、發(fā)布定閱消息以及 開辟等。是一款高性能的分布式計算框架，比計算快百倍；本課程內(nèi)容全面涵蓋了生態(tài)系統(tǒng)、 與 對照、開辟環(huán)境搭建、 、編程模型、 監(jiān)控等內(nèi)容。是用戶結(jié)合流式、批處理和交互式查詢應(yīng)用的實時計算框架；本課程內(nèi)容詳細(xì)講解原理與特點、合用場景、操作、容錯、性能優(yōu)化和內(nèi)存優(yōu)化等。的浮現(xiàn)，使得 的性能相對于 有了顯著的提高。達(dá)到 兼容的功能。本課程詳細(xì)講解特點、運行架構(gòu)、數(shù)據(jù)源、數(shù)據(jù)緩存、 等。實戰(zhàn)案例搜索引擎日志數(shù)據(jù)統(tǒng)計分析講解系統(tǒng)架構(gòu)設(shè)計以及項目分析流程；通過對用戶搜索記錄數(shù)據(jù)的清洗，分析指標(biāo)內(nèi)容，得出關(guān)鍵詞排行榜、用戶停留時間最高頁面等。實戰(zhàn)案例電子商務(wù)平臺大數(shù)據(jù)分析講解 系統(tǒng)架構(gòu)設(shè)計以及項目分析流程；本課程主要講解搭建電商的數(shù)據(jù)處理平臺、數(shù)據(jù)統(tǒng)計、分析及可視化技術(shù)的應(yīng)用開辟流程。七、行業(yè)數(shù)據(jù)及案例提供大數(shù)據(jù)實戰(zhàn)案例以及行業(yè)數(shù)據(jù)，提供包含海量網(wǎng)站日志分析案例、租房及二手房大數(shù)據(jù)分析案例、電商商品交易大數(shù)據(jù)挖掘、搜索引擎關(guān)鍵詞分析算法案例、汽車銷售數(shù)據(jù)分析案例等案例講解及實戰(zhàn)作業(yè)工作流內(nèi)容。數(shù)據(jù)名稱數(shù)據(jù)描述更新地區(qū)房產(chǎn)數(shù)據(jù)包含二手房在售數(shù)據(jù)、出租房屋數(shù)據(jù)、經(jīng)紀(jì)人評價數(shù)據(jù)等。每周全國汽車數(shù)據(jù)包含國內(nèi)不同種類汽車詳細(xì)配置信息、汽車使用評論數(shù)據(jù)、汽車銷售數(shù)據(jù)以及二手車數(shù)據(jù)等?？捎糜谄囆袠I(yè)市場行情分析。每月法律咨詢數(shù)據(jù)包含國內(nèi)所有法律咨詢服務(wù)機(jī)構(gòu)數(shù)據(jù)、機(jī)構(gòu)評論數(shù)據(jù)、有關(guān)法律咨詢話題的數(shù)據(jù)?？捎糜诜勺稍冃袠I(yè)市場行情分析，社會治安情況分析。每周疾病問答數(shù)據(jù)包含國內(nèi)不同種類疾病問題數(shù)據(jù)、醫(yī)生回復(fù)數(shù)據(jù)、有關(guān)疾病常識等話題的數(shù)據(jù)。每月股票基金交易數(shù)據(jù)包含國內(nèi)、港股、美股等國內(nèi)外股票行情及交易數(shù)據(jù)、按照時間段提供詳細(xì)數(shù)據(jù)；也包含證券投資基金、保險基金、信托投資基金等行情數(shù)據(jù)。每日天氣、氣象數(shù)據(jù)包含全國各個地區(qū)氣象數(shù)據(jù)（氣溫、降水量、風(fēng)、氣壓等）、氣象觀測產(chǎn)品數(shù)據(jù)?？捎糜跉庀髽I(yè)務(wù)、天氣預(yù)報、氣候預(yù)測以及氣象服務(wù)。每日人臉圖象數(shù)據(jù)包含國內(nèi)多種年齡段的人臉圖象數(shù)據(jù)。用于臉部特征分析、人臉識別、人臉檢測等，每一個人提供多個角度的冬片Q每月電商評價數(shù)據(jù)包含上百萬條國內(nèi)知名電商平臺產(chǎn)品評價數(shù)據(jù)?？捎糜谟脩糍徺I產(chǎn)品意愿分析、個性化推薦和精準(zhǔn)營銷，進(jìn)行商業(yè)輿情監(jiān)控和產(chǎn)品的市場行情分析。北京生鮮食品價格包含歷年北京市蔬菜、水果、肉禽蛋、水產(chǎn)等生鮮數(shù)據(jù)食品的最低價、最高價以及平均價以及最新價格。北京生鮮食品價格包含歷年北