H3C DataEngine大數(shù)據(jù)平臺(tái)最佳實(shí)踐之華中農(nóng)業(yè)大學(xué)v1.1

H3CDataEngine大數(shù)據(jù)大數(shù)據(jù)平臺(tái)最佳實(shí)踐之華中農(nóng)業(yè)大學(xué)關(guān)鍵字：DataEngine、高校大數(shù)據(jù)、數(shù)據(jù)整合、大數(shù)據(jù)分析、學(xué)生畫像撰寫人：牛傳正08889、舒俊浩09332部門：戰(zhàn)略Marketing一部用戶簡(jiǎn)介華中農(nóng)業(yè)大學(xué)是中華人民共和國(guó)教育部直屬的一所以生命科學(xué)為特色，農(nóng)、理、工、文、法、經(jīng)、管協(xié)調(diào)發(fā)展的全國(guó)重點(diǎn)大學(xué)，是國(guó)家“211工程”、“985工程優(yōu)勢(shì)學(xué)科創(chuàng)新平臺(tái)”重點(diǎn)建設(shè)院校。目前，華中農(nóng)業(yè)大學(xué)已經(jīng)建立較完善的高校業(yè)務(wù)信息化系統(tǒng)，包括教務(wù)系統(tǒng)、學(xué)工系統(tǒng)、校園卡系統(tǒng)、圖書館系統(tǒng)、校醫(yī)院HIS系統(tǒng)和網(wǎng)絡(luò)認(rèn)證和上網(wǎng)行為審計(jì)系統(tǒng)等，并完成了多個(gè)系統(tǒng)的業(yè)務(wù)上云，在“數(shù)字化校園“建設(shè)工作上卓有成效。但是當(dāng)前仍存在著各系統(tǒng)數(shù)據(jù)分散、信息孤島現(xiàn)象嚴(yán)重、業(yè)務(wù)系統(tǒng)使用率低和服務(wù)化程度不夠等問(wèn)題，需要藉由新的技術(shù)架構(gòu)來(lái)解決。華農(nóng)信息化建設(shè)現(xiàn)狀分析當(dāng)前信息化建設(shè)成果業(yè)務(wù)系統(tǒng)建設(shè)成果華中農(nóng)業(yè)大學(xué)的校園信息化建設(shè)當(dāng)前已取得不俗的成績(jī)，建成了包括教務(wù)系統(tǒng)、學(xué)工系統(tǒng)、校園卡系統(tǒng)、圖書館系統(tǒng)、校醫(yī)院HIS系統(tǒng)和網(wǎng)絡(luò)認(rèn)證和上網(wǎng)行為審計(jì)系統(tǒng)等在內(nèi)的較為全面的高校信息化應(yīng)用體系，基本能夠滿足各職能部門的管理需求。虛擬化與業(yè)務(wù)上云為了提高學(xué)校信息資源的利用率，減少硬件環(huán)境的重復(fù)建設(shè)，華農(nóng)基于華三云平臺(tái)建成共享的云計(jì)算資源池，實(shí)現(xiàn)了底層硬件資源(計(jì)算、存儲(chǔ)和網(wǎng)絡(luò))的統(tǒng)一納管，并實(shí)現(xiàn)業(yè)務(wù)上云,見(jiàn)下圖。極大提高IT資源的使用效率，增加系統(tǒng)的可靠性，同時(shí)也實(shí)現(xiàn)業(yè)務(wù)的快速部署。下階段信息化建設(shè)目標(biāo)與方向?yàn)榱素瀼亍笆濉毙畔⒒?guī)則中闡述的”服務(wù)化“和“智慧化”精神，實(shí)現(xiàn)業(yè)務(wù)流程的信息化向服務(wù)的信息化的轉(zhuǎn)邊。建立面向全校師生、使用率高的“服務(wù)“性的系統(tǒng)。要求集成全校各系統(tǒng)數(shù)據(jù)，主要用于實(shí)現(xiàn)數(shù)據(jù)查詢、分析和展現(xiàn)相關(guān)的應(yīng)用。智慧校園的智慧校園建設(shè)方針為“大平臺(tái)輕應(yīng)用”，建設(shè)原則上不允許直接對(duì)學(xué)校原有應(yīng)用系統(tǒng)的數(shù)據(jù)做操作，一是防止干擾現(xiàn)有系統(tǒng)正常運(yùn)作，二是分析應(yīng)用的建設(shè)需要綜合多系統(tǒng)的數(shù)據(jù)，需要有與現(xiàn)有系統(tǒng)松耦合的底層技術(shù)架構(gòu)支撐。因此，智慧校園建設(shè)一般遵循“大平臺(tái)輕應(yīng)用”的方針：實(shí)現(xiàn)底層與上層應(yīng)用服務(wù)的獨(dú)立建設(shè)，全新搭建一個(gè)大數(shù)據(jù)平臺(tái)，將各系統(tǒng)數(shù)據(jù)整合集中，并再此基礎(chǔ)上建立數(shù)據(jù)倉(cāng)庫(kù)，為上層業(yè)務(wù)建立專題庫(kù)和數(shù)據(jù)模型搭建，上層各種應(yīng)用只需專注于自身的業(yè)務(wù)邏輯梳理?；炯軜?gòu)見(jiàn)下圖：建設(shè)需求解決數(shù)據(jù)孤島問(wèn)題華中農(nóng)業(yè)大學(xué)部門機(jī)構(gòu)繁多，經(jīng)常會(huì)出現(xiàn)學(xué)院和行政部門各自建網(wǎng)站、找了不同的公司開(kāi)發(fā)、使用完全不同的系統(tǒng)，數(shù)據(jù)結(jié)構(gòu)龐雜。這就導(dǎo)致了教務(wù)處、財(cái)務(wù)處、人事處等系統(tǒng)及數(shù)據(jù)各自獨(dú)立，部門數(shù)據(jù)不能有效及時(shí)交互;新生數(shù)據(jù)不能及時(shí)同步到各部門，導(dǎo)致各部門工作難以有效開(kāi)展;學(xué)籍變動(dòng)、人事變動(dòng)，信息缺乏互通;學(xué)生處和后勤部門信息不統(tǒng)一，學(xué)生突發(fā)狀況很難處理,學(xué)校內(nèi)部信息流通亟待暢通。大數(shù)據(jù)處理并非只是處理大數(shù)據(jù)量，如何將現(xiàn)有的業(yè)務(wù)系統(tǒng)數(shù)據(jù)打通、數(shù)據(jù)整合是亟需解決的大數(shù)據(jù)問(wèn)題。大數(shù)據(jù)平臺(tái)建設(shè)高校信息化業(yè)務(wù)系統(tǒng)正在從偏管理向重服務(wù)的方向轉(zhuǎn)型，流程的整合、數(shù)據(jù)的融通、服務(wù)的智慧化，個(gè)性需求及時(shí)的滿足是未來(lái)高校信息化建設(shè)的方向。然而當(dāng)前高校業(yè)務(wù)系統(tǒng)獨(dú)立分散、重交互輕分析的技術(shù)架構(gòu)體現(xiàn)并不能滿足建設(shè)需求，只有建立統(tǒng)一的大數(shù)據(jù)平臺(tái)，拉通各業(yè)務(wù)體系，整合全校數(shù)據(jù)資源，實(shí)現(xiàn)海量數(shù)據(jù)的高效存儲(chǔ)和計(jì)算，完成數(shù)據(jù)專項(xiàng)建模，才能為未來(lái)各項(xiàng)個(gè)性化、智慧化的應(yīng)用提供有力的底層技術(shù)架構(gòu)支撐。大數(shù)據(jù)分析展現(xiàn)、大數(shù)據(jù)管理決策學(xué)生管理、引導(dǎo)、評(píng)價(jià)僅僅局限在很少的維度，很難收集學(xué)生的全面數(shù)據(jù)，去對(duì)學(xué)生進(jìn)行深度分析，形成精確畫像,輔助教學(xué)管理決策。評(píng)價(jià)引導(dǎo)學(xué)生，本身就是一個(gè)非常復(fù)雜的課題，能否在已有研究成果基礎(chǔ)上，盡可能將關(guān)于學(xué)生的評(píng)價(jià)的多維度數(shù)據(jù)進(jìn)行長(zhǎng)期的收集，如何做到長(zhǎng)期有序的收集是挑戰(zhàn)，全面的分析、合理引導(dǎo)學(xué)生是挑戰(zhàn)。大數(shù)據(jù)人才培養(yǎng)計(jì)劃在過(guò)去一段時(shí)間內(nèi)，為了滿足信息技術(shù)產(chǎn)業(yè)的發(fā)展，國(guó)內(nèi)多數(shù)高校、職業(yè)院校開(kāi)設(shè)了計(jì)算機(jī)通信相關(guān)專業(yè)，但畢業(yè)生的就業(yè)前景卻日漸黯淡。據(jù)權(quán)威機(jī)構(gòu)調(diào)查，國(guó)內(nèi)計(jì)算機(jī)專業(yè)畢業(yè)生就業(yè)后的專業(yè)相關(guān)度僅為50%，并且，畢業(yè)生就業(yè)三年后轉(zhuǎn)換行業(yè)的現(xiàn)象非常普遍。究其原因，超過(guò)1/4的畢業(yè)生反饋在校學(xué)習(xí)的課程知識(shí)較為陳舊，面對(duì)大數(shù)據(jù)、云計(jì)算、移動(dòng)互聯(lián)網(wǎng)等新型技術(shù)的興起，自己所掌握的知識(shí)、技能和實(shí)踐經(jīng)驗(yàn)均無(wú)法滿足行業(yè)需求。華農(nóng)正在申請(qǐng)建設(shè)大數(shù)據(jù)相關(guān)專業(yè)方向的碩士點(diǎn)，在其中設(shè)立大數(shù)據(jù)挖掘分析研究方向，培養(yǎng)大數(shù)據(jù)挖掘分析領(lǐng)域的高層次人才。建立大數(shù)據(jù)的課程體系：在計(jì)算機(jī)類本科專業(yè)高年級(jí)階段開(kāi)設(shè)大數(shù)據(jù)相關(guān)課程，如《大數(shù)據(jù)基礎(chǔ)》、《大數(shù)據(jù)原理及應(yīng)用》等，并編寫數(shù)據(jù)科學(xué)與工程相關(guān)專業(yè)的教材，構(gòu)建大數(shù)據(jù)教學(xué)資源與數(shù)據(jù)平臺(tái)，提供給華農(nóng)及兄弟院校學(xué)生進(jìn)行學(xué)習(xí)與實(shí)踐。培養(yǎng)和引進(jìn)大數(shù)據(jù)領(lǐng)域師資：聘請(qǐng)專業(yè)人才對(duì)教師進(jìn)行培訓(xùn)指導(dǎo)，引進(jìn)大數(shù)據(jù)相關(guān)的高層次師資力量。引導(dǎo)大學(xué)生在大數(shù)據(jù)領(lǐng)域創(chuàng)新創(chuàng)業(yè)，培養(yǎng)大學(xué)生創(chuàng)新創(chuàng)業(yè)隊(duì)伍，形成大數(shù)據(jù)領(lǐng)域的創(chuàng)新創(chuàng)業(yè)基地。解決方案數(shù)據(jù)孤島問(wèn)題解決ETL工具是大數(shù)據(jù)平臺(tái)的重要組件，主要用于數(shù)據(jù)的抽取、清洗、裝換，并裝載至大數(shù)據(jù)存儲(chǔ)組件中。數(shù)據(jù)抽取，支持結(jié)構(gòu)化、非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)及豐富業(yè)務(wù)場(chǎng)景數(shù)據(jù)源。數(shù)據(jù)清洗，主要是清楚冗余數(shù)據(jù)、錯(cuò)誤數(shù)據(jù)。數(shù)據(jù)轉(zhuǎn)化，結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換，數(shù)據(jù)的計(jì)算、拆分、合并等。數(shù)據(jù)加載，支持?jǐn)?shù)據(jù)源豐富、加載速度快、支持全量及增量加載。利用H3CDataEngineETL組件完美解決了華農(nóng)業(yè)務(wù)系統(tǒng)數(shù)據(jù)孤島問(wèn)題。大數(shù)據(jù)平臺(tái)建設(shè)解決方案H3C采用Hadoop和MPP分布式數(shù)據(jù)庫(kù)混搭的計(jì)算框架為華農(nóng)提供一套完整的大數(shù)據(jù)平臺(tái)解決方案，包括數(shù)據(jù)采集轉(zhuǎn)換、計(jì)算存儲(chǔ)、分析挖掘、開(kāi)發(fā)接口、BI展示以運(yùn)維管理、安全管理等全系列功能。幫助學(xué)校構(gòu)建海量數(shù)據(jù)統(tǒng)一處理系統(tǒng)，發(fā)現(xiàn)數(shù)據(jù)的內(nèi)在價(jià)值，助推校園智慧化建設(shè)轉(zhuǎn)型。整個(gè)大數(shù)據(jù)平臺(tái)系統(tǒng)架構(gòu)分為如下幾部分：存儲(chǔ)計(jì)算層大數(shù)據(jù)平臺(tái)的數(shù)據(jù)存儲(chǔ)和加工計(jì)算層，也是大數(shù)據(jù)平臺(tái)的核心層。對(duì)平臺(tái)采集和產(chǎn)生的大數(shù)據(jù)進(jìn)行存儲(chǔ)，包括結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)。其中具有高價(jià)值密度的結(jié)構(gòu)化數(shù)據(jù)使用MPP數(shù)據(jù)庫(kù)集群以數(shù)據(jù)倉(cāng)庫(kù)的方式來(lái)負(fù)責(zé)存儲(chǔ)管理，低價(jià)值密度的音視頻、互聯(lián)網(wǎng)等半結(jié)構(gòu)化和非結(jié)構(gòu)化大數(shù)據(jù)以Hadoop的HDFS、HBase分布式存儲(chǔ)系統(tǒng)負(fù)責(zé)存儲(chǔ)管理。離線計(jì)算MapReduce、實(shí)時(shí)計(jì)算Strom和內(nèi)存計(jì)算Spark等計(jì)算框架根據(jù)不同數(shù)據(jù)處理需求對(duì)Hadoop平臺(tái)中的數(shù)據(jù)做計(jì)算。MPP和Hadoop中的數(shù)據(jù)經(jīng)過(guò)進(jìn)一步的匯總和提取后存入數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)倉(cāng)庫(kù)高效的數(shù)據(jù)訪問(wèn)性能為上層業(yè)務(wù)做有利的數(shù)據(jù)支撐。數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)管理將存儲(chǔ)計(jì)算層匯總和加工后的數(shù)據(jù)做進(jìn)一步的抽取，建立全文庫(kù)和關(guān)聯(lián)庫(kù)，并從學(xué)校關(guān)注的各類專題角度出發(fā)形成專題庫(kù)，專題庫(kù)中包含了多維數(shù)據(jù)庫(kù),以便于各類專題應(yīng)用調(diào)用數(shù)據(jù)。對(duì)數(shù)據(jù)資源進(jìn)行全面的梳理和監(jiān)管，包括功能有：數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)質(zhì)量檢測(cè)、數(shù)據(jù)資源監(jiān)控、數(shù)據(jù)資源編目等。數(shù)據(jù)服務(wù)層提供高性能服務(wù)接口，為上層應(yīng)用提供豐富的數(shù)據(jù)服務(wù)和開(kāi)發(fā)接口。安全管理安全管理主要用于構(gòu)筑整體監(jiān)控大數(shù)據(jù)平臺(tái)的安全防護(hù)，主要功能包括：網(wǎng)絡(luò)安全、OS安全、訪問(wèn)安全、數(shù)據(jù)安全、用戶認(rèn)證、數(shù)據(jù)加密和容災(zāi)備份等。運(yùn)維管理平臺(tái)提供Web圖形化界面實(shí)現(xiàn)運(yùn)集群的管理和監(jiān)控，集群的節(jié)點(diǎn)、主機(jī)和服務(wù)的運(yùn)行狀態(tài)都能在界面上顯示，操作友好，功能豐富。提供集群快速安裝部署、機(jī)架展示、用戶權(quán)限管理、主機(jī)與服務(wù)管理、監(jiān)控及告警通知等多方面支持，在可管理性方面優(yōu)勢(shì)顯著。大數(shù)據(jù)分析展現(xiàn)、大數(shù)據(jù)教學(xué)管理決策BI+大數(shù)據(jù)應(yīng)用系統(tǒng)，整合學(xué)生信息，建立主題數(shù)據(jù)倉(cāng)庫(kù)，形成學(xué)生畫像。對(duì)學(xué)生個(gè)體或特定群體進(jìn)行精準(zhǔn)化描述，個(gè)性化選擇個(gè)體或群體間PK較量，不錯(cuò)過(guò)任何一個(gè)精彩瞬間，不放過(guò)任何一點(diǎn)進(jìn)步空間，學(xué)生畫像系統(tǒng)幫助高校教學(xué)管理者帶來(lái)更有針對(duì)性的教學(xué)與管理，從而引導(dǎo)學(xué)生學(xué)業(yè)就業(yè)全面提升。依托華三DataEngine平臺(tái)強(qiáng)大的大數(shù)據(jù)處理能力，借助大數(shù)據(jù)平臺(tái)的數(shù)據(jù)建模和數(shù)據(jù)分析結(jié)果，基于對(duì)高?，F(xiàn)有業(yè)務(wù)的理解建立各項(xiàng)大數(shù)據(jù)專題應(yīng)用。實(shí)現(xiàn)全數(shù)據(jù)多維度的數(shù)據(jù)分析和挖掘，實(shí)現(xiàn)應(yīng)用有如學(xué)生畫像、失聯(lián)預(yù)警、行為分析、影響力調(diào)查和成績(jī)預(yù)測(cè)等。幫助學(xué)校實(shí)達(dá)成教學(xué)管理提升，提供決策支撐，實(shí)現(xiàn)個(gè)性化推送服務(wù)，提升校園整體人文情懷。通過(guò)對(duì)學(xué)生學(xué)習(xí)情況、消費(fèi)情況、校園行為等多類數(shù)據(jù)的分析，對(duì)學(xué)生個(gè)體或特定群體進(jìn)行精準(zhǔn)化描述，揭示學(xué)生不同的成長(zhǎng)軌跡。幫助職能部門了解特定群體的特征，從而開(kāi)展具有針對(duì)性的教學(xué)及管理。人才培養(yǎng)計(jì)劃解決方案H3C提供了全方位的人才培養(yǎng)服務(wù)，包括實(shí)訓(xùn)室建設(shè)、實(shí)驗(yàn)室教學(xué)教材配套、師資培養(yǎng)、就業(yè)服務(wù)指導(dǎo)等。項(xiàng)目當(dāng)期將配套定制開(kāi)發(fā)相關(guān)大數(shù)據(jù)課程。課程由面向?qū)W校內(nèi)師生。教學(xué)內(nèi)容包括大數(shù)據(jù)教學(xué)大綱，實(shí)訓(xùn)資源包課程以及專業(yè)產(chǎn)品認(rèn)證課程三大類。課程內(nèi)容結(jié)合了目前國(guó)內(nèi)外主流的Hadoop平臺(tái)和高性能計(jì)算平臺(tái)，剖析主流的大數(shù)據(jù)平臺(tái)產(chǎn)品、高性能數(shù)據(jù)挖掘和混合分布式系統(tǒng)平臺(tái)技術(shù)應(yīng)用，引導(dǎo)學(xué)生利用Hadoop大數(shù)據(jù)技術(shù)、分布式文件系統(tǒng)技術(shù)（HDFS）、高性能計(jì)算技術(shù)（MapReduce、Spark）、高性能并行存儲(chǔ)系統(tǒng)技術(shù)解決行業(yè)中存在的I/O存儲(chǔ)、分析處理性能瓶頸問(wèn)題，熟練掌握大數(shù)據(jù)技術(shù)應(yīng)用項(xiàng)目的解決方案。主要課程提綱及實(shí)驗(yàn)提綱如下：課程主要提綱內(nèi)容梗概大數(shù)據(jù)采集處理技術(shù)及其應(yīng)用互聯(lián)網(wǎng)應(yīng)用日志大數(shù)據(jù)采集Web網(wǎng)頁(yè)爬蟲數(shù)據(jù)采集實(shí)時(shí)物聯(lián)網(wǎng)設(shè)備監(jiān)控?cái)?shù)據(jù)流采集ETL工具-Pentahokettle的安裝、配置與管理；Kettle任務(wù)開(kāi)發(fā)等內(nèi)容。實(shí)時(shí)日志采集與數(shù)據(jù)收集技術(shù)，以及Flume&Flume-NG日志采集系統(tǒng)的原理、架構(gòu)分析與應(yīng)用介紹Fluentd日志收集系統(tǒng)架構(gòu)、技術(shù)實(shí)現(xiàn)、運(yùn)維部署、日志查詢與分析Scribe分布式日志搜集系統(tǒng)架構(gòu)、技術(shù)實(shí)現(xiàn)、用戶行為收集與個(gè)性化訪問(wèn)數(shù)據(jù)實(shí)時(shí)采集技術(shù)Chukwa監(jiān)控?cái)?shù)據(jù)采集系統(tǒng)架構(gòu)、技術(shù)實(shí)現(xiàn)、應(yīng)用部署、與Hadoop對(duì)接技術(shù)、日志實(shí)時(shí)收縮分析Hadoop大數(shù)據(jù)技術(shù)平臺(tái)原理與應(yīng)用大數(shù)據(jù)文件存儲(chǔ)系統(tǒng)技術(shù)和分布式文件系統(tǒng)平臺(tái)及其應(yīng)用分布式文件系統(tǒng)HDFS概述、功能、作用、優(yōu)勢(shì)、應(yīng)用范疇、應(yīng)用現(xiàn)狀和發(fā)展趨勢(shì)HDFS分布式文件系統(tǒng)核心關(guān)鍵技術(shù)、設(shè)計(jì)精髓、基本工作原理、系統(tǒng)架構(gòu)、文件存儲(chǔ)模式、工作機(jī)制、存儲(chǔ)擴(kuò)容與吞吐性能擴(kuò)展HDFS系統(tǒng)SHELL命令操作、I/O流式操作，文件數(shù)據(jù)讀取、寫入、追加、刪除、文件狀態(tài)查詢，數(shù)據(jù)塊分布機(jī)制、數(shù)據(jù)同步與一致性、元數(shù)據(jù)管理技術(shù)、主節(jié)點(diǎn)與從節(jié)點(diǎn)工作機(jī)制、大數(shù)據(jù)負(fù)載均衡技術(shù)，以及HDFS大數(shù)據(jù)存儲(chǔ)集群管理技術(shù)大數(shù)據(jù)分布式處理與數(shù)據(jù)并行分析計(jì)算技術(shù)實(shí)現(xiàn)以及平臺(tái)應(yīng)用并行計(jì)算與函數(shù)式編程技術(shù)概述，MapReduce工作機(jī)制、技術(shù)原理和處理架構(gòu)MapReduce作業(yè)執(zhí)行與調(diào)度技術(shù)，JobTracker和TaskTracker組件詳解，MapReduce程序開(kāi)發(fā)、性能調(diào)優(yōu)、以及高級(jí)應(yīng)用技巧常見(jiàn)的Hadoop故障錯(cuò)誤分析策略以及監(jiān)控工具詳解，云文件存儲(chǔ)系統(tǒng)狀態(tài)以及海量作業(yè)執(zhí)行狀態(tài)監(jiān)控與故障解決經(jīng)驗(yàn)介紹序號(hào)實(shí)驗(yàn)名稱實(shí)驗(yàn)內(nèi)容實(shí)驗(yàn)一Hadoop大數(shù)據(jù)生態(tài)系統(tǒng)部署Hadoop生態(tài)系統(tǒng)平臺(tái)的安裝部署，包括HDFS、MapReduce、Yarn與MR2.0HDFS集群狀態(tài)查看MapReduce示例程序運(yùn)行、狀態(tài)查看實(shí)驗(yàn)二基于Hadoop平臺(tái)的二次應(yīng)用程序開(kāi)發(fā)HDFS分布式文件系統(tǒng)的常用命令操作與存儲(chǔ)程序開(kāi)發(fā)MapReduce統(tǒng)計(jì)程序開(kāi)發(fā)并運(yùn)行Hadoop程序開(kāi)發(fā)實(shí)驗(yàn)上線效果上線效果H3C運(yùn)維管理平臺(tái)（DataEngineManager）是一個(gè)可視化的集群管理和監(jiān)控平臺(tái)，集群的節(jié)點(diǎn)、主機(jī)、組件的運(yùn)行狀態(tài)都能在界面上顯示，操作友好，功能豐富。提供集群快速安裝部署、用戶權(quán)限管理、主機(jī)與服務(wù)管理、監(jiān)控及告警通知等多方面支持，在可管理性方面優(yōu)勢(shì)顯著。圖：DataEngine大數(shù)據(jù)平臺(tái)管控界面大數(shù)據(jù)應(yīng)用系統(tǒng)截圖如下圖，學(xué)生畫像的首頁(yè)展示左側(cè)展示學(xué)校所有院系，可點(diǎn)擊院系進(jìn)入院系簡(jiǎn)介右側(cè)顯示學(xué)?；靖艣r.如下圖，左側(cè)班級(jí)里所有學(xué)生展示,右側(cè)學(xué)生基本信息展示，包括籍貫、學(xué)號(hào)、影響力等影響力從多個(gè)維度來(lái)評(píng)估，比如：成績(jī)、社團(tuán)活動(dòng)、榮譽(yù)、證書、才藝等如下圖展示生源分布情況，如湖北學(xué)生占比：34.71%，其中三好學(xué)生占比6.22%，貧困學(xué)生占比24.49%，普通學(xué)生占比69.28%。如下圖，展示食堂的消費(fèi)情況，可以按照年級(jí)維度查看某時(shí)間段食堂消費(fèi)情況。最佳實(shí)踐亮點(diǎn)實(shí)現(xiàn)各業(yè)務(wù)系統(tǒng)數(shù)據(jù)的整合拉通，解決數(shù)據(jù)孤島問(wèn)題。建立統(tǒng)一的大數(shù)據(jù)處理平臺(tái)，為高校大數(shù)據(jù)應(yīng)用建設(shè)提供強(qiáng)有力的底層技術(shù)架構(gòu)支撐，助力高校信息化建設(shè)向服務(wù)化、個(gè)性化與智慧化轉(zhuǎn)型。建立高校大數(shù)據(jù)應(yīng)用系統(tǒng)，幫助學(xué)習(xí)提升教學(xué)管理水平，提供決策支撐。為高校提供包括軟硬件資源、課程課件、培養(yǎng)計(jì)劃在內(nèi)的完整成體系的大數(shù)據(jù)人才培養(yǎng)方案?；贖3CDataEngine實(shí)施規(guī)劃基礎(chǔ)環(huán)境我司提供了測(cè)試所需的包括軟硬件設(shè)備，清單如下：硬件環(huán)境：名稱數(shù)量配置備注H3CFlexServerR390服務(wù)器4臺(tái)2路6核CPU，64G內(nèi)存，8*900GSAS硬盤，4*GE網(wǎng)口用于部署Hadoop組件H3CFlexServerR390