智慧校園大數(shù)據(jù)建設(shè)方案

精華科技副總經(jīng)理郭磊精華科技副總經(jīng)理郭磊智慧校園目前尚未形成標(biāo)準(zhǔn)的框架體系，但是數(shù)據(jù)卻是通往智慧校園的必由之路。諾蘭模型諾蘭模型轉(zhuǎn)折點(diǎn)曲線”曲線”初始期普及期控制期集成期數(shù)據(jù)管理期成熟期研發(fā)，歷時(shí)5年形成了完整的數(shù)據(jù)產(chǎn)品線。公司共擁有70余人的研發(fā)團(tuán)隊(duì)和50余人的軟件實(shí)施服務(wù)團(tuán)各產(chǎn)品組的核心均為8-10年經(jīng)驗(yàn)的資深研發(fā)人智慧校園、大數(shù)據(jù)時(shí)代服務(wù)化、智能化、移動(dòng)化、泛在化、融合化服務(wù)化、智能化、移動(dòng)化、泛在化、融合化高值數(shù)據(jù)高值數(shù)據(jù)數(shù)據(jù)挖掘數(shù)據(jù)挖掘高價(jià)值、高質(zhì)量數(shù)據(jù)層挖掘平臺(tái)挖掘工具挖掘平臺(tái)挖掘工具挖掘模型挖掘算法…有效數(shù)據(jù)有效數(shù)據(jù)低價(jià)值、高質(zhì)量數(shù)據(jù)層數(shù)據(jù)治理數(shù)據(jù)治理元數(shù)據(jù)管理元數(shù)據(jù)管理主數(shù)據(jù)管理治理監(jiān)管質(zhì)量監(jiān)控…基礎(chǔ)數(shù)據(jù)基礎(chǔ)數(shù)據(jù)數(shù)據(jù)集成數(shù)據(jù)集成低價(jià)值、低質(zhì)量數(shù)據(jù)層統(tǒng)一統(tǒng)一門戶基本基本校情掌上掌上校園數(shù)據(jù)集成數(shù)據(jù)集成數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)標(biāo)準(zhǔn)身份認(rèn)證身份認(rèn)證學(xué)工人事科研一卡通教務(wù)…應(yīng)用系統(tǒng)（低階）學(xué)工人事科研一卡通教務(wù)…應(yīng)用系統(tǒng)（低階）智慧校園、大數(shù)據(jù)時(shí)代服務(wù)化、智能化、移動(dòng)化、泛在化、融合化應(yīng)用系統(tǒng)（高階）服務(wù)化、智能化、移動(dòng)化、泛在化、融合化應(yīng)用系統(tǒng)（高階）高值數(shù)據(jù)高值數(shù)據(jù)高價(jià)值、高質(zhì)量數(shù)據(jù)層數(shù)據(jù)挖掘數(shù)據(jù)挖掘挖掘平臺(tái)挖掘工具挖掘平臺(tái)挖掘工具挖掘模型挖掘算法…有效數(shù)據(jù)有效數(shù)據(jù)低價(jià)值、高質(zhì)量數(shù)據(jù)層數(shù)據(jù)治理數(shù)據(jù)治理元數(shù)據(jù)管理元數(shù)據(jù)管理主數(shù)據(jù)管理治理監(jiān)管質(zhì)量監(jiān)控…基礎(chǔ)數(shù)據(jù)基礎(chǔ)數(shù)據(jù)低價(jià)值、低質(zhì)量數(shù)據(jù)層統(tǒng)一統(tǒng)一門戶基本基本校情掌上掌上校園數(shù)據(jù)集成數(shù)據(jù)集成數(shù)據(jù)集成數(shù)據(jù)集成數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)標(biāo)準(zhǔn)身份認(rèn)證身份認(rèn)證學(xué)工人事科研一卡通教務(wù)…應(yīng)用系統(tǒng)（低階）學(xué)工人事科研一卡通教務(wù)…應(yīng)用系統(tǒng)（低階）智慧校園第一個(gè)數(shù)據(jù)階段的主要問題第一個(gè)數(shù)據(jù)階段的主要問題應(yīng)用系統(tǒng)應(yīng)用系統(tǒng)（高階）高值數(shù)據(jù)高值數(shù)據(jù)數(shù)據(jù)挖掘有效數(shù)據(jù)數(shù)據(jù)挖掘有效數(shù)據(jù)數(shù)據(jù)治理數(shù)據(jù)治理基礎(chǔ)數(shù)據(jù)基礎(chǔ)數(shù)據(jù)數(shù)據(jù)集成數(shù)據(jù)集成應(yīng)用系統(tǒng)應(yīng)用系統(tǒng)（低階）智慧校園應(yīng)用系統(tǒng)應(yīng)用系統(tǒng)（高階）高值數(shù)據(jù)高值數(shù)據(jù)數(shù)據(jù)挖掘數(shù)據(jù)挖掘有效數(shù)據(jù)有效數(shù)據(jù)數(shù)據(jù)治理數(shù)據(jù)治理基礎(chǔ)數(shù)據(jù)數(shù)據(jù)集成數(shù)據(jù)集成應(yīng)用系統(tǒng)應(yīng)用系統(tǒng)（低階）數(shù)據(jù)治理是一個(gè)體系和過程。全局性的組織行為；對數(shù)據(jù)來源、處理和使用進(jìn)行集中和規(guī)范的管理；目的是形成可重復(fù)利用的高質(zhì)量的有效數(shù)據(jù)。智慧校園應(yīng)用系統(tǒng)應(yīng)用系統(tǒng)（高階）高值數(shù)據(jù)高值數(shù)據(jù)數(shù)據(jù)挖掘數(shù)據(jù)挖掘有效數(shù)據(jù)有效數(shù)據(jù)數(shù)據(jù)治理數(shù)據(jù)治理基礎(chǔ)數(shù)據(jù)數(shù)據(jù)集成數(shù)據(jù)集成應(yīng)用系統(tǒng)應(yīng)用系統(tǒng)（低階）數(shù)據(jù)治理相關(guān)的工具和系統(tǒng)分布式數(shù)據(jù)集成交換平臺(tái)分布式數(shù)據(jù)集成交換平臺(tái)主數(shù)據(jù)管理系統(tǒng)主數(shù)據(jù)管理系統(tǒng)數(shù)據(jù)質(zhì)量分析與監(jiān)管平臺(tái)數(shù)據(jù)質(zhì)量分析與監(jiān)管平臺(tái)統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)管理系統(tǒng)統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)管理系統(tǒng)元數(shù)據(jù)管理系統(tǒng)元數(shù)據(jù)管理系統(tǒng)數(shù)據(jù)綜合治理管理平臺(tái)數(shù)據(jù)綜合治理管理平臺(tái)智慧校園發(fā)布-訂閱管理數(shù)據(jù)接入管理數(shù)據(jù)集成平臺(tái)發(fā)布-訂閱管理數(shù)據(jù)接入管理數(shù)據(jù)集成平臺(tái)交換網(wǎng)絡(luò)管理數(shù)據(jù)處理管理交換監(jiān)控管理數(shù)據(jù)路由管理物理監(jiān)控管理數(shù)據(jù)傳輸管理元數(shù)據(jù)管理元模型管理元數(shù)據(jù)采集管理元數(shù)據(jù)映射管理元數(shù)據(jù)維護(hù)管理元數(shù)據(jù)查詢管理元數(shù)據(jù)分析管理應(yīng)用系統(tǒng)（高階）交換網(wǎng)絡(luò)管理數(shù)據(jù)處理管理交換監(jiān)控管理數(shù)據(jù)路由管理物理監(jiān)控管理數(shù)據(jù)傳輸管理元數(shù)據(jù)管理元模型管理元數(shù)據(jù)采集管理元數(shù)據(jù)映射管理元數(shù)據(jù)維護(hù)管理元數(shù)據(jù)查詢管理元數(shù)據(jù)分析管理應(yīng)用系統(tǒng)（高階）高值數(shù)據(jù)高值數(shù)據(jù)數(shù)據(jù)挖掘數(shù)據(jù)挖掘有效數(shù)據(jù)有效數(shù)據(jù)數(shù)據(jù)治理數(shù)據(jù)治理主數(shù)據(jù)管理主數(shù)據(jù)模型管理主數(shù)據(jù)映射管理主數(shù)據(jù)質(zhì)量管理基礎(chǔ)數(shù)據(jù)主數(shù)據(jù)管理主數(shù)據(jù)模型管理主數(shù)據(jù)映射管理主數(shù)據(jù)質(zhì)量管理基礎(chǔ)數(shù)據(jù)主數(shù)據(jù)服務(wù)管理主數(shù)據(jù)查詢管理數(shù)據(jù)集成主數(shù)據(jù)服務(wù)管理主數(shù)據(jù)查詢管理數(shù)據(jù)集成應(yīng)用系統(tǒng)應(yīng)用系統(tǒng)（低階）智慧校園應(yīng)用系統(tǒng)（高階）應(yīng)用系統(tǒng)（高階）狹義的數(shù)據(jù)挖掘，指傳統(tǒng)數(shù)據(jù)挖掘的定義，即從海量數(shù)據(jù)中揭示狹義的數(shù)據(jù)挖掘，指傳統(tǒng)數(shù)據(jù)挖掘的定義，即從海量數(shù)據(jù)中揭示高值數(shù)據(jù)高值數(shù)據(jù)數(shù)據(jù)挖掘數(shù)據(jù)挖掘有效數(shù)據(jù)C有效數(shù)據(jù) 數(shù)據(jù)治理基礎(chǔ)數(shù)據(jù)數(shù)據(jù)集成應(yīng)用系統(tǒng)應(yīng)用系統(tǒng)（低階）智慧校園應(yīng)用系統(tǒng)（高階）高值數(shù)據(jù)智慧校園下的數(shù)據(jù)挖掘?qū)拥哪康暮瓦M(jìn)行方式，和傳統(tǒng)數(shù)據(jù)挖掘是有區(qū)別的。應(yīng)用系統(tǒng)（高階）高值數(shù)據(jù)數(shù)據(jù)挖掘數(shù)據(jù)挖掘有效數(shù)據(jù)有效數(shù)據(jù)數(shù)據(jù)治理數(shù)據(jù)治理基礎(chǔ)數(shù)據(jù)數(shù)據(jù)集成基礎(chǔ)數(shù)據(jù)數(shù)據(jù)集成應(yīng)用系統(tǒng)應(yīng)用系統(tǒng)（低階）智慧校園圖表生成引擎標(biāo)準(zhǔn)化服務(wù)接口分布式挖掘引擎挖掘模型挖掘算法圖表生成引擎標(biāo)準(zhǔn)化服務(wù)接口分布式挖掘引擎挖掘模型挖掘算法分布式數(shù)據(jù)高速緩存應(yīng)用系統(tǒng)（高階）高值數(shù)據(jù)高值數(shù)據(jù)數(shù)據(jù)挖掘數(shù)據(jù)挖掘有效數(shù)據(jù)有效數(shù)據(jù)數(shù)據(jù)治理數(shù)據(jù)治理分布式數(shù)據(jù)系統(tǒng)（Hadoop+分布式數(shù)據(jù)系統(tǒng)（Hadoop+MapReduce+Spark）基礎(chǔ)數(shù)據(jù)數(shù)據(jù)集成結(jié)構(gòu)化數(shù)據(jù)半結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)半結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)應(yīng)用系統(tǒng)（低階）現(xiàn)有數(shù)據(jù)智慧校園應(yīng)用系統(tǒng)應(yīng)用系統(tǒng)（高階）高值數(shù)據(jù)高值數(shù)據(jù)數(shù)據(jù)挖掘數(shù)據(jù)挖掘有效數(shù)據(jù)有效數(shù)據(jù)數(shù)據(jù)治理數(shù)據(jù)治理基礎(chǔ)數(shù)據(jù)C基礎(chǔ)數(shù)據(jù) 數(shù)據(jù)集成應(yīng)用系統(tǒng)應(yīng)用系統(tǒng)（低階）大量高階應(yīng)用系統(tǒng)的出現(xiàn)，才意味著真正踏入了智慧校園的時(shí)代。從技術(shù)體系架構(gòu)的角度，還有一個(gè)非常重要的智慧校園從技術(shù)體系架構(gòu)的角度，還有一個(gè)非常重要的應(yīng)用系統(tǒng)（高階）在所有系統(tǒng)間共享數(shù)據(jù)挖掘教務(wù)管理標(biāo)準(zhǔn)SOA服務(wù)接口訪問控制層學(xué)工管理有效數(shù)據(jù)抽取注冊數(shù)據(jù)治理人事管理資產(chǎn)管理基礎(chǔ)數(shù)據(jù) 數(shù)據(jù)集成科研管理高值數(shù)據(jù)在所有系統(tǒng)間共享數(shù)據(jù)挖掘教務(wù)管理標(biāo)準(zhǔn)SOA服務(wù)接口訪問控制層學(xué)工管理有效數(shù)據(jù)抽取注冊數(shù)據(jù)治理人事管理資產(chǎn)管理基礎(chǔ)數(shù)據(jù) 數(shù)據(jù)集成科研管理高值數(shù)據(jù)統(tǒng)一服務(wù)集成平臺(tái)應(yīng)用系統(tǒng)應(yīng)用系統(tǒng)（低階）【數(shù)據(jù)集成階段的建設(shè)】廠商的開發(fā)成本和銷售成本（盜版或使用免費(fèi)產(chǎn)品但接口接口A系統(tǒng)接口接口A系統(tǒng)點(diǎn)對點(diǎn)結(jié)構(gòu)：高成本、難維護(hù)、數(shù)據(jù)無法集中數(shù)據(jù)A系統(tǒng)數(shù)據(jù)A系統(tǒng)星形結(jié)構(gòu)：低成本、易維護(hù)、數(shù)據(jù)可以集中A系統(tǒng)A系統(tǒng)ETL交換代理觸發(fā)器/日志數(shù)據(jù)平臺(tái)ETL交換代理觸發(fā)器/觸發(fā)器/日志生成&發(fā)布在線監(jiān)管離線模式分離式結(jié)構(gòu)，弱管理能力，不適合較大規(guī)模的數(shù)據(jù)集成。交換模式-面向?qū)ο蠼粨Q模式-面向消息交換模式-面向消息交換模式-基于數(shù)據(jù)交換模式-基于服務(wù)兩種方案的比較1233456有無7有無89有無有無有無有無高有無高【數(shù)據(jù)治理階段的建設(shè)】數(shù)據(jù)質(zhì)量低下，統(tǒng)計(jì)不準(zhǔn)確？數(shù)據(jù)分散，形成信息孤島，共享困難？對其應(yīng)用處理困難？數(shù)據(jù)多樣化，缺少統(tǒng)出了問題再補(bǔ)漏，數(shù)據(jù)管理部數(shù)據(jù)治理四要素?cái)?shù)據(jù)治理四要素技術(shù)平臺(tái)與工具流程、活動(dòng)與機(jī)制計(jì)劃、制度與標(biāo)準(zhǔn)規(guī)范數(shù)據(jù)數(shù)據(jù)治理體系架構(gòu)組織體系管理體系技術(shù)體系執(zhí)行體系數(shù)據(jù)生產(chǎn)者數(shù)據(jù)擁有者生產(chǎn)使用生產(chǎn)數(shù)據(jù)管控體系組織體系挖掘挖掘數(shù)據(jù)使用者數(shù)據(jù)管理者業(yè)務(wù)主數(shù)據(jù)數(shù)據(jù)質(zhì)量稽查、提升、主數(shù)據(jù)監(jiān)控: ,輔助管理決策。主數(shù)據(jù)質(zhì)量主數(shù)據(jù)質(zhì)量元數(shù)據(jù)元數(shù)據(jù)9“防患于未然”優(yōu)于“后期治療”【數(shù)據(jù)挖掘階段的建設(shè)】采用商業(yè)BI工具的數(shù)據(jù)挖掘方案商業(yè)BI工具最早起源于1996年，迄今發(fā)展已近20年。目前主流的商業(yè)產(chǎn)品有IBMcognos、SAPBO、oracleBIEE、MicrosoftBI、MicroStrategy、QlikView。其最主要的優(yōu)點(diǎn)是可以通過配置化的方式，快速構(gòu)建數(shù)據(jù)分析模型。但是由于其保持通用性和強(qiáng)調(diào)可配置化的特點(diǎn)，也導(dǎo)致了一系列問題的產(chǎn)生。采用商業(yè)BI工具方案的缺陷（一）其配置化構(gòu)建分析模型的方式，必須基于單表的數(shù)據(jù)構(gòu)造，如：單表、視圖和數(shù)據(jù)立方體，否則就要通過開發(fā)方式來解決。但是在大數(shù)據(jù)時(shí)代的背景下，越來越多的涉及復(fù)雜結(jié)構(gòu)的多表數(shù)據(jù)分析模型,因?yàn)殡y以形成視圖或數(shù)據(jù)立方體這樣的單表構(gòu)造，而不能進(jìn)行配置化，使其淪為只能通過配置化的方式，構(gòu)建有限的數(shù)據(jù)分析模型。采用商業(yè)BI工具方案的缺陷（二）目前主流的BI工具僅支持普通數(shù)據(jù)庫、數(shù)據(jù)立方體（Cube）和內(nèi)存計(jì)算三種數(shù)據(jù)系統(tǒng)中的兩種或一種，不支持如：圖數(shù)據(jù)庫和分布式數(shù)據(jù)系統(tǒng)等其它方式，而以Hadoop、MapReduce（離線）、Storm（在線）和Spark（在線）為代表的分布式數(shù)據(jù)系統(tǒng)，正是大數(shù)據(jù)環(huán)境下的標(biāo)準(zhǔn)配置。因此BI工具在面對大數(shù)據(jù)處理時(shí)的分析速度和計(jì)算資源開銷都將成為致命的瓶頸,無法達(dá)到實(shí)時(shí)在線式分析的目標(biāo)，而這也是開發(fā)大數(shù)據(jù)應(yīng)用的一個(gè)必要前提。采用商業(yè)BI工具方案的缺陷（三）由于BI工具保持配置化和通用化的需要，導(dǎo)致分析系統(tǒng)的表現(xiàn)形式固化，無法針對不同的主題和應(yīng)用場景靈活構(gòu)建不同的用戶體驗(yàn)，與當(dāng)前軟件發(fā)展趨勢所強(qiáng)調(diào)的極致用戶體驗(yàn)和個(gè)性化的要求不符。分析挖掘后的結(jié)果數(shù)據(jù)不能進(jìn)行標(biāo)準(zhǔn)化的存儲(chǔ)，無法積累高價(jià)值數(shù)據(jù)層，使其后的基于大數(shù)據(jù)的高價(jià)值應(yīng)用難以順利展開。圖表生成引擎標(biāo)準(zhǔn)化服務(wù)接口挖掘模型挖掘算法挖掘模型挖掘算法分布式挖掘引擎分布式數(shù)據(jù)高速緩存分布式數(shù)據(jù)高速緩存