大數(shù)據(jù)技術(shù)社區(qū)教育平臺建設(shè)探析

1、編號：時間：2021年X月X日書山有路勤為徑，學(xué)海無涯苦作舟頁碼：第1頁共7頁大數(shù)據(jù)技術(shù)社區(qū)教育平臺建設(shè)探析【摘要】社區(qū)教育平臺建設(shè)是社區(qū)教育的主要手段，隨著不斷發(fā)展，系 統(tǒng)建設(shè)中隱含的問題逐漸顯現(xiàn)。大數(shù)據(jù)平臺是通過分布式文件系統(tǒng)、管理系統(tǒng)以 及分布式數(shù)據(jù)庫系統(tǒng)等一系列關(guān)鍵技術(shù)建設(shè)的網(wǎng)絡(luò)平臺，大數(shù)據(jù)技術(shù)所具備的超 強(qiáng)的數(shù)據(jù)收集、存儲、分析能力能為社區(qū)教育平臺的建設(shè)提供新的思路，能為社 區(qū)教育的發(fā)展提供先進(jìn)的技術(shù)支持?！娟P(guān)鍵詞】社區(qū)教育；大數(shù)據(jù)；分布式數(shù)據(jù)庫Hadoop1引言社區(qū)教育數(shù)字化平臺是社區(qū)教育的主要手段，它滿足了社區(qū)居民大部 分的教育訴求。隨著社區(qū)教育平臺的發(fā)展和用戶的激增，各種應(yīng)用數(shù)

2、據(jù)無所不在, 與用戶學(xué)習(xí)行為相關(guān)的數(shù)據(jù)量急速增長，社區(qū)教育平臺進(jìn)入了大數(shù)據(jù)時代。然 而，由于諸多因素造成了這些數(shù)據(jù)沒有得到充分的重視和運用，喪失了對學(xué)習(xí)者 的深度了解，柵棄了平臺自身發(fā)展的優(yōu)勢，社區(qū)教育平臺的發(fā)展正面臨著大數(shù)據(jù) 的挑戰(zhàn)。2社區(qū)教育平臺建設(shè)現(xiàn)狀以河北省為例，社區(qū)教育平臺建設(shè)至今已五年之久，發(fā)展迅速、運行 效果良好、硬件基礎(chǔ)比較完善、管理模式具體、推廣頗具深度；目前十一家地市 的社區(qū)教育平臺半數(shù)以上具備了 PC版和移動版同時運維的能力，豐富的學(xué)習(xí)資 源覆蓋范圍廣闊、知識結(jié)構(gòu)權(quán)威、學(xué)習(xí)方式快捷，為廣大學(xué)習(xí)者提供了一個良好 的學(xué)習(xí)和交流的平臺，得到了多方用戶的稱贊。但是，隨著時間的推移

3、，各平臺 出現(xiàn)了諸多類似的問題，比如用戶上網(wǎng)行為不能及時管理，教學(xué)資源推送不能滿 足用戶需求，大都與龐大的數(shù)據(jù)記錄有關(guān)，這些問題是平臺進(jìn)一步發(fā)展的瓶頸， 是不得不解決的首要問題。2.1平臺缺少信息收集和分析處理功能。社區(qū)教育的 主要特征是教育對象具有廣泛性，不同的受眾群體具有不同的教育訴求，這就需 要社區(qū)教育平臺提供不同的教育方式和內(nèi)容，以滿足廣泛的興趣需求和學(xué)習(xí)特點; 目前平臺對每名用戶的學(xué)習(xí)行為和受教數(shù)據(jù)都沒有綜合收集和儲存，無法通過這 些具有個性化的日志資料分析學(xué)習(xí)傾向和需求，平臺建設(shè)大多主觀提供課程資源, 甚至造成供需脫節(jié)，達(dá)不到平臺建設(shè)的預(yù)期目標(biāo)。2.2平臺缺乏統(tǒng)一規(guī)劃，信息 存儲不

4、規(guī)范。目前，各平臺都是獨立運行，使得海量信息離散分布，并且信息的 存儲互不兼容，大量三分屏、單視頻、PPT等資源閑置，幾乎沒有一個可執(zhí)行的 資源標(biāo)準(zhǔn)，無法形成聚合數(shù)據(jù)庫。離散信息一方面造成重復(fù)的資源建設(shè)和信息冗 余，另一方面限制了共享，不利于資源傳播。2.3對于平臺使用的關(guān)鍵技術(shù)，絕 大多數(shù)沿用傳統(tǒng)。CMS管理系統(tǒng)的結(jié)構(gòu)，沒有任何一個系統(tǒng)能夠?qū)ζ脚_運行過程 中的數(shù)據(jù)全面存儲、自動分析以為管理者提供決策和建設(shè)的依據(jù)，而作為社區(qū)教 育平臺運行過程中產(chǎn)生的大數(shù)據(jù)恰恰是平臺運行的寶貴資源，對于受眾對象和管 理者都是不可忽視的。大量資源無人問津，系統(tǒng)點擊深度低、缺乏粘合度，閉門 造車開發(fā)出來的系統(tǒng)完全成

5、了開發(fā)者自娛自樂的工具，學(xué)習(xí)者的真實需求不能滿 足，甚至有系統(tǒng)還在沾沾自喜于網(wǎng)站的點擊率，殊不知這樣的數(shù)據(jù)沒有任何意義； 從SEO角度看，各系統(tǒng)甚至沒有個基本的分析系統(tǒng)，盡管系統(tǒng)滿足了上千人同時 在線，卻對這些在線行為不能做出基礎(chǔ)的收集、整理和分析。出現(xiàn)供需嚴(yán)重脫節(jié) 現(xiàn)象的主要原因一是開發(fā)者沒有做細(xì)致的需求分析，二是平臺架構(gòu)存在嚴(yán)重缺陷, 而解決這些問題的重要手段就是在系統(tǒng)開發(fā)上充分利用大數(shù)據(jù)技術(shù)。3基于大數(shù)據(jù)技術(shù)的平臺架構(gòu)和關(guān)鍵技術(shù)大數(shù)據(jù)技術(shù),就是從多種類型的數(shù)據(jù)中，快速獲取有價值信息的能力， 它是數(shù)據(jù)分析的前沿技術(shù)。與傳統(tǒng)數(shù)據(jù)相比，大數(shù)據(jù)有幾個特點：第一，數(shù)據(jù)體 量巨大，為進(jìn)一步的分析提供

6、了充分的數(shù)據(jù)資料；第二，數(shù)據(jù)類型繁多，包含文 字、圖片、音頻、視頻、地理位置信息等；第三，處理速度快，可從海量數(shù)據(jù)中 極速獲取高價值信息，這也和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同；第四，數(shù)據(jù) 可實現(xiàn)再利用和重復(fù)利用，以低成本或零成本對研究對象進(jìn)行縱向歷史比對和橫 向現(xiàn)實比對；第五，只要合理利用數(shù)據(jù)并對其進(jìn)行正確的分析，將會帶來意想不 到的高價值回報。3.1大數(shù)據(jù)系統(tǒng)的架構(gòu)。一個常規(guī)的大數(shù)據(jù)分析平臺，必須能 夠做到可持續(xù)、可迭代開發(fā)的功能，可存儲所有種類的數(shù)據(jù)，可進(jìn)行各種需求分 析，可實現(xiàn)大眾化使用；同時.，一個大數(shù)據(jù)分析平臺還應(yīng)該可以接入不同的開發(fā) 工具，并且實現(xiàn)數(shù)據(jù)分析的圖形化，可以在不同時間

7、、空間等維度進(jìn)行查詢。大 數(shù)據(jù)處理系統(tǒng)不管結(jié)構(gòu)如何復(fù)雜，采用的技術(shù)千差萬別，但是總體上可以分為兒 個重要邏輯部分，它們分別是管理子系統(tǒng)、數(shù)據(jù)加載系統(tǒng)、計算子系統(tǒng)、二次開 發(fā)界面、直觀的圖形、報表和自定義分析工具、提供多種服務(wù)的對外接口。大數(shù) 據(jù)系統(tǒng)涉及到的人工協(xié)議和交互中，大致分為系統(tǒng)協(xié)調(diào)者、系統(tǒng)提供者、大數(shù)據(jù) 應(yīng)用提供者、大數(shù)據(jù)框架提供者、數(shù)據(jù)消費者，這五個角色的活動都要受到安全 和隱私角色的影響，通過不同的技術(shù)手段和安全措施，構(gòu)筑大數(shù)據(jù)系統(tǒng)全方位、 立體的安全防護(hù)體系。3.2大數(shù)據(jù)系統(tǒng)關(guān)鍵技術(shù)。大數(shù)據(jù)環(huán)境下的關(guān)鍵技術(shù)主要 是針對不同格式的海量數(shù)據(jù)存儲和海量數(shù)據(jù)的運算及分析，這其中包括數(shù)據(jù)收

8、集、 預(yù)處理，分布式文件存儲、文檔存儲、列式存儲等，另外還包括數(shù)據(jù)分析挖掘、 數(shù)據(jù)共享、數(shù)據(jù)呈現(xiàn)。數(shù)據(jù)呈現(xiàn)是大數(shù)據(jù)應(yīng)用的直接方式，通過一系列數(shù)據(jù)處理， 最終由用戶通過簡單明了的界面服務(wù)平臺形成可視化的圖形報告或者是數(shù)據(jù)報 表、數(shù)據(jù)檢索、數(shù)據(jù)渲染等。大數(shù)據(jù)收集需要從不同的數(shù)據(jù)源實時或者及時的手 機(jī)不同類型的數(shù)據(jù)并傳送到存儲系統(tǒng)或者預(yù)處理系統(tǒng)進(jìn)行后續(xù)處理，數(shù)據(jù)收集一 般可分為設(shè)備數(shù)據(jù)收集和web數(shù)據(jù)爬取兩種。數(shù)據(jù)預(yù)處理有助于提升數(shù)據(jù)質(zhì)量、 減少噪聲數(shù)據(jù)、防止數(shù)據(jù)缺失和數(shù)據(jù)沖突的影響，是后續(xù)數(shù)據(jù)處理分析和可視化 過程更加簡潔有效。分布式存儲訪問方式是大數(shù)據(jù)存儲的關(guān)鍵技術(shù)，它具有成本 低、效率高、容錯

9、好等特點，在很短時間內(nèi)磁盤、磁帶等存儲介質(zhì)將成為大數(shù)據(jù) 分布式存儲的主要媒體。與分布式存儲相關(guān)的就是分布式數(shù)據(jù)處理技術(shù)，它由 Hadoop數(shù)據(jù)庫提供基礎(chǔ)框架，采用分布式內(nèi)存計算和流計算方式，成為各個行 業(yè)比較成熟的大數(shù)據(jù)處理方式。大數(shù)據(jù)分析技術(shù)包括對已有數(shù)據(jù)信息的分布統(tǒng)計 分析技術(shù)，以及未知數(shù)據(jù)信息的分布式挖掘和深度學(xué)習(xí)技術(shù)。數(shù)據(jù)可視化運用圖 形學(xué)和圖像處理技術(shù)，將數(shù)據(jù)轉(zhuǎn)化為圖形或圖像在屏幕上顯示出來，并進(jìn)行交互 處理，為金融、通信、商業(yè)、教育、醫(yī)療提供決策依據(jù)，這已經(jīng)成為數(shù)據(jù)可視化 的新熱點。4應(yīng)用好大數(shù)據(jù)技術(shù)有效提升社區(qū)教育平臺性能大數(shù)據(jù)經(jīng)過科學(xué)分析后，能夠具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流

10、程 優(yōu)化能力；大數(shù)據(jù)時代的到來能夠改變?nèi)祟惪创褪褂脭?shù)據(jù)的方式，改變已有的 教育模式。針對社區(qū)教育領(lǐng)域，大數(shù)據(jù)更有其獨特的優(yōu)勢，采用大數(shù)據(jù)技術(shù)的社 區(qū)教育平臺功能更加完備，使用體驗更加人性化，目前比較成熟的大數(shù)據(jù)分析平 臺有 IBM 發(fā)布的 InfoSphere、Oracle 推廣的 BigDataAppliance 和 Sybase 常用的 IQ 系統(tǒng)以及使用較為廣泛的微軟公司的Hadoop系統(tǒng)，在這些技術(shù)平臺的支撐下社 區(qū)教育平臺建設(shè)將揭開新的一頁。下面以Hadoop為例介紹如何使用大數(shù)據(jù)技術(shù) 為社區(qū)教育平臺服務(wù)。Hadoop是一個實現(xiàn)了 MapReduce模式的能夠?qū)Υ罅繑?shù)據(jù) 進(jìn)行分布式

11、處理的軟件框架，是一種可靠、高校、可伸縮的數(shù)據(jù)處理方式，它以 并行計算的方式假設(shè)PB級的計算元素和存儲失敗，從而形成多個工作數(shù)據(jù)做副 本，確保能夠針對失敗節(jié)點做重新分步處理，Hadoop還依賴于社區(qū)服務(wù)器以形 成低成本運算模式，而MapReduce正是谷歌提出的云計算的核心計算模式。 Hadoop 系統(tǒng)=HDFS（文件系統(tǒng)）+HBase（數(shù)據(jù)庫）+MapReduce（數(shù)據(jù)處理）+Others<> 通過下圖來看一看海量數(shù)據(jù)架構(gòu)是如何通過大數(shù)據(jù)運作處理機(jī)制來實現(xiàn)可視化 的。從上至下分別是：數(shù)據(jù)源、計算層、存儲層、查詢層、產(chǎn)品層。數(shù)據(jù)源存放 著平臺所有行為數(shù)據(jù)，通過DataX, DbSy

12、nc和Timetunel準(zhǔn)實時的傳輸?shù)紿adoop 集群，在這里系統(tǒng)對每天產(chǎn)生的數(shù)據(jù)產(chǎn)品進(jìn)行不同的MapReduce計算，下一層 是分布式存儲集群輔助系統(tǒng)，我們可以采用基于MySQL的MyFox,還可以采用 基于HadoopHbase技術(shù)的叫做NoSQL的存儲集群，MyFox 一個重要的功能就是 為數(shù)據(jù)產(chǎn)品提供查詢功能，每個產(chǎn)品具有唯一一個URL來獲取想要的數(shù)據(jù)，這里 應(yīng)用的是最常見的HTTP協(xié)議，每一個數(shù)據(jù)產(chǎn)品就是一個大數(shù)據(jù)應(yīng)用，它們?yōu)閿?shù) 據(jù)消費者提供直觀的操作界面，呈現(xiàn)圖形化數(shù)據(jù)。5結(jié)語應(yīng)用了大數(shù)據(jù)技術(shù)的社區(qū)教育平臺不僅能推送個性化教學(xué)資源，滿足 學(xué)習(xí)需求，在功能體驗上，除了具備搜索排序體

13、驗，LBS定位功能，資源多樣化 以及交互功能外，還要實現(xiàn)資源利用最大化，學(xué)習(xí)行為自主化，學(xué)習(xí)形式交互化 等等，但也不是萬能的，不是能夠?qū)崿F(xiàn)所有的需求和目標(biāo)，比如大數(shù)據(jù)技術(shù)不擅 長社會關(guān)系分析、不擅長上下文情景分析、產(chǎn)生過多的發(fā)現(xiàn)、不擅長處理真正的 巨型問題、數(shù)據(jù)分析的結(jié)論往往基于大眾偏好，甚至有時原始數(shù)據(jù)往往會被扭曲， 造成樣本缺乏代表性、相關(guān)性誤差較大、過于故事化等等；當(dāng)然還有一個重要的 問題，就是大數(shù)據(jù)與隱私，大數(shù)據(jù)中包含著每個人的小數(shù)據(jù)，這些數(shù)據(jù)經(jīng)過進(jìn)一 步分析既能知道你的愛好，也能知道你的下意識行為傾向，如果據(jù)此來判斷一個 人的未來，是否會重演大片“少數(shù)派報告的場景，我們現(xiàn)在還不得而知?！緟⒖嘉墨I(xiàn)】韋書令，文夢丹，鄧孟紅.大數(shù)據(jù)視野下社區(qū)數(shù)字化學(xué)習(xí)平臺的應(yīng)用 策略研究N.廣西廣播電視大學(xué)學(xué)報，2018-05-25.曾浩宇.基于LBS社區(qū)系統(tǒng)的大規(guī)模