大數(shù)據(jù)環(huán)境監(jiān)測云平臺解決方案

環(huán)境監(jiān)測云平臺解決方案目錄1 項(xiàng)目背景 31.1 背景概述 31.2 需求分析 32 總體設(shè)計(jì) 42.1 邏輯架構(gòu)設(shè)計(jì) 42.2 物理拓?fù)湓O(shè)計(jì) 62.3 平臺主要功能設(shè)計(jì) 73 前端數(shù)據(jù)采集設(shè)備 93.1 水質(zhì)因子數(shù)據(jù)采集設(shè)備 93.2 土壤因子數(shù)據(jù)采集設(shè)備 103.3 空氣污染因子數(shù)據(jù)采集設(shè)備 113.4 室內(nèi)PM2.5、甲醛數(shù)據(jù)采集設(shè)備 123.5 室外PM2.5數(shù)據(jù)采集設(shè)備 144 數(shù)據(jù)網(wǎng)絡(luò)傳輸 144.1 物聯(lián)網(wǎng)無線通信 144.2 高并發(fā)實(shí)時數(shù)據(jù)接入 165 中心大數(shù)據(jù)云平臺 165.1 萬物云平臺 165.1.1 萬物云架構(gòu) 165.1.2 平臺優(yōu)勢分析 185.1.3 數(shù)據(jù)整合 195.2 cStor云存儲平臺 205.2.1 云存儲架構(gòu) 205.2.2 平臺優(yōu)勢分析 215.2.3 數(shù)據(jù)管理模塊 225.3 cProc云處理平臺 245.3.1 云處理架構(gòu) 245.3.2 平臺優(yōu)勢分析 255.3.3 數(shù)據(jù)立方技術(shù) 275.4 DataSense數(shù)據(jù)挖掘平臺 295.4.1 數(shù)據(jù)挖掘架構(gòu) 295.4.2 數(shù)據(jù)挖掘功能 305.5 環(huán)境云承載平臺 366 平臺主要應(yīng)用功能 376.1 常用功能及展示 376.1.1 GIS地圖展示 376.1.2 常用報(bào)表功能（日報(bào)、周報(bào)、月報(bào)等） 386.2 基于實(shí)時預(yù)警的環(huán)控應(yīng)急處置 426.2.1 空氣質(zhì)量監(jiān)測 426.2.2 空氣質(zhì)量發(fā)布 426.2.3 空氣質(zhì)量預(yù)警 436.3 基于數(shù)據(jù)挖掘的污染源追蹤 446.3.1 污染物演化預(yù)測 446.3.2 污染物數(shù)據(jù)追蹤 456.4 基于數(shù)據(jù)管理的輔助決策 456.5 移動終端服務(wù) 467 案例分享 487.1 PM2.5云監(jiān)測平臺 487.2 城市市千燈鎮(zhèn)環(huán)?？諝庠诰€監(jiān)測平臺 497.3 江蘇省環(huán)境監(jiān)控系統(tǒng)固定風(fēng)險(xiǎn)源視頻監(jiān)控聯(lián)網(wǎng)集成及存儲設(shè)備 498 預(yù)期效益 518.1 經(jīng)濟(jì)效益 518.2 社會效益 519 聯(lián)系我們 53

項(xiàng)目背景背景概述隨著空氣污染程度日趨嚴(yán)重，公眾對于空氣質(zhì)量的關(guān)注度不斷提升，由于數(shù)據(jù)信息化工作仍處于低端水平，使得空氣質(zhì)量的監(jiān)測重要性日益突出。針對環(huán)境的監(jiān)控和治理需求，南京云創(chuàng)大數(shù)據(jù)科技股份有限公司打造的“環(huán)境監(jiān)測云平臺”，實(shí)現(xiàn)對環(huán)境質(zhì)量的全面管控?！碍h(huán)境監(jiān)測云平臺”通過特征因子傳感器結(jié)合最新云技術(shù)監(jiān)測系統(tǒng)，既能夠解決資金投入問題，同時滿足一定的測量精度，構(gòu)建前端高性價(jià)比的空氣、水質(zhì)、土壤等環(huán)境質(zhì)量特征因子采集設(shè)備和中心端大數(shù)據(jù)云計(jì)算支撐平臺，為環(huán)保部門、高校企業(yè)等應(yīng)用場所提供完善的應(yīng)用服務(wù)、技術(shù)支撐、預(yù)測預(yù)警、輔助決策等功能，更好地為環(huán)境質(zhì)量的保護(hù)與治理貢獻(xiàn)力量。需求分析結(jié)合當(dāng)前環(huán)保監(jiān)測實(shí)際情況，目前“環(huán)境監(jiān)測云平臺”主要需求如下：前端數(shù)據(jù)采集主要包括：室內(nèi)PM2.5、甲醛等，室外PM2.5、空氣污染因子、水質(zhì)情況、土壤污染等大量不同種類的數(shù)據(jù)；平臺在大數(shù)據(jù)的基礎(chǔ)上，建立對數(shù)據(jù)的深入分析和挖掘體系，為整體平臺做最優(yōu)化支撐；針對目前應(yīng)急管理制度，缺乏有利的數(shù)據(jù)支撐，需要建立基于技術(shù)手段的污染預(yù)警和預(yù)測機(jī)制；支持多終端訪問，圖形化展示各類空氣質(zhì)量數(shù)據(jù)，支持實(shí)時數(shù)據(jù)展示、歷史數(shù)據(jù)呈現(xiàn)、大數(shù)據(jù)應(yīng)用體驗(yàn)等功能；接口協(xié)議標(biāo)準(zhǔn)開放，可以輕松與第三方現(xiàn)有應(yīng)用對接集成，便于橫向和縱向的擴(kuò)展。

總體設(shè)計(jì)邏輯架構(gòu)設(shè)計(jì)“環(huán)境監(jiān)測云平臺”方案著眼于環(huán)保大數(shù)據(jù)相關(guān)領(lǐng)域，包括環(huán)保大數(shù)據(jù)的采集、存儲、處理、挖掘、展示等。采用“互聯(lián)網(wǎng)+環(huán)?！钡乃悸?，解決方案總體架構(gòu)如下圖所示。總體邏輯架構(gòu)圖整個架構(gòu)由四層組成，從下往上依次為：數(shù)據(jù)源：本層是環(huán)保數(shù)據(jù)的采集，包含現(xiàn)有業(yè)務(wù)系統(tǒng)數(shù)據(jù)的抽取、環(huán)境監(jiān)測站的數(shù)據(jù)、部署大規(guī)模的環(huán)境傳感器的數(shù)據(jù)、PM2.5傳感器數(shù)據(jù)、水質(zhì)監(jiān)測站數(shù)據(jù)、土壤傳感器數(shù)據(jù)、人工現(xiàn)場采集數(shù)據(jù)、移動監(jiān)測儀數(shù)據(jù)、以及視頻數(shù)據(jù)等。物聯(lián)網(wǎng)技術(shù)已經(jīng)比較成熟，在環(huán)保行業(yè)已有大量應(yīng)用，我們建議在現(xiàn)有范圍內(nèi)更大規(guī)模部署環(huán)境監(jiān)測傳感器。云平臺層：本層包含解決海量環(huán)保數(shù)據(jù)存儲問題的分布式云存儲平臺，環(huán)境云、萬物云平臺，以及實(shí)現(xiàn)IaaS、PaaS甚至SaaS功能的云計(jì)算平臺等?？梢詫⑹　⑹?、區(qū)縣各級的環(huán)保業(yè)務(wù)應(yīng)用系統(tǒng)部署在統(tǒng)一的云計(jì)算平臺上，實(shí)現(xiàn)業(yè)務(wù)系統(tǒng)的快速部署上線，實(shí)現(xiàn)資源彈性供給，有效降低總體擁有成本。萬物云提供海量實(shí)時傳感器大數(shù)據(jù)托管服務(wù)，實(shí)現(xiàn)了大規(guī)模物聯(lián)網(wǎng)傳感器的實(shí)時數(shù)據(jù)傳輸、處理、存儲、數(shù)據(jù)挖掘等功能。萬物云平臺支持主流的HTTP、MQTT等協(xié)議使得傳感器通過無線網(wǎng)絡(luò)將數(shù)據(jù)可靠傳輸?shù)狡脚_服務(wù)器，用戶可在這些協(xié)議的基礎(chǔ)上實(shí)現(xiàn)傳感器與萬物云的互聯(lián)，為用戶提供一個涵蓋數(shù)據(jù)采集、可靠傳輸、大數(shù)據(jù)存儲和處理的完整解決方案。大數(shù)據(jù)層：本層實(shí)現(xiàn)了基于數(shù)據(jù)立方技術(shù)的大數(shù)據(jù)庫，基于分布式技術(shù)的大數(shù)據(jù)的挖掘、分析，該層主要對各類數(shù)據(jù)進(jìn)行處理分析，為業(yè)務(wù)應(yīng)用層提供服務(wù)。數(shù)據(jù)立方是一種高效分布式海量數(shù)據(jù)的云處理軟件，具有從TB至PB級的數(shù)據(jù)中挖掘出有用的信息并進(jìn)行快捷、高效處理的能力，同時支持?jǐn)?shù)據(jù)倉庫存儲和商業(yè)智能分析等業(yè)務(wù)。目前已大規(guī)模商用。在中國聯(lián)通某省安全生產(chǎn)運(yùn)行了三年，僅用了400多臺服務(wù)器，就支持了1億手機(jī)用戶形成的15Gbps的信令數(shù)據(jù)流的實(shí)時處理，每天新增100億條記錄。應(yīng)用層：環(huán)保業(yè)務(wù)應(yīng)用包含了已有或新建的各類業(yè)務(wù)應(yīng)用系統(tǒng)、門戶網(wǎng)站、移動業(yè)務(wù)、App等。應(yīng)用層提供了不同角色人員（公眾、企業(yè)、專家、環(huán)保部門等）獲取環(huán)保信息、服務(wù)環(huán)保事業(yè)的窗口?；ヂ?lián)網(wǎng)技術(shù)，特別是移動互聯(lián)網(wǎng)在環(huán)保產(chǎn)業(yè)中的廣泛深入應(yīng)用，對于促進(jìn)環(huán)保信息公開、激發(fā)公眾參與環(huán)保、促進(jìn)環(huán)保事業(yè)快速發(fā)展有著積極作用。建議將更多的信息向公眾開放，將更多的功能提供給公眾、企業(yè)。通過多種渠道、方式匯集的海量環(huán)保數(shù)據(jù)如何實(shí)現(xiàn)高效、低成本存儲，如何對海量環(huán)保數(shù)據(jù)進(jìn)行快速處理分析，從海量數(shù)據(jù)中挖掘有用有價(jià)值的信息，對信息價(jià)值和保密級別進(jìn)行分類等，這些依賴于大數(shù)據(jù)的存儲和大數(shù)據(jù)處理技術(shù)。本方案主要涉及環(huán)境數(shù)據(jù)采集、環(huán)保大數(shù)據(jù)存儲、環(huán)保大數(shù)據(jù)的處理分析以及智慧環(huán)保新應(yīng)用。存儲采用云創(chuàng)自主創(chuàng)新的cStor分布式存儲，它可以支持PB級甚至EB級海量數(shù)據(jù)的存儲；大數(shù)據(jù)處理分析采用云創(chuàng)數(shù)據(jù)立方，實(shí)現(xiàn)海量環(huán)保數(shù)據(jù)的快速處理；大數(shù)據(jù)挖掘采用云創(chuàng)DataSense分布式數(shù)據(jù)挖掘技術(shù)對海量環(huán)保數(shù)據(jù)進(jìn)行深度挖掘。通過大數(shù)據(jù)技術(shù)促進(jìn)環(huán)保行業(yè)的創(chuàng)新發(fā)展，充分利用環(huán)保大數(shù)據(jù)，挖掘其價(jià)值，促進(jìn)環(huán)保大數(shù)據(jù)的廣泛、深入應(yīng)用。物理拓?fù)湓O(shè)計(jì)整個“環(huán)境監(jiān)測云平臺”是基于云計(jì)算分布式架構(gòu)，利用最新的大數(shù)據(jù)技術(shù)而設(shè)計(jì)規(guī)劃的，主要包括前端數(shù)據(jù)采集設(shè)備、環(huán)境監(jiān)控云平臺和客戶端等相關(guān)模塊，具體架構(gòu)如下圖所示：“環(huán)境監(jiān)測云平臺”總體架構(gòu)圖在進(jìn)行“環(huán)境監(jiān)測云平臺”設(shè)計(jì)時，主要結(jié)合當(dāng)前環(huán)保現(xiàn)狀，重點(diǎn)考慮到了以下幾點(diǎn)：1、前端數(shù)據(jù)采集包括內(nèi)容涵蓋主要的空氣、水質(zhì)、土壤相關(guān)環(huán)境數(shù)據(jù)，針對室內(nèi)主要有PM2.5和甲醛，針對室外主要有PM2.5和其他大氣污染因子（如：H2S、NH3、NO2、SO2等）；針對水質(zhì)主要是有水質(zhì)監(jiān)測（如：COD、氨氮、總磷、總氮、六價(jià)鉻、總鉻、pH值、懸浮物、濁度、溶解氧、氰化物等）和水雨情監(jiān)測（如：雨量、水位、流量等）；針對土壤主要是土壤情況的監(jiān)測（如：光照、濕度、溫度、pH值、土壤硬度等）。2、鑒于系統(tǒng)可擴(kuò)展性考慮，“環(huán)境監(jiān)測云平臺”提供開放性的標(biāo)準(zhǔn)接口，需要與第三方平臺進(jìn)行對接；3、“環(huán)境監(jiān)測云平臺”為統(tǒng)一監(jiān)測平臺，平臺的數(shù)據(jù)量會隨著時間和平臺的不斷拓展而逐漸增多，所以要求底層大數(shù)據(jù)庫和存儲系統(tǒng)采用云計(jì)算分布式架構(gòu)，以具有優(yōu)異的橫向平滑擴(kuò)展性；4、“環(huán)境監(jiān)測云平臺”具有良好的用戶體驗(yàn)，支持PC客戶端、手機(jī)客戶端、平板客戶端等多終端用戶的訪問使用。平臺主要功能設(shè)計(jì)（1）實(shí)時數(shù)據(jù)入庫實(shí)時數(shù)據(jù)入庫主要負(fù)責(zé)部署所有監(jiān)測點(diǎn)產(chǎn)生的各類空氣、水質(zhì)、土壤環(huán)境因子數(shù)據(jù)實(shí)時存到監(jiān)測平臺數(shù)據(jù)存儲中心。（2）數(shù)據(jù)存儲海量原始數(shù)據(jù)，將全部存儲在“環(huán)境監(jiān)測云平臺”的分布式文件系統(tǒng)中，用于大數(shù)據(jù)存儲。為了滿足和適應(yīng)數(shù)據(jù)量、數(shù)據(jù)特征和查詢處理的不同需求，部分存儲于關(guān)系型數(shù)據(jù)庫中。（3）數(shù)據(jù)查詢應(yīng)用數(shù)據(jù)查詢分析應(yīng)用提供包括實(shí)時監(jiān)控，查看歷史記錄和分析數(shù)據(jù)等功能。歷史查詢處理時，由于數(shù)據(jù)量巨大，需要調(diào)度使用云計(jì)算技術(shù)管理多臺服務(wù)器節(jié)點(diǎn)進(jìn)行并行處理。（4）實(shí)時預(yù)警對環(huán)境各個指標(biāo)設(shè)置對應(yīng)的域閥值，超過該值超過一分鐘等就第一時通過郵件，App推送，或者短信等形式通知行政執(zhí)法人員，給管理部門迅速出動，及時阻止破壞環(huán)境保護(hù)的行為。（5）數(shù)據(jù)管理在實(shí)際使用中，可能用戶會對某一時間段或者類型的數(shù)據(jù)特別關(guān)心，就可以通過數(shù)據(jù)管理系統(tǒng)查詢并導(dǎo)出這部分?jǐn)?shù)據(jù)以供使用。（6）數(shù)據(jù)挖掘分析通過大數(shù)據(jù)分析挖掘，對海量環(huán)保數(shù)據(jù)進(jìn)行深度學(xué)習(xí)和應(yīng)用挖掘，進(jìn)行一定的分析研判，預(yù)測應(yīng)急，輔助領(lǐng)導(dǎo)決策。（7）開放接口平臺對外提供標(biāo)準(zhǔn)化開放接口，支持第三方平臺對接調(diào)用。

前端數(shù)據(jù)采集設(shè)備水質(zhì)因子數(shù)據(jù)采集設(shè)備水質(zhì)監(jiān)測系統(tǒng)主要包括水位計(jì)、超聲波流量計(jì)、多參數(shù)水質(zhì)分析儀、數(shù)據(jù)采集遙測系統(tǒng)、供電系統(tǒng)、監(jiān)控管理軟件等幾部分組成。水位計(jì)、超聲波流量計(jì)和多參數(shù)水質(zhì)監(jiān)測設(shè)備實(shí)時采集各項(xiàng)水質(zhì)參數(shù)，通過遙測單元，將數(shù)據(jù)實(shí)時報(bào)送給監(jiān)控中心或移動監(jiān)控終端。在組站上有地面站和浮標(biāo)站等多種靈活的組站方式，通訊方式支持短信/GPRS、有線、衛(wèi)星等多種模式。系統(tǒng)工作主要按三種方式來觸發(fā)，系統(tǒng)的定時觸發(fā)、系統(tǒng)增量觸發(fā)和系統(tǒng)查詢應(yīng)答。水質(zhì)因子數(shù)據(jù)采集設(shè)備組成示意水質(zhì)因子數(shù)據(jù)采集設(shè)備的主要特點(diǎn)有：采用國際先進(jìn)的監(jiān)測、分析及控制技術(shù)，達(dá)剄國際先進(jìn)水平，并能夠通過升級保持先進(jìn)性及各項(xiàng)技術(shù)的穩(wěn)定性、成熟性；同時需滿足現(xiàn)場操作簡單扼要，易于運(yùn)行維護(hù)及錯誤判斷等要求，可靠性設(shè)計(jì)始終被放在優(yōu)先考慮的位置；設(shè)備設(shè)計(jì)從多方面保證系統(tǒng)的安全性，包括設(shè)備對故障的良好恢復(fù)能力，設(shè)備數(shù)據(jù)的安全以及操作的安全；具有良好的兼容性和可擴(kuò)展性，輕松實(shí)現(xiàn)后續(xù)新設(shè)備的添加；使用便捷，操作簡單，易于管理；設(shè)備采集上報(bào)數(shù)據(jù)接口標(biāo)準(zhǔn)化，便于與其他應(yīng)用系統(tǒng)對接。土壤因子數(shù)據(jù)采集設(shè)備通過對影響土壤環(huán)境質(zhì)量因素的代表值的測定，確定環(huán)境質(zhì)量（或污染程度）及其變化趨勢。我們通常所說的土壤監(jiān)測是指土壤環(huán)境監(jiān)測，如：光照、濕度、溫度、PH值、土壤硬度等等，其一般包括布點(diǎn)采樣、樣品制備、分析方法、結(jié)果表征、資料統(tǒng)計(jì)和質(zhì)量評價(jià)等技術(shù)內(nèi)容。土壤監(jiān)測設(shè)備外觀圖圖為土壤監(jiān)測傳感器土壤監(jiān)測傳感器方便于土壤多環(huán)境的測量研究，具有攜帶方便，密封，高精度等優(yōu)點(diǎn)，是土壤監(jiān)測測量的立項(xiàng)選擇，其中土壤溫度部分是由精密鉑電阻和高精度變送器兩部分組成。變送器部分由電源模塊、溫度傳感模塊、變送模塊、溫度補(bǔ)償模塊及數(shù)據(jù)處理模塊組成，徹底解決鉑電阻因自身特點(diǎn)導(dǎo)入的測量誤差，變送器內(nèi)有零漂電路和溫度補(bǔ)償電路，對使用環(huán)境有較高的適用性。土壤采集設(shè)備的特點(diǎn)有：1、本傳感器體積小巧化設(shè)計(jì)，測量精度高，響應(yīng)速度快，互換性好；2、密封性好，可直接埋入土壤中使用，且不受腐蝕；3、實(shí)時溫度監(jiān)測功能，可測量不同深度土壤的溫度；4、土質(zhì)影響較小，應(yīng)用地區(qū)廣泛；5、測量精度高，性能可靠，確保正常工作，響應(yīng)速度快，數(shù)據(jù)傳輸效率高；6、價(jià)格低廉，適合中國國情?？諝馕廴疽蜃訑?shù)據(jù)采集設(shè)備在存在空氣污染和安全隱患的區(qū)域，部署空氣污染因子氣體采集監(jiān)測設(shè)備，監(jiān)測污染和危險(xiǎn)氣體的含量，中心云計(jì)算平臺可以查詢空氣質(zhì)量實(shí)時和歷史數(shù)據(jù)，設(shè)備架構(gòu)圖如下所示：空氣傳感器采集架構(gòu)設(shè)備安裝部署圖如下所示：空氣質(zhì)量監(jiān)測箱外觀圖內(nèi)部實(shí)體圖如下所示：氣體監(jiān)測箱內(nèi)部圖每個氣體監(jiān)測箱內(nèi)部可部署不超過4種的氣體采集模塊，例如：H2S、NH3、NO2、SO2、可燃?xì)怏w等，根據(jù)實(shí)際部署區(qū)域需要，可按需調(diào)控增減模塊數(shù)量，構(gòu)建適宜的前端氣體監(jiān)測箱。除了氣體監(jiān)測設(shè)備外，如果有需要，也可以提供水質(zhì)、土壤、微生物、電磁、固廢、輻射、噪音等相關(guān)的前端傳感采集設(shè)備。室內(nèi)PM2.5、甲醛數(shù)據(jù)采集設(shè)備當(dāng)今社會空氣污染日益嚴(yán)峻，人們的對環(huán)保的認(rèn)知也逐步提升，愈發(fā)關(guān)注環(huán)境問題，尤其是自己生活區(qū)域的空氣質(zhì)量。比如：室內(nèi)PM2.5是多少？家里家具甲醛是否超標(biāo)？裝修好的房子什么時候可以入??？新進(jìn)的家具有沒有問題？什么時候可以開窗？空氣凈化器有沒有用？針對這一現(xiàn)象，南京云創(chuàng)大數(shù)據(jù)給出了很好的解決方式，以極高的性價(jià)比讓室內(nèi)的PM2.5和甲醛“看得見”，我們形象地將其稱為“環(huán)境貓”?！碍h(huán)境貓”外觀圖作為空氣質(zhì)量監(jiān)測設(shè)備，首先強(qiáng)調(diào)的就是傳感器的精準(zhǔn)度。“環(huán)境貓”室內(nèi)空氣監(jiān)測儀，基于昂貴精準(zhǔn)的傳感器（核心原材料從英國進(jìn)口），可以準(zhǔn)確測量室內(nèi)的甲醛與PM2.5。下圖顯示了云創(chuàng)監(jiān)測設(shè)備與環(huán)保廳官方采集數(shù)據(jù)的長時間對比圖：“環(huán)境貓”數(shù)據(jù)準(zhǔn)確度對比室外PM2.5數(shù)據(jù)采集設(shè)備室外PM2.5云監(jiān)測設(shè)備需用到先進(jìn)的PM2.5傳感器。每套監(jiān)測系統(tǒng)部署多個PM2.5傳感器，當(dāng)任意一個或者幾個傳感器出現(xiàn)問題，傳感器冗余，保證環(huán)境監(jiān)測系統(tǒng)正常運(yùn)行，保證本監(jiān)測點(diǎn)的環(huán)境監(jiān)測數(shù)據(jù)的可重復(fù)。室外PM2.5云監(jiān)測設(shè)備外觀室外PM2.5云監(jiān)測設(shè)備需主要是由電源模塊、采集模塊和通信模塊組成，前端內(nèi)部架構(gòu)具體詳見下圖：室外PM2.5云監(jiān)測設(shè)備內(nèi)部架構(gòu)室外PM2.5云監(jiān)測設(shè)備采用先進(jìn)的傳感器、低功耗單片機(jī)技術(shù)和網(wǎng)絡(luò)通訊技術(shù)相結(jié)合，具有數(shù)據(jù)存儲功能，可提供方便的數(shù)據(jù)查詢方式，通過GSM、3G等通訊方式及時上傳環(huán)境監(jiān)測數(shù)據(jù)。數(shù)據(jù)網(wǎng)絡(luò)傳輸物聯(lián)網(wǎng)無線通信前端設(shè)備的通信基于物聯(lián)網(wǎng)的方式進(jìn)行設(shè)計(jì)，并且考慮到安裝設(shè)備地點(diǎn)的不可控，傳輸距離可能很大，同時數(shù)據(jù)流量一定的情況下，選擇GPRS無線通訊方式進(jìn)行數(shù)據(jù)的無線傳輸。具體的數(shù)據(jù)傳輸?shù)木W(wǎng)絡(luò)示意圖詳見下圖。物聯(lián)網(wǎng)無線通信數(shù)據(jù)傳輸前端設(shè)備通過傳感器，采集到相關(guān)的數(shù)據(jù)，數(shù)據(jù)基于TCP/IP協(xié)議，經(jīng)過GPRS的數(shù)據(jù)傳輸，通過移動網(wǎng)絡(luò)傳輸數(shù)據(jù)，利用公網(wǎng)的服務(wù)器接受數(shù)據(jù)，然后將數(shù)據(jù)進(jìn)入云平臺后，進(jìn)行數(shù)據(jù)的處理，最后通過WEB服務(wù)器等方式將數(shù)據(jù)展現(xiàn)出來。注意:每個前端設(shè)備有一個供應(yīng)商的SIM卡進(jìn)行數(shù)據(jù)通信，該SIM卡需要有GPRS業(yè)務(wù)，同時使用的地點(diǎn)必須有供應(yīng)商的信號。例如使用中國移動的SIM卡，該卡需要有GPRS的業(yè)務(wù)，同時放置空氣質(zhì)量測試前端的地點(diǎn)需要有中國移動的信號才可以正常的通信。高并發(fā)實(shí)時數(shù)據(jù)接入“環(huán)境監(jiān)測云平臺”作為海量環(huán)境數(shù)據(jù)的匯聚平臺，支持：前端數(shù)據(jù)傳輸支持?jǐn)?shù)據(jù)自動上傳及按需上傳兩種模式，單臺服務(wù)器并發(fā)數(shù)據(jù)提交處理性能高，可彈性規(guī)模擴(kuò)展前端服務(wù)器，手機(jī)同時在線量2000到6000高并發(fā)、低延遲設(shè)備數(shù)據(jù)提交設(shè)備規(guī)模支持按需彈性擴(kuò)展數(shù)據(jù)采集形式前端采集設(shè)備/平臺采集的環(huán)保監(jiān)控?cái)?shù)據(jù)參數(shù)通過GPRS等有線/無線方式傳送到數(shù)據(jù)接入服務(wù)，通過“環(huán)境監(jiān)測云平臺”的智能分析處理，將實(shí)時的預(yù)警信息通過郵件，APP推送，短信提醒等方式發(fā)送給行政執(zhí)法者，通過空氣質(zhì)量監(jiān)測預(yù)警平臺與原有的視頻監(jiān)控平臺結(jié)合更能夠及時的攝錄破壞環(huán)境的違法行為，真正做到執(zhí)法有依據(jù)，違法必究的目的。對海量歷史和實(shí)時數(shù)據(jù)的智能分析，最終通過web網(wǎng)頁，移動終端展示給最終用戶，為客戶科學(xué)分析環(huán)境污染趨勢，為決策制和行政執(zhí)法人員最好環(huán)境保護(hù)的信息化技術(shù)支持工作。中心大數(shù)據(jù)云平臺萬物云平臺萬物云架構(gòu)萬物云提供海量實(shí)時傳感器大數(shù)據(jù)托管服務(wù)，實(shí)現(xiàn)了大規(guī)模物聯(lián)網(wǎng)傳感器的實(shí)時數(shù)據(jù)傳輸、處理、存儲、數(shù)據(jù)挖掘等功能。萬物云平臺支持主流的HTTP、MQTT等協(xié)議使得傳感器通過無線網(wǎng)絡(luò)將數(shù)據(jù)可靠傳輸?shù)狡脚_服務(wù)器，用戶可在這些協(xié)議的基礎(chǔ)上實(shí)現(xiàn)傳感器與萬物云的互聯(lián)，為用戶提供一個涵蓋數(shù)據(jù)采集、可靠傳輸、大數(shù)據(jù)存儲和處理的完整解決方案，萬物云架構(gòu)如圖所示：萬物云架構(gòu)圖萬物云底層是分布式海量彈性分布式數(shù)據(jù)存儲和計(jì)算架構(gòu)，在其之上構(gòu)造了一個面向智能硬件和物聯(lián)網(wǎng)應(yīng)用的數(shù)據(jù)存儲和數(shù)據(jù)處理的服務(wù)和業(yè)務(wù)邏輯層，并提供一個基于HTTP協(xié)議的RESTFul應(yīng)用服務(wù)調(diào)用接口以及一系列覆蓋各主流語言和平臺的應(yīng)用程序編程接口，包括Linux、iOS、Android系統(tǒng)和Java、Python、C#、Scala、PHP、Ruby、Node.js等編程語言。萬物云服務(wù)按功能可分為數(shù)據(jù)存儲托管服務(wù)和數(shù)據(jù)處理應(yīng)用服務(wù)。數(shù)據(jù)存儲托管服務(wù)提供海量、彈性、安全、高可用和高可靠的云存儲。數(shù)據(jù)處理和應(yīng)用服務(wù)提供針對TB/PB級數(shù)據(jù)、實(shí)時性要求不高的分布式處理能力，應(yīng)用于數(shù)據(jù)分析、挖掘、商業(yè)智能等領(lǐng)域。萬物云主界面平臺優(yōu)勢分析萬物云服務(wù)按功能可分為數(shù)據(jù)存儲托管服務(wù)和數(shù)據(jù)處理應(yīng)用服務(wù)。數(shù)據(jù)存儲托管服務(wù)提供海量、彈性、安全、高可用和高可靠的云存儲。數(shù)據(jù)處理和應(yīng)用服務(wù)提供針對TB/PB級數(shù)據(jù)、實(shí)時性要求不高的分布式處理能力，應(yīng)用于數(shù)據(jù)分析、挖掘、商業(yè)智能等領(lǐng)域。萬物云主要有如下技術(shù)優(yōu)勢：簡單易用的綜合平臺萬物云提供豐富并且高質(zhì)量的文檔、代碼以及視頻幫助用戶快速的學(xué)習(xí)和使用平臺，論壇、微博、微信也可以讓您方便的得到開發(fā)團(tuán)隊(duì)的技術(shù)支持，同時萬物云還為用戶提供了豐富的管理工具，對用戶的數(shù)據(jù)進(jìn)行管理和性能的監(jiān)控。強(qiáng)大的數(shù)據(jù)和編程服務(wù)萬物云平臺針對不同的開發(fā)語言環(huán)境提供智能硬件專用的數(shù)據(jù)服務(wù)接口和豐富的應(yīng)用編程接口，平臺能簡單、快速的將智能硬件數(shù)據(jù)直接接入；用戶可以非常方便的把萬物云的API集成到自己的應(yīng)用里，不但可以減少和簡化物聯(lián)網(wǎng)應(yīng)用端的代碼，同時將復(fù)雜的物聯(lián)網(wǎng)數(shù)據(jù)存儲和處理服務(wù)交給萬物云，能夠給更專注于相應(yīng)的業(yè)務(wù)開發(fā)，提高生產(chǎn)力。高性能的存儲查詢效率萬物云基于分布式存儲系統(tǒng)提供的安全、可靠和高效的各項(xiàng)云數(shù)據(jù)云計(jì)算的基礎(chǔ)服務(wù),可確保平臺向物聯(lián)網(wǎng)應(yīng)用提供卓越的數(shù)據(jù)存取規(guī)模和性能。萬物云的存儲系統(tǒng)支持彈性擴(kuò)展，用戶無需擔(dān)心存儲空間不足。單表PB級別的數(shù)據(jù)存儲，并且支持表結(jié)構(gòu)橫向擴(kuò)展。分布式系統(tǒng)中各存儲節(jié)點(diǎn)副本數(shù)據(jù)實(shí)時一致，讀寫性能不會因數(shù)據(jù)量增加而受影響。性能上現(xiàn)有平臺提供毫秒級單行數(shù)據(jù)讀寫延遲，數(shù)據(jù)查詢在百萬QPS級別，典型數(shù)據(jù)批量入庫性能可達(dá)每秒6000條。完善的數(shù)據(jù)安全體系用戶數(shù)據(jù)安全是物聯(lián)網(wǎng)數(shù)據(jù)應(yīng)用的關(guān)鍵。萬物云通過一系列多層次的安全驗(yàn)證和訪問權(quán)限限制措施保護(hù)用戶數(shù)據(jù)，防止丟失和泄露事件的發(fā)生。主要包括：用戶數(shù)據(jù)隱私、訪問許可驗(yàn)證、用戶數(shù)據(jù)分離、攻擊防范機(jī)制等。豐富的智能硬件接入支持萬物云平臺支持主流的數(shù)據(jù)格式協(xié)議和通訊協(xié)議，智能設(shè)備通過無線網(wǎng)絡(luò)將數(shù)據(jù)可靠傳輸?shù)狡脚_服務(wù)器，為用戶提供一個涵蓋數(shù)據(jù)采集、可靠傳輸、大數(shù)據(jù)存儲和處理的完整解決方案。數(shù)據(jù)整合萬物云平臺可以整合接入前端海量異構(gòu)設(shè)備或現(xiàn)有平臺，規(guī)范數(shù)據(jù)格式，數(shù)據(jù)整合具有很大的價(jià)值也意義。輔助決策要求環(huán)境控制強(qiáng)調(diào)的核心主題為“過程控制”，即將數(shù)據(jù)中心技術(shù)與環(huán)保決策工作有機(jī)結(jié)合，實(shí)現(xiàn)環(huán)保業(yè)務(wù)工作流程的優(yōu)化和重組，解決職能交叉多環(huán)節(jié)重復(fù)采集信息的問題，建立公開、透明、實(shí)時監(jiān)控的監(jiān)管和決策的模式。由此可見，完備的數(shù)據(jù)中心是環(huán)保決策的先決條件，為了做好數(shù)據(jù)支撐效果，將原有已建環(huán)控系統(tǒng)數(shù)據(jù)整合到現(xiàn)有“環(huán)境監(jiān)測云平臺”成了必然之選。數(shù)據(jù)共享要求“環(huán)境監(jiān)測云平臺”是一個綜合的環(huán)保決策平臺，平臺數(shù)據(jù)服務(wù)貫穿各個環(huán)保管理部門和業(yè)務(wù)部門，從而構(gòu)建了一套“縱向貫通、橫向集成、互聯(lián)互通”信息應(yīng)用體系，而只有做到將原有零散且相互獨(dú)立的環(huán)控系統(tǒng)完美整合，才能有效建立省、市、區(qū)縣三級聯(lián)動的環(huán)控監(jiān)管體系。數(shù)據(jù)綜合性要求環(huán)保信息化集中體現(xiàn)了“跨學(xué)科、跨地域、數(shù)出多門”等特性，同時，現(xiàn)代環(huán)保監(jiān)管部門又對數(shù)據(jù)的一致性、決策指導(dǎo)提出了較高的要求，為高效支持前端管理及執(zhí)法人員，在城市建立一套“跨學(xué)科、跨地域、跨平臺”的“環(huán)境監(jiān)測云平臺”成了現(xiàn)代環(huán)控的必經(jīng)之路。cStor云存儲平臺云存儲架構(gòu)cStor云存儲資源管理系統(tǒng)采用分布式的存儲機(jī)制，將數(shù)據(jù)分散存儲在多臺獨(dú)立的存儲服務(wù)器上。它采用包括卷管理服務(wù)器、元數(shù)據(jù)管理服務(wù)器（MasterServer）、數(shù)據(jù)存儲節(jié)點(diǎn)服務(wù)器（ChunkServer）和掛接訪問客戶端以及管理監(jiān)控中心服務(wù)器的結(jié)構(gòu)構(gòu)成虛擬統(tǒng)一的海量存儲空間。在每個服務(wù)器節(jié)點(diǎn)上運(yùn)行cStor云存儲資源管理系統(tǒng)相應(yīng)的軟件服務(wù)程序模塊，系統(tǒng)架構(gòu)框圖如下：cStor云存儲架構(gòu)其中，MasterServer保存系統(tǒng)的元數(shù)據(jù)，負(fù)責(zé)對整個文件系統(tǒng)的管理，MasterServer在邏輯上只有一個，但采用主備雙機(jī)鏡像的方式，保證系統(tǒng)的不間斷服務(wù)；ChunkServer負(fù)責(zé)具體的數(shù)據(jù)存儲工作，數(shù)據(jù)以文件的形式存儲在ChunkServer上，ChunkServer的個數(shù)可以有多個，它的數(shù)目直接決定了cStor云存儲系統(tǒng)的規(guī)模；掛接訪問客戶端即為服務(wù)器對外提供數(shù)據(jù)存儲和訪問服務(wù)的窗口，通常情況下，客戶端可以部署在ChunkServer上，每一個塊數(shù)據(jù)服務(wù)器，既可以作為存儲服務(wù)器同時也可以作為客戶端服務(wù)器。由一對元數(shù)據(jù)服務(wù)器及其管理的存儲服務(wù)器節(jié)點(diǎn)所提供的存儲空間稱為一個卷空間，不同的卷空間由卷管理服務(wù)器虛擬化統(tǒng)一管理，對外可提供統(tǒng)一的海量存儲空間。管理監(jiān)控中心提供統(tǒng)一易用的WEB配置管理監(jiān)控平臺，提供設(shè)備監(jiān)控、空間監(jiān)控、文件監(jiān)控、服務(wù)監(jiān)控、用戶認(rèn)證管理、配額管理、故障告警及預(yù)警等功能，實(shí)現(xiàn)智能化管理。這種分布式系統(tǒng)最大的好處是有利于存儲系統(tǒng)的擴(kuò)展和實(shí)現(xiàn)，在小規(guī)模的數(shù)據(jù)擴(kuò)展時，只需要添加具體的ChunkServer即可，而不需要添加整套設(shè)備。在實(shí)現(xiàn)大規(guī)模擴(kuò)展時也可方便地添加整個卷設(shè)備。平臺優(yōu)勢分析cStor云存儲系統(tǒng)是一套軟件與硬件相結(jié)合的系統(tǒng)，其中專有存儲技術(shù)和軟件是高附加值部分，可以廣泛應(yīng)用于需要存儲大量數(shù)據(jù)的應(yīng)用場合。該系統(tǒng)相比傳統(tǒng)存儲系統(tǒng)有如下技術(shù)優(yōu)勢：高度可靠存儲系統(tǒng)采用云架構(gòu)，數(shù)據(jù)被分塊存儲在不同的存儲節(jié)點(diǎn)上，數(shù)據(jù)采用先進(jìn)的1:1容錯機(jī)制進(jìn)行容錯，可在任意損壞一個存儲服務(wù)器節(jié)點(diǎn)的情況下實(shí)現(xiàn)數(shù)據(jù)完整可靠，系統(tǒng)對外存儲訪問服務(wù)不間斷。云存儲的管理節(jié)點(diǎn)采用了主備雙機(jī)鏡像熱備的高可用機(jī)制，在主管理節(jié)點(diǎn)出現(xiàn)故障時，備管理節(jié)點(diǎn)自動接替主管理節(jié)點(diǎn)的工作，成為新的主管理節(jié)點(diǎn)，待故障節(jié)點(diǎn)修復(fù)并重啟服務(wù)后，它則成為新的備管理節(jié)點(diǎn)，保障系統(tǒng)的7×24小時不間斷服務(wù)。優(yōu)異性能cStor采用控制流與數(shù)據(jù)流分離的技術(shù)，數(shù)據(jù)的存儲或讀取實(shí)際上是與各個存儲節(jié)點(diǎn)上并行讀寫，這樣隨著存儲節(jié)點(diǎn)數(shù)目的增多，整個系統(tǒng)的吞吐量和IO性能將呈線性增長。同時，cStor采用負(fù)載均衡技術(shù)，自動均衡各服務(wù)器負(fù)載，使得各存儲節(jié)點(diǎn)的性能調(diào)節(jié)到最高，實(shí)現(xiàn)資源優(yōu)化配置。無限容量系統(tǒng)容量僅受限于卷管理服務(wù)器內(nèi)存，可支撐的容量接近無限，經(jīng)推算，理論容量為1024×1024×1024PB(1G個PB容量)。在線伸縮cStor云存儲系統(tǒng)擴(kuò)容非常方便，支持不停止服務(wù)的情況下，動態(tài)加入新的存儲節(jié)點(diǎn)，無需任何操作，即實(shí)現(xiàn)擴(kuò)容；同時，無需人為干預(yù)，也可以摘下任意節(jié)點(diǎn)，系統(tǒng)自動縮小規(guī)模而不丟失數(shù)據(jù)，存儲在此節(jié)點(diǎn)上的數(shù)據(jù)將會重新備份到其他節(jié)點(diǎn)上。通用易用cStor云存儲系統(tǒng)提供符合POSIX標(biāo)準(zhǔn)的通用文件系統(tǒng)接口，無論是哪種操作系統(tǒng)下的應(yīng)用程序，都可以不經(jīng)修改將云存儲當(dāng)成自己的海量磁盤來使用。同時，也提供專用的API接口，供開發(fā)人員調(diào)用。智能管理提供基于WEB的管理控制平臺，所有的管理工作均由cStor管理模塊自動完成，使用人員無需任何專業(yè)知識便可以輕松管理整個系統(tǒng)。通過管理平臺，可以對cStor中的所有節(jié)點(diǎn)實(shí)行實(shí)時監(jiān)控，用戶通過監(jiān)控界面可以清楚地了解到每一個節(jié)點(diǎn)和磁盤的運(yùn)行情況；同時也可以實(shí)現(xiàn)對文件級別的系統(tǒng)監(jiān)控，支持損壞文件的查找和修復(fù)功能。系統(tǒng)提供用戶安全認(rèn)證及對不同用戶進(jìn)行配額設(shè)置與權(quán)限管理功能，滿足應(yīng)用的日常維護(hù)和安全管理需求。數(shù)據(jù)管理模塊采用業(yè)界已經(jīng)成熟的cStor云存儲系統(tǒng)，在多臺普通商用服務(wù)器上構(gòu)建高性能高可靠云存儲系統(tǒng)，作為本次系統(tǒng)分布式云存儲平臺，其應(yīng)用部署示意圖如下：部署示意圖cStor云存儲系統(tǒng)所有的節(jié)點(diǎn)均通過網(wǎng)絡(luò)的方式連接起來，其中存儲節(jié)點(diǎn)采用廉價(jià)的計(jì)算機(jī)節(jié)點(diǎn)，運(yùn)用自適應(yīng)副本管理技術(shù)進(jìn)行容錯。所有存儲節(jié)點(diǎn)同時擔(dān)任對外服務(wù)功能，客戶端分別掛載到不同存儲節(jié)點(diǎn)訪問云存儲系統(tǒng)。通過增加或者減少存儲節(jié)點(diǎn)的方式，即可以對存儲系統(tǒng)進(jìn)行在線伸縮，由于采用了自適應(yīng)副本管理技術(shù)進(jìn)行容錯，系統(tǒng)在線伸縮的過程中，不影響系統(tǒng)對外提供服務(wù)。云存儲系統(tǒng)屬于基礎(chǔ)平臺支撐層，用于集中存儲和共享，實(shí)現(xiàn)對數(shù)據(jù)的統(tǒng)一管理和高效應(yīng)用。將數(shù)據(jù)邏輯集中物理分散，以提供多并發(fā)高吞吐帶寬，最大程度降低系統(tǒng)訪問瓶頸。cStor云存儲系統(tǒng)從管理功能上劃份為三大部分：cStor分布式文件系統(tǒng)：分布式文件系統(tǒng)實(shí)現(xiàn)文件數(shù)據(jù)存儲、可靠性容錯、可伸縮性保證、高可用保證、負(fù)載均衡和流量分擔(dān)等功能。存儲訪問接口：cStor提供符合POSIX規(guī)范的文件系統(tǒng)訪問接口，通過cStor訪問掛接程序可將云存儲空間掛接為本地目錄或磁盤。同時可提供專用的API接口，支持業(yè)務(wù)應(yīng)用層程序?qū)υ拼鎯ο到y(tǒng)的直接訪問。管理監(jiān)控中心：管理監(jiān)控中心提供帳戶管理、設(shè)備管理、系統(tǒng)監(jiān)控、卷管理、告警管理、故障管理等功能。cProc云處理平臺云處理架構(gòu)平臺采用cProc云處理系統(tǒng)搭建在分布式云存儲平臺上，對業(yè)務(wù)層直接提供對外開發(fā)接口和數(shù)據(jù)傳輸接口的分布式數(shù)據(jù)處理平臺。cProc云處理系統(tǒng)是一種處理海量數(shù)據(jù)的并行編程模型和計(jì)算框架，用于對大規(guī)模數(shù)據(jù)集的并行計(jì)算。下圖為cProc云處理系統(tǒng)架構(gòu)圖：cProc云處理系統(tǒng)架構(gòu)圖云存儲層包括云儲存系統(tǒng)cStor和HDFS云儲存系統(tǒng)；而在數(shù)據(jù)管理層中，包含數(shù)據(jù)立方、Hbase；數(shù)據(jù)處理層包含JobKeeper和MapReduce；最后的監(jiān)控協(xié)調(diào)層則包括zookeeper和Chukwa來實(shí)現(xiàn)對整個系統(tǒng)的實(shí)時監(jiān)控和數(shù)據(jù)管理。cProc云處理系統(tǒng)通過把對數(shù)據(jù)集的大規(guī)模操作分發(fā)給網(wǎng)絡(luò)上的每個節(jié)點(diǎn)實(shí)現(xiàn)數(shù)據(jù)處理,每個節(jié)點(diǎn)會周期性的把完成的工作和狀態(tài)的更新報(bào)告回來。隨著節(jié)點(diǎn)的增多，cProc云處理系統(tǒng)的處理能力將成倍數(shù)增長。cProc支持100GBps以上量級的數(shù)據(jù)流實(shí)時索引，1s內(nèi)響應(yīng)客戶請求，秒級完成數(shù)據(jù)處理、查詢和分析工作。同時cProc云計(jì)算軟件支持和關(guān)系數(shù)據(jù)庫混合模式，絕大部分海量數(shù)據(jù)存放于分布式平臺并進(jìn)行分布式處理，少量實(shí)時性要求很高的數(shù)據(jù)存放于關(guān)系數(shù)據(jù)庫，以滿足支撐各種類型的業(yè)務(wù)需求。支持支撐查詢、統(tǒng)計(jì)、分析業(yè)務(wù)；可支撐深度數(shù)據(jù)挖掘和商業(yè)智能分析業(yè)務(wù)。要求對標(biāo)準(zhǔn)SQL規(guī)范支持度達(dá)到50%以上。提供屬性選擇、分類預(yù)測、回歸預(yù)測、聚類分析、關(guān)聯(lián)分析、時間序列分析等數(shù)據(jù)挖掘算法。平臺優(yōu)勢分析實(shí)時性平臺在高效率并行分布式軟件的支撐下，可以實(shí)時完成數(shù)據(jù)處理和分析工作，如數(shù)據(jù)處理、數(shù)據(jù)查詢、和統(tǒng)計(jì)分析等。數(shù)據(jù)處理不會出現(xiàn)數(shù)據(jù)堆積現(xiàn)象，各類分析和查詢工作基本都在秒級完成，具有前所未有的高效性。查詢具有高準(zhǔn)確性，支持并發(fā)查詢，所有查詢請求都能正常下發(fā)執(zhí)行且都能正常返回結(jié)果。查詢條件相同情況下，每次查詢結(jié)果相同。響應(yīng)速度快速在海量數(shù)據(jù)領(lǐng)域，云計(jì)算的響應(yīng)速度遠(yuǎn)遠(yuǎn)快于傳統(tǒng)的數(shù)據(jù)庫。采用分布式處理的方式，性能與節(jié)點(diǎn)數(shù)成正比，通過增加節(jié)點(diǎn)的方式，可將性能提升，以達(dá)到滿足需求的處理要求。支持百億條記錄秒級響應(yīng)，支持對萬億條記錄級的數(shù)據(jù)查詢能夠進(jìn)行秒級處理，支持千人同時在線查詢。高可靠性基于對云計(jì)算可靠性深厚的研究積累，徹底解決了當(dāng)前分布式處理平臺易出現(xiàn)的單點(diǎn)故障問題。系統(tǒng)支持按設(shè)備負(fù)載情況自動進(jìn)行負(fù)載均衡。移除或新增一個節(jié)點(diǎn)后，仍能均勻地向各處理節(jié)點(diǎn)分發(fā)數(shù)據(jù)。系統(tǒng)沒有單點(diǎn)故障，任意節(jié)點(diǎn)宕機(jī)，系統(tǒng)仍可保持正常工作，可以繼續(xù)進(jìn)行數(shù)據(jù)處理和應(yīng)用查詢，不影響分布式系統(tǒng)運(yùn)行和查詢結(jié)果的準(zhǔn)確性。系統(tǒng)支持全冗余，每個節(jié)點(diǎn)是高可用配置。當(dāng)元數(shù)據(jù)節(jié)點(diǎn)出現(xiàn)故障時，會自動切換到備用元數(shù)據(jù)節(jié)點(diǎn)。任何一個節(jié)點(diǎn)出現(xiàn)故障，不會影響系統(tǒng)數(shù)據(jù)的正常訪問。當(dāng)包括元數(shù)據(jù)節(jié)點(diǎn)的任意1個節(jié)點(diǎn)發(fā)生故障，存儲系統(tǒng)仍然保持?jǐn)?shù)據(jù)100%完整，并且不會停機(jī)中斷服務(wù)。可移植性系統(tǒng)軟件具有強(qiáng)大的可移植性，具有跨平臺性，一次編程，任意操作系統(tǒng)都可運(yùn)行的強(qiáng)大特性。高擴(kuò)展性在不停機(jī)的情況下，集群可以按需求增加節(jié)點(diǎn)、并且能方便的融入集群執(zhí)行查詢等任務(wù)，在請求流量不變、節(jié)點(diǎn)資源增加的情況下，查詢?nèi)蝿?wù)耗時應(yīng)按比例降低。產(chǎn)品既可以在很小規(guī)模集群上運(yùn)行，也可以在千臺或萬臺規(guī)模的集群上運(yùn)行，通過簡單的操作就可以把實(shí)現(xiàn)集群規(guī)模的彈性擴(kuò)展，可靠性應(yīng)隨著節(jié)點(diǎn)數(shù)量規(guī)模的增加成線性上升。系統(tǒng)支持在系統(tǒng)不停機(jī)情況下，通過向系統(tǒng)中增加節(jié)點(diǎn)的方式實(shí)現(xiàn)業(yè)務(wù)不中斷情況下擴(kuò)充容量和性能，可以做到與資源池的無縫對接，根據(jù)處理和存儲任務(wù)動態(tài)地申請或釋放資源，最大限度地提高資源利用率。分布式文件系統(tǒng)支持?jǐn)U展到PB級容量。高可用接口提供專用API、Web訪問和WebServices接口，滿足進(jìn)行對外數(shù)據(jù)交互操作的需求。提供web界面對分布式運(yùn)算系統(tǒng)進(jìn)行監(jiān)控，支持查看、下載索引文件和元數(shù)據(jù)文件。所有接口經(jīng)過嚴(yán)格測試?？蛻舳酥С諰inux（CentOS、RedHat、Ubuntu）、FreeBSD、Windows、蘋果MacOSX等主流操作系統(tǒng)。高性價(jià)比云計(jì)算處理系統(tǒng)軟件具有超高的性能，索引入庫索引整體效率支持100Gbps以上量級的數(shù)據(jù)流實(shí)時索引，單節(jié)點(diǎn)數(shù)據(jù)入庫索引速度高于10MB/s，能夠根據(jù)提供的表結(jié)構(gòu)解析元數(shù)據(jù)，并根據(jù)提供的任意關(guān)鍵字段實(shí)時創(chuàng)建索引。采用X86架構(gòu)處理機(jī)構(gòu)建云計(jì)算平臺，用軟件容錯替代硬件容錯，大大節(jié)省成本。在目標(biāo)性能和可靠性條件下，可比傳統(tǒng)的小型機(jī)加商用數(shù)據(jù)庫方案節(jié)省10倍左右的成本。同時分布式計(jì)算能力具有集群能增加節(jié)點(diǎn)、并且能正常執(zhí)行查詢?nèi)蝿?wù)，在流量沒變、資源增加的情況下，增加機(jī)器前后，查詢?nèi)蝿?wù)耗時按比例降低的能力。使得整套軟件的性價(jià)比極高。全業(yè)務(wù)支持采用NoSQL＋關(guān)系數(shù)據(jù)庫混合模式，絕大部分海量數(shù)據(jù)存放于分布式平臺并進(jìn)行分布式處理，少量實(shí)時性要求很高的數(shù)據(jù)存放于關(guān)系數(shù)據(jù)庫，可支撐各種類型的業(yè)務(wù)。不僅支撐查詢、統(tǒng)計(jì)、分析業(yè)務(wù)，還可支撐深度數(shù)據(jù)挖掘和商業(yè)智能分析業(yè)務(wù)。數(shù)據(jù)立方技術(shù)通過對MapReduce、并行數(shù)據(jù)庫和兩者的混合技術(shù)研究，南京云創(chuàng)大數(shù)據(jù)科技股份有限公司推出了實(shí)施云計(jì)算數(shù)據(jù)庫－數(shù)據(jù)立方，該系統(tǒng)通過引入索引模塊、并行執(zhí)行架構(gòu)以及讀取本地磁盤的執(zhí)行方式，使查詢達(dá)到了實(shí)時完成、簡單易用、高可靠安全的效能，使EB級的數(shù)據(jù)能夠秒級處理，極大地提高了用戶執(zhí)行查詢操作后的使用效率，不僅在查詢和檢索這部分?jǐn)?shù)據(jù)的時候具有非常高的性能優(yōu)勢，數(shù)據(jù)立方還可以支持?jǐn)?shù)據(jù)倉庫存儲、數(shù)據(jù)深度挖掘和商業(yè)智能分析等業(yè)務(wù)。我們以B+樹的結(jié)構(gòu)建立了字段的索引，每個B+樹結(jié)構(gòu)的字段索引相當(dāng)于一個數(shù)據(jù)平面，這樣一個全局?jǐn)?shù)據(jù)表與其多個重要字段的索引就組成了一個類似于立方體的數(shù)據(jù)組織結(jié)構(gòu)，我們稱之為“數(shù)據(jù)立方”。數(shù)據(jù)立方概念圖cProc是一種用于數(shù)據(jù)分析與索引的技術(shù)架構(gòu)。它是針對大數(shù)據(jù)(bigdata)的處理利器，可以對元數(shù)據(jù)進(jìn)行任意多關(guān)鍵字實(shí)時索引。通過cProc對元數(shù)據(jù)進(jìn)行分析之后，可以大大加快數(shù)據(jù)的查詢和檢索效率。cProc是凌駕于數(shù)據(jù)存儲層和數(shù)據(jù)庫系統(tǒng)之上的，通過cProc解析后，可以大大增加數(shù)據(jù)查詢和檢索等業(yè)務(wù)，可以讓系統(tǒng)平臺具備數(shù)據(jù)實(shí)時入庫、實(shí)時查詢、查詢結(jié)果實(shí)時傳輸?shù)葍?yōu)勢。數(shù)據(jù)立方的體系架構(gòu)圖數(shù)據(jù)立方（DataCube）的結(jié)構(gòu)分為用戶接口、索引、SQL解析器、作業(yè)生成器、元數(shù)據(jù)管理、并行計(jì)算架構(gòu)、分布式文件系統(tǒng)等部分。用戶接口主要有兩個：JDBC和Shell。JDBC主要執(zhí)行數(shù)據(jù)的定義操作，即建立數(shù)據(jù)庫、建表、建分區(qū)，對數(shù)據(jù)庫、表和分區(qū)的刪改等，同時可執(zhí)行數(shù)據(jù)查詢的SQL語句，暫不支持單條記錄的增刪改；數(shù)據(jù)立方提供友好的shell交互界面，shell支持?jǐn)?shù)據(jù)庫、表的增刪改以及數(shù)據(jù)查詢的SQL語句。數(shù)據(jù)在入庫的同時與數(shù)據(jù)對應(yīng)的索引也在同時建立，索引是一顆B樹，數(shù)據(jù)插入到內(nèi)存的同時，索引B樹也在生成，當(dāng)達(dá)到設(shè)置上限時，數(shù)據(jù)和索引會刷新到分布式文件系統(tǒng)上成為文件。數(shù)據(jù)立方的元數(shù)據(jù)存儲在數(shù)據(jù)庫中，其中包括：數(shù)據(jù)庫的名字和屬性，數(shù)據(jù)庫中的表，表的名字，表的列和分區(qū)及其屬性，表的屬性，表的數(shù)據(jù)所在目錄等等。SQL解析器接收從JDBC和SHELL傳來的SQL查詢語句，同時對SQL進(jìn)行詞法分析、語法分析、編譯、優(yōu)化。作業(yè)生成器根據(jù)SQL語法樹生成查詢作業(yè)，分析所要處理的數(shù)據(jù)表對應(yīng)的索引文件的所在存儲子節(jié)點(diǎn)位置，并將作業(yè)發(fā)送給并行計(jì)算架構(gòu)。并行計(jì)算架構(gòu)接收到作業(yè)生成器生成的作業(yè)，根據(jù)索引文件的位置切分查詢作業(yè)形成子任務(wù)，然后將子任務(wù)發(fā)送給數(shù)據(jù)所在的存儲子節(jié)點(diǎn)，每個節(jié)點(diǎn)執(zhí)行這些子任務(wù)查詢索引得到結(jié)果記錄所在的數(shù)據(jù)文件名與偏移量，并以廣播的方式發(fā)送查詢子任務(wù)到數(shù)據(jù)文件所在的節(jié)點(diǎn)，在執(zhí)行完畢后將結(jié)果返回。數(shù)據(jù)立方可以使用HDFS和cStor作為底層存儲系統(tǒng)，cStor是一個主從結(jié)構(gòu)的分布式文件系統(tǒng)，不僅具有HDFS的高吞吐率、高讀寫性能等特性，還支持HDFS所不具備的對文件修改等功能，并且支持POXIS接口。DataSense數(shù)據(jù)挖掘平臺數(shù)據(jù)挖掘架構(gòu)DataSense數(shù)據(jù)挖掘系統(tǒng)主要提供實(shí)現(xiàn)大多數(shù)主流的數(shù)據(jù)挖掘功能，包括屬性選擇、分類預(yù)測、回歸預(yù)測、聚類分析、關(guān)聯(lián)分析、時間序列分析等6大類。為適應(yīng)不同業(yè)務(wù)數(shù)據(jù)的特點(diǎn)，對同一個數(shù)據(jù)挖掘功能，通過多種算法進(jìn)行實(shí)現(xiàn)，例如“分類預(yù)測”有決策樹、分類回歸樹、支撐向量機(jī)分類、神經(jīng)網(wǎng)絡(luò)分類、貝葉斯網(wǎng)絡(luò)、樸素貝葉斯、邏輯回歸、分類組合模型等算法可供上層應(yīng)用選擇，具有高處理性能和高可靠性，可不間斷接受任務(wù)。數(shù)據(jù)挖掘架構(gòu)圖DataSense數(shù)據(jù)挖掘系統(tǒng)采用了數(shù)據(jù)立方大數(shù)據(jù)庫作為對系統(tǒng)海量數(shù)據(jù)的底層存儲平臺，提供了高效的ETL工具，能夠?qū)Ａ繑?shù)據(jù)進(jìn)行高效快速的清洗。前端WEB部分方便用戶管理和使用系統(tǒng)，對于數(shù)據(jù)挖掘的結(jié)果提供了餅圖、散點(diǎn)圖、折線圖、面積圖、柱狀圖、雷達(dá)圖、線箱圖、分布圖、多折線圖、帕累托圖等10類可視化手段，利于業(yè)務(wù)系統(tǒng)對數(shù)據(jù)和模型的觀察和調(diào)用。DataSense數(shù)據(jù)挖掘核心模塊系統(tǒng)架構(gòu)：DataSense核心模塊圖分布式數(shù)據(jù)挖掘引擎管理本機(jī)上同時運(yùn)行的多個計(jì)算任務(wù)，協(xié)調(diào)資源分配。分布式挖掘運(yùn)行時獨(dú)立的數(shù)據(jù)挖掘程序，負(fù)責(zé)對切分好的最小單元任務(wù)進(jìn)行處理。DataSense分布式數(shù)據(jù)挖掘管理引擎提供對數(shù)據(jù)挖掘應(yīng)用的API，同時負(fù)責(zé)對整個數(shù)據(jù)挖掘任務(wù)的調(diào)度管理。分布式數(shù)據(jù)挖掘算法庫提供對數(shù)據(jù)挖掘常用的基本挖掘算法，同時用戶可以自己任意添加新的挖掘算法。數(shù)據(jù)挖掘功能DataSense數(shù)據(jù)挖掘系統(tǒng)實(shí)現(xiàn)了大多數(shù)主流的數(shù)據(jù)挖掘功能，包括屬性選擇、分類預(yù)測、回歸預(yù)測、聚類分析、關(guān)聯(lián)分析、時間序列分析等6大類。為適應(yīng)不同業(yè)務(wù)數(shù)據(jù)的特點(diǎn)，對同一個數(shù)據(jù)挖掘功能，通過多種算法進(jìn)行實(shí)現(xiàn)，例如“分類預(yù)測”有決策樹、分類回歸樹、支撐向量機(jī)分類、神經(jīng)網(wǎng)絡(luò)分類、貝葉斯網(wǎng)絡(luò)、樸素貝葉斯、邏輯回歸、分類組合模型等算法可供用戶選用。共計(jì)包含了27個數(shù)據(jù)挖掘算法。平臺界面DataSense分布式數(shù)據(jù)挖掘平臺提供對集群機(jī)器的負(fù)載監(jiān)控，磁盤監(jiān)控等基本管理功能。用戶可以快速方便的監(jiān)控整個集群的運(yùn)行狀態(tài)。數(shù)據(jù)導(dǎo)入負(fù)責(zé)對數(shù)據(jù)的導(dǎo)入，支持?jǐn)?shù)據(jù)庫，文件系統(tǒng)兩種數(shù)據(jù)抽取方式。將數(shù)據(jù)抽取保存到數(shù)據(jù)立方。數(shù)據(jù)管理可以查詢不同表的數(shù)據(jù)信息，可以導(dǎo)出原始數(shù)據(jù)文件。任務(wù)管理 由于算法的輸入規(guī)模的不同，部分?jǐn)?shù)據(jù)挖掘業(yè)務(wù)可能運(yùn)行時間過長，系統(tǒng)提供了挖掘任務(wù)的查看、管理功能。用戶管理大數(shù)據(jù)挖掘平臺提供了多用戶使用，系統(tǒng)管理員可以通過用戶信息管理功能實(shí)現(xiàn)對系統(tǒng)多用戶的管理。系統(tǒng)配置提供系統(tǒng)平臺自身的參數(shù)信息管理可視化查詢介紹系統(tǒng)提供了對于已有數(shù)據(jù)的可視化查詢，用戶可以自定義查詢邏輯，系統(tǒng)會在后臺自動提交查詢?nèi)蝿?wù)。目前查詢支持了標(biāo)準(zhǔn)SQL60%的查詢功能。分類算法分類算法目前提供了對于數(shù)據(jù)集的學(xué)習(xí)、分類的功能。同時用戶還可以保存數(shù)據(jù)訓(xùn)練模型以便決策者或者第三方系統(tǒng)能夠在線獲取模型，并基于模型進(jìn)行企業(yè)經(jīng)營行為的決策或計(jì)算。分類結(jié)束后系統(tǒng)會通過可視化的方式展示系統(tǒng)訓(xùn)練分類后的結(jié)果。聚類算法聚類分是對未知事物的分類，系統(tǒng)提供了對結(jié)構(gòu)化數(shù)據(jù)的聚類，用戶可以選擇不同緯度的聚類。上圖為聚類設(shè)計(jì)頁面，用戶可以選擇數(shù)據(jù)源，聚類屬性，聚類本身的相關(guān)屬性等信息。聚類完成后，系統(tǒng)通過可視化的查詢，目前提供了餅圖、散點(diǎn)圖、折線圖、面積圖、柱狀圖、雷達(dá)圖、線箱圖、分布圖、多折線圖、帕累托圖等10類可視化手段，利于用戶對數(shù)據(jù)和模型的觀察和理解。

環(huán)境云服務(wù)平臺環(huán)境云-環(huán)境大數(shù)據(jù)服務(wù)平臺，是南京云創(chuàng)大數(shù)據(jù)科技股份有限公司最新研發(fā)出的一款全面、穩(wěn)定、便捷、免費(fèi)的環(huán)境數(shù)據(jù)開放服務(wù)平臺。環(huán)境云主界面環(huán)境云環(huán)境大數(shù)據(jù)服務(wù)平臺通過獲取權(quán)威數(shù)據(jù)源（中國氣象網(wǎng)、中央氣象臺、國家環(huán)保部數(shù)據(jù)中心、美國全球地震信息中心等等）所發(fā)布的各類環(huán)境數(shù)據(jù)，以及云創(chuàng)自主布建的各類全國性環(huán)境監(jiān)控傳感器網(wǎng)絡(luò)（包括PM2.5，各類空氣質(zhì)量指標(biāo)，土壤環(huán)境質(zhì)量指標(biāo)檢測網(wǎng)絡(luò)）所采集的數(shù)據(jù)，并結(jié)合相關(guān)數(shù)據(jù)預(yù)測模型生成的預(yù)報(bào)數(shù)據(jù)，依托數(shù)據(jù)托管服務(wù)平臺萬物云（）所提供的基礎(chǔ)存儲服務(wù)，推出一系列功能豐富的、便捷易用的基于RESTful架構(gòu)的綜合環(huán)境數(shù)據(jù)調(diào)用接口。配合代碼示例和詳盡的接口使用說明，向各種應(yīng)用的開發(fā)者免費(fèi)提供可靠豐富的氣象、環(huán)境、災(zāi)害以及地理數(shù)據(jù)服務(wù)。環(huán)境云主要功能平臺主要應(yīng)用功能常用功能及展示GIS地圖展示前端數(shù)據(jù)采集后的數(shù)據(jù)支持GIS地圖展示功能，平臺支持在線和離線模式地圖功能，應(yīng)用GIS地圖，進(jìn)行VOC日常管理，支持放大縮小地圖、地圖漫游、全圖顯示、鷹眼圖、導(dǎo)航、測距、制圖輸出。在GIS地圖上可以標(biāo)注出平臺內(nèi)所有監(jiān)控點(diǎn)位信息，支持在GIS地圖上直接打開實(shí)時視頻進(jìn)行監(jiān)控。GIS地圖展示常用報(bào)表功能（日報(bào)、周報(bào)、月報(bào)等）整個VOC在線監(jiān)測平臺提供常用的日報(bào)、周報(bào)、月報(bào)等常用功能，實(shí)現(xiàn)按時自動生成日報(bào)、周報(bào)、月報(bào)，提升辦公自動化的水平，進(jìn)一步促進(jìn)城市環(huán)境監(jiān)管的技術(shù)水平。日報(bào)形式示意圖周報(bào)形式示意圖月報(bào)形式示意圖基于實(shí)時預(yù)警的環(huán)控應(yīng)急處置空氣質(zhì)量監(jiān)測“環(huán)境監(jiān)測云平臺”完全基于B/S結(jié)構(gòu)設(shè)計(jì)，為管理人員提供完善的操作平臺，同時，為其他普通人員定制基于B/S結(jié)構(gòu)的瀏覽模塊。系統(tǒng)通過權(quán)限訪問，提高系統(tǒng)運(yùn)行的安全性。系統(tǒng)可實(shí)時、準(zhǔn)確、高效地監(jiān)測危險(xiǎn)氣體信息及視頻信息等參數(shù)，并對數(shù)據(jù)整編入庫、分析處理，形成結(jié)果，供決策人員使用。在重點(diǎn)區(qū)域的周圍布置大量的監(jiān)測設(shè)備，通過GPRS等方式傳輸?shù)浇尤胂到y(tǒng)后到達(dá)“環(huán)境監(jiān)測云平臺”一部分?jǐn)?shù)據(jù)直接通過云計(jì)算技術(shù)的監(jiān)測技術(shù)直接入庫，作為空氣質(zhì)量數(shù)據(jù)直接存放起來，為以后環(huán)境質(zhì)量數(shù)據(jù)，以及后期環(huán)境質(zhì)量的趨勢分析做詳實(shí)準(zhǔn)確的數(shù)據(jù)基礎(chǔ)。主要包括空氣質(zhì)量數(shù)據(jù)入庫模塊，空氣質(zhì)量數(shù)據(jù)分析模塊，海量數(shù)據(jù)分析模塊，和原有的視頻數(shù)據(jù)對接模塊等組成，同時結(jié)合地理信息針對環(huán)境污染位置明確責(zé)任，建立績效考核機(jī)制最大范圍提高環(huán)境執(zhí)法人員的工作能動性整體的流程如下圖所示?？諝赓|(zhì)量監(jiān)測與預(yù)警流程空氣質(zhì)量發(fā)布根據(jù)公眾對于空氣質(zhì)量狀況的需求，特別是霧霾非常嚴(yán)重的冬季，空氣質(zhì)量發(fā)布平臺可以向公眾實(shí)時的提供所在區(qū)域的實(shí)時的空氣質(zhì)量狀況。空氣質(zhì)量發(fā)布圖空氣質(zhì)量預(yù)警作為“環(huán)境監(jiān)測云平臺”的有效補(bǔ)充，空氣質(zhì)量預(yù)警平臺承擔(dān)著更多實(shí)時執(zhí)法提供更多及時的有效的信息化支持，預(yù)警系統(tǒng)的運(yùn)行是根據(jù)感應(yīng)器監(jiān)測數(shù)據(jù)及數(shù)據(jù)處理平臺形成的結(jié)果，當(dāng)數(shù)據(jù)達(dá)到設(shè)定報(bào)警值時，預(yù)警系統(tǒng)會自動啟動，決定預(yù)警級別及范圍。并根據(jù)系統(tǒng)設(shè)定，啟動報(bào)警通過郵件，APP推送或者是短信等方式直接發(fā)送