福建省生態(tài)環(huán)境大數據平臺概要設計v0.2

1、福建省生態(tài)環(huán)境大數據平臺概要設計1. 整體設計思想福建省生態(tài)環(huán)境大數據平臺立足于福建省各種生態(tài)環(huán)境數據；通過多種渠道，采集與生態(tài)及環(huán)保有關的海量數據；采用當前最前沿的大數據技術（并行計算技術、人工智能技術），對數據等進行挖掘建模和機器學習建模，通過數據挖掘發(fā)現隱藏于其后的規(guī)律或數據間的關系，充分挖掘這些數據的價值，從而形成能實際應用于民生的新生數據；作為專家及政府的決策依據，輔助政府精細化決策,輔助專家預測將來可能有出現的環(huán)保問題；并能解決現實中真實發(fā)生的環(huán)保問題；從而改善環(huán)境，提升居民生活環(huán)境的質量，和百姓生活的福祉。平臺建成后，將形成一個完整的基于大數據的生態(tài)環(huán)境數據智能化收集、智能化核算

2、分析、智能化發(fā)布和智能化監(jiān)管體系，這一平臺體系可以把福建省生態(tài)環(huán)境狀況，全面、直觀地展現給政府部門和社會公眾。同時環(huán)保部門可以重點關注核電站周邊生態(tài)環(huán)境實況。通過可測量、可核查的生態(tài)環(huán)境數據，為福建省的生態(tài)環(huán)境現狀評估、趨勢預測、潛力分析、目標制定與跟蹤，提供決策服務，進而實現對生態(tài)環(huán)境重點污染源、生態(tài)環(huán)境動態(tài)變化進行有效監(jiān)管，并為建設生態(tài)環(huán)境交易市場體系奠定基礎。從使用者的角度看，所有的平臺數據集中到統(tǒng)一的邏輯平面上來；平臺以省、市、縣分級別多視角展示生態(tài)環(huán)境實時信息，以全息,動態(tài)的地圖形式全方位地展現給使用者。平臺為各類使用者提供不同的觀察視角；領導能查看實時匯總信息，核輻射區(qū)大氣實況；環(huán)

3、保工作能查看各類精細報表與指標，并能搜索工作中所需要的信息。展現方式有：電子大屏幕播放，WEB瀏覽, 手機APP訪問等三種方式。從數據處理的角度看，平臺運行后將建成以生態(tài)環(huán)境數據為中心的開放式數據中心，廣泛收集來自氣象，農林，海洋,交通，能源, 車聯網等第三方數據，同時也給第三方輸出數據并分享成果數據；為后續(xù)深度學習積累數據樣本，將來平臺具備很強的自我學習能力。2. 用戶使用場景環(huán)保領導大屏查看全局實時信息情況，核核輻射區(qū)大氣實況,查看匯總報表，指揮環(huán)境突發(fā)事件處理。環(huán)?？茖W家使用多級分析報告，生成各類分析結果，導入環(huán)保知識庫，搜索各類數據。環(huán)保工作者輸入各類數據，依據決策系統(tǒng)認領分發(fā)任務。市

4、民訂閱環(huán)保信息，上傳個人采集數據。3. 數據處理場景平臺將形成以生態(tài)環(huán)境數據為中心的開放式數據中心,數據來源有來自環(huán)保廳的自有行業(yè)數據，廣泛收集與環(huán)境有關系的第三方數據，定期抓取互聯網數據，也接受來自市民提交的數據。如下圖所示，數據處理場景為了數據安全，平臺提供了數據安全子系統(tǒng)，用于數據安全，數據進入平臺有兩種方式，一種是直接進入處理中心，另一種是通過數據安全中心加密后進入處理中心，加密后的數據與其它數據在平臺里是沒有區(qū)別的，處理進程在使用數據內容時需先行解密后方可使用。進入平臺的數據存放在數據倉庫中。永久存放的數據就內容來說，分為原始數據，對象數據，結構化數據，成果數據；原始數據是指沒進行任

5、何處理的裸數據，對象數據是有屬性，能用元數據來標識的數據，結構化數據通常指數據庫，成果數據由處理系統(tǒng)來確定格式，是其它數據經處理后的有實用意義的成果。當然平臺也會把數據處理成果輸出給用戶，在原始數據擁有者的許可下，成果可以共享。4. 架構設計概要系統(tǒng)采用分層設計方案，如下圖所示，系統(tǒng)分為三個層次：應用表示層、數據處理層、并行計算環(huán)境層；另有兩個子系統(tǒng):數據接口子系統(tǒng)、運行保障子系統(tǒng)。把與實際業(yè)務有關的模塊集中在應用表示層，把數據處理有關的放在數據處理層，由并行計算環(huán)境層提供海量的存儲與大規(guī)模計算，數據接口系統(tǒng)作為平臺統(tǒng)一的數據來源，及輸出接口;運行保障子系統(tǒng)給整個平臺提供不間斷的運行維護及安全

6、保障。總體構成4.1. 數據接口子系統(tǒng)平臺數據辦輸入與輸出功能全部由數據接口子系統(tǒng)來完成，核心數據由環(huán)保部門的監(jiān)測數據以及從手工導入歷史數據構成；第三方采集數據，互聯網抓取數據，市民上傳數據是重要的補充部分；數據全集必須在內在的邏輯方面形成一個完整有效的數據鏈，以便人工智能模塊進行多維度分析。針對核與輻射的土壤監(jiān)控，采用數據動態(tài)同步方式，數據來源主要來自福建輻射監(jiān)督站開展的年度監(jiān)測工作，包括土壤樣本的實驗分析結果、輻射本底調查數據等。將核電廠周邊區(qū)域的土壤環(huán)境質量進行動態(tài)監(jiān)控。同時，在歷史數據挖掘的基礎上，研究放射性物質在土壤中的遷移規(guī)律。針對核與輻射的土壤監(jiān)控，采用數據動態(tài)同步方式，數據來源

7、主要來自福建輻射監(jiān)督站開展的年度監(jiān)測工作，包括土壤樣本的實驗分析結果、輻射本底調查數據等。將核電廠周邊區(qū)域的土壤環(huán)境質量進行動態(tài)監(jiān)控。同時，在歷史數據挖掘的基礎上，研究放射性物質在土壤中的遷移規(guī)律。4.2. 應用表示層應用表示層通過調用數據處理層的功能來完應用系統(tǒng)的功能，凡是與具體應用無關，可以抽象出來的功能，均在數據處理層實現，各應用系統(tǒng)不用單獨開發(fā)相應功能?？傮w上來看應用表示層完成以下功能:a.實時動態(tài)按省市具區(qū)域、按類別、按管理功能的數據可視化顯示。b.掌握生態(tài)環(huán)境數據庫，實時掌握生態(tài)環(huán)境的變化。c.區(qū)域生態(tài)環(huán)境信息、企業(yè)生態(tài)環(huán)境信息、工業(yè)生產過程生態(tài)環(huán)境量、能源種類生態(tài)環(huán)境量、廢棄物生

8、態(tài)環(huán)境量、生態(tài)環(huán)境匯集等。d.可視化運行監(jiān)測，全面能耗監(jiān)測，為宏觀分析和決策提供數據分析支撐。e.輻射環(huán)境大氣監(jiān)測應用福建省核電發(fā)展迅猛，在建的寧德核電廠與福清核電廠分別于2012年和2013年投產發(fā)電，規(guī)劃建設的三明快中子反應堆項目已通過可研，目前福建省規(guī)劃建設和在建的核電機組共十幾臺，這些能源項目的啟動和建設，將大大緩解福建省電力能源供應緊張的局面，奠定海西大型能源基地的地位。同時，也樹立了福建省作為核電大省的地位。由于核輻射看不起，摸不著，但卻是人民群眾密切關注的，這就需要與之相匹配的輻射環(huán)境大氣自動監(jiān)測網。未來福建省將建成核電廠輻射監(jiān)測系統(tǒng)、監(jiān)督性監(jiān)測系統(tǒng)、國控點、省控點等多個監(jiān)測平臺

9、，提供各類的大氣輻射環(huán)境在線、離線監(jiān)測數據，但對于這些多來源的數據如何處理、整合，進而開發(fā)相關的數據功能，還需進一步的工作。通過對輻射環(huán)境類大氣監(jiān)測數據的大數據挖掘，實現核與輻射數據的相關業(yè)務應用。4.3. 數據處理層數據處理層建立在并行計算環(huán)境層基礎之上，為應用層提供數據計算服務，本層分為兩個部分：環(huán)保推薦引擎，常規(guī)大數據處理；常規(guī)大數據處理為上層及推薦引擎的數據統(tǒng)計、數據分析、數據預警、數據挖掘提供支撐平臺。環(huán)保推薦引擎完成數據挖掘與專題分析任務，為上層提供判定結果。集成多種模型算法，優(yōu)化核算模型，溫室氣體排放因子測算, 對排放因子測算和數據質量控制，進行準確性判斷。為城市管理者提供現狀評

10、估、趨勢預測、潛力分析、目標制定分解及跟蹤等輔助決策服務。通過成立專家評估委員會，對排放系數的有效性進行分析，特別是對一些強制性指標加以深入推敲?？刂浦笜税ㄅ欧畔禂到y(tǒng)計信息分類的所有指標。建立企業(yè)生態(tài)環(huán)境價值評估模型, 分析研究主要行生態(tài)環(huán)境對比研究行業(yè)不同規(guī)模、不同性質、不同層次的溫室氣體排放情況，融合生態(tài)環(huán)境的核算、因素分解分析、模型、峰值預測、情景潛力研究和福建省減排路徑分析，為低生態(tài)環(huán)境策略制定提供可量化的決策依據。建立生態(tài)環(huán)境評價與挖掘平臺，自動完成主要行業(yè)基于溫室氣體排放分析研究報告，為工業(yè)源的溫室氣體排放研究、評估以及未來的控制政策提供支撐支持。主要實現功能如下：a.為實現生態(tài)

11、環(huán)境交易提供數據決策支撐服務。b.針對環(huán)境發(fā)展通過大數據建模，對生態(tài)環(huán)境未來進行預測和預警。c.針對生態(tài)環(huán)境的決策，依據生態(tài)環(huán)境基礎數據，建立大數據模型，并進行深度分析，得出生態(tài)環(huán)境配額，生態(tài)環(huán)境足跡分析等各種專業(yè)問題的結論。d.建模，以支持節(jié)能減排降生態(tài)環(huán)境目標的預警調控方案。e.低能耗低排放產業(yè)分析。f.為調整優(yōu)化能源消費結構提供數據支撐等h.氣象數據耦合計算所有的大氣環(huán)境污染，都在在大氣環(huán)流中彌散傳播的。如果要通過監(jiān)測數據對污染源進行追蹤，則需要同時耦合大氣擴散數據進行反向的溯源計算。環(huán)保氣象數據處工功能主要負責接入全省實時氣象數據和預報數據，將其處理為可供各個其它應用的基礎數據，并提供

12、相關的計算模型進行反向耦合計算。4.4. 并行計算環(huán)境層并行計算環(huán)境層是大數據平臺的核心驅動層，其基礎計算能力直接影響上層的運行效率與運行速度。并行計算環(huán)境層為上層提供大規(guī)模計算與存儲服務，并行計算環(huán)境層由工作流協調處理系統(tǒng),并行式計算系統(tǒng).數據倉庫,并行式文件系統(tǒng)組成; 并行計算環(huán)境層由一個服務器集群組成，集群規(guī)模隨著平臺的計算需求進行擴充。5. 平臺建設關鍵技術大數據是指一般的軟件工具難以捕捉、管理和分析的大容量數據,通常以PB來計量(1P=1024T,1T=1024G);其意義不僅僅在于容量之大，更大的意義在于通過對海量數據的交換、整合和分析，發(fā)現新的知識，創(chuàng)造新的價值；通常大家用4V特

13、性來描述大數據； Volume(容量) 根據IDC(國際數據公司)的監(jiān)測統(tǒng)計，2011年全球數據總量已經達到1.8ZB(1ZB等于1萬億GB，1.8ZB也就相當于18億個1TB移動硬盤的存儲量)，而這個數值還在以每兩年翻一番的速度增長，預計 到2020年全球將總共擁有35ZB的數據量，增長近20倍。 Variety(多樣性) 大數據的異構和多樣性很多不同形式（文本、圖像、視頻、機器數據）無模式或者模式不明顯不連貫的語法或語義。 Value(價值) 價值通常也被理解為價值密度，也就是說依據大量的不相關信息進行深度復雜分析，對未來趨勢與模式的做出可靠的判定，從而發(fā)現數據的價值。 Velocity(

14、高速率) 大量的數據需要進行快速的，實時的處理，才能在指定時間內得到結果；數據的處理方法多以批量化，分布式為主要處理方式。從以上大數據的特性分析可知，我們生態(tài)環(huán)境的海量數據價值發(fā)現的核心前提條件是: 1.大規(guī)模的基礎運算能力與海量的存儲能力。 2. 高效的數據價值提取算法。 在分布式/并行式計算系統(tǒng)沒有出現之前，大規(guī)模的計算資源只能由超級計算機來提供，這是一種昂貴的資源，把大部分中小團隊拒之門外；約2006年云計算技術開始發(fā)芽，至2010前左右隨著云計算技術的發(fā)展成熟,大規(guī)模分布式/并行式計算系統(tǒng)也得到了發(fā)展壯大，并快速成熟起來；分布式/并行式計算系統(tǒng)能把廉價的大批量硬件組合起來，提供一種廉價

15、的大規(guī)模運算能力與海量存儲能力；因而當前技術發(fā)展已能滿足第一個前提條件。 僅有大規(guī)模運算能力還是不夠的，使用人工智能技術是解決復雜非線性計算的關鍵； 如：美國超級計算機深藍，僅使用其強大的計算能力，沒有使用人工智能技術的情況下，與圍棋大師的較量中最終還是敗下陣來；而使用了深度學習技術的智能象棋程序，在自我學習8年后輕易就打敗了象棋大師。人工智能的發(fā)展歷史很長，幾乎是和計算機技術一起發(fā)展的，但是大部分人工智能算法不能應用于人們實際生活中，直到近年深度學習算法的發(fā)展與成熟，深度學習算法被證實在處理大數據時是行之有效的，其成果已經在人們實際生活中起到了的很好的作用，如：蘋果的SIRI,微軟小冰，多種

16、BI產品，人臉識別等。因而深度學習算法的成熟是滿足第二個核心條件的最佳解決方案之一。6. 平臺模塊設計整個平臺是松耦合的,多模塊并行開發(fā)；數據接口系統(tǒng)，與大數據處理層及資源層是應用系統(tǒng)的基礎，因而在各系統(tǒng)設計開發(fā)之初必須優(yōu)先擬定好各個接口定義，方可各自設計與開發(fā)。6.1. 環(huán)保平臺應用表示層設計應用系統(tǒng)分為平臺通用功能模塊以及各種專題子系統(tǒng)構成；應用系統(tǒng)通過調用生態(tài)環(huán)境推薦引擎和其它大數據分析技術來完成就用系統(tǒng)的功能，不須要單獨開發(fā)自己的底層數據分析功能。平臺可視化功能是通用功能，可以為各個應用系統(tǒng)所用。7.1.1 通用功能設計7.1.1.1可視化展現功能可視化展現，就是把所有的最終結果數據以

17、全息地圖方式呈現在使用者面前，其所有的信息均具備地理屬性。主要功能如下：a.實時動態(tài)按區(qū)域、按行業(yè)、按企業(yè)的數據排放可視化顯示。b.掌握溫室氣體排放數據庫，實時掌握資源的利用。c.區(qū)域生態(tài)環(huán)境信息、企業(yè)生態(tài)環(huán)境信息、工業(yè)生產過程生態(tài)環(huán)境量、能源種類生態(tài)環(huán)境量、廢棄物生態(tài)環(huán)境量、生態(tài)環(huán)境量等。d.可視化運行監(jiān)測，全面能耗監(jiān)測，為宏觀分析和決策提供數據分析支撐。展現方式:1.全省生態(tài)環(huán)境區(qū)域能量圖，縱覽全省生態(tài)環(huán)境。2. 環(huán)境生態(tài)環(huán)境健康圖譜，大數據挖掘建立綜合評價體。3. 全省生態(tài)環(huán)境指標看板，企業(yè)排放TOP100，區(qū)域排放排。4.生態(tài)環(huán)境預警分析，按排放類型等預警分。5.全省生態(tài)環(huán)境趨勢，按行

18、業(yè)按區(qū)域趨。7.1.1.2搜索化平臺 搜索分析平臺在豐富的業(yè)務模板庫的基礎上可以快速的為使用在搜索中發(fā)現關鍵信息，可以使你輕松的在1到3秒以內完成85%以上的生態(tài)環(huán)境分析。智能檢索系統(tǒng)依托全文檢索、自動分詞、結果聚類等先進技術，提供對不同類型、不同格式環(huán)境資源數據的快速檢索及關鍵字模糊查詢，同時可業(yè)務明細、業(yè)務報表、相關文檔、地理空間數據等聚類類別進行搜索結果展示，可極大滿足用戶的數據共享、快速查找需求。7.1.1.3 系統(tǒng)管理系統(tǒng)管理屬于數據分析平臺的功能。通過使用授權來控制不同崗位、不同用戶的業(yè)務操作權限。并采用用戶組的方式對用戶權限進行管理，一個用戶組可以包括多個權限相同的用戶，用戶組設

19、定遵循便于生產、靈活管理的原則，以生產過程中的職能為依據，可以以崗位為基礎進行劃分，也可以按照實際需要重新進行劃分。系統(tǒng)用戶角色不同，則使用的系統(tǒng)功能不同，不同崗位的用戶不能越權操作系統(tǒng)功能。權限管理就是保障大數據分析平臺安全性和數據安全性的手段，也是企業(yè)強化管理的手段。7.1.1.3.1 訪問權限管理按功能模塊和操作權限劃分多層級多職能角色，建立不同權限的角色和用戶。通過配置權限功能、操作模塊和擁有窗體的操作類型（如讀、寫、刪除、顯示等），決定不同角色的授權范圍或者不同角色及用戶訪問的數據資源范圍。角色與用戶可指定映射，一個用戶可屬于一個或幾個角色，系統(tǒng)管理員給相關人員分配相應的管理權限。具

20、體實現上系統(tǒng)將提供所有角色或用戶信息列表、所有的功能界面列表、每個功能界面上所有的資源操作類型列表，只要對角色或用戶權限范圍內的業(yè)務信息及操作權限進行打勾選擇即可，配置靈活。訪問權限管理采用口令認證手段支持身份認證系統(tǒng)。系統(tǒng)對登錄用戶的密碼以加密形式保存，對多次（比如三次）嘗試登錄失敗的用戶進行封鎖，并記入系統(tǒng)日志。7.1.1.3.2 系統(tǒng)日志管理記錄所有登錄人員訪問系統(tǒng)的關鍵操作信息以及系統(tǒng)更新信息等，如增加、修改、刪除記錄以及系統(tǒng)更新時間、更新人、更新版本等。并提供按人員、功能操作、時間等多種條件的系統(tǒng)日志查詢，支持對重大安全事件（如數據修改）的追蹤和回溯。6.2. 環(huán)保平臺并行計算環(huán)境層

21、設計并行計算環(huán)境層提供海量存儲與大規(guī)模計算資源，由極融并行計算系統(tǒng)與建立在并行計算系統(tǒng)之上的數據倉庫組成。7.3.1 數據倉庫設計生態(tài)環(huán)境數據中心的主體是生態(tài)環(huán)境數據倉庫，數據倉庫以主題的方式建立。生態(tài)環(huán)境大數據中心，底層依托可擴展的大數據存儲平臺，能夠支撐省級乃至國家級大規(guī)模的生態(tài)環(huán)境數據。生態(tài)環(huán)境數據中心根據數據采集后的數據，根據排放因子等進行計算，形成溫室氣體排放數據庫。并根據不同的專題，形成各種分析的專題數據庫。7.3.2 并行計算系統(tǒng)7.3.2.1極融并行計算系統(tǒng)特性與優(yōu)勢極融并行計算系統(tǒng)的主要設計思想是軟件定義一切，高度的抽象化；所有的資源均虛擬化以提高自動化管理能力及容錯能力。極

22、融并行計算系統(tǒng)主要特性如下：1. 領先的并行計算架構，使用分布式的元數據管理模型，元數據分散在集群中，這種架構使得整個存儲系統(tǒng)沒有單點故障。2. 遠程內存直接訪問（RDMA）技術的深度運用，從本質上改變平臺的使用場景，平臺開發(fā)者可以如同使用一臺超級計算機一樣，在一個開發(fā)平面上開發(fā)與運行自已的業(yè)務系統(tǒng)。3. 真正的近線性擴展能力，在從三個節(jié)點擴展到上萬個節(jié)點的過程中，不需要考慮元數據遷移和擴展問題。4. 本地化I/O，在平臺中，由于計算資源的虛擬化，會盡量移動計算到數據所在的節(jié)點，而不是移動數據自身，因而大部分的數據不需要跨越網絡讀寫。5. 高度的自我修復能力，當集群中某個節(jié)點出現故障時，數據會

23、自動遷移至完好節(jié)點中。6. 高度數據安全，所有存放在平臺中的數據均有2個以上的副本，同時也在更低層次提供多種數據安全保障。7. 全方位多視角的運行時監(jiān)控，平臺置于運行保障系統(tǒng)的多維度監(jiān)控下，能實時報警，并能自動修復一部分常見故障。8. 軟件定義網絡（SDN），網絡吞吐能力不再是固定的，而是依據需要進行動態(tài)的擴張。7.3.2.2極融并行計算系統(tǒng)概述極融并行計算系統(tǒng)的設計目標旨在把大批量普通的、不可靠的、廉價的服務器組織起來，向外提供海量的、無差別的、高可用的數據處理服務。從外部的角度看，InfinityFusion如同一個巨大的，有序的，可伸縮的存儲池，同時也具備大規(guī)模的抽象化計算能力，如下圖所

24、示?！居脩粞壑械腎nfinityFusion】因而，InfinityFusion從宏觀角度上來說分成兩部分，一部分是把硬件資源組織起來，另一部分把資源抽象化后，組織成標準的服務接口。從外部的角度看，InfinityFusion的運行實體是一個存儲集群，一個集群是一個整體的存儲單位，不管集群由多少臺物理計算機組成。7.2.2.1 集群層次極融并行計算系統(tǒng)從邏輯功能的角度看，包括：由統(tǒng)一存儲服務提供層、集群管理層、存儲層、chunk層、資源層。集群構成分層如下圖所示： 【集群層次圖】統(tǒng)一存儲服務提供層提供用戶交互界面；集群管理層調用存儲層接口為服務提供層提供管理接口，同時負責節(jié)點的角色定位；存儲層

25、把chunk層提供的服務轉化成數據存放接口；chunk層直接與資源層交互，向上層提供定長存儲區(qū)，向下通過本地文件系統(tǒng)讀寫硬盤；資源層在這里指的是所有的集群內的硬盤。以上各層唯有統(tǒng)一存儲服務提供層可以單獨存在一臺服務器上，其它均分布在整個集群范圍內。另外，并不是所有的分層都要通過上一層的調用才能被使用，存儲層在運行時直接與客戶端交互。7.2.2.2 數據安全真實存放在集群中的數據最終會存放于chunk所指向的物理數據塊中，chunk有多個副本，多個副本中數據是一致的，從而保證存放數據的安全；InfinityFusion尊守順序一致性（Sequential Consistency）以保證副本間的數

26、據一致性。chunk副本位置選擇是為了實現兩大目標：最大化數據可靠性和可用性，最大化網絡帶寬利用率；對于任意副本的讀寫，只要滿足順序一致性要求，其結果是一致的。7.2.2.3 元數據元數據是集群范圍里的概念，是全局的，每個集群有且僅有一套完整的元數據；如同向外部聲明自身所擁有的資源的整體情況，外部無需考慮具體的物理細節(jié)；對內則詳細記錄object和chunk的命名空間、object和chunk的對應關系、每個chunk副本的存放地點等。其中承載元數據內容的重要數據表有：root表，chunk表兩個，它們在運行時在內存中形成樹狀關系；元數據均勻地分布在整個集群所有物理節(jié)點中。6.3. 數據接口系

27、統(tǒng)數據接口系統(tǒng)的功能是：把各種內外部數據導入到平臺內，并進行清洗后，內含一個數據引擎把數據進行初步整合后,分類存入平臺數據倉庫里。同時結果數據也從數據接口系統(tǒng)向外輸出數據。數據來源有: 監(jiān)測數據采集、歷史數據導入、第三方數據采集、互聯網彈性搜索、市民微信上傳接口五種方式。其中第三方數據采集面向多個行業(yè)，其中污染源數據接入主要從能源消費和非能源消費2個角度出發(fā)，將城市生態(tài)環(huán)境源分成工業(yè)能源、交通能源、居民生活能源、商業(yè)能源、工業(yè)過程和廢物等6個單元。 除了歷史數據通過離線方式導入外，其它數據需要實時采集，數據實時采集：1. 通過環(huán)保部門內置網絡采集生態(tài)環(huán)境信息。2. 通過氣象部門采集全省及部分東

28、部省份信息。3 .重點工業(yè)企業(yè)用電數據、用煤數據。數據通過電力公司、稅務公司等實時采集數據。通過行業(yè)管理部門、統(tǒng)計局收集綜合數據。4. 城市交通能源的數據采集，從中石油，中石化實時采集能源消耗數據。5.居民生活能源數據，可以從煤氣公司、液化氣公司、電力公司實時采集數據。6.商業(yè)能源數據，從電力公司、熱力公司實時采集數據。7.工業(yè)過程數據，從重點基礎企業(yè)進行數據采集。7.4.1 數據接入引擎：6.4. 運行保障子系統(tǒng)設計運行保障子系統(tǒng)的特點為采用源于數據庫的應用通信協議,動態(tài)擴展被監(jiān)控對象，能動態(tài)增加通信協議，而無須重新更改運行保障平臺代碼. 在分布式軟件體系中，各個模塊通信方式不同，系統(tǒng)規(guī)模體

29、系統(tǒng)與規(guī)模隨著使用時間的推移不斷發(fā)生變化，很難在系統(tǒng)設計之初定義各個模塊之間的通信協義；這要求我們把通信協義的定義分布到系統(tǒng)的整個生命周期之中，也就是說協義是隨時可以”熱添加”的，后續(xù)添加的協義不影響已運行協義；這就要求我們定義的協議是抽象的，協議的具體化由數據源(如存放在數據庫的數據)來細化 運行保障子系統(tǒng)的另一個特點是多視角多維度的展示系統(tǒng)運行狀態(tài)。例如硬件設備供應商只看硬件設備運行狀態(tài)，應用軟件開發(fā)商只關注自身軟件系統(tǒng)的運行狀態(tài)，而云計算管理軟件只關注各個虛擬機的運行狀態(tài)；他們可以從各自的角度出發(fā)，從運行保障子系統(tǒng)中查看相關數據并做出處理動作7.5.1 運行保障子系統(tǒng)應用場景在分布式體系

30、中，參與眾多,且時常變動，參與者切入系統(tǒng)的角度不同；這種體系規(guī)模比較大且在運行中不斷地動態(tài)擴展或縮減；整個體系的責任團隊需要從多個視角,多個層次把所有的參與要素的運行狀態(tài)集中到統(tǒng)一界面中進行監(jiān)視與管控. 通常由作為基礎軟硬件設施服務商或集成商為責任團隊提供這個功能這就是運行保障子系統(tǒng)應用場景. 從具體項目的角度看，需要運行保障子系統(tǒng)的有:云計算，各種大型功能中心(如移動通信短信中心，110指揮中心等)，各種大型平臺(如醫(yī)保平臺) 等; 簡單的應用軟件不適合，規(guī)模很小的項目也不適合.7.5.2 運行保障子系統(tǒng)理論依據1. 大部分致命故障是由其它錯誤累積而成，預警與趨勢分析能把致命故障扼殺在萌芽狀態(tài)，從而保障系統(tǒng)的穩(wěn)定運行2. 異常是可擴散的，大部分系列的異常的源頭只有一個3. 各種異常可以有相同的處置過程，異常拋出，異常分析，異常處理4. 歷史數據的挖掘與分析是發(fā)現問題與產生新的有效需求的有效方式7.5.3運行保障子系統(tǒng)開發(fā)難點運行保障子系統(tǒng)與其它模塊不同之處在于，開發(fā)完成并運行后還會陸續(xù)進行一些接入式開發(fā)，以完善其功，這種開發(fā)類似于插件式開發(fā)，而不是升級開發(fā)7. 平臺建設目標平臺建設分為三個階段，2016年7月平臺開始建設，2018年初全面建成并投入試運行。相應的硬件環(huán)境建設依據軟件的開發(fā)進度進行。第一階段 平臺基礎建設期 2016年7月到201