昆山環(huán)保局空氣質(zhì)量檢測(cè)平臺(tái)云計(jì)算平臺(tái)解決方案樣本

空氣質(zhì)量監(jiān)測(cè)云計(jì)算平臺(tái)解決方案

修改記錄日期版本修改要點(diǎn)修改者注釋.05.061.0初始版本注：版本升級(jí)時(shí)，要注明因素，和重要更改內(nèi)容。目錄目錄 3空氣質(zhì)量前端方案 41．概述 41.1背景 41.2意義 42．設(shè)計(jì) 52.1系統(tǒng)架構(gòu) 52.1.1總體架構(gòu) 52.1.2布置方式 62.2傳感器 72.3計(jì)算 92.4采集某些 102.5通信某些 112.6電源某些 122.6.1鋰電池供電 122.6.2太陽(yáng)能供電 133．特點(diǎn) 13空氣質(zhì)量檢測(cè)平臺(tái)方案1．概述南京云創(chuàng)存儲(chǔ)空氣質(zhì)量監(jiān)測(cè)方案，是基于云計(jì)算大氣質(zhì)量監(jiān)測(cè)平臺(tái)，前端通過(guò)特性因子監(jiān)測(cè)設(shè)備和空氣質(zhì)量?jī)商妆O(jiān)測(cè)設(shè)備可以監(jiān)測(cè)大氣污染中空氣質(zhì)量,pm10，SO2,NO2等大氣中污染因子。通過(guò)海量數(shù)據(jù)科學(xué)數(shù)據(jù)分析對(duì)比得到重要反映局部區(qū)域有關(guān)參照值，從而和宏觀上反映都市整體空氣質(zhì)量監(jiān)測(cè)站點(diǎn)監(jiān)測(cè)方式形成互補(bǔ)。1.1背景當(dāng)前許多都市環(huán)境監(jiān)測(cè)中心站點(diǎn)較少，分布分散，環(huán)境監(jiān)測(cè)數(shù)據(jù)僅從宏觀上反映都市整體空氣質(zhì)量，但是不能從微觀上反映局部區(qū)域、特定區(qū)域空氣質(zhì)量好壞，這就需要建設(shè)更多環(huán)境監(jiān)測(cè)站點(diǎn)，提供更多實(shí)時(shí)環(huán)境監(jiān)測(cè)數(shù)據(jù)。國(guó)外一套空氣質(zhì)量環(huán)境監(jiān)測(cè)儀器價(jià)格在10萬(wàn)美金，國(guó)產(chǎn)價(jià)格在10萬(wàn)人民幣，價(jià)格昂貴。建設(shè)更多環(huán)境監(jiān)測(cè)站點(diǎn)需要巨大資金投入，成本太高。而便宜空氣質(zhì)量環(huán)境監(jiān)測(cè)系統(tǒng)價(jià)格大概在1萬(wàn)人民幣，可以解決資金投入問(wèn)題，同步滿(mǎn)足一定測(cè)量精度，和既有空氣環(huán)境自動(dòng)監(jiān)測(cè)系統(tǒng)形成互補(bǔ)，為環(huán)保部門(mén)服務(wù)。當(dāng)前350米如下均有顆粒污染物，污染限度比較嚴(yán)重，加之信息化工作處在低端水平，以及公眾對(duì)于空氣質(zhì)量關(guān)注度不斷提高，使得空氣質(zhì)量監(jiān)測(cè)重要性日益突出。便宜空氣質(zhì)量環(huán)境監(jiān)測(cè)系統(tǒng)與當(dāng)前老式監(jiān)測(cè)站點(diǎn)監(jiān)測(cè)方式形成互補(bǔ)，滿(mǎn)足公眾環(huán)境需求，提高政府形象。1.2意義布置空氣質(zhì)量環(huán)境監(jiān)測(cè)系統(tǒng)，配合都市既有環(huán)境監(jiān)測(cè)站點(diǎn)，精確、及時(shí)、全面地反映環(huán)境質(zhì)量現(xiàn)狀及發(fā)展趨勢(shì)，為環(huán)境管理、污染源控制、環(huán)境規(guī)劃等提供科學(xué)根據(jù)，并結(jié)合天氣狀況、都市交通、人口密度、工業(yè)產(chǎn)值等元素，進(jìn)行系統(tǒng)研究，為保護(hù)環(huán)境，改進(jìn)都市大氣環(huán)境質(zhì)量改進(jìn)起到技術(shù)支撐作用。詳細(xì)可歸納為：

(1)依照環(huán)境質(zhì)量原則，評(píng)價(jià)環(huán)境質(zhì)量。

(2)依照污染分布狀況，\o"追蹤"追蹤尋找污染源，為實(shí)現(xiàn)監(jiān)督管理、控制污染提供根據(jù)。

(3)構(gòu)建云計(jì)算海量數(shù)據(jù)解決平臺(tái)，存儲(chǔ)本區(qū)域海量數(shù)據(jù)，積累長(zhǎng)期監(jiān)測(cè)資料，為研究環(huán)境容量、實(shí)行總量控制、目的管理、預(yù)測(cè)預(yù)報(bào)環(huán)境質(zhì)量提供數(shù)據(jù)。

(4)為保護(hù)人類(lèi)健康、保護(hù)環(huán)境、合理使用自然資源、制定環(huán)境法規(guī)、原則、規(guī)劃等服務(wù)。1.3總體設(shè)計(jì)原則針對(duì)本次工程實(shí)際狀況,充分考慮環(huán)保局環(huán)境監(jiān)測(cè)云平臺(tái)系統(tǒng)建設(shè)建設(shè)發(fā)展需求，以實(shí)現(xiàn)系統(tǒng)統(tǒng)一管理、高效應(yīng)用、平滑擴(kuò)展為目的，以“先進(jìn)、安全、成熟、開(kāi)放、經(jīng)濟(jì)”為總體設(shè)計(jì)原則。先進(jìn)性原則在系統(tǒng)總體方案設(shè)計(jì)時(shí)采用業(yè)界先進(jìn)方案和技術(shù)，以保證一定期間內(nèi)不落后。選取實(shí)用性強(qiáng)產(chǎn)品，模塊化構(gòu)造設(shè)計(jì)，既可滿(mǎn)足當(dāng)前需要又可實(shí)現(xiàn)此后系統(tǒng)發(fā)展平滑擴(kuò)展。安全性原則數(shù)據(jù)是業(yè)務(wù)系統(tǒng)核心應(yīng)用最后保障，不但要保證整套系統(tǒng)可以7X24運(yùn)營(yíng)，并且存儲(chǔ)系統(tǒng)必要有高可用性，以保證應(yīng)用系統(tǒng)對(duì)數(shù)據(jù)隨時(shí)存取。同步配備安全備份系統(tǒng)，相應(yīng)用數(shù)據(jù)進(jìn)行更加安全數(shù)據(jù)保護(hù)，減少人為操作失誤或病毒襲擊給系統(tǒng)導(dǎo)致數(shù)據(jù)丟失。在進(jìn)行系統(tǒng)設(shè)計(jì)時(shí)，充分考慮數(shù)據(jù)高可靠存儲(chǔ)，采用高度可靠軟硬件容錯(cuò)設(shè)計(jì)，進(jìn)行有效安全訪問(wèn)控制，實(shí)現(xiàn)故障屏蔽、自動(dòng)冗余重建等智能化安全可靠辦法，提供統(tǒng)一系統(tǒng)管理和監(jiān)控平臺(tái)，進(jìn)行有效故障定位、預(yù)警。成熟性原則為保證整個(gè)系統(tǒng)可以穩(wěn)定工作，軟件平臺(tái)將使用先進(jìn)、完善、易于管理和穩(wěn)定可靠云存儲(chǔ)資源管理系統(tǒng)，對(duì)于與應(yīng)用集成接口，提供統(tǒng)一通用穩(wěn)定訪問(wèn)接口。開(kāi)放性原則系統(tǒng)建設(shè)具備開(kāi)放性原則體系，提供開(kāi)放應(yīng)用API編程接口，提供人性化應(yīng)用和管理界面，以滿(mǎn)足顧客需求。遵循規(guī)范通用接口原則，使全系統(tǒng)中硬件、通信、軟件、操作平臺(tái)之間互聯(lián)共享。充分考慮系統(tǒng)升級(jí)和維護(hù)問(wèn)題，維護(hù)采用在線(xiàn)式，即在系統(tǒng)不斷止工作狀況下，可以更換單元備件。系統(tǒng)維護(hù)和升級(jí)操作由系統(tǒng)管理員即可完畢。經(jīng)濟(jì)性原則既有業(yè)務(wù)系統(tǒng)存儲(chǔ)數(shù)據(jù)量較大，且數(shù)據(jù)增長(zhǎng)速度較快。因而在建設(shè)系統(tǒng)存儲(chǔ)架構(gòu)時(shí)，應(yīng)從長(zhǎng)遠(yuǎn)角度考慮，建設(shè)一種長(zhǎng)期存儲(chǔ)架構(gòu)，除了可以應(yīng)對(duì)存儲(chǔ)硬件設(shè)備升級(jí)速度外，還必要考慮到對(duì)前期存儲(chǔ)設(shè)備投資保護(hù)，在保證不斷提供功能和性能提高同步，存儲(chǔ)架構(gòu)在較長(zhǎng)時(shí)間內(nèi)可以保持相對(duì)穩(wěn)定。結(jié)合先進(jìn)云平臺(tái)技術(shù)架構(gòu)優(yōu)勢(shì)，依照本次項(xiàng)目建設(shè)實(shí)際容量需求設(shè)計(jì)，同步充分考慮應(yīng)用發(fā)展需求，實(shí)現(xiàn)系統(tǒng)可彈性在線(xiàn)平滑升級(jí)。通過(guò)軟件實(shí)當(dāng)前較便宜普通服務(wù)器上實(shí)現(xiàn)高度容錯(cuò)，同步可以在較低冗余度狀況下實(shí)現(xiàn)高度可靠容錯(cuò)，大大節(jié)約和減少系統(tǒng)建設(shè)硬件成本。1.4系統(tǒng)特點(diǎn)1、價(jià)格低廉，大規(guī)模布置空氣質(zhì)量環(huán)境監(jiān)測(cè)設(shè)備只有國(guó)際通用幾分之一，即可滿(mǎn)足空氣質(zhì)量監(jiān)測(cè)、數(shù)據(jù)傳播功能，無(wú)需國(guó)外昂貴監(jiān)測(cè)設(shè)備，和既有環(huán)境監(jiān)測(cè)點(diǎn)形成有利互補(bǔ)，對(duì)空氣質(zhì)量數(shù)據(jù)發(fā)布有參照意義。 2、云計(jì)算海量數(shù)據(jù)解決技術(shù) 架構(gòu)云計(jì)算海量數(shù)據(jù)解決平臺(tái)，采用先進(jìn)云計(jì)算解決技術(shù)，對(duì)環(huán)境監(jiān)測(cè)數(shù)據(jù)入庫(kù)和關(guān)聯(lián)查詢(xún)迅速響應(yīng)，支持自動(dòng)容錯(cuò)和動(dòng)態(tài)擴(kuò)展，具備實(shí)時(shí)性、高可靠性、可伸縮性、高性?xún)r(jià)比等特點(diǎn)。3.擴(kuò)容性 空氣質(zhì)量監(jiān)測(cè)前端設(shè)備可以依照需求進(jìn)行增長(zhǎng)設(shè)備，擴(kuò)展整個(gè)系統(tǒng)覆蓋面積，但是不需要繼續(xù)復(fù)雜操作，可以動(dòng)態(tài)增長(zhǎng)空氣質(zhì)量測(cè)試節(jié)點(diǎn)，并能自動(dòng)組網(wǎng)，具備很強(qiáng)擴(kuò)容性。4.實(shí)時(shí)性測(cè)定速度快，自動(dòng)化限度高。測(cè)試辦法決定了測(cè)試實(shí)時(shí)性，采集時(shí)間實(shí)現(xiàn)秒級(jí)響應(yīng)，且采集時(shí)間可以任意設(shè)定，采集數(shù)據(jù)實(shí)時(shí)入庫(kù)，可實(shí)時(shí)查詢(xún)。5.采集數(shù)據(jù)精確性采集數(shù)據(jù)通過(guò)精準(zhǔn)校準(zhǔn)，且敏捷度很高，和環(huán)保某些發(fā)布空氣質(zhì)量數(shù)據(jù)及趨勢(shì)接近，數(shù)據(jù)真實(shí)有效。2．系統(tǒng)設(shè)計(jì)2.1總體架構(gòu)前端設(shè)備采集到有關(guān)信息，通過(guò)GPRS進(jìn)行無(wú)線(xiàn)數(shù)據(jù)傳播，在有公網(wǎng)IP服務(wù)器上進(jìn)行數(shù)據(jù)接受和初步解決，然后數(shù)據(jù)存入數(shù)據(jù)立方進(jìn)行存儲(chǔ)和計(jì)算，并且通過(guò)WEB服務(wù)器進(jìn)行數(shù)據(jù)最后解決和發(fā)布，通過(guò)web頁(yè)面和移動(dòng)終端可以實(shí)時(shí)查看pm25實(shí)時(shí)和歷史數(shù)據(jù)。詳細(xì)系統(tǒng)總體架構(gòu)詳見(jiàn)下圖。圖1空氣質(zhì)量云監(jiān)控平臺(tái)總體架構(gòu)2.2系統(tǒng)重要功能空氣質(zhì)量監(jiān)測(cè)云平臺(tái)需要提供重要功能描述如下。（1）實(shí)時(shí)數(shù)據(jù)入庫(kù)系統(tǒng)實(shí)時(shí)數(shù)據(jù)入庫(kù)系統(tǒng)重要負(fù)責(zé)全市所有空氣質(zhì)量監(jiān)測(cè)點(diǎn)產(chǎn)生各類(lèi)空氣因子數(shù)據(jù)實(shí)時(shí)存到空氣質(zhì)量監(jiān)測(cè)平臺(tái)數(shù)據(jù)存儲(chǔ)中心。（2）空氣質(zhì)量監(jiān)測(cè)平臺(tái)數(shù)據(jù)存儲(chǔ)系統(tǒng)原始空氣質(zhì)量數(shù)據(jù)，將所有存儲(chǔ)在空氣質(zhì)量監(jiān)測(cè)平臺(tái)分布式文獻(xiàn)系統(tǒng)，用于存儲(chǔ)海量非構(gòu)造化數(shù)據(jù)。為了滿(mǎn)足和適應(yīng)數(shù)據(jù)量、數(shù)據(jù)特性和查詢(xún)解決不同需求，某些存存儲(chǔ)于關(guān)系型數(shù)據(jù)庫(kù)中。（3）空氣質(zhì)量監(jiān)測(cè)平臺(tái)數(shù)據(jù)查詢(xún)分析應(yīng)用系統(tǒng)空氣質(zhì)量數(shù)據(jù)查詢(xún)分析應(yīng)用提供涉及實(shí)時(shí)監(jiān)控空氣質(zhì)量空氣質(zhì)量，查看歷史記錄和分析數(shù)據(jù)等功能。空氣質(zhì)量歷史查詢(xún)解決時(shí)，由于空氣質(zhì)量數(shù)據(jù)量巨大，需要調(diào)度使用多臺(tái)服務(wù)器節(jié)點(diǎn)進(jìn)行并行解決。（4）數(shù)據(jù)管理系統(tǒng)在實(shí)際使用中，也許顧客會(huì)對(duì)某一時(shí)間段或者類(lèi)型數(shù)據(jù)特別關(guān)懷，就可以通過(guò)數(shù)據(jù)管理系統(tǒng)查詢(xún)并導(dǎo)出這某些數(shù)據(jù)以供使用。2.3技術(shù)優(yōu)勢(shì)1.無(wú)線(xiàn)傳感網(wǎng)絡(luò)節(jié)點(diǎn)問(wèn)間可進(jìn)行長(zhǎng)距離傳播，國(guó)內(nèi)最多50m,Corssbow為150m.而咱們?cè)诠?jié)點(diǎn)間無(wú)阻擋時(shí)理論距離為30000m，有阻擋為500～1000m，具備極高性?xún)r(jià)比.2. 能耗低，國(guó)外同類(lèi)產(chǎn)品發(fā)射電流消耗為20mA，咱們可達(dá)僅為0.5mA;3. 節(jié)點(diǎn)數(shù)多，囯外普通150個(gè)，咱們可以256個(gè)，還可擴(kuò)充至1000個(gè)以上.4. 系統(tǒng)精度高，比同類(lèi)產(chǎn)品高一種數(shù)量級(jí)；5. 安全系數(shù)高，由于咱們提供了數(shù)據(jù)完整性檢查和鑒權(quán)功能，加密算法采用了＂AES-128”,即具備高度保密性。6. 系統(tǒng)可靠性高，由于咱們采用了碰撞避免機(jī)制，同步為需要固定帶寬通訊業(yè)務(wù)與留了專(zhuān)業(yè)時(shí)隙，避免了發(fā)射數(shù)據(jù)時(shí)競(jìng)爭(zhēng)和沖突，并且節(jié)點(diǎn)模塊之間具備自動(dòng)動(dòng)態(tài)組網(wǎng)功能，信息在整個(gè)網(wǎng)絡(luò)中通過(guò)自由路由方式進(jìn)行傳播，從而保證了信息可靠性；7.系統(tǒng)時(shí)延短，咱們針對(duì)時(shí)延敏感運(yùn)用做了優(yōu)化，通訊時(shí)延和從休眠狀態(tài)激活時(shí)延非常短。2.4技術(shù)方案1. 監(jiān)視和記錄傳感器測(cè)試數(shù)據(jù)系統(tǒng)記錄下所有不同傳感器測(cè)試數(shù)據(jù)并保存在系統(tǒng)服務(wù)器數(shù)據(jù)庫(kù)中。服務(wù)器自帶網(wǎng)站服務(wù)?？梢砸跃W(wǎng)頁(yè)形式提供監(jiān)視成果。2. 實(shí)時(shí)數(shù)據(jù)傳達(dá)和報(bào)警單個(gè)傳感器數(shù)據(jù)可用來(lái)設(shè)成觸發(fā)點(diǎn)來(lái)觸發(fā)手機(jī)短信發(fā)送，email發(fā)送。3. 隨插隨用傳感器和結(jié)點(diǎn)每一種在網(wǎng)絡(luò)中結(jié)點(diǎn)可以插入各種不同種類(lèi)傳感器，只要傳感器接口是原則ESB(EnvironmentalSensorBus)，無(wú)需任何改動(dòng)，插入即可使用。4. 網(wǎng)絡(luò)可擴(kuò)張性只要加結(jié)點(diǎn)，網(wǎng)絡(luò)就擴(kuò)張。結(jié)點(diǎn)間結(jié)網(wǎng)是自動(dòng)。結(jié)點(diǎn)間距在2公里內(nèi)，就可以互相通訊。5. 太陽(yáng)能電池應(yīng)用和電源每個(gè)結(jié)點(diǎn)上都可以加上太陽(yáng)能電池，配合內(nèi)置長(zhǎng)壽可充電鎳氫電池。在無(wú)太陽(yáng)能充電極端環(huán)境下，結(jié)點(diǎn)還能保持三個(gè)月以上正常工作周期。在環(huán)境容許下，每個(gè)結(jié)點(diǎn)另可外接電源。6. 系統(tǒng)軟件高可靠性和大規(guī)模高速解決能力海量傳感信號(hào)數(shù)據(jù)通過(guò)網(wǎng)絡(luò)送到數(shù)據(jù)服務(wù)器數(shù)據(jù)庫(kù)。解決系統(tǒng)，存儲(chǔ)分析系統(tǒng)及顯示服務(wù)系統(tǒng)軟件做相應(yīng)工作以滿(mǎn)足顧客需求。3.前端采集設(shè)備3.1前端架構(gòu)設(shè)計(jì)空氣質(zhì)量前端設(shè)備重要是由電源模塊、采集模塊和通信模塊三大模塊構(gòu)成，前端采集設(shè)備內(nèi)部架構(gòu)詳細(xì)詳見(jiàn)圖實(shí)際空氣質(zhì)量監(jiān)測(cè)設(shè)備詳見(jiàn)圖2。圖2前端設(shè)備架構(gòu)3.2重要模塊和功能3.2.1傳感器咱們將按其節(jié)點(diǎn)向所傳播距離，采用美國(guó)最新研制微解決器及采用Zigbee等技術(shù)做無(wú)線(xiàn)傳播，并將最新系統(tǒng)集成技術(shù)，應(yīng)用軟件和網(wǎng)絡(luò)傳播，射頻技術(shù)和底層軟硬件控制技術(shù)相結(jié)和通過(guò)該特性因子傳感器可以監(jiān)測(cè)大氣中環(huán)境監(jiān)測(cè)特性因子：（1）硫化氫氣體傳感器檢測(cè)范疇 0—100ppm最大測(cè)量限 150ppm敏捷度 0.50±0.10uA/ppm使用溫度范疇 ﹣20℃～+50℃使用壓力范疇 原則大氣壓±10﹪響應(yīng)時(shí)間（T90） ≤30S濕度范疇 15﹪—90﹪RH無(wú)凝結(jié)零點(diǎn)漂移（﹣20℃～+40℃） ≤0.2ppm （2）氨氣NH3傳感器原則工作條件10ppm-100ppmNH3加熱功耗不大于900毫瓦使用溫度-20℃-50℃儲(chǔ)存溫度-20℃-70℃RH相對(duì)濕度不大于95%RH原則工作條件溫度：20℃±2℃Vc:5V±0.1V相對(duì)濕度：65%±5%Vh：5V±0.1V（3）有機(jī)溶劑氣體傳感器適當(dāng)于醇類(lèi)、酮類(lèi)、醛類(lèi)、芳族化合物等有機(jī)溶劑探測(cè)。加熱功耗不大于900毫瓦使用溫度-20℃-50℃儲(chǔ)存溫度-20℃-70℃相對(duì)濕度不大于95%RH探測(cè)范疇：1ppm-100ppm苯10ppm-100ppm甲苯5ppm-100ppm甲醇30ppm-300ppm酒精10ppm-300ppm丙酮1ppm-10ppm甲醛注：此傳感器只測(cè)混和氣體濃度。不分別給出各組份含量。 （4）可燃?xì)怏w傳感器用于液化氣，天然氣，煤氣監(jiān)測(cè)。優(yōu)良抗乙醇，煙霧干擾能力。加熱功耗≤900mW使用溫度-10℃-50℃儲(chǔ)存溫度-20℃-70℃相對(duì)濕度不大于95%Rh探測(cè)范疇：300-5000ppm液化氣，天然氣，煤氣。原則工作溫度：20℃±2℃Vc:5.0V±0.1V原則工作相對(duì)濕度：65%±5%Vh：5.0V±0.1V注：此傳感器只測(cè)混和氣體濃度。不分別給出各組份含量。3.2.2前端數(shù)據(jù)轉(zhuǎn)換 通過(guò)傳感器檢測(cè)顆粒，輸出有關(guān)PWM波，低電平波形width是10ms-90ms，運(yùn)用這個(gè)PWM波形來(lái)進(jìn)行獲取有關(guān)參數(shù)，詳見(jiàn)圖8。通過(guò)獲取低電平占空比，從而通過(guò)圖9獲取到相應(yīng)數(shù)值。圖8傳感器采樣圖9傳感器采樣曲線(xiàn)圖 通過(guò)如下計(jì)算，可以得到其中一種通道采樣值。 通道LOWPluse占空比設(shè)定為L(zhǎng)，測(cè)試采樣值為P。則：如果獲取到L<0.08，則： P=0.1*L*100*10(ug/m3);如果獲取到0.08=<L<0.15，則： P=(((L*100–8)/6.5+0.8))*10(ug/m3); 通過(guò)有關(guān)采樣，可以采樣得到傳感器兩個(gè)通道值，一種通道是1um以上粒子值P1，此外一種通道是可以進(jìn)行設(shè)立，這里設(shè)立為可以檢測(cè)2.5以上粒子值P2。 空氣質(zhì)量是指大氣中直徑不大于或等于2.5微米顆粒物，也稱(chēng)為可入肺顆粒物（暫無(wú)原則中文名）。因此在這里要計(jì)算最后采樣值PL，需要進(jìn)行如下計(jì)算： PL=P1-P2; 這里就可以計(jì)算出大氣中直徑不大于或等于2.5微米顆粒物。3.2.3采集某些雖然肉眼看不見(jiàn)空氣中顆粒物，但是顆粒物卻能減少空氣能見(jiàn)度，使藍(lán)天消失，天空變成灰蒙蒙一片，這種天氣就是灰霾天。依照《灰霾試點(diǎn)監(jiān)測(cè)報(bào)告》，在灰霾天，空氣質(zhì)量濃度明顯比平時(shí)高，空氣質(zhì)量濃度越高，能見(jiàn)度就越低。雖然空氣中不同大小顆粒物均能減少能見(jiàn)度，但是相比于粗顆粒物，更為細(xì)小空氣質(zhì)量減少能見(jiàn)度能力更強(qiáng)。能見(jiàn)度減少其本質(zhì)上是可見(jiàn)光傳播受到阻礙。當(dāng)顆粒物直徑和可見(jiàn)光波長(zhǎng)接近時(shí)候，顆粒對(duì)光散射消光能力最強(qiáng)?？梢?jiàn)光波長(zhǎng)在0.4-0.7微米之間，而粒徑在這個(gè)尺寸附近顆粒物正是空氣質(zhì)量重要構(gòu)成某些。理論計(jì)算數(shù)據(jù)也清晰地表白這一點(diǎn)：粗顆粒消光系數(shù)約為0.6平方米/克，而空氣質(zhì)量消光系數(shù)則要大得多，在1.25-10平方米/克之間，其中空氣質(zhì)量重要成分硫酸銨、硝酸銨和有機(jī)顆粒物消光系數(shù)都在3左右，是粗顆粒5倍。因此，空氣質(zhì)量是灰霾天能見(jiàn)度減少重要因素。當(dāng)前國(guó)內(nèi)外環(huán)保部門(mén)監(jiān)測(cè)空氣質(zhì)量普遍采用濾膜稱(chēng)重、β射線(xiàn)吸取和微量振蕩天平等辦法。除了以上三種測(cè)試辦法外，尚有運(yùn)用光散射原理測(cè)定顆粒物濃度辦法。該測(cè)定辦法原理是：空氣中顆粒物濃度越高，對(duì)光散射就越強(qiáng)。測(cè)定光散射后，就可以算出顆粒物濃度。該測(cè)試方式測(cè)定速度快，自動(dòng)化限度高，操作簡(jiǎn)樸。本次設(shè)備使用是紅外光散射法來(lái)進(jìn)行測(cè)試有關(guān)數(shù)據(jù)。通過(guò)有關(guān)探頭來(lái)進(jìn)行采集有關(guān)數(shù)據(jù)。通過(guò)采集通道運(yùn)用紅外光散射來(lái)進(jìn)行獲取顆粒濃度。采集空氣通道有固定加熱源，通過(guò)加熱源來(lái)進(jìn)行空間動(dòng)態(tài)采集。將有關(guān)顆粒濃度轉(zhuǎn)換成有關(guān)數(shù)據(jù)通過(guò)無(wú)線(xiàn)通信進(jìn)行數(shù)據(jù)傳播。3.2.4通信某些前端設(shè)備通信重要是通過(guò)GPRS進(jìn)行數(shù)據(jù)無(wú)線(xiàn)傳播。詳細(xì)數(shù)據(jù)傳播網(wǎng)絡(luò)示意圖詳見(jiàn)圖10。圖10GPRS數(shù)據(jù)傳播數(shù)據(jù)在前端設(shè)備基于TCP/IP合同，通過(guò)GPRS數(shù)據(jù)傳播，通過(guò)移動(dòng)網(wǎng)絡(luò)傳播數(shù)據(jù)，運(yùn)用公網(wǎng)服務(wù)器接受數(shù)據(jù)，然后將數(shù)據(jù)入庫(kù)后，進(jìn)行數(shù)據(jù)解決，最后通過(guò)WEB服務(wù)器將數(shù)據(jù)呈現(xiàn)出來(lái)。注意:每個(gè)前端設(shè)備有一種供應(yīng)商SIM卡進(jìn)行數(shù)據(jù)通信，該SIM卡需要有GPRS業(yè)務(wù)，同步使用地點(diǎn)必要有供應(yīng)商信號(hào)。例如使用中華人民共和國(guó)移動(dòng)SIM卡，該卡需要有GPRS業(yè)務(wù)，同步放置空氣質(zhì)量測(cè)試前端地點(diǎn)需要有中華人民共和國(guó)移動(dòng)信號(hào)才可以正常通信。3.2.5電源某些供電方式有兩種種，一種是鋰電池和市電互補(bǔ)供電方式，另一種是太陽(yáng)能供電供電方式。太陽(yáng)能供電太陽(yáng)能供電方式是基于太陽(yáng)能進(jìn)行可持續(xù)性充電，從而避免了提供充電或者接入市電狀況。太陽(yáng)能供電是運(yùn)用蓄電池和太陽(yáng)能互補(bǔ)方式進(jìn)行供電，通過(guò)太陽(yáng)能控制器來(lái)進(jìn)行互補(bǔ)。在太陽(yáng)能供電不能滿(mǎn)足供電需求時(shí)候，運(yùn)用蓄電池進(jìn)行供電。運(yùn)用20W太陽(yáng)能板，在一定環(huán)境中，可以滿(mǎn)足設(shè)備供電規(guī)定。蓄電池規(guī)格是12V電壓，20Ah規(guī)格，在完全沒(méi)有太陽(yáng)能狀況下，可以支持3*24h無(wú)間斷供電。該供電方式同步提供電壓監(jiān)測(cè)功能。詳細(xì)實(shí)物詳見(jiàn)圖12。圖12太陽(yáng)能供電方式前端設(shè)備實(shí)物圖鋰電池供電鋰電池供電方式是基于市電可以提供狀況下進(jìn)行。如果布置空氣質(zhì)量設(shè)備附近有市電，這樣可以以便進(jìn)行充電?；蛘呤鞘须姾弯囯姵剡M(jìn)行互補(bǔ)方式進(jìn)行供電。同步進(jìn)行對(duì)電池進(jìn)行電壓監(jiān)測(cè)，檢測(cè)供電電壓與否正常，電源供電與否正常。鋰電池是12V電壓，50Ah規(guī)格，可以在沒(méi)有充電或者沒(méi)有市電互補(bǔ)狀況下持續(xù)10*24h供電。詳細(xì)實(shí)物見(jiàn)圖11。圖11鋰電池供電方式前端設(shè)備實(shí)物圖3.3布置安裝方式在都市不同區(qū)域布局并有效使用空氣質(zhì)量監(jiān)測(cè)系統(tǒng)，從而可以比較全面地掌握都市不同區(qū)域，在不同步間段、不同氣候特點(diǎn)（涉及氣溫、風(fēng)向、季節(jié)）下空氣質(zhì)量實(shí)時(shí)監(jiān)測(cè)數(shù)據(jù)?？諝赓|(zhì)量環(huán)境監(jiān)測(cè)系統(tǒng)環(huán)境數(shù)據(jù)采集設(shè)備采用先進(jìn)傳感器、低功耗單片機(jī)技術(shù)和網(wǎng)絡(luò)通訊技術(shù)相結(jié)合，可提供以便數(shù)據(jù)查詢(xún)方式，直接通過(guò)瀏覽器可以直接訪問(wèn)測(cè)試數(shù)據(jù)。當(dāng)前環(huán)境監(jiān)測(cè)站監(jiān)測(cè)設(shè)備普通布置在離地面高度20m-25m之間，而云創(chuàng)存儲(chǔ)空氣質(zhì)量環(huán)境監(jiān)測(cè)系統(tǒng)環(huán)境監(jiān)測(cè)設(shè)備依照實(shí)際狀況來(lái)進(jìn)行布置。設(shè)備小巧，布置方式靈活，可以布置在電線(xiàn)桿等公共設(shè)施上。詳細(xì)見(jiàn)圖4。圖4布置在電線(xiàn)桿上前端設(shè)備4.后端云監(jiān)測(cè)平臺(tái)4.1項(xiàng)目需求針對(duì)本次環(huán)保局重要是監(jiān)測(cè)大氣中環(huán)境數(shù)據(jù)，要做到實(shí)時(shí)性強(qiáng)，數(shù)據(jù)量大，尚有總能做到海量歷史數(shù)據(jù)挖掘可擴(kuò)展性，監(jiān)測(cè)數(shù)據(jù)重要存儲(chǔ)構(gòu)造化數(shù)據(jù)。建設(shè)適合存儲(chǔ)容量數(shù)據(jù)平臺(tái)，吞吐量需求為滿(mǎn)足當(dāng)前各種監(jiān)測(cè)終端實(shí)時(shí)上傳數(shù)據(jù)需要和應(yīng)用整體吞吐帶寬和高并發(fā)需要，保證數(shù)據(jù)訪問(wèn)流暢，系統(tǒng)需提供多顧客或應(yīng)用高并發(fā)訪問(wèn)、高吞吐帶寬設(shè)計(jì)，系統(tǒng)可以有效運(yùn)用各機(jī)器物理資源，性能可通過(guò)規(guī)模增長(zhǎng)實(shí)現(xiàn)平滑增長(zhǎng)。擴(kuò)展性需求將來(lái)依照空氣質(zhì)量監(jiān)測(cè)平臺(tái)業(yè)務(wù)應(yīng)用變化和發(fā)展，需要迅速實(shí)行系統(tǒng)資源升級(jí)，可以在業(yè)務(wù)服務(wù)不間斷狀態(tài)下平滑擴(kuò)展，不會(huì)導(dǎo)致架構(gòu)發(fā)生主線(xiàn)性變化，為不斷產(chǎn)生和變化業(yè)務(wù)需求提供持續(xù)支持，支持業(yè)務(wù)系統(tǒng)迅速整合和布置對(duì)核心系統(tǒng)基本架構(gòu)特別規(guī)定。低成本需求規(guī)定系統(tǒng)可以以低硬件成本、低維護(hù)成本實(shí)現(xiàn)高可靠高性能應(yīng)用規(guī)定，充分提高資源運(yùn)用率，簡(jiǎn)化管理，并能靈活、可持續(xù)擴(kuò)展?？删S護(hù)性需求規(guī)定系統(tǒng)具備自適應(yīng)管理能力，安裝、維護(hù)、升級(jí)簡(jiǎn)易以便，提供統(tǒng)一易用WEB配備管理監(jiān)控平臺(tái)，實(shí)現(xiàn)智能化管理。接口需求規(guī)定可以提供通用原則sql和編程接口，以便顧客及應(yīng)用系統(tǒng)訪問(wèn)，減少與應(yīng)用集成或開(kāi)發(fā)工作量，實(shí)現(xiàn)系統(tǒng)迅速布置與集成。4.2系統(tǒng)總體設(shè)計(jì)系統(tǒng)平臺(tái)總體架構(gòu)圖如下圖所示通過(guò)前端采集設(shè)備采集空氣特性參數(shù)可以將4.3系統(tǒng)優(yōu)勢(shì)和特點(diǎn)優(yōu)秀性能云存儲(chǔ)采用控制流與數(shù)據(jù)流分離技術(shù)，數(shù)據(jù)存儲(chǔ)或讀取事實(shí)上是與各個(gè)存儲(chǔ)節(jié)點(diǎn)上并行讀寫(xiě)，這樣隨著存儲(chǔ)節(jié)點(diǎn)數(shù)目增多，整個(gè)系統(tǒng)吞吐量和IO性能將呈線(xiàn)性增長(zhǎng)。同步，云存儲(chǔ)采用負(fù)載均衡技術(shù)，自動(dòng)均衡各服務(wù)器負(fù)載，使得各存儲(chǔ)節(jié)點(diǎn)性能調(diào)節(jié)到最高，實(shí)現(xiàn)資源優(yōu)化配備。無(wú)限容量可以出來(lái)海量環(huán)境監(jiān)測(cè)數(shù)據(jù)，可支撐容量接近無(wú)限，經(jīng)推算，理論容量為1024×1024×1024PB(1G個(gè)PB容量)。在線(xiàn)伸縮云存儲(chǔ)資源管理系統(tǒng)擴(kuò)容非常以便，支持不斷止服務(wù)狀況下，動(dòng)態(tài)加入新存儲(chǔ)節(jié)點(diǎn)，無(wú)需任何操作，即實(shí)現(xiàn)擴(kuò)容；同步，無(wú)需人為干預(yù)，也可以摘下任意節(jié)點(diǎn)，系統(tǒng)自動(dòng)縮小規(guī)模而不丟失數(shù)據(jù)，存儲(chǔ)在此節(jié)點(diǎn)上數(shù)據(jù)將會(huì)重新備份到其她節(jié)點(diǎn)上。通用易用云存儲(chǔ)系統(tǒng)提供專(zhuān)用API接口，供開(kāi)發(fā)人員調(diào)用。智能管理提供基于WEB管理控制平臺(tái)，所有管理工作均由數(shù)據(jù)立方一體機(jī)管理模塊自動(dòng)完畢，使用人員無(wú)需任何專(zhuān)業(yè)知識(shí)便可以輕松管理整個(gè)系統(tǒng)。通過(guò)管理平臺(tái)，可以對(duì)數(shù)據(jù)立方中所有節(jié)點(diǎn)實(shí)行實(shí)時(shí)監(jiān)控，顧客通過(guò)監(jiān)控界面可以清晰地理解到每一種節(jié)點(diǎn)負(fù)載、存儲(chǔ)和運(yùn)營(yíng)狀況。4.4系統(tǒng)構(gòu)成架構(gòu)在本次云建設(shè)中，分布式文獻(xiàn)系統(tǒng)屬于基本平臺(tái)支撐層，以用于數(shù)據(jù)集中存儲(chǔ)和共享，實(shí)現(xiàn)對(duì)數(shù)據(jù)統(tǒng)一管理和高效應(yīng)用；分布式數(shù)據(jù)立方屬于分布式數(shù)據(jù)庫(kù)層，用于構(gòu)造化和非構(gòu)造化數(shù)據(jù)高性能訪問(wèn)；分布式計(jì)算和Hive則基于云存儲(chǔ)進(jìn)行大規(guī)模高性能并發(fā)計(jì)算和數(shù)據(jù)挖掘。下面詳細(xì)闡明各系統(tǒng)基本構(gòu)成和重要功能。4.4.1存儲(chǔ)層基本構(gòu)成分布式文獻(xiàn)系統(tǒng)分布式文獻(xiàn)系統(tǒng)被設(shè)計(jì)為將海量文獻(xiàn)存儲(chǔ)在一種大集群多臺(tái)計(jì)算機(jī)上。分布式文獻(xiàn)系統(tǒng)將每一種文獻(xiàn)以分塊序列形式進(jìn)行存儲(chǔ)，一種文獻(xiàn)所有分塊除去最后一種分塊外都是等大小。為了實(shí)現(xiàn)容錯(cuò)將文獻(xiàn)分塊進(jìn)行自動(dòng)復(fù)制。文獻(xiàn)分塊塊大小和復(fù)制比例都是可以按照單個(gè)文獻(xiàn)進(jìn)行配備。分布式文獻(xiàn)系統(tǒng)中所有文獻(xiàn)都是“只寫(xiě)一次”并且嚴(yán)格限定在任何時(shí)候只有一種寫(xiě)文獻(xiàn)操作者。 分布式文獻(xiàn)系統(tǒng)是云計(jì)算框架分布式并行文獻(xiàn)系統(tǒng)，是分布式計(jì)算存儲(chǔ)基石。負(fù)責(zé)數(shù)據(jù)分布式存儲(chǔ)及數(shù)據(jù)管理，并能提供高吞吐量數(shù)據(jù)訪問(wèn)。分布式文獻(xiàn)系統(tǒng)基本特性如下：(l)對(duì)于整個(gè)集群有單一命名空間。(2)文獻(xiàn)會(huì)被分割成各種文獻(xiàn)塊，每個(gè)文獻(xiàn)塊被分派存儲(chǔ)到數(shù)據(jù)節(jié)點(diǎn)上，并且依照配備會(huì)有復(fù)制文獻(xiàn)塊來(lái)保證數(shù)據(jù)安全性。(3)數(shù)據(jù)一致性。適合一次寫(xiě)入多次讀取模型，客戶(hù)端在成功創(chuàng)立文獻(xiàn)之后，才干看到文獻(xiàn)存在。(4)云計(jì)算，涉及分布式文獻(xiàn)系統(tǒng)，非常適合在便宜機(jī)器上分布式存儲(chǔ)和分布式解決。它是容錯(cuò)、可伸縮、非常易于擴(kuò)展。并且，以簡(jiǎn)樸性和合用性著稱(chēng)分布式計(jì)算是云計(jì)算不可缺少重要構(gòu)成某些。(5)分布式文獻(xiàn)系統(tǒng)默認(rèn)配備適合于大多數(shù)安裝應(yīng)用。普通狀況下，只有在一種非常大規(guī)模集群上才需要修改默認(rèn)配備。(6)支持shell命令行風(fēng)格分布式文獻(xiàn)系統(tǒng)目錄交互。(7)分布式文獻(xiàn)系統(tǒng)是用java編寫(xiě)，可廣泛運(yùn)營(yíng)在各種軟硬件平臺(tái)上。(8)分布式文獻(xiàn)系統(tǒng)經(jīng)常性地實(shí)現(xiàn)新特性和改進(jìn)。(9)Namenode和DataNode都內(nèi)建了Web服務(wù)器，可以以便地查看集群狀態(tài)。分布式文獻(xiàn)系統(tǒng)體系框架是Master/Slave構(gòu)造，一種典型分布式文獻(xiàn)系統(tǒng)普通由單個(gè)Namenode和各種DataNode構(gòu)成。Namenode是一種中心服務(wù)器，負(fù)責(zé)文獻(xiàn)系統(tǒng)名字空間操作，例如打開(kāi)、關(guān)閉、重命名文獻(xiàn)或目錄，它負(fù)責(zé)維護(hù)文獻(xiàn)途徑到數(shù)據(jù)塊映射，數(shù)據(jù)塊到DataNode映射，以及監(jiān)控DataNode心跳和維護(hù)數(shù)據(jù)塊副本個(gè)數(shù)。集群中DataNode普通是一種節(jié)點(diǎn)一種，負(fù)責(zé)管理它所在節(jié)點(diǎn)上存儲(chǔ)。分布式文獻(xiàn)系統(tǒng)暴露了文獻(xiàn)系統(tǒng)名字空間，顧客可以以文獻(xiàn)形式在上面存儲(chǔ)數(shù)據(jù)。從內(nèi)部看，一種文獻(xiàn)其實(shí)被提成一種或各種數(shù)據(jù)塊，這些塊存儲(chǔ)在一組DataNode上。DataNode負(fù)責(zé)解決文獻(xiàn)系統(tǒng)客戶(hù)端讀寫(xiě)祈求。在Namenode統(tǒng)一調(diào)度下進(jìn)行數(shù)據(jù)塊創(chuàng)立、刪除和復(fù)制。所有對(duì)目錄樹(shù)更新和文獻(xiàn)名和數(shù)據(jù)塊關(guān)系修改，都必要可以持久化，文獻(xiàn)在分布式文獻(xiàn)系統(tǒng)中存儲(chǔ)圖如圖： 分布式文獻(xiàn)系統(tǒng)構(gòu)造分布式文獻(xiàn)系統(tǒng)涉及到Namenode、DataNode和客戶(hù)端們之間交互。本質(zhì)上，客戶(hù)端與Namenode通訊是通過(guò)獲取或者修改文獻(xiàn)元數(shù)據(jù)，與DataNode進(jìn)行實(shí)際I/O操作。如圖13所示，在分布式文獻(xiàn)系統(tǒng)中有三個(gè)重要角色：Namenode、DataNode和Client，其中Client就是需要獲取分布式文獻(xiàn)系統(tǒng)文獻(xiàn)應(yīng)用程序。這里通過(guò)三個(gè)操作來(lái)闡明她們之間交互關(guān)系：(l)文獻(xiàn)寫(xiě)入。一方面Client向Namenode發(fā)起文獻(xiàn)寫(xiě)入祈求，Namenode依照文獻(xiàn)大小和文獻(xiàn)塊配備狀況，返回給Client它所管理某些DataNode信息。Client將文獻(xiàn)劃分為各種Block，依照DataNode地址信息，按順序?qū)懭氲矫恳环NDataNode塊中。(2)文獻(xiàn)讀取。Client向Namenode發(fā)起文獻(xiàn)讀取祈求，Namenode返回文獻(xiàn)存儲(chǔ)DataNode信息。Client依照返回信息讀取DataNode上文獻(xiàn)信息。(3)文獻(xiàn)Block復(fù)制。Namenode發(fā)現(xiàn)某些文獻(xiàn)Block不符合最小復(fù)制數(shù)或者某些DataNode失效，告知DataNode互相復(fù)制Block。DataNode收到告知后開(kāi)始直接互相復(fù)制。

分布式文獻(xiàn)系統(tǒng)Namenode、DataNode和客戶(hù)端們之間交互4.4.2Jobkeeper系統(tǒng)基本構(gòu)成Jobkeeper系統(tǒng)架構(gòu)如下圖所示：上圖中對(duì)Jobkeeper進(jìn)行了分層，對(duì)每層進(jìn)行詳細(xì)闡述虛擬化資源層：將機(jī)器進(jìn)行虛擬化，形成更大范疇服務(wù)集群。存儲(chǔ)層：存儲(chǔ)數(shù)據(jù)解決成果集或其她中間成果集單元。數(shù)據(jù)解決層：獨(dú)立數(shù)據(jù)解決程序，是對(duì)不同需求數(shù)據(jù)統(tǒng)一解決方案，由JobKeeper調(diào)度平臺(tái)進(jìn)行統(tǒng)一配備管理。業(yè)務(wù)層：對(duì)于應(yīng)用層有關(guān)功能業(yè)務(wù)化，數(shù)字化解決，用于將應(yīng)用層需求任務(wù)進(jìn)行規(guī)則化劃分，形成統(tǒng)一解決化模式。應(yīng)用層：一組用于管理和成果反饋顯示組件。是整個(gè)系統(tǒng)面向顧客和開(kāi)發(fā)人員基本承載。JobKeeper任務(wù)分發(fā)流程如下圖所示：JobKeeper任務(wù)分發(fā)流程圖當(dāng)顧客在應(yīng)用層下發(fā)任務(wù)給管理節(jié)點(diǎn)，管理節(jié)點(diǎn)調(diào)度機(jī)器采集機(jī)器節(jié)點(diǎn)信息，依照詳細(xì)算法選用最優(yōu)節(jié)點(diǎn)并分發(fā)任務(wù)，接下來(lái)詳細(xì)解決節(jié)點(diǎn)接受到任務(wù)并解決同步將成果返回給管理節(jié)點(diǎn)，管理節(jié)點(diǎn)整頓匯總解決成果，而后返回給應(yīng)用層。服務(wù)器節(jié)點(diǎn)組：負(fù)責(zé)對(duì)解決節(jié)點(diǎn)系統(tǒng)信息以及任務(wù)解決信息進(jìn)行實(shí)時(shí)跟蹤和保存，相應(yīng)信息鏡像存儲(chǔ)在基于cStor或者NFS服務(wù)存儲(chǔ)系統(tǒng)上。解決節(jié)點(diǎn)組：通過(guò)RPC遠(yuǎn)程調(diào)用獲取各自節(jié)點(diǎn)任務(wù)解決目的，并實(shí)時(shí)和解決節(jié)點(diǎn)上任務(wù)解決目的進(jìn)行對(duì)比，控制程序執(zhí)行和結(jié)束。解決節(jié)點(diǎn)組會(huì)在一種設(shè)定心跳間隔內(nèi)積極和管理節(jié)點(diǎn)組聯(lián)系一次，報(bào)告節(jié)點(diǎn)存活狀態(tài)。4.4.3分布式數(shù)據(jù)立方系統(tǒng)基本構(gòu)成分布式數(shù)據(jù)立方，是一種高可靠性、高性能、面向列、可伸縮分布式存儲(chǔ)系統(tǒng)，運(yùn)用分布式數(shù)據(jù)立方技術(shù)可在便宜PCServer上搭建起大規(guī)模構(gòu)造化存儲(chǔ)集群。其目是解決龐大表，可以用普通計(jì)算機(jī)解決10億行數(shù)據(jù)，并且有數(shù)百萬(wàn)列元素構(gòu)成數(shù)據(jù)表這張表索引是行核心字。分布式數(shù)據(jù)立方可以直接使用本地文獻(xiàn)系統(tǒng)和云計(jì)算作為數(shù)據(jù)存儲(chǔ)方式，但是為了提高數(shù)據(jù)可靠性和系統(tǒng)健壯性，發(fā)揮分布式數(shù)據(jù)立方解決大數(shù)據(jù)量等功能，需要使用云計(jì)算作為文獻(xiàn)系統(tǒng)。1、數(shù)據(jù)模式分布式數(shù)據(jù)立方類(lèi)似Bigtable分布式數(shù)據(jù)庫(kù)，是一種稀疏，長(zhǎng)期存儲(chǔ)，多維，排序映射表.這張表索引是行核心字，列核心字和時(shí)間戳。每個(gè)值是一種不解釋字符數(shù)組，數(shù)據(jù)都是字符串，沒(méi)類(lèi)型。顧客在表格中存儲(chǔ)數(shù)據(jù)，每一行都是一種可排序主鍵和任意多列。由于是稀疏存儲(chǔ)，因此同一張表里面每一行數(shù)據(jù)都可以有截然不同列。列名字格式是"<family>:<lable>",都是由字符串構(gòu)成，每一張表有一種family集合，這個(gè)集合是固定不變，相稱(chēng)于表構(gòu)造，只能通過(guò)變化表構(gòu)造來(lái)變化。但是lable值相對(duì)于每一行來(lái)說(shuō)都是可以變化。分布式數(shù)據(jù)立方把同一種family里面數(shù)據(jù)存儲(chǔ)在同一種目錄底下，而分布式數(shù)據(jù)立方寫(xiě)操作時(shí)鎖行，每一種都是一種原子元素都可以加鎖。所有數(shù)據(jù)庫(kù)更新都是一種時(shí)間戳標(biāo)記，每個(gè)更新都是一種新版本，而分布式數(shù)據(jù)立方會(huì)保存一定數(shù)量版本，這個(gè)值是可以設(shè)定?？蛻?hù)端可以獲取距離某個(gè)時(shí)間近來(lái)版本，或者一次獲取所有版本。2、概念視圖分布式數(shù)據(jù)立方以表形式存儲(chǔ)數(shù)據(jù)。表有行和列構(gòu)成。列劃分為若干個(gè)列族(rowfamily)RowKeycolumn-family1column-family2column-family3column1column2column1column2column3column1key1t1:abct4:dfadst2:gdxdft3:hellot2:worldkey2t3:abct4:dfadst2:dfdsfat1:gdxdft3:hellot3:dfdfkey3t2:dfadfasdt2:dfxxdfasdt1:dfdasddsft1:RowKey與nosql數(shù)據(jù)庫(kù)們同樣,rowkey是用來(lái)檢索記錄主鍵。訪問(wèn)分布式數(shù)據(jù)立方table中行，只有三種方式：1通過(guò)單個(gè)rowkey訪問(wèn)2通過(guò)rowkeyrange3全表掃描Rowkey行鍵(Rowkey)可以是任意字符串(最大長(zhǎng)度是64KB，實(shí)際應(yīng)用中長(zhǎng)度普通為10-100bytes)，在分布式數(shù)據(jù)立方內(nèi)部，rowkey保存為字節(jié)數(shù)組。列族分布式數(shù)據(jù)立方表中每個(gè)列，都?xì)w屬與某個(gè)列族。列族是表chema一某些(而列不是)，必要在使用表之前定義。列名都以列族作為前綴。例如courses:history，courses:math都屬于courses這個(gè)列族。時(shí)間戳分布式數(shù)據(jù)立方中通過(guò)row和columns擬定為一種存貯單元稱(chēng)為cell。每個(gè)cell都保存著同一份數(shù)據(jù)各種版本。版本通過(guò)時(shí)間戳來(lái)索引。時(shí)間戳類(lèi)型是64位整型。時(shí)間戳可以由分布式數(shù)據(jù)立方(在數(shù)據(jù)寫(xiě)入時(shí)自動(dòng))賦值，此時(shí)時(shí)間戳是精準(zhǔn)到毫秒當(dāng)前系統(tǒng)時(shí)間。時(shí)間戳也可以由客戶(hù)顯式賦值。如果應(yīng)用程序要避免數(shù)據(jù)版本沖突，就必要自己生成具備唯一性時(shí)間戳。每個(gè)cell中，不同版本數(shù)據(jù)按照時(shí)間倒序排序，即最新數(shù)據(jù)排在最前面。Cell由{rowkey，column(=<family>+<label>)，version}唯一擬定單元。cell中數(shù)據(jù)是沒(méi)有類(lèi)型，所有是字節(jié)碼形式存貯。3、物理存儲(chǔ)1Table中所有行都按照rowkey字典序排列。2Table在行方向上分割為各種Hregion。3region按大小分割，每個(gè)表一開(kāi)始只有一種region，隨著數(shù)據(jù)不斷插入表，region不斷增大，當(dāng)增大到一種閥值時(shí)候，Hregion就會(huì)等分會(huì)兩個(gè)新Hregion。當(dāng)table中行不斷增多，就會(huì)有越來(lái)越多Hregion。4Hregion是分布式數(shù)據(jù)立方中分布式存儲(chǔ)和負(fù)載均衡最小單元。最小單元就表達(dá)不同Hregion可以分布在不同HRegionserver上。但一種Hregion是不會(huì)拆分到各種server上。5HRegion雖然是分布式存儲(chǔ)最小單元，但并不是存儲(chǔ)最小單元。事實(shí)上，HRegion由一種或者各種Store構(gòu)成，每個(gè)store保存一種columnsfamily。每個(gè)Strore又由一種memStore和0至各種StoreFile構(gòu)成。如圖：StoreFile以HFile格式保存在分布式文獻(xiàn)系統(tǒng)上。HFile格式為：Trailer某些格式:HFile分為六個(gè)某些：DataBlock段–保存表中數(shù)據(jù)，這某些可以被壓縮MetaBlock段(可選)–保存顧客自定義kv對(duì)，可以被壓縮。FileInfo段–Hfile元信息，不被壓縮，顧客也可以在這一某些添加自己元信息。DataBlockIndex段–DataBlock索引。每條索引key是被索引block第一條記錄key。MetaBlockIndex段(可選)–MetaBlock索引。Trailer–這一段是定長(zhǎng)。保存了每一段偏移量，讀取一種HFile時(shí)，會(huì)一方面讀取Trailer，Trailer保存了每個(gè)段起始位置(段MagicNumber用來(lái)做安全check)，然后，DataBlockIndex會(huì)被讀取到內(nèi)存中，這樣，當(dāng)檢索某個(gè)key時(shí)，不需要掃描整個(gè)HFile，而只需從內(nèi)存中找到key所在block，通過(guò)一次磁盤(pán)io將整個(gè)block讀取到內(nèi)存中，再找到需要key。DataBlockIndex采用LRU機(jī)制裁減。HFileDataBlock，MetaBlock普通采用壓縮方式存儲(chǔ)，壓縮之后可以大大減少網(wǎng)絡(luò)IO和磁盤(pán)IO，隨之而來(lái)開(kāi)銷(xiāo)固然是需要耗費(fèi)cpu進(jìn)行壓縮和解壓縮。目的Hfile壓縮支持兩種方式：Gzip，Lzo。HLog(WALlog)WAL意為Writeaheadlog()，類(lèi)似mysql中binlog,用來(lái)做劫難恢復(fù)只用，Hlog記錄數(shù)據(jù)所有變更,一旦數(shù)據(jù)修改，就可以從log中進(jìn)行恢復(fù)。每個(gè)RegionServer維護(hù)一種Hlog,而不是每個(gè)Region一種。這樣不同region(來(lái)自不同table)日記會(huì)混在一起，這樣做目是不斷追加單個(gè)文獻(xiàn)相對(duì)于同步寫(xiě)各種文獻(xiàn)而言，可以減少磁盤(pán)尋址次數(shù)，因而可以提高對(duì)table寫(xiě)性能。帶來(lái)麻煩是，如果一臺(tái)regionserver下線(xiàn)，為了恢復(fù)其上region，需要將regionserver上log進(jìn)行拆分，然后分發(fā)到其他regionserver上進(jìn)行恢復(fù)。HLog文獻(xiàn)就是一種普通云計(jì)算SequenceFile，SequenceFileKey是HLogKey對(duì)象，HLogKey中記錄了寫(xiě)入數(shù)據(jù)歸屬信息，除了table和region名字外，同步還涉及sequencenumber和timestamp，timestamp是”寫(xiě)入時(shí)間”，sequencenumber起始值為0，或者是近來(lái)一次存入文獻(xiàn)系統(tǒng)中sequencenumber。HLogSequeceFileValue是分布式數(shù)據(jù)立方KeyValue對(duì)象，即相應(yīng)HFile中KeyValue，可參見(jiàn)上文描述。Client1包括訪問(wèn)分布式數(shù)據(jù)立方接口，client維護(hù)著某些cache來(lái)加快對(duì)分布式數(shù)據(jù)立方訪問(wèn)，例如regione位置信息。Zookeeper1保證任何時(shí)候，集群中只有一種master2存貯所有Region尋址入口3實(shí)時(shí)監(jiān)控RegionServer狀態(tài)，將Regionserver上線(xiàn)和下線(xiàn)信息實(shí)時(shí)告知給Master4存儲(chǔ)分布式數(shù)據(jù)立方schema,涉及有哪些table，每個(gè)table有哪些columnfamilyMaster1為Regionserver分派region2負(fù)責(zé)regionserver負(fù)載均衡3發(fā)現(xiàn)失效regionserver并重新分派其上region4GFS上垃圾文獻(xiàn)回收5解決schema更新祈求RegionServerRegionserver維護(hù)Master分派給它region，解決對(duì)這些regionIO祈求Regionserver負(fù)責(zé)切分在運(yùn)營(yíng)過(guò)程中變得過(guò)大region4.5核心技術(shù)4.5.1空氣檢測(cè)設(shè)備數(shù)據(jù)高速入庫(kù)通過(guò)前端各種高性能空氣因子采集設(shè)備采集數(shù)據(jù)通過(guò)空氣質(zhì)量監(jiān)測(cè)平臺(tái)將監(jiān)測(cè)數(shù)據(jù)入庫(kù)，查詢(xún)構(gòu)架如圖：圖表SEQ圖表\*ARABIC6數(shù)據(jù)接入，查詢(xún)架構(gòu)4.5.2負(fù)載均衡解決機(jī)單點(diǎn)失效容錯(cuò)解決負(fù)載均衡機(jī)分布如圖：圖表SEQ圖表\*ARABIC21負(fù)載均衡機(jī)分布圖全量原始數(shù)據(jù)接入互換機(jī)，將數(shù)據(jù)發(fā)向指IP負(fù)載均衡機(jī)，負(fù)載均衡機(jī)向負(fù)載均衡Master節(jié)點(diǎn)祈求任務(wù)解決機(jī)，Master返回存任務(wù)解決機(jī)IP端口信息，負(fù)載均衡機(jī)依照任務(wù)解決機(jī)IP端口信息將數(shù)據(jù)發(fā)向任務(wù)解決機(jī)。單點(diǎn)容錯(cuò)如圖：當(dāng)某一臺(tái)負(fù)載均衡機(jī)宕機(jī)后：圖表SEQ圖表\*ARABIC22負(fù)載均衡機(jī)宕機(jī)預(yù)案第一步Master節(jié)點(diǎn)能過(guò)鏈接心跳得知宕機(jī)負(fù)載均衡機(jī)。第二步Master節(jié)點(diǎn)從所有均衡機(jī)中選出負(fù)載小負(fù)載均衡機(jī)，啟動(dòng)虛擬IP及有關(guān)進(jìn)程第三步啟動(dòng)虛擬IP接受原始數(shù)據(jù)，進(jìn)行負(fù)載均衡當(dāng)Master節(jié)點(diǎn)宕機(jī)后：圖表SEQ圖表\*ARABIC23Master節(jié)點(diǎn)宕機(jī)預(yù)案第一步Master節(jié)點(diǎn)宕機(jī)，負(fù)載均衡節(jié)點(diǎn)及存儲(chǔ)計(jì)算節(jié)點(diǎn)能過(guò)鏈接心跳得知Master宕機(jī)第二步所有負(fù)載均衡節(jié)點(diǎn)，重選舉出Master節(jié)點(diǎn)，并告知存儲(chǔ)計(jì)算節(jié)點(diǎn)新Master節(jié)點(diǎn) 所有存儲(chǔ)計(jì)算節(jié)點(diǎn)，依照負(fù)載均衡IP列表，祈求新Master節(jié)點(diǎn)，后向新Master節(jié)點(diǎn)上報(bào)負(fù)載狀態(tài)。第三步新Master節(jié)點(diǎn)接管所有工作，對(duì)宕機(jī)Master節(jié)點(diǎn)容錯(cuò)。4.5.3查詢(xún)解決機(jī)單點(diǎn)失效容錯(cuò)解決圖表SEQ圖表\*ARABIC24查詢(xún)解決單點(diǎn)失效容錯(cuò)解決第一步：任務(wù)解決機(jī)宕機(jī)，負(fù)載均衡機(jī)得知任務(wù)解決機(jī)宕機(jī)，緩存數(shù)據(jù).同步Master得知任務(wù)解決宕機(jī)后，將任務(wù)解決機(jī)信息刪除待分派列表。第二步：負(fù)載均衡機(jī)向Master祈求任務(wù)解決機(jī)，Master重新分派任務(wù)解決機(jī)給負(fù)載均衡機(jī)。第三步：負(fù)載均衡機(jī)將原始數(shù)據(jù)發(fā)向新任務(wù)解決機(jī)，進(jìn)行查詢(xún)4.5.4計(jì)算與存儲(chǔ)集群負(fù)載均衡解決 負(fù)載均衡，就是要讓人們各盡其力齊心干活，發(fā)揮各自獨(dú)特優(yōu)勢(shì)，不能忙得忙死閑得閑死，影響戰(zhàn)斗力。并且，負(fù)載均衡也是一種復(fù)雜問(wèn)題，什么是均衡，是一種很模糊概念。例如，在分布式文獻(xiàn)系統(tǒng)中，總共三百個(gè)數(shù)據(jù)塊，平均分派到十個(gè)數(shù)據(jù)服務(wù)器上，就算均衡了么？其實(shí)不一定，由于每一種數(shù)據(jù)塊需要若干個(gè)備份，各個(gè)備份分布應(yīng)當(dāng)充分考慮到機(jī)架位置，同一種機(jī)架服務(wù)器間通信速度更快，而分布在不同機(jī)架則更具備安全性，不會(huì)在一棵樹(shù)上吊死。在這里說(shuō)負(fù)載均衡，是寬泛意義上均衡過(guò)程，重要涵蓋兩個(gè)階段事務(wù)，一種是在任務(wù)初始分派時(shí)候盡量合理分派，另一種是在事后時(shí)刻監(jiān)督及時(shí)調(diào)節(jié)。 分布式文獻(xiàn)系統(tǒng)中，ReplicationTargetChooser類(lèi)，是負(fù)責(zé)實(shí)現(xiàn)為新分派數(shù)據(jù)塊尋找婆家?；旧蟻?lái)說(shuō)，數(shù)據(jù)塊分派工作和備份數(shù)量、申請(qǐng)客戶(hù)端地址（也就是寫(xiě)入者）、已注冊(cè)數(shù)據(jù)服務(wù)器位置，密切相關(guān)。其算法基本思路是只考量靜態(tài)位置信息，優(yōu)先照顧寫(xiě)入者速度，讓多份備份分派到不同機(jī)架去。詳細(xì)算法，自行參見(jiàn)源碼。此外，分布式文獻(xiàn)系統(tǒng)Balancer類(lèi)，是為了實(shí)現(xiàn)動(dòng)態(tài)負(fù)載調(diào)節(jié)而存在。Balancer類(lèi)派生于Tool類(lèi)，這闡明，它是以一種獨(dú)立進(jìn)程存在，可以獨(dú)立運(yùn)營(yíng)和配備。它運(yùn)營(yíng)有NamenodeProtocol和ClientProtocol兩個(gè)合同，與主控服務(wù)器進(jìn)行通信，獲取各個(gè)數(shù)據(jù)服務(wù)器負(fù)載狀況，從而進(jìn)行調(diào)節(jié)。重要調(diào)節(jié)其實(shí)就是一種操作，將一種數(shù)據(jù)塊從一種服務(wù)器搬遷到另一種服務(wù)器上。Balancer會(huì)向有關(guān)目的數(shù)據(jù)服務(wù)器發(fā)出一種 DataTransferProtocol.OP_REPLACE_BLOCK消息，接受到這個(gè)消息數(shù)據(jù)服務(wù)器，會(huì)將數(shù)據(jù)塊寫(xiě)入本地，成功后，告知主控服務(wù)器，刪除早先那個(gè)數(shù)據(jù)服務(wù)器上同一塊數(shù)據(jù)塊。 分布式計(jì)算負(fù)載平衡用是公平調(diào)度算法，公平調(diào)度是一種多顧客賦予作業(yè)（job）資源方略，它目是讓所有作業(yè)隨著時(shí)間推移，都能獲取與權(quán)值相應(yīng)共享資源。當(dāng)單獨(dú)一種作業(yè)在運(yùn)營(yíng)時(shí)，它將使用整個(gè)集群。當(dāng)有其他作業(yè)被提交上來(lái)時(shí)，系統(tǒng)會(huì)將任務(wù)（task）空閑計(jì)算槽（slot）賦給這些新作業(yè)，以使得每一種作業(yè)都大概獲取到與權(quán)值相應(yīng)計(jì)算時(shí)間。這個(gè)特性讓短作業(yè)在合理時(shí)間內(nèi)完畢同步又保證了長(zhǎng)作業(yè)服務(wù)質(zhì)量。公平調(diào)度器按資源池（pool）來(lái)組織作業(yè)，默認(rèn)狀況下，每一種顧客擁有一種獨(dú)立資源池。在節(jié)點(diǎn)TaskTracker上設(shè)立有同步運(yùn)營(yíng)Map任務(wù)和Reduce任務(wù)個(gè)數(shù)上限，若未達(dá)到上限，則就產(chǎn)生了空閑計(jì)算槽，涉及Map和Reduce空閑計(jì)算槽。當(dāng)集群上浮現(xiàn)空閑計(jì)算槽時(shí)，調(diào)度按兩步進(jìn)行，一方面空閑計(jì)算槽在作業(yè)池之間分派，另一方面在作業(yè)池內(nèi)作業(yè)間分派。最小份額和公平份額最小份額保證作業(yè)池總能獲取到足夠資源，由顧客設(shè)定。作業(yè)池公平份額計(jì)算是依照作業(yè)權(quán)值將集群資源總量劃分給各個(gè)運(yùn)營(yíng)作業(yè)池。在缺省狀況下，作業(yè)池權(quán)值設(shè)定是基于優(yōu)先級(jí)，即優(yōu)先級(jí)每升高一級(jí)，那么相應(yīng)權(quán)值就增長(zhǎng)一倍即所分派計(jì)算槽是次一級(jí)兩倍。例如：平臺(tái)上有甲乙兩個(gè)作業(yè)池，甲優(yōu)先級(jí)為high，乙低一級(jí)為normal，則甲被分派計(jì)算槽總數(shù)，則乙被分派計(jì)算槽總數(shù)。普通狀況下一種作業(yè)池最小份額不大于公平份額。池間公平分派算法描述如下： 1)若存在沒(méi)有達(dá)到最小份額作業(yè)池，則設(shè)c為池內(nèi)已分派到計(jì)算槽，m為作業(yè)池最小份額，值為最小作業(yè)池將被優(yōu)先分派計(jì)算槽，2)若每個(gè)池都已得到最小份額，設(shè)w為計(jì)算槽權(quán)重，則值為最小作業(yè)池將被優(yōu)先分派計(jì)算槽。3)公平調(diào)度算法中為每個(gè)作業(yè)池維護(hù)著兩個(gè)變量，最小份額時(shí)限T和公平份額時(shí)限T，當(dāng)作業(yè)池在T時(shí)間內(nèi)沒(méi)達(dá)到最小份額或T時(shí)間內(nèi)沒(méi)達(dá)