空氣質(zhì)量檢測平臺云計算平臺解決方案培訓(xùn)資料

1、 可修改 歡送下載 精品 Word 可修改 歡送下載 精品 Word 可修改 歡送下載 精品 Word空氣質(zhì)量(kn q zh lin)監(jiān)測云計算平臺(pngti)解決方案(fng n)修改(xigi)記錄日期版本修改要點修改者注釋2022.05.061.0初始版本注：版本升級時，要注明原因，和主要(zhyo)的更改內(nèi)容。目錄(ml) TOC o 1-3 h z u HYPERLINK l _Toc355797023 目錄(ml) PAGEREF _Toc355797023 h 3 HYPERLINK l _Toc355797024 空氣質(zhì)量(kn q zh lin)前端方案(fng n) P

2、AGEREF _Toc355797024 h 4 HYPERLINK l _Toc355797025 1概述(i sh) PAGEREF _Toc355797025 h 4 HYPERLINK l _Toc355797026 1.1背景 PAGEREF _Toc355797026 h 4 HYPERLINK l _Toc355797027 1.2意義 PAGEREF _Toc355797027 h 4 HYPERLINK l _Toc355797028 2設(shè)計 PAGEREF _Toc355797028 h 5 HYPERLINK l _Toc355797029 2.1 系統(tǒng)架構(gòu) PAGERE

3、F _Toc355797029 h 5 HYPERLINK l _Toc355797030 2.1.1總體架構(gòu) PAGEREF _Toc355797030 h 5 HYPERLINK l _Toc355797031 2.1.2部署方式 PAGEREF _Toc355797031 h 6 HYPERLINK l _Toc355797032 2.2 傳感器 PAGEREF _Toc355797032 h 7 HYPERLINK l _Toc355797033 2.3 計算 PAGEREF _Toc355797033 h 9 HYPERLINK l _Toc355797034 2.4 采集局部 PA

4、GEREF _Toc355797034 h 10 HYPERLINK l _Toc355797035 2.5 通信局部 PAGEREF _Toc355797035 h 11 HYPERLINK l _Toc355797036 2.6 電源局部 PAGEREF _Toc355797036 h 12 HYPERLINK l _Toc355797037 2.6.1鋰電池供電 PAGEREF _Toc355797037 h 12 HYPERLINK l _Toc355797038 2.6.2太陽能供電 PAGEREF _Toc355797038 h 13 HYPERLINK l _Toc3557970

5、39 3特點 PAGEREF _Toc355797039 h 13空氣質(zhì)量(kn q zh lin)檢測平臺方案1概述(i sh)南京(nn jn)云創(chuàng)存儲的空氣質(zhì)量(kn q zh lin)監(jiān)測(jin c)方案，是基于云計算的大氣質(zhì)量監(jiān)測平臺，前端通過特征因子監(jiān)測設(shè)備和空氣質(zhì)量兩套監(jiān)測設(shè)備可以監(jiān)測大氣污染中的空氣質(zhì)量,pm10, SO2,NO2等大氣中污染因子。通過海量數(shù)據(jù)的科學(xué)數(shù)據(jù)分析比照得到主要的反映局部區(qū)域的相關(guān)參考值，從而和宏觀上反映城市的整體的空氣質(zhì)量的監(jiān)測站點的監(jiān)測方式形成互補。1.1背景目前許多城市的環(huán)境監(jiān)測中心站點較少，分布分散，環(huán)境監(jiān)測的數(shù)據(jù)僅從宏觀上反映城市的整體的空氣

6、質(zhì)量，但是不能從微觀上反映局部區(qū)域、特定區(qū)域的空氣質(zhì)量的好壞，這就需要建設(shè)更多的環(huán)境監(jiān)測站點，提供更多的實時的環(huán)境監(jiān)測數(shù)據(jù)。國外一套空氣質(zhì)量環(huán)境監(jiān)測儀器價格在10萬美金，國產(chǎn)價格在10萬人民幣，價格昂貴。建設(shè)更多的環(huán)境監(jiān)測站點需要巨大的資金投入，本錢太高。而廉價的空氣質(zhì)量環(huán)境監(jiān)測系統(tǒng)價格大約在1萬人民幣，能夠解決資金投入問題，同時滿足一定的測量精度，和現(xiàn)有的空氣環(huán)境自動監(jiān)測系統(tǒng)形成互補，為環(huán)保部門效勞。目前350米以下都有顆粒污染物，污染程度比擬嚴(yán)重，加之信息化工作處于低端水平，以及公眾對于空氣質(zhì)量的關(guān)注度不斷提升，使得空氣質(zhì)量的監(jiān)測重要性日益突出。廉價的空氣質(zhì)量環(huán)境監(jiān)測系統(tǒng)與目前的傳統(tǒng)監(jiān)測站

7、點的監(jiān)測方式形成互補，滿足公眾環(huán)境需求，提升政府形象。1.2意義(yy)部署(b sh)空氣質(zhì)量(kn q zh lin)環(huán)境監(jiān)測系統(tǒng)，配合(pih)城市現(xiàn)有的環(huán)境監(jiān)測(hun jn jin c)站點，準(zhǔn)確、及時、全面地反映環(huán)境質(zhì)量現(xiàn)狀及開展趨勢，為環(huán)境管理、污染源控制、環(huán)境規(guī)劃等提供科學(xué)依據(jù)，并結(jié)合天氣狀況、城市交通、人口密度、工業(yè)產(chǎn)值等元素，進行系統(tǒng)的研究，為保護環(huán)境，改善城市的大氣環(huán)境質(zhì)量改善起到技術(shù)支撐作用。具體可歸納為: (1) 根據(jù)環(huán)境質(zhì)量標(biāo)準(zhǔn)，評價環(huán)境質(zhì)量。(2) 根據(jù)污染分布情況，尋找污染源，為實現(xiàn)監(jiān)督管理、控制污染提供依據(jù)。(3) 構(gòu)建云計算海量數(shù)據(jù)處理平臺，存儲本區(qū)域海量數(shù)

8、據(jù)，積累長期監(jiān)測資料，為研究環(huán)境容量、實施總量控制、目標(biāo)管理、預(yù)測預(yù)報環(huán)境質(zhì)量提供數(shù)據(jù)。(4) 為保護人類健康、保護環(huán)境、合理使用自然資源、制訂環(huán)境法規(guī)、標(biāo)準(zhǔn)、規(guī)劃等效勞。1.3總體設(shè)計原那么針對本次工程的實際情況,充分考慮環(huán)保局環(huán)境監(jiān)測云平臺系統(tǒng)建設(shè)的建設(shè)開展需求，以實現(xiàn)系統(tǒng)統(tǒng)一管理、高效應(yīng)用、平滑擴展為目標(biāo)，以“先進、平安、成熟、開放、經(jīng)濟為總體設(shè)計原那么。先進性原那么在系統(tǒng)總體方案設(shè)計時采用業(yè)界先進的方案和技術(shù)，以確保一定時間內(nèi)不落后。選擇實用性強產(chǎn)品，模塊化結(jié)構(gòu)設(shè)計，既可滿足當(dāng)前的需要又可實現(xiàn)今后系統(tǒng)開展平滑擴展。平安性原那么數(shù)據(jù)是業(yè)務(wù)系統(tǒng)核心應(yīng)用的最終保障，不但要保證整套系統(tǒng)能夠7X

9、24運行，而且存儲系統(tǒng)必須有高可用性，以保證應(yīng)用系統(tǒng)對數(shù)據(jù)的隨時存取。同時配置平安的備份系統(tǒng)，對應(yīng)用數(shù)據(jù)進行更加平安的數(shù)據(jù)保護，降低人為操作失誤或病毒襲擊給系統(tǒng)造成的數(shù)據(jù)喪失。在進行系統(tǒng)設(shè)計時，充分考慮數(shù)據(jù)高可靠存儲，采用高度(god)可靠的軟硬件容錯設(shè)計，進行有效的平安(png n)訪問控制，實現(xiàn)故障(gzhng)屏蔽、自動(zdng)冗余重建等智能化平安(png n)可靠措施，提供統(tǒng)一的系統(tǒng)管理和監(jiān)控平臺，進行有效的故障定位、預(yù)警。成熟性原那么為確保整個系統(tǒng)能夠穩(wěn)定工作，軟件平臺將使用先進、完善、易于管理和穩(wěn)定可靠的云存儲資源管理系統(tǒng)，對于與應(yīng)用的集成接口，提供統(tǒng)一的通用穩(wěn)定訪問接口。開放

10、性原那么系統(tǒng)建設(shè)具有開放性的標(biāo)準(zhǔn)體系，提供開放的應(yīng)用API編程接口，提供人性化的應(yīng)用和管理界面，以滿足用戶需求。遵循標(biāo)準(zhǔn)的通用接口標(biāo)準(zhǔn)，使全系統(tǒng)中的硬件、通信、軟件、操作平臺之間的互聯(lián)共享。充分考慮系統(tǒng)的升級和維護問題，維護采用在線式的，即在系統(tǒng)不停止工作的情況下，可以更換單元備件。系統(tǒng)的維護和升級操作由系統(tǒng)管理員即可完成。經(jīng)濟性原那么現(xiàn)有業(yè)務(wù)系統(tǒng)存儲數(shù)據(jù)量較大，且數(shù)據(jù)的增長速度較快。因此在建設(shè)系統(tǒng)存儲架構(gòu)時，應(yīng)從長遠的角度考慮，建設(shè)一個長期的存儲架構(gòu)，除了可以應(yīng)對存儲硬件設(shè)備的升級速度外，還必須考慮到對前期存儲設(shè)備的投資保護，在保證不斷提供功能和性能提高的同時，存儲架構(gòu)在較長的時間內(nèi)能夠保持

11、相對穩(wěn)定。結(jié)合先進的云平臺技術(shù)架構(gòu)優(yōu)勢，根據(jù)本次工程建設(shè)的實際容量需求設(shè)計，同時充分考慮應(yīng)用開展需求，實現(xiàn)系統(tǒng)可彈性在線平滑升級。通過軟件實現(xiàn)在較廉價普通效勞器上實現(xiàn)高度容錯，同時能夠在較低冗余度的情況下實現(xiàn)高度可靠容錯，大大節(jié)約和降低系統(tǒng)建設(shè)的硬件本錢。1.4系統(tǒng)特點1、價格低廉，大規(guī)模部署空氣質(zhì)量環(huán)境監(jiān)測設(shè)備只有國際通用的幾分之一，即可滿足空氣質(zhì)量監(jiān)測、數(shù)據(jù)傳輸功能，無需國外昂貴的監(jiān)測設(shè)備，和現(xiàn)有的環(huán)境監(jiān)測點形成有利互補，對空氣質(zhì)量數(shù)據(jù)發(fā)布有參考意義。2、云計算(j sun)海量數(shù)據(jù)處理技術(shù)架構(gòu)云計算海量數(shù)據(jù)處理平臺(pngti)，采用先進的云計算處理技術(shù)，對環(huán)境監(jiān)測的數(shù)據(jù)入庫和關(guān)聯(lián)查詢快

12、速響應(yīng)，支持自動容錯和動態(tài)擴展，具有實時性、高可靠性、可伸縮性、高性價比等特點。3.擴容(ku rn)性空氣質(zhì)量監(jiān)測前端設(shè)備可以(ky)根據(jù)需求進行增加設(shè)備，擴展整個系統(tǒng)的覆蓋面積，但是不需要繼續(xù)(jx)復(fù)雜的操作，可以動態(tài)的增加空氣質(zhì)量測試的節(jié)點，并能自動組網(wǎng)，具有很強的擴容性。4.實時性測定速度快，自動化程度高。測試方法決定了測試的實時性，采集時間實現(xiàn)秒級響應(yīng)，且采集時間可以任意設(shè)定，采集的數(shù)據(jù)實時入庫，可實時查詢。5.采集數(shù)據(jù)的準(zhǔn)確性采集的數(shù)據(jù)經(jīng)過精確的校準(zhǔn)，且靈敏度很高，和環(huán)保局部發(fā)布的空氣質(zhì)量數(shù)據(jù)及趨勢接近，數(shù)據(jù)真實有效。2系統(tǒng)設(shè)計2.1總體架構(gòu)前端設(shè)備采集到相關(guān)的信息，通過GPRS

13、進行無線數(shù)據(jù)傳輸，在有公網(wǎng)IP的效勞器上進行數(shù)據(jù)接收和初步的處理，然后數(shù)據(jù)存入數(shù)據(jù)立方進行存儲和計算，并且通過WEB效勞器進行數(shù)據(jù)的最后處理和公布，通過web頁面和移動終端可以實時的查看pm25實時和歷史數(shù)據(jù)。具體的系統(tǒng)總體架構(gòu)詳見下列圖。圖1空氣質(zhì)量(kn q zh lin)云監(jiān)控(jin kn)平臺總體(zngt)架構(gòu)(ji u)2.2系統(tǒng)主要(zhyo)功能空氣質(zhì)量監(jiān)測云平臺需要提供的主要功能描述如下。1實時數(shù)據(jù)入庫系統(tǒng)實時數(shù)據(jù)入庫系統(tǒng)主要負責(zé)全市所有空氣質(zhì)量監(jiān)測點產(chǎn)生的各類空氣因子數(shù)據(jù)實時存到空氣質(zhì)量監(jiān)測平臺數(shù)據(jù)存儲中心。2空氣質(zhì)量監(jiān)測平臺數(shù)據(jù)存儲系統(tǒng)原始空氣質(zhì)量數(shù)據(jù)，將全部存儲在空氣

14、質(zhì)量監(jiān)測平臺分布式文件系統(tǒng)，用于存儲海量的非結(jié)構(gòu)化數(shù)據(jù)。為了滿足和適應(yīng)數(shù)據(jù)量、數(shù)據(jù)特征和查詢處理的不同需求，局部存存儲于關(guān)系型數(shù)據(jù)庫中。3空氣質(zhì)量監(jiān)測平臺數(shù)據(jù)查詢分析應(yīng)用系統(tǒng)空氣質(zhì)量數(shù)據(jù)查詢分析應(yīng)用提供包括實時監(jiān)控空氣質(zhì)量空氣質(zhì)量，查看歷史記錄和分析數(shù)據(jù)等功能?？諝赓|(zhì)量歷史查詢處理時，由于空氣質(zhì)量數(shù)據(jù)量巨大，需要調(diào)度使用多臺效勞器節(jié)點進行并行處理。4數(shù)據(jù)(shj)管理系統(tǒng)在實際使用(shyng)中，可能用戶會對某一時間段或者類型的數(shù)據(jù)特別關(guān)心，就可以通過數(shù)據(jù)管理系統(tǒng)查詢并導(dǎo)出這局部(jb)數(shù)據(jù)(shj)以供使用。2.3技術(shù)(jsh)優(yōu)勢1.無線傳感網(wǎng)絡(luò)節(jié)點問間可進行長距離的傳輸，國內(nèi)最多50m

15、,Corssbow 為150m. 而我們在節(jié)點間無阻擋時理論距離為30000m, 有阻擋為5001000m, 具有極高的性價比. 2.能耗低，國外同類產(chǎn)品發(fā)射電流消耗為20mA, 我們可達僅為0.5mA;3.節(jié)點數(shù)多，囯外一般150個, 我們可以256個, 還可擴充至1000個以上.4.系統(tǒng)精度高，比同類產(chǎn)品高一個數(shù)量級；5.平安系數(shù)高，由于我們提供了數(shù)據(jù)完整性的檢查和鑒權(quán)功能，加密算法采用了AES-128,即具有高度的保密性。6.系統(tǒng)可靠性高，由于我們采用了碰撞防止機制，同時為需要固定帶寬的通訊業(yè)務(wù)與留了專業(yè)時隙，防止了發(fā)射數(shù)據(jù)時的競爭和沖突，而且節(jié)點模塊之間具有自動動態(tài)組網(wǎng)的功能，信息在整

16、個網(wǎng)絡(luò)中通過自由路由的方式進行傳輸，從而保證了信息的可靠性；7.系統(tǒng)時延短，我們針對時延敏感的運用做了優(yōu)化，通訊時延和從休眠狀態(tài)激活的時延非常短。2.4技術(shù)方案1.監(jiān)視和記錄傳感器的測試數(shù)據(jù)系統(tǒng)記錄下所有(suyu)不同傳感器的測試數(shù)據(jù)并保存(bocn)在系統(tǒng)(xtng)的效勞(xio lo)器的數(shù)據(jù)庫中。效勞(xio lo)器自帶網(wǎng)站效勞。可以以網(wǎng)頁的形式提供監(jiān)視結(jié)果。2.實時的數(shù)據(jù)傳達和報警單個的傳感器的數(shù)據(jù)可用來設(shè)成觸發(fā)點來觸發(fā) 短信的發(fā)送，email的發(fā)送。3.隨插隨用的傳感器和結(jié)點每一個在網(wǎng)絡(luò)中的結(jié)點可以插入多個不同種類的傳感器，只要傳感器的接口是標(biāo)準(zhǔn)的ESB (Environmen

17、tal Sensor Bus) ，無需任何改動，插入即可使用。4.網(wǎng)絡(luò)的可擴張性只要加結(jié)點，網(wǎng)絡(luò)就擴張。結(jié)點間的結(jié)網(wǎng)是自動的。結(jié)點間距在2 公里內(nèi)，就可以互相通訊。5.太陽能電池的應(yīng)用和電源每個結(jié)點上都可以加上太陽能電池，配合內(nèi)置的長壽可充電鎳氫電池。在無太陽能充電的極端環(huán)境下，結(jié)點還能保持三個月以上的正常工作周期。在環(huán)境允許下，每個結(jié)點另可外接電源。6.系統(tǒng)軟件的高可靠性和大規(guī)模高速處理能力海量的傳感信號數(shù)據(jù)通過網(wǎng)絡(luò)送到數(shù)據(jù)效勞器的數(shù)據(jù)庫。處理系統(tǒng)，存儲分析系統(tǒng)及顯示效勞系統(tǒng)的軟件做相應(yīng)的工作以滿足用戶需求。3.前端采集設(shè)備3.1前端架構(gòu)設(shè)計空氣質(zhì)量前端設(shè)備主要是由電源模塊、采集模塊和通信模

18、塊三大模塊組成，前端采集設(shè)備內(nèi)部架構(gòu)具體詳見圖實際的空氣質(zhì)量監(jiān)測設(shè)備詳見圖2。圖2 前端設(shè)備(shbi)的架構(gòu)3.2主要(zhyo)模塊和功能(gngnng)3.2.1傳感器我們將按其節(jié)點向所傳輸?shù)木嚯x，采用美國(mi u)研制的微處理器及采用 Zigbee 等技術(shù)(jsh)做無線傳輸，并將的系統(tǒng)集成技術(shù)，應(yīng)用軟件和網(wǎng)絡(luò)傳輸，射頻技術(shù)和底層軟硬件控制技術(shù)相結(jié)和通過該特征因子傳感器可以監(jiān)測大氣中的環(huán)境監(jiān)測的特征因子：1硫化氫氣體傳感器檢測范圍0100ppm最大測量限150ppm靈敏度0.500.10uA/ppm使用溫度范圍20+50使用壓力范圍標(biāo)準(zhǔn)大氣壓10響應(yīng)時間T9030S濕度范圍1590R

19、H無凝結(jié)零點漂移20+400.2ppm2氨氣NH3傳感器標(biāo)準(zhǔn)工作條件 10ppm-100ppm NH3加熱功耗小于900毫瓦使用溫度-20-50儲存溫度-20-70RH 相對濕度小于95% RH標(biāo)準(zhǔn)工作條件溫度： 202 Vc:5V0.1 V相對濕度： 65%5% Vh: 5V0.1 V3有機溶劑氣體傳感器適宜(shy)于醇類、酮類、醛類、芳族化合物等有機溶劑的探測。加熱(ji r)功耗小于900毫瓦使用(shyng)溫度-20-50儲存(chcn)溫度-20-70相對濕度(xingdu shd)小于95% RH探測范圍：1ppm-100ppm 苯10ppm-100ppm甲苯5ppm-100p

20、pm甲醇30ppm-300ppm酒精10ppm-300ppm丙酮1ppm-10ppm甲醛注：此傳感器只測混和氣體濃度。不分別給出各組份的含量。4可燃氣體傳感器用于液化氣，天然氣，煤氣的監(jiān)測。優(yōu)良的抗乙醇，煙霧干擾能力。加熱功耗900mW使用溫度-10-50儲存溫度-20-70相對濕度小于95%Rh探測范圍：300-5000ppm 液化氣，天然氣，煤氣。標(biāo)準(zhǔn)工作溫度： 202 Vc:5.0V0.1V標(biāo)準(zhǔn)工作相對濕度： 65%5% Vh: 5.0V0.1V注：此傳感器只測混和氣體濃度。不分別給出各組份的含量。3.2.2前端數(shù)據(jù)轉(zhuǎn)換通過傳感器的檢測顆粒，輸出相關(guān)的PWM波，低電平的波形width是1

21、0ms-90ms，利用這個PWM波形來進行獲取相關(guān)的參數(shù)，詳見圖8。通過獲取低電平的占空比，從而通過圖9獲取到對應(yīng)的數(shù)值。圖8傳感器的采樣(ci yn)圖9傳感器采樣(ci yn)的曲線圖通過(tnggu)如下的計算，可以得到其中(qzhng)一個通道的采樣值。通道(tngdo)的LOW Pluse的占空比設(shè)定為L，測試的采樣值為P。那么：如果獲取到的L 0.08，那么：P=0.1*L*100*10(ug/m3);如果獲取到的0.08= L 0.15，那么：P=( (L*100 8)/6.5 + 0.8)*10( ug/m3);通過(tnggu)相關(guān)的采樣(ci yn)，可以(ky)采樣得到傳

22、感器的兩個(lin )通道的值，一個(y )通道是1um以上的粒子的值P1，另外一個通道是可以進行設(shè)置的，這里設(shè)置為可以檢測2.5以上的粒子的值P2。空氣質(zhì)量是指大氣中直徑小于或等于2.5 HYPERLINK t _blank 微米的 HYPERLINK t _blank 顆粒物，也稱為可入肺顆粒物暫無標(biāo)準(zhǔn)中文名。所以在這里要計算最終的采樣值PL，需要進行如下的計算：PL = P1 - P2;這里就可以計算出大氣中直徑小于或等于2.5 HYPERLINK t _blank 微米的 HYPERLINK t _blank 顆粒物。3.2.3采集局部雖然肉眼看不見空氣中的顆粒物，但是顆粒物卻能降低空

23、氣的能見度，使藍天消失，天空變成灰蒙蒙的一片，這種天氣就是灰霾天。根據(jù)?2022年灰霾試點監(jiān)測報告?，在灰霾天，空氣質(zhì)量的濃度明顯比平時高，空氣質(zhì)量的濃度越高，能見度就越低。雖然空氣中不同大小的顆粒物均能降低能見度，不過相比于粗顆粒物，更為細小的空氣質(zhì)量降低能見度的能力更強。能見度的降低其本質(zhì)上是可見光的傳播受到阻礙。當(dāng)顆粒物的直徑和可見光的波長接近的時候，顆粒對光的散射消光能力最強。可見光的波長在0.4-0.7微米之間，而粒徑在這個尺寸附近的顆粒物正是空氣質(zhì)量的主要組成局部。理論計算的數(shù)據(jù)也清楚地說明這一點：粗顆粒的消光系數(shù)約為0.6平方米/克，而空氣質(zhì)量的消光系數(shù)那么要大得多，在1.25-

24、10平方米/克之間，其中空氣質(zhì)量的主要成分硫酸銨、硝酸銨和有機顆粒物的消光系數(shù)都在3左右，是粗顆粒的5倍。所以，空氣質(zhì)量是灰霾天能見度降低的主要原因。目前國內(nèi)外環(huán)保部門監(jiān)測空氣質(zhì)量普遍采用濾膜稱重、射線吸收和微量振蕩天平等方法。除了以上三種測試方法外，還有利用光散射的原理測定顆粒物濃度的方法。該測定方法的原理是：空氣中的顆粒物濃度越高，對光的散射就越強。測定光的散射后，就可以算出顆粒物濃度。該測試方式測定速度快，自動化程度高，操作簡單。本次設(shè)備使用的是紅外光散射法來進行測試相關(guān)的數(shù)據(jù)(shj)。通過相關(guān)的探頭來進行采集相關(guān)的數(shù)據(jù)。通過采集的通道利用(lyng)紅外光散射來進行獲取顆粒(kl)濃

25、度。采集空氣的通道有固定(gdng)的加熱源，通過加熱源來進行空間的動態(tài)的采集。將相關(guān)的顆粒(kl)濃度轉(zhuǎn)換成相關(guān)的數(shù)據(jù)通過無線通信進行數(shù)據(jù)傳輸。3.2.4通信局部前端設(shè)備的通信主要是通過GPRS進行數(shù)據(jù)的無線傳輸。具體的數(shù)據(jù)傳輸?shù)木W(wǎng)絡(luò)示意圖詳見圖10。圖10GPRS數(shù)據(jù)傳輸數(shù)據(jù)在前端設(shè)備基于TCP/IP協(xié)議，經(jīng)過GPRS的數(shù)據(jù)傳輸，通過移動網(wǎng)絡(luò)傳輸數(shù)據(jù)，利用公網(wǎng)的效勞器接受數(shù)據(jù)，然后將數(shù)據(jù)入庫后，進行數(shù)據(jù)的處理，最后通過WEB效勞器將數(shù)據(jù)展現(xiàn)出來。注意:每個前端設(shè)備有一個供給商的SIM卡進行數(shù)據(jù)通信，該SIM卡需要有GPRS業(yè)務(wù)，同時使用的地點必須有供給商的信號。例如使用中國移動的SIM卡，

26、該卡需要有GPRS的業(yè)務(wù)，同時放置空氣質(zhì)量測試前端的地點需要有中國移動的信號才可以正常的通信。3.2.5電源(dinyun)局部(jb)供電方式有兩種種，一種(y zhn)是鋰電池和市電互補的供電方式，另一種是太陽能供電供電方式。3.2.5.2太陽能供電(n din)太陽能供電方式是基于太陽能進行(jnxng)可持續(xù)性的充電，從而防止了提供充電或者接入市電的情況。太陽能供電是利用蓄電池和太陽能互補的方式進行供電，通過太陽能控制器來進行互補。在太陽能供電不能滿足供電需求的時候，利用蓄電池進行供電。利用20W的太陽能板，在一定的環(huán)境中，可以滿足設(shè)備的供電要求。蓄電池的規(guī)格是12V電壓，20Ah的規(guī)

27、格，在完全沒有太陽能的情況下，可以支持3*24h的無間斷供電。該供電方式同時提供電壓監(jiān)測功能。具體的實物詳見圖12。圖12 太陽能供電方式的前端設(shè)備實物圖3.2.5.1鋰電池供電鋰電池供電方式是基于市電可以提供的情況下進行的。如果部署的空氣質(zhì)量設(shè)備附近有市電，這樣可以方便進行充電?；蛘呤鞘须姾弯囯姵剡M行互補方式進行供電。同時進行對電池進行電壓監(jiān)測，檢測供電電壓是否正常，電源供電是否正常。鋰電池是12V電壓，50Ah的規(guī)格，可以在沒有充電或者沒有市電互補的情況下持續(xù)10*24h的供電。具體的實物見圖11。圖11鋰電池供電方式(fngsh)的前端設(shè)備實物圖3.3部署(b sh)安裝(nzhung)

28、方式(fngsh)在城市(chngsh)的不同區(qū)域布局并有效使用空氣質(zhì)量的監(jiān)測系統(tǒng)，從而能夠比擬全面地掌握城市不同區(qū)域，在不同時間段、不同氣候特點包括氣溫、風(fēng)向、季節(jié)下的空氣質(zhì)量的實時監(jiān)測數(shù)據(jù)?？諝赓|(zhì)量環(huán)境監(jiān)測系統(tǒng)環(huán)境數(shù)據(jù)采集設(shè)備采用先進的傳感器、低功耗單片機技術(shù)和網(wǎng)絡(luò)通訊技術(shù)相結(jié)合，可提供方便的數(shù)據(jù)查詢方式，直接通過瀏覽器可以直接訪問測試數(shù)據(jù)。目前環(huán)境監(jiān)測站的監(jiān)測設(shè)備一般部署在離地面高度20m-25m之間，而云創(chuàng)存儲的空氣質(zhì)量環(huán)境監(jiān)測系統(tǒng)環(huán)境監(jiān)測設(shè)備根據(jù)實際的情況來進行部署。設(shè)備小巧，部署方式靈活，可以部署在電線桿等公共設(shè)施上。詳細見圖4。圖4 部署(b sh)在電線桿上前端設(shè)備4.后端云監(jiān)

29、測(jin c)平臺4.1工程(gngchng)需求(xqi)針對(zhndu)本次環(huán)保局主要是監(jiān)測大氣中的環(huán)境數(shù)據(jù)，要做到實時性強，數(shù)據(jù)量大，還有總能做到海量歷史數(shù)據(jù)挖掘的可擴展性，監(jiān)測數(shù)據(jù)主要存儲結(jié)構(gòu)化數(shù)據(jù)。建設(shè)適合存儲容量數(shù)據(jù)平臺，吞吐量需求為滿足現(xiàn)在多個監(jiān)測終端實時上傳數(shù)據(jù)的需要和應(yīng)用整體吞吐帶寬和高并發(fā)需要，確保數(shù)據(jù)訪問流暢，系統(tǒng)需提供多用戶或應(yīng)用高并發(fā)訪問、高吞吐帶寬設(shè)計，系統(tǒng)能夠有效利用各機器的物理資源，性能可通過規(guī)模增加實現(xiàn)平滑增長。擴展性需求未來根據(jù)空氣質(zhì)量監(jiān)測平臺業(yè)務(wù)應(yīng)用的變化和開展，需要快速實施系統(tǒng)資源的升級，可以在業(yè)務(wù)效勞不間斷的狀態(tài)下平滑擴展，不會導(dǎo)致架構(gòu)發(fā)生根本性變

30、化，為不斷產(chǎn)生和變化的業(yè)務(wù)需求提供持續(xù)的支持，支持業(yè)務(wù)系統(tǒng)的快速整合和部署對核心系統(tǒng)根底架構(gòu)的特別要求。低本錢(bn qin)需求(xqi)要求(yoqi)系統(tǒng)能夠以低硬件本錢(bn qin)、低維護(wih)本錢實現(xiàn)高可靠高性能應(yīng)用要求，充分提高資源利用率，簡化管理，并能靈活、可持續(xù)擴展?？删S護性需求要求系統(tǒng)具有自適應(yīng)管理能力，安裝、維護、升級簡易方便，提供統(tǒng)一易用的WEB配置管理監(jiān)控平臺，實現(xiàn)智能化管理。接口需求要求能夠提供通用的標(biāo)準(zhǔn)sql和編程接口，方便用戶及應(yīng)用系統(tǒng)訪問，減少與應(yīng)用集成或開發(fā)工作量，實現(xiàn)系統(tǒng)快速部署與集成。4.2系統(tǒng)總體設(shè)計系統(tǒng)平臺總體架構(gòu)圖如下列圖所示通過前端采集設(shè)備

31、采集的空氣特征參數(shù)可以將4.3系統(tǒng)(xtng)優(yōu)勢(yush)和特點優(yōu)異(yuy)性能(xngnng)云存儲(cn ch)采用控制流與數(shù)據(jù)流別離的技術(shù)，數(shù)據(jù)的存儲或讀取實際上是與各個存儲節(jié)點上并行讀寫，這樣隨著存儲節(jié)點數(shù)目的增多，整個系統(tǒng)的吞吐量和IO性能將呈線性增長。同時，云存儲采用負載均衡技術(shù)，自動均衡各效勞器負載，使得各存儲節(jié)點的性能調(diào)節(jié)到最高，實現(xiàn)資源優(yōu)化配置。無限容量可以出來海量的環(huán)境監(jiān)測數(shù)據(jù)，可支撐的容量接近無限，經(jīng)推算，理論容量為102410241024 PB (1G個PB容量)。在線伸縮云存儲資源管理系統(tǒng)擴容非常方便，支持不停止效勞的情況下，動態(tài)參加新的存儲節(jié)點，無需任何操作，

32、即實現(xiàn)擴容；同時，無需人為干預(yù)，也可以摘下任意節(jié)點，系統(tǒng)自動縮小規(guī)模而不喪失數(shù)據(jù)，存儲在此節(jié)點上的數(shù)據(jù)將會重新備份到其他節(jié)點上。通用易用云存儲系統(tǒng)提供專用的API接口，供開發(fā)人員調(diào)用。智能管理提供基于WEB的管理控制平臺，所有的管理工作均由數(shù)據(jù)立方一體機管理模塊自動完成，使用人員無需任何專業(yè)知識便可以輕松管理整個系統(tǒng)。通過管理平臺，可以對數(shù)據(jù)立方中的所有節(jié)點實行實時監(jiān)控，用戶通過監(jiān)控界面可以清楚地了解到每一個節(jié)點的負載、存儲和運行情況。4.4系統(tǒng)組成架構(gòu)在本次云建設(shè)中，分布式文件系統(tǒng)屬于根底平臺支撐層，以用于數(shù)據(jù)集中存儲和共享，實現(xiàn)對數(shù)據(jù)的統(tǒng)一管理和高效應(yīng)用；分布式數(shù)據(jù)立方屬于分布式數(shù)據(jù)庫層，

33、用于結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的高性能訪問；分布式計算和Hive那么基于云存儲進行大規(guī)模的高性能的并發(fā)計算和數(shù)據(jù)的挖掘。下面具體說明(shumng)各系統(tǒng)的根本(gnbn)組成(z chn)和主要功能。4.4.1存儲(cn ch)層根本(gnbn)組成分布式文件系統(tǒng)分布式文件系統(tǒng)被設(shè)計為將海量文件存儲在一個大集群的多臺計算機上。分布式文件系統(tǒng)將每一個文件以分塊序列的形式進行存儲，一個文件的所有分塊除去最后一個分塊外都是等大小的。為了實現(xiàn)容錯將文件分塊進行自動復(fù)制。文件分塊的塊大小和復(fù)制比例都是可以按照單個文件進行配置的。分布式文件系統(tǒng)中的所有文件都是“只寫一次并且嚴(yán)格限定在任何時候只有一個寫文件操作

34、者。分布式文件系統(tǒng)是云計算框架的分布式并行文件系統(tǒng)，是分布式計算的存儲基石。負責(zé)數(shù)據(jù)分布式存儲及數(shù)據(jù)的管理，并能提供高吞吐量的數(shù)據(jù)訪問。分布式文件系統(tǒng)的根本特征如下：(l)對于整個集群有單一的命名空間。(2)文件會被分割成多個文件塊，每個文件塊被分配存儲到數(shù)據(jù)節(jié)點上，而且根據(jù)配置會有復(fù)制的文件塊來保證數(shù)據(jù)平安性。(3)數(shù)據(jù)一致性。適合一次寫入屢次讀取的模型，客戶端在成功創(chuàng)立文件之后，才能看到文件的存在。(4)云計算，包括分布式文件系統(tǒng)，非常適合在廉價機器上的分布式存儲和分布式處理。它是容錯的、可伸縮的、非常易于擴展。并且，以簡單性和適用性著稱的分布式計算是云計算不可缺少的重要組成局部。(5)分

35、布式文件系統(tǒng)的默認配置適合于大多數(shù)安裝的應(yīng)用。通常情況下，只有在一個非常大規(guī)模的集群上才需要修改默認配置。(6)支持shell命令行風(fēng)格的分布式文件系統(tǒng)目錄交互。(7)分布式文件系統(tǒng)是用java編寫的，可廣泛運行在多種軟硬件平臺上。(8)分布式文件系統(tǒng)經(jīng)常性地實現(xiàn)新的特性和改良。(9)Namenode和DataNode都內(nèi)建了Web效勞(xio lo)器，可以(ky)方便地查看集群的狀態(tài)。分布式文件系統(tǒng)的體系(tx)框架是Master/Slave結(jié)構(gòu)，一個(y )典型的分布式文件系統(tǒng)通常由單個Namenode和多個(du )DataNode組成。Namenode是一個中心效勞器，負責(zé)文件系統(tǒng)的

36、名字空間的操作，比方翻開、關(guān)閉、重命名文件或目錄，它負責(zé)維護文件路徑到數(shù)據(jù)塊的映射，數(shù)據(jù)塊到DataNode的映射，以及監(jiān)控DataNode的心跳和維護數(shù)據(jù)塊副本的個數(shù)。集群中的DataNode一般是一個節(jié)點一個，負責(zé)管理它所在節(jié)點上的存儲。分布式文件系統(tǒng)暴露了文件系統(tǒng)的名字空間，用戶能夠以文件的形式在上面存儲數(shù)據(jù)。從內(nèi)部看，一個文件其實被分成一個或多個數(shù)據(jù)塊，這些塊存儲在一組DataNode上。DataNode負責(zé)處理文件系統(tǒng)客戶端的讀寫請求。在Namenode的統(tǒng)一調(diào)度下進行數(shù)據(jù)塊的創(chuàng)立、刪除和復(fù)制。 所有對目錄樹的更新和文件名和數(shù)據(jù)塊關(guān)系的修改，都必須能夠持久化，文件在分布式文件系統(tǒng)中存

37、儲圖如圖：分布式文件系統(tǒng)結(jié)構(gòu)分布式文件系統(tǒng)涉及到Namenode、DataNode和客戶端們之間的交互。本質(zhì)上，客戶端與Namenode通訊是通過獲取或者修改文件的元數(shù)據(jù)，與 DataNode進行實際的I/O操作。如圖13所示，在分布式文件系統(tǒng)中有三個重要的角色：Namenode、DataNode和Client，其中Client就是需要獲取分布式文件系統(tǒng)文件的應(yīng)用程序。這里通過三個操作來說明他們(t men)之間的交互關(guān)系：(l)文件(wnjin)寫入。首先Client向Namenode發(fā)起(fq)文件寫入的請求，Namenode根據(jù)(gnj)文件大小和文件塊配置情況，返回給Client它所管

38、理(gunl)局部DataNode的信息。Client將文件劃分為多個Block，根據(jù)DataNode的地址信息，按順序?qū)懭氲矫恳粋€DataNode塊中。(2)文件讀取。Client向Namenode發(fā)起文件讀取的請求，Namenode返回文件存儲的DataNode的信息。Client根據(jù)返回的信息讀取DataNode上的文件信息。(3)文件Block復(fù)制。Namenode發(fā)現(xiàn)局部文件的Block不符合最小復(fù)制數(shù)或者局部DataNode失效，通知DataNode相互復(fù)制Block。DataNode收到通知后開始直接相互復(fù)制。分布式文件系統(tǒng) Namenode、DataNode和客戶端們之間的交互

39、(jioh)4.4.2Jobkeeper系統(tǒng)(xtng)根本(gnbn)組成(z chn)Jobkeeper的系統(tǒng)(xtng)架構(gòu)如下列圖所示：上圖中對Jobkeeper進行了分層，對每層進行具體闡述虛擬化資源層：將機器進行虛擬化，形成更大范圍的效勞集群。存儲層：存儲數(shù)據(jù)的處理結(jié)果集或其他中間結(jié)果集的單元。數(shù)據(jù)處理層：獨立的數(shù)據(jù)處理程序，是對不同需求數(shù)據(jù)的統(tǒng)一(tngy)處理方案，由JobKeeper調(diào)度平臺進行(jnxng)統(tǒng)一的配置管理。業(yè)務(wù)層：對于應(yīng)用層的相關(guān)(xinggun)功能的業(yè)務(wù)化，數(shù)字化處理，用于將應(yīng)用層的需求任務(wù)進行規(guī)那么(n me)化劃分，形成統(tǒng)一的處理(chl)化模式。應(yīng)

40、用層：一組用于管理和結(jié)果反應(yīng)的顯示組件。是整個系統(tǒng)面向用戶和開發(fā)人員的根底承載。JobKeeper的任務(wù)分發(fā)流程如下列圖所示：JobKeeper任務(wù)分發(fā)流程圖當(dāng)用戶在應(yīng)用層下發(fā)任務(wù)給管理節(jié)點，管理節(jié)點調(diào)度機器采集機器節(jié)點的信息，根據(jù)具體的算法選取最優(yōu)節(jié)點并分發(fā)任務(wù)，接下來具體的處理節(jié)點接收到任務(wù)并處理同時將結(jié)果返回給管理節(jié)點，管理節(jié)點整理匯總處理結(jié)果，而后返回給應(yīng)用層。效勞(xio lo)器節(jié)點組：負責(zé)對處理節(jié)點的系統(tǒng)信息以及任務(wù)(rn wu)處理信息進行實時的跟蹤和保存，對應(yīng)的信息鏡像存儲在基于cStor或者(huzh)NFS效勞(xio lo)的存儲系統(tǒng)上。處理(chl)節(jié)點組：通過RPC

41、的遠程調(diào)用獲取各自節(jié)點的任務(wù)處理目標(biāo)，并實時的和處理節(jié)點上的任務(wù)處理目標(biāo)進行比照，控制程序的執(zhí)行和結(jié)束。處理節(jié)點組會在一個設(shè)定的心跳間隔內(nèi)主動的和管理節(jié)點組聯(lián)系一次，報告節(jié)點存活狀態(tài)。4.4.3分布式數(shù)據(jù)立方系統(tǒng)根本組成分布式數(shù)據(jù)立方，是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統(tǒng)，利用分布式數(shù)據(jù)立方技術(shù)可在廉價PC Server上搭建起大規(guī)模結(jié)構(gòu)化存儲集群。其目的是處理龐大的表，可以用普通的計算機處理10億行數(shù)據(jù)，并且有數(shù)百萬列元素組成的數(shù)據(jù)表這張表的索引是行關(guān)鍵字。分布式數(shù)據(jù)立方可以直接使用本地的文件系統(tǒng)和云計算作為數(shù)據(jù)存儲方式，不過為了提高數(shù)據(jù)的可靠性和系統(tǒng)的健壯性，發(fā)揮分布式數(shù)

42、據(jù)立方處理大數(shù)據(jù)量等功能，需要使用云計算作為文件系統(tǒng)。1、數(shù)據(jù)模式 分布式數(shù)據(jù)立方類似Bigtable的分布式數(shù)據(jù)庫，是一個稀疏的，長期存儲的，多維的，排序的映射表.這張表的索引是行關(guān)鍵字，列關(guān)鍵字和時間戳。每個值是一個不解釋的字符數(shù)組，數(shù)據(jù)都是字符串，沒類型。用戶在表格中存儲數(shù)據(jù)，每一行都是一個可排序的主鍵和任意多的列。由于是稀疏存儲的，所以同一張表里面的每一行數(shù)據(jù)都可以有截然不同的列。列名字的格式是:,都是由字符串組成，每一張表有一個family集合，這個集合是固定不變的，相當(dāng)于表的結(jié)構(gòu)，只能通過改變表的結(jié)構(gòu)來改變。但是lable值相對于每一行來說都是可以改變的。分布式數(shù)據(jù)立方把同一個fa

43、mily里面的數(shù)據(jù)存儲在同一個目錄底下，而分布式數(shù)據(jù)立方的寫操作時鎖行的，每一個都是一個原子元素都可以加鎖。所有數(shù)據(jù)庫的更新都是一個時間(shjin)戳標(biāo)記，每個更新都是一個新的版本，而分布式數(shù)據(jù)立方會保存(bocn)一定數(shù)量的版本，這個值是可以設(shè)定的?？蛻舳丝梢垣@取(huq)距離某個時間最近的版本，或者一次獲取所有版本。2、 概念(ginin)視圖分布式數(shù)據(jù)立方以表的形式存儲數(shù)據(jù)。表有行和列組成(z chn)。列劃分為假設(shè)干個列族(row family)Row Keycolumn-family1column-family2column-family3column1column2column1

44、column2column3column1key1t1:abct4:dfadst2:gdxdft3:hellot2:worldkey2t3:abct4:dfadst2:dfdsfat1:gdxdft3:hellot3:dfdfkey3t2:dfadfasdt2:dfxxdfasd t1:dfdasddsft1:taobao Row Key與nosql數(shù)據(jù)庫們一樣,row key是用來檢索記錄的主鍵。訪問分布式數(shù)據(jù)立方 table中的行，只有三種方式：1 通過單個row key訪問2 通過row key的range3 全表掃描Row key行鍵 (Row key)可以(ky)是任意字符串(最大長

45、度(chngd)是 64KB，實際應(yīng)用(yngyng)中長度一般為 10-100bytes)，在分布式數(shù)據(jù)立方(lfng)內(nèi)部，row key保存(bocn)為字節(jié)數(shù)組。列族分布式數(shù)據(jù)立方表中的每個列，都歸屬與某個列族。列族是表的chema的一局部(而列不是)，必須在使用表之前定義。列名都以列族作為前綴。例如courses:history，courses:math 都屬于courses 這個列族。時間戳分布式數(shù)據(jù)立方中通過row和columns確定的為一個存貯單元稱為cell。每個 cell都保存著同一份數(shù)據(jù)的多個版本。版本通過時間戳來索引。時間戳的類型是 64位整型。時間戳可以由分布式數(shù)據(jù)立

46、方(在數(shù)據(jù)寫入時自動 )賦值，此時時間戳是精確到毫秒的當(dāng)前系統(tǒng)時間。時間戳也可以由客戶顯式賦值。如果應(yīng)用程序要防止數(shù)據(jù)版本沖突，就必須自己生成具有唯一性的時間戳。每個 cell中，不同版本的數(shù)據(jù)按照時間倒序排序，即的數(shù)據(jù)排在最前面。Cell由row key, column(= + ), version 唯一確定的單元。cell中的數(shù)據(jù)是沒有類型的，全部是字節(jié)碼形式存貯。3、物理存儲1 Table中的所有行都按照row key的字典序排列。2 Table 在行的方向上分割為多個Hregion。3 region按大小分割的，每個表一開始只有(zhyu)一個region，隨著數(shù)據(jù)(shj)不斷插入表

47、，region不斷增大(zn d)，當(dāng)增大到一個閥值的時候，Hregion就會等分會(fn hu)兩個新的Hregion。當(dāng)table中的行不斷(bdun)增多，就會有越來越多的Hregion。4 Hregion是分布式數(shù)據(jù)立方中分布式存儲和負載均衡的最小單元。最小單元就表示不同的Hregion可以分布在不同的HRegion server上。但一個Hregion是不會拆分到多個server上的。5 HRegion雖然(surn)是分布式存儲的最小單元，但并不是存儲的最小單元。事實上，HRegion由一個(y )或者多個Store組成(z chn)，每個store保存(bocn)一個column

48、s family。每個Strore又由一個(y )memStore和0至多個StoreFile組成。如圖：Store格式保存在分布式文件系統(tǒng)上。HFile的格式(g shi)為：Trailer局部(jb)的格式(g shi):HFile分為(fn wi)六個局部(jb)：Data Block 段保存(bocn)表中的數(shù)據(jù)，這局部可以被壓縮Meta Block 段 (可選的)保存用戶自定義的kv對，可以被壓縮。 段Hfile的元信息，不被壓縮，用戶也可以在這一局部添加自己的元信息。Data Block Index 段Data Block的索引。每條索引的key是被索引的block的第一條記錄的k

49、ey。Meta Block Index段 (可選的)Meta Block的索引。Trailer這一段是定長的。保存了每一段的偏移量，讀取一個HFile時，會首先讀取Trailer，Trailer保存了每個段的起始位置(段的Magic Number用來做平安check)，然后，DataBlock Index會被讀取到內(nèi)存中，這樣，當(dāng)檢索某個key時，不需要掃描整個HFile，而只需從內(nèi)存中找到key所在的block，通過一次磁盤io將整個block讀取到內(nèi)存中，再找到需要的key。DataBlock Index采用LRU機制淘汰。H Block，Meta Block通常采用壓縮(y su)方式存

50、儲，壓縮之后可以大大減少網(wǎng)絡(luò)(wnglu)IO和磁盤(c pn)IO，隨之而來的開銷當(dāng)然是需要(xyo)花費cpu進行(jnxng)壓縮和解壓縮。目標(biāo)Hfile的壓縮支持兩種方式：Gzip，Lzo。HLog(WAL log)WAL 意為Write ahead log()，類似mysql中的binlog,用來做災(zāi)難恢復(fù)只用，Hlog記錄數(shù)據(jù)的所有變更,一旦數(shù)據(jù)修改，就可以從log中進行恢復(fù)。每個Region Server維護一個Hlog,而不是每個Region一個。這樣不同region(來自不同table)的日志會混在一起，這樣做的目的是不斷追加單個文件相對于同時寫多個文件而言，可以減少磁盤尋址

51、次數(shù)，因此可以提高對table的寫性能。帶來的麻煩是，如果一臺region server下線，為了恢復(fù)其上的region，需要將region server上的log進行拆分，然后分發(fā)到其它region server上進行恢復(fù)。HLog文件就是一個普通的云計算 Sequence File 的Key是HLogKey對象，HLogKey中記錄了寫入數(shù)據(jù)的歸屬信息，除了table和region名字外，同時還包括 sequence number和timestamp，timestamp是寫入時間，sequence number的起始值為0，或者是最近一次存入文件系統(tǒng)中sequence number。HLo

52、g Sequece 是分布式數(shù)據(jù)立方的KeyValue對象，即對應(yīng)HFile中的KeyValue，可參見上文描述。Client1 包含訪問(fngwn)分布式數(shù)據(jù)立方的接口，client維護(wih)著一些cache來加快(ji kui)對分布式數(shù)據(jù)立方的訪問，比方(b fng)regione的位置(wi zhi)信息。Zookeeper1 保證任何時候，集群中只有一個master2 存貯所有Region的尋址入口3 實時(sh sh)監(jiān)控Region Server的狀態(tài)(zhungti)，將Region server的上線和下線信息(xnx)實時通知給Master4 存儲(cn ch)分布式

53、數(shù)據(jù)立方的schema,包括(boku)有哪些table，每個table有哪些column familyMaster1 為Region server分配region2 負責(zé)region server的負載均衡3 發(fā)現(xiàn)失效的region server并重新分配其上的region4 GFS上的垃圾文件回收5 處理schema更新請求Region ServerRegion server維護Master分配給它的region，處理對這些region的IO請求 Region server負責(zé)切分在運行過程中變得過大的region4.5關(guān)鍵技術(shù)4.5.1空氣檢測設(shè)備數(shù)據(jù)高速入庫通過前端多種高性能的空氣因子

54、采集設(shè)備采集的數(shù)據(jù)通過空氣質(zhì)量監(jiān)測平臺將監(jiān)測數(shù)據(jù)入庫，查詢構(gòu)架如圖：圖表(tbio)SEQ 圖表(tbio) * ARABIC6數(shù)據(jù)(shj)接入，查詢(chxn)架構(gòu)4.5.2負載均衡(jnhng)處理機的單點失效容錯處理負載均衡機分布如圖： 圖表(tbio)SEQ 圖表(tbio) * ARABIC21負載(fzi)均衡機分布圖全量原始數(shù)據(jù)(shj)接入交換機，將數(shù)據(jù)發(fā)向指IP的負載(fzi)均衡機，負載均衡機向負載均衡Master節(jié)點請求任務(wù)處理機，Master返回存任務(wù)處理機IP端口信息，負載均衡機根據(jù)任務(wù)處理機的IP端口信息將數(shù)據(jù)發(fā)向任務(wù)處理機。單點容錯如圖： 當(dāng)某一臺負載均衡機宕機

55、后：圖表(tbio)SEQ 圖表(tbio) * ARABIC22負載(fzi)均衡機宕機預(yù)案第一步 Master節(jié)點能過鏈接心跳(xn tio)得知宕機負載均衡機。第二步 Master節(jié)點從所有均衡機中選出負載小的負載均衡機，啟動(qdng)虛擬IP及相關(guān)進程第三步 啟動虛擬IP接收原始數(shù)據(jù)，進行負載均衡當(dāng)Master節(jié)點宕機后：圖表(tbio)SEQ 圖表(tbio) * ARABIC23 Master節(jié)點(ji din)宕機預(yù)案第一步Master節(jié)點(ji din)宕機， 負載均衡節(jié)點及存儲(cn ch)計算節(jié)點能過鏈接心跳得知Master宕機第二步所有負載均衡節(jié)點，重選舉出Master

56、節(jié)點，并通知存儲計算節(jié)點新Master節(jié)點所有存儲計算節(jié)點，根據(jù)負載均衡IP列表，請求新Master節(jié)點，后向新Master節(jié)點上報負載狀態(tài)。第三步 新Master節(jié)點接管所有工作，對宕機的Master節(jié)點容錯。4.5.3查詢處理機的單點失效(sh xio)容錯處理圖表(tbio)SEQ 圖表(tbio) * ARABIC24查詢處理單點失效容錯(rn cu)處理第一步：任務(wù)(rn wu)處理機宕機， 負載均衡機得知任務(wù)處理機宕機，緩存數(shù)據(jù).同時Master得知任務(wù)處理宕機后, 將任務(wù)處理機信息刪除待分配列表。第二步：負載均衡機向Master請求任務(wù)處理機，Master重新分配任務(wù)處理機給負載

57、均衡機。第三步： 負載均衡機將原始數(shù)據(jù)發(fā)向新任務(wù)處理機，進行查詢4.5.4計算與存儲(cn ch)集群的負載均衡處理負載(fzi)的均衡，就是(jish)要讓大家各盡其力齊心干活，發(fā)揮(fhu)各自獨特的優(yōu)勢，不能忙得忙死閑得閑死，影響戰(zhàn)斗力。而且，負載均衡也是一個復(fù)雜的問題，什么是均衡，是一個很模糊的概念。 比方(b fng)，在分布式文件系統(tǒng)中，總共三百個數(shù)據(jù)塊，平均分配到十個數(shù)據(jù)效勞器上，就算均衡了么？其實不一定，因為每一個數(shù)據(jù)塊需要假設(shè)干個備份，各個備份的分布 應(yīng)該充分考慮到機架的位置，同一個機架的效勞器間通信速度更快，而分布在不同機架那么更具有平安性，不會在一棵樹上吊死。在這里說的負

58、載均衡，是寬泛意義上的均衡過程， 主要涵蓋兩個階段的事務(wù)，一個是在任務(wù)初始分配的時候盡可能合理分配，另一個是在事后時刻監(jiān)督及時調(diào)整。分布式文件系統(tǒng)中，ReplicationTargetChooser類， 是負責(zé)實現(xiàn)為新分配的數(shù)據(jù)塊尋找婆家的。根本上來說，數(shù)據(jù)塊的分配工作和備份的數(shù)量、申請的客戶端地址也就是寫入者、已注冊的數(shù)據(jù)效勞器位置，密切相 關(guān)。其算法根本思路是只考量靜態(tài)位置信息，優(yōu)先照顧寫入者的速度，讓多份備份分配到不同的機架去。具體算法，自行參見源碼。此外，分布式文件系統(tǒng)的Balancer類， 是為了實現(xiàn)動態(tài)的負載調(diào)整而存在的。Balancer類派生于Tool類，這說明，它是以一個獨立的

59、進程存在的，可以 獨立的運行和配置。它運行有NamenodeProtocol和ClientProtocol兩 個協(xié)議，與主控效勞器進行通信，獲取各個數(shù)據(jù)效勞器的負載狀況，從而進行調(diào)整。主要的調(diào)整其實就是一個操作，將一個數(shù)據(jù)塊從一個效勞器搬遷到另一個效勞器 上。Balancer會向相關(guān)的目標(biāo)數(shù)據(jù)效勞器發(fā)出一個DataTransferProtocol.OP_REPLACE_BLOCK消 息，接收到這個消息的數(shù)據(jù)效勞器，會將數(shù)據(jù)塊寫入本地，成功后，通知主控效勞器，刪除早先的那個數(shù)據(jù)效勞器上的同一塊數(shù)據(jù)塊。分布式計算負載平衡用的是公平調(diào)度算法，公平調(diào)度是一種多用戶的賦予(fy)作業(yè)job資源的策略，它

60、的目的是讓所有的作業(yè)隨著時間的推移，都能獲取與權(quán)值相應(yīng)的共享資源。當(dāng)單獨一個作業(yè)在運行時，它將使用整個集群。當(dāng)有其它作業(yè)被提交上來時，系統(tǒng)(xtng)會將任務(wù)task空閑(kngxin)計算槽slot賦給這些新的作業(yè)，以使得每一個作業(yè)都大概獲取到與權(quán)值相應(yīng)的計算時間(shjin)。這個特性讓短作業(yè)在合理的時間內(nèi)完成的同時又保證了長作業(yè)的效勞(xio lo)質(zhì)量。公平調(diào)度器按資源池pool來組織作業(yè)，默認情況下，每一個用戶擁有一個獨立的資源池。在節(jié)點的TaskTracker上設(shè)置有同時運行的Map任務(wù)和Reduce任務(wù)個數(shù)上限，假設(shè)未到達上限，那么就產(chǎn)生了空閑計算槽，包括Map和Reduce空閑