云計(jì)算方案白皮書(shū)

1、 云計(jì)算方案白皮書(shū)目 錄 TOC o 1-4 h z u HYPERLINK l _Toc501487376 1方案概述 PAGEREF _Toc501487376 h 3 HYPERLINK l _Toc501487377 2總體架構(gòu) PAGEREF _Toc501487377 h 4 HYPERLINK l _Toc501487378 3分布式數(shù)據(jù)庫(kù)-數(shù)據(jù)立方 PAGEREF _Toc501487378 h 6 HYPERLINK l _Toc501487379 3.1數(shù)據(jù)立方(DataCube) PAGEREF _Toc501487379 h 6 HYPERLINK l _Toc5014

2、87380 3.2軟件規(guī)格說(shuō)明 PAGEREF _Toc501487380 h 7 HYPERLINK l _Toc501487381 3.3優(yōu)勢(shì) PAGEREF _Toc501487381 h 9 HYPERLINK l _Toc501487382 4任務(wù)調(diào)度引擎-JobKeeper PAGEREF _Toc501487382 h 10 HYPERLINK l _Toc501487383 5硬件規(guī)格 PAGEREF _Toc501487383 h 13 HYPERLINK l _Toc501487384 6市場(chǎng)應(yīng)用 PAGEREF _Toc501487384 h 18方案概述當(dāng)今時(shí)代是數(shù)據(jù)爆

3、炸時(shí)代，全球數(shù)據(jù)總量每過(guò)18個(gè)月就會(huì)在原有數(shù)據(jù)總和基礎(chǔ)上翻一番。IDC研究表明，僅從2006年到2010年，全球信息總量增長(zhǎng)6倍以上，從161EB增加到了988EB。隨著互聯(lián)網(wǎng)向物聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)的擴(kuò)展，網(wǎng)絡(luò)將連接起更多的人和物，信息海量化趨勢(shì)將進(jìn)一步加劇。在這樣的背景下，各行各業(yè)，各大領(lǐng)域的公司、政府機(jī)構(gòu)需要將TB乃至PB級(jí)的數(shù)據(jù)存儲(chǔ)起來(lái)，并從中挖掘出有用的信息，對(duì)這些海量的數(shù)據(jù)進(jìn)行快捷、高效的處理。云計(jì)算與云存儲(chǔ)在這樣強(qiáng)烈的市場(chǎng)需求之下應(yīng)運(yùn)而生。作為重要的社會(huì)基礎(chǔ)物聯(lián)信息系統(tǒng)，每年產(chǎn)生及需要管理的數(shù)據(jù)也是相當(dāng)驚人的，尤其是公路和航道數(shù)據(jù)信息管理方面，傳統(tǒng)處理方式已無(wú)法實(shí)現(xiàn)如此海量數(shù)據(jù)的存儲(chǔ)

4、與高效處理。因此，為加強(qiáng)物聯(lián)系統(tǒng)管理能力，進(jìn)一步提升物聯(lián)信息科技水平，提高信息處理效率，應(yīng)用云計(jì)算與云存儲(chǔ)管理相關(guān)系統(tǒng)，已成為物聯(lián)管理科技發(fā)展的必然趨勢(shì)。作為當(dāng)今處理海量數(shù)據(jù)存儲(chǔ)與計(jì)算的最佳方案，云計(jì)算是一種基于互聯(lián)網(wǎng)的、大眾參與的計(jì)算模式，其計(jì)算資源（計(jì)算能力、存儲(chǔ)能力、交互能力）是動(dòng)態(tài)、可伸縮、且被虛擬化的。云計(jì)算已被公認(rèn)為能夠改變?nèi)祟?lèi)信息生活的革命性技術(shù)，其計(jì)算資源組織、分配和使用模式，有利于合理配置計(jì)算資源并提高其利用率，促進(jìn)節(jié)能減排，實(shí)現(xiàn)綠色計(jì)算。本方案針對(duì)物聯(lián)信息系統(tǒng)實(shí)際應(yīng)用特點(diǎn)，結(jié)合云計(jì)算、云存儲(chǔ)優(yōu)勢(shì)，利用云創(chuàng)存儲(chǔ)自身云計(jì)算與云存儲(chǔ)產(chǎn)品，創(chuàng)新地開(kāi)發(fā)設(shè)計(jì)了物聯(lián)云系統(tǒng)平臺(tái)，通過(guò)整合各

5、個(gè)物聯(lián)信息相關(guān)部門(mén)系統(tǒng)現(xiàn)有資源，結(jié)合云創(chuàng)cStor海量云存儲(chǔ)系統(tǒng)、cProc高效云處理平臺(tái)、cVideo云視頻監(jiān)控管理系統(tǒng)、cTrans高速云傳輸系統(tǒng)四大系統(tǒng)產(chǎn)品，充分發(fā)揮云存儲(chǔ)與云計(jì)算針對(duì)海量數(shù)據(jù)處理時(shí)的優(yōu)勢(shì)，達(dá)到海量監(jiān)控信息存儲(chǔ)與管理的目的，從而進(jìn)一步提升物聯(lián)平臺(tái)數(shù)據(jù)管理能力，物聯(lián)信息處理效率，為打造科技創(chuàng)新型現(xiàn)代物聯(lián)平臺(tái)做出貢獻(xiàn)?？傮w架構(gòu)IaaS層：利用虛擬化技術(shù)將計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)等基礎(chǔ)硬件資源，以邏輯方式形成基礎(chǔ)資源池層，再將資源池提供的虛擬機(jī)、虛擬存儲(chǔ)或虛擬端口組等經(jīng)過(guò)二次封裝與組合、調(diào)度使用，形成一個(gè)個(gè)面向組織用戶(hù)的虛擬服務(wù)器、虛擬桌面或者云存儲(chǔ)系統(tǒng)，通過(guò)這樣的形式為公安系統(tǒng)的各業(yè)

6、務(wù)單位提供資源服務(wù)；同時(shí)提供物理資源和虛擬資源的統(tǒng)一監(jiān)控管理，進(jìn)而提供全生命周期資源服務(wù)。PaaS層：在IaaS層基礎(chǔ)上，提供分布式數(shù)據(jù)庫(kù)-數(shù)據(jù)立方來(lái)解決海量結(jié)構(gòu)化數(shù)據(jù)的管理和數(shù)據(jù)交互，提供標(biāo)準(zhǔn)SQL接口、JDBC技術(shù)，能夠與前臺(tái)應(yīng)用進(jìn)行無(wú)縫對(duì)接；同時(shí)提供海量任務(wù)并行調(diào)度引擎JobKeeper，能夠?qū)崟r(shí)處理大規(guī)模并發(fā)任務(wù)的負(fù)載均衡和任務(wù)分發(fā)，做到所有任務(wù)實(shí)時(shí)分發(fā)處理，不堆積，做到高度可靠性，任何任務(wù)處理過(guò)程中不會(huì)丟失，保障所有任務(wù)都能夠處理完。SaaS層：物聯(lián)云計(jì)算平臺(tái)能夠支撐所有物聯(lián)業(yè)務(wù)系統(tǒng)在上面運(yùn)行，所有業(yè)務(wù)數(shù)據(jù)統(tǒng)一管理，根據(jù)權(quán)限做到絕對(duì)安全訪問(wèn)，能夠支撐各個(gè)部門(mén)的業(yè)務(wù)應(yīng)用：局機(jī)關(guān)：專(zhuān)網(wǎng)門(mén)

7、戶(hù)、市級(jí)電子政務(wù)橫向網(wǎng)、綜合交通數(shù)據(jù)中心、交通服務(wù)熱線平臺(tái)、行政權(quán)力網(wǎng)上公開(kāi)透明運(yùn)行系統(tǒng)、交通工程建設(shè)誠(chéng)信管理系統(tǒng)、交通應(yīng)急指揮中心（系統(tǒng)視頻監(jiān)控中心）、交通戰(zhàn)備指揮室。公路處:專(zhuān)網(wǎng)門(mén)戶(hù)、路政管理、養(yǎng)護(hù)管理、公路網(wǎng)管理與應(yīng)急指揮、GPS車(chē)輛監(jiān)控與移動(dòng)執(zhí)法、交通量觀測(cè)站流量采集傳輸?shù)认到y(tǒng)。 航道處: 專(zhuān)網(wǎng)門(mén)戶(hù)、船閘視頻監(jiān)控系統(tǒng)、聯(lián)網(wǎng)收費(fèi)系統(tǒng)、航標(biāo)遙感遙測(cè)、GPS船舶輔助調(diào)度系統(tǒng)、內(nèi)河交通量自動(dòng)觀測(cè)系統(tǒng)、沿河航道視頻監(jiān)控系統(tǒng)。運(yùn)管處: 專(zhuān)網(wǎng)門(mén)戶(hù)、“運(yùn)政在線”管理信息系統(tǒng)、運(yùn)輸管理視頻系統(tǒng)、地理信息系統(tǒng)、運(yùn)管危貨車(chē)船GPS監(jiān)控管理系統(tǒng)、出租車(chē)叫車(chē)系統(tǒng)、公交調(diào)度中心和電子站牌、客運(yùn)監(jiān)控中心等地方海事局

8、：專(zhuān)網(wǎng)門(mén)戶(hù)、海事現(xiàn)場(chǎng)監(jiān)督業(yè)務(wù)管理系統(tǒng)、內(nèi)河船員管理系統(tǒng)、交通安全質(zhì)量管理體系審核信息系統(tǒng)、船員電子考試系統(tǒng)、船舶GPS監(jiān)控系統(tǒng)、船舶文書(shū)發(fā)放管理系統(tǒng)、船用產(chǎn)品檢驗(yàn)與管理系統(tǒng)、洪澤湖水上應(yīng)急指揮系統(tǒng)等。建設(shè)處:工程管理系統(tǒng)、電子政務(wù)網(wǎng)；港口局和郵政局：目前沒(méi)有自己信息化管理系統(tǒng)，將來(lái)使用電子政務(wù)網(wǎng)。 分布式數(shù)據(jù)庫(kù)-數(shù)據(jù)立方數(shù)據(jù)處理是對(duì)數(shù)據(jù)的采集、存儲(chǔ)、檢索、加工、變換和傳輸。數(shù)據(jù)是對(duì)事實(shí)、概念或指令的一種表達(dá)形式，可由人工或自動(dòng)化裝置進(jìn)行處理。數(shù)據(jù)的形式可以是數(shù)字、文字、圖形或聲音等。數(shù)據(jù)經(jīng)過(guò)解釋并賦予一定的意義之后，便成為信息。數(shù)據(jù)處理的基本目的是從大量的、可能是雜亂無(wú)章的、難以理解的數(shù)據(jù)中抽

9、取并推導(dǎo)出對(duì)于某些特定的人們來(lái)說(shuō)是有價(jià)值、有意義的數(shù)據(jù)。數(shù)據(jù)處理是系統(tǒng)工程和自動(dòng)控制的基本環(huán)節(jié)。數(shù)據(jù)處理貫穿于社會(huì)生產(chǎn)和社會(huì)生活的各個(gè)領(lǐng)域。數(shù)據(jù)處理技術(shù)的發(fā)展及其應(yīng)用的廣度和深度，極大地影響著人類(lèi)社會(huì)發(fā)展的進(jìn)程。數(shù)據(jù)立方(DataCube)我們以B+樹(shù)的結(jié)構(gòu)建立了字段的索引，每個(gè)B+樹(shù)結(jié)構(gòu)的字段索引相當(dāng)于一個(gè)數(shù)據(jù)平面，這樣一個(gè)全局?jǐn)?shù)據(jù)表與其多個(gè)重要字段的索引就組成了一個(gè)類(lèi)似于立方體的數(shù)據(jù)組織結(jié)構(gòu)，我們稱(chēng)之為“數(shù)據(jù)立方(DataCube)”。如下圖所示：數(shù)據(jù)立方(DataCube)是一種用于數(shù)據(jù)分析與索引的技術(shù)架構(gòu)。它是針對(duì)大數(shù)據(jù)(big data)的處理利器，可以對(duì)元數(shù)據(jù)進(jìn)行任意多關(guān)鍵字實(shí)時(shí)索

10、引。通過(guò)數(shù)據(jù)立方對(duì)元數(shù)據(jù)進(jìn)行分析之后，可以大大加快數(shù)據(jù)的查詢(xún)和檢索效率。數(shù)據(jù)立方是凌駕于數(shù)據(jù)存儲(chǔ)層和數(shù)據(jù)庫(kù)系統(tǒng)之上的，通過(guò)數(shù)據(jù)立方解析后，可以大大增加數(shù)據(jù)查詢(xún)和檢索等業(yè)務(wù)，可以讓系統(tǒng)平臺(tái)具備數(shù)據(jù)實(shí)時(shí)入庫(kù)、實(shí)時(shí)查詢(xún)、查詢(xún)結(jié)果實(shí)時(shí)傳輸?shù)葍?yōu)勢(shì)。軟件規(guī)格說(shuō)明規(guī)格說(shuō)明項(xiàng)目?jī)?nèi)容可管理的數(shù)據(jù)總量（）支持100PB量級(jí)的數(shù)據(jù)管理實(shí)時(shí)索引的數(shù)據(jù)流量（）支持100Gbps以上量級(jí)的數(shù)據(jù)流實(shí)時(shí)索引任意關(guān)鍵字段實(shí)時(shí)創(chuàng)建索引（）根據(jù)提供的表結(jié)構(gòu)解析元數(shù)據(jù)，并根據(jù)提供的任意關(guān)鍵字段實(shí)時(shí)創(chuàng)建索引?？梢浦残裕ǎ㎎ava語(yǔ)言實(shí)現(xiàn)，具有跨平臺(tái)性，一次編程，任意操作系統(tǒng)都可運(yùn)行。實(shí)時(shí)查詢(xún)（）1小時(shí)范圍查詢(xún)：13秒內(nèi)響應(yīng)，24小時(shí)范

11、圍查詢(xún)：35秒內(nèi)響應(yīng)，7*24小時(shí)范圍查詢(xún)：510秒內(nèi)響應(yīng)。支持簡(jiǎn)單SQL組合查詢(xún)（）采用和關(guān)系數(shù)據(jù)庫(kù)混合模式，絕大部分海量數(shù)據(jù)存放于分布式平臺(tái)并進(jìn)行分布式處理，少量實(shí)時(shí)性要求很高的數(shù)據(jù)存放于關(guān)系數(shù)據(jù)庫(kù)，可支撐各種類(lèi)型的業(yè)務(wù)。不僅支撐查詢(xún)、統(tǒng)計(jì)、分析業(yè)務(wù)，還可支撐深度數(shù)據(jù)挖掘和商業(yè)智能分析業(yè)務(wù)。負(fù)載均衡可靠性（）拔掉或增加一臺(tái)節(jié)點(diǎn)后，仍能均勻地向各處理節(jié)點(diǎn)分發(fā)數(shù)據(jù)。支持并發(fā)查詢(xún)（）20個(gè)查詢(xún)都能正常下發(fā)執(zhí)行、且都能正常返回結(jié)果，20個(gè)查詢(xún)?nèi)蝿?wù)的總耗時(shí)差距不大，根據(jù)機(jī)器負(fù)載進(jìn)行均衡分配查詢(xún)?nèi)蝿?wù)。數(shù)據(jù)準(zhǔn)確性（）查詢(xún)條件相同情況下，每次查詢(xún)結(jié)果相同。穩(wěn)定性（）系統(tǒng)連續(xù)運(yùn)行7*24小時(shí)，無(wú)任何故障，所

12、有周期任務(wù)均正常執(zhí)行，且執(zhí)行結(jié)果正確?？煽啃裕ǎ](méi)有單點(diǎn)故障，任意節(jié)點(diǎn)宕機(jī)，系統(tǒng)工作正常，可以繼續(xù)進(jìn)行數(shù)據(jù)處理和應(yīng)用查詢(xún),不會(huì)影響分布式系統(tǒng)運(yùn)行和查詢(xún)結(jié)果的準(zhǔn)確性。擴(kuò)展性（）既可以在很小規(guī)模機(jī)器上跑,也可以在成千上萬(wàn)臺(tái)的機(jī)器上運(yùn)行，而且經(jīng)過(guò)很簡(jiǎn)單的操作就可以把規(guī)模擴(kuò)展到成千上萬(wàn)臺(tái)服務(wù)器上,而且可靠性隨著加入節(jié)點(diǎn)的增加成線性上升。分布式計(jì)算能力（）集群能增加節(jié)點(diǎn)、并且能正常執(zhí)行查詢(xún)?nèi)蝿?wù)，在流量沒(méi)變、資源增加的情況下，增加機(jī)器前后，查詢(xún)?nèi)蝿?wù)耗時(shí)按比例降低。支持對(duì)外接口（）支持Web訪問(wèn)和Web Services接口進(jìn)行對(duì)外數(shù)據(jù)交互操作。監(jiān)控功能提供web界面對(duì)分布式文件進(jìn)行監(jiān)控，支持查看、下載索引

13、文件和元數(shù)據(jù)文件。優(yōu)勢(shì)實(shí)時(shí)性：平臺(tái)在高效率并行分布式軟件的支撐下，可以實(shí)時(shí)完成數(shù)據(jù)處理和分析工作，如數(shù)據(jù)處理、數(shù)據(jù)查詢(xún)、和統(tǒng)計(jì)分析等。數(shù)據(jù)處理不會(huì)出現(xiàn)數(shù)據(jù)堆積現(xiàn)象，各類(lèi)分析和查詢(xún)工作基本都在秒級(jí)完成，具有前所未有的高效性。響應(yīng)速度快速：在海量數(shù)據(jù)領(lǐng)域，DataCube的響應(yīng)速度遠(yuǎn)遠(yuǎn)快于傳統(tǒng)的數(shù)據(jù)庫(kù)。采用分布式處理的方式，性能與節(jié)點(diǎn)數(shù)成正比，通過(guò)增加節(jié)點(diǎn)的方式，可將性能提升，以達(dá)到滿(mǎn)足需求的處理要求。高可靠性：基于對(duì)云處理可靠性深厚的研究積累，徹底解決了當(dāng)前分布式處理平臺(tái)易出現(xiàn)的單點(diǎn)故障問(wèn)題。任何一個(gè)節(jié)點(diǎn)出現(xiàn)故障，系統(tǒng)將自動(dòng)屏蔽，而且不會(huì)出現(xiàn)丟失數(shù)據(jù)的現(xiàn)象?？缮炜s性：在不停機(jī)的情況下，增加節(jié)點(diǎn)，

14、平臺(tái)的處理能力自動(dòng)增加；減少節(jié)點(diǎn)，平臺(tái)的處理能力自動(dòng)縮減。這樣，可以做到與資源池的無(wú)縫對(duì)接，根據(jù)處理和存儲(chǔ)任務(wù)動(dòng)態(tài)地申請(qǐng)或釋放資源，最大限度地提高資源利用率。高性?xún)r(jià)比：采用X86架構(gòu)廉價(jià)處理機(jī)構(gòu)建云處理平臺(tái)，用軟件容錯(cuò)替代硬件容錯(cuò)，大大節(jié)省成本。在目標(biāo)性能和可靠性條件下，可比傳統(tǒng)的小型機(jī)加商用數(shù)據(jù)庫(kù)方案節(jié)省10倍左右的成本。全業(yè)務(wù)支持：采用NoSQL關(guān)系數(shù)據(jù)庫(kù)混合模式，絕大部分海量數(shù)據(jù)存放于分布式平臺(tái)并進(jìn)行分布式處理，少量實(shí)時(shí)性要求很高的數(shù)據(jù)存放于關(guān)系數(shù)據(jù)庫(kù)，可支撐各種類(lèi)型的業(yè)務(wù)。不僅支撐查詢(xún)、統(tǒng)計(jì)、分析業(yè)務(wù)，還可支撐深度數(shù)據(jù)挖掘和商業(yè)智能分析業(yè)務(wù)。任務(wù)調(diào)度引擎-JobKeeperJobKee

15、per調(diào)度平臺(tái)是建立于虛擬化資源層之上，統(tǒng)一調(diào)度，統(tǒng)一配置的管理平臺(tái)，用于對(duì)集群中任務(wù)實(shí)時(shí)的處理調(diào)度，實(shí)時(shí)結(jié)果集的反饋，集群的負(fù)載均衡，失敗調(diào)度，集中管理，集中配置的平臺(tái)。用來(lái)保證整個(gè)集群的超低人員干預(yù)。同時(shí)，提供完善的集群伸縮機(jī)制為整個(gè)服務(wù)提供更高的可靠性。JobKeeper云調(diào)度技術(shù)架構(gòu)圖應(yīng)用層是一組用于管理和結(jié)果反饋的顯示組件。用于顯示任務(wù)的處理情況以及集群中機(jī)器的活動(dòng)情況，同時(shí)其也是一個(gè)上層應(yīng)用和底層服務(wù)的對(duì)接平臺(tái)。是整個(gè)系統(tǒng)面向用戶(hù)和開(kāi)發(fā)人員的基礎(chǔ)承載。 業(yè)務(wù)層是對(duì)于應(yīng)用層的相關(guān)功能的業(yè)務(wù)化，數(shù)字化處理，用于將應(yīng)用層的需求任務(wù)進(jìn)行規(guī)則化劃分，形成統(tǒng)一的處理化模式。 數(shù)據(jù)處理層是獨(dú)立的

16、數(shù)據(jù)處理程序，是對(duì)不同需求數(shù)據(jù)的統(tǒng)一處理方案，他的運(yùn)行與監(jiān)控的工作將由JobKeeper調(diào)度平臺(tái)進(jìn)行統(tǒng)一的配置管理。 存儲(chǔ)層是用來(lái)存儲(chǔ)數(shù)據(jù)存儲(chǔ)層的處理結(jié)果集或者其他中間結(jié)果集的單元。 虛擬化資源層是將實(shí)體的機(jī)器進(jìn)行虛擬化，形成更大范圍的服務(wù)集群。 JobKeeper調(diào)度平臺(tái)是由一組管理節(jié)點(diǎn)（Master Node）和一組處理節(jié)點(diǎn)（Task Node）組成，管理節(jié)點(diǎn)組是一組基于Webserver的RPC(RPC采用客戶(hù)機(jī)/服務(wù)器 HYPERLINK /view/37878.htm t _blank 模式。請(qǐng)求程序就是一個(gè)客戶(hù)機(jī)，而服務(wù)提供程序就是一個(gè)服務(wù)器。首先，客戶(hù)機(jī)調(diào)用進(jìn)程發(fā)送一個(gè)有進(jìn)程參數(shù)

17、的調(diào)用信息到服務(wù)進(jìn)程，然后等待應(yīng)答信息。在服務(wù)器端，進(jìn)程保持睡眠狀態(tài)直到調(diào)用信息的到達(dá)為止。當(dāng)一個(gè)調(diào)用信息到達(dá)，服務(wù)器獲得進(jìn)程參數(shù)，計(jì)算結(jié)果，發(fā)送答復(fù)信息，然后等待下一個(gè)調(diào)用信息，最后， HYPERLINK /view/930.htm t _blank 客戶(hù)端調(diào)用進(jìn)程接收答復(fù)信息，獲得進(jìn)程結(jié)果，然后調(diào)用執(zhí)行繼續(xù)進(jìn)行。)服務(wù)器，負(fù)責(zé)對(duì)處理節(jié)點(diǎn)的系統(tǒng)信息以及任務(wù)處理信息進(jìn)行實(shí)時(shí)的跟蹤和保存，對(duì)應(yīng)的信息鏡像存儲(chǔ)在基于cStor或者NFS服務(wù)的存儲(chǔ)系統(tǒng)上，保證每個(gè)管理節(jié)點(diǎn)中的鏡像信息的實(shí)時(shí)同步。同時(shí)架設(shè)在管理節(jié)點(diǎn)上的ZooKeeper服務(wù)(ZooKeeper是一個(gè)分布式的，開(kāi)放源碼的 HYPERLIN

18、K /view/553502.htm t _blank 分布式應(yīng)用程序協(xié)調(diào)服務(wù)，包含一個(gè)簡(jiǎn)單的原語(yǔ)集。分布式應(yīng)用可以使用它來(lái)實(shí)現(xiàn)諸如：統(tǒng)一命名服務(wù)、配置管理、分布式鎖服務(wù)、集群管理等功能。)用于對(duì)整個(gè)管理節(jié)點(diǎn)組進(jìn)行統(tǒng)一的配置化管理。處理節(jié)點(diǎn)組通過(guò)RPC的遠(yuǎn)程調(diào)用獲取各自節(jié)點(diǎn)的任務(wù)處理目標(biāo)，并實(shí)時(shí)的和處理節(jié)點(diǎn)上的任務(wù)處理目標(biāo)進(jìn)行對(duì)比，控制程序的執(zhí)行和結(jié)束。（注：這里的程序，可以是任何語(yǔ)言任何形式的獨(dú)立程序，但是必須提供執(zhí)行腳本，和運(yùn)行參數(shù)選項(xiàng)）處理節(jié)點(diǎn)組會(huì)在一個(gè)設(shè)定的心跳間隔內(nèi)主動(dòng)的和管理節(jié)點(diǎn)組聯(lián)系一次，報(bào)告節(jié)點(diǎn)存活狀態(tài)。如果在若干個(gè)心跳間隔后管理節(jié)點(diǎn)組仍然沒(méi)有獲取到處理節(jié)點(diǎn)心跳報(bào)告，那么該處理

19、節(jié)點(diǎn)將會(huì)被踢出處理節(jié)點(diǎn)組，同時(shí)該節(jié)點(diǎn)處理的所有處理任務(wù)也會(huì)被重新調(diào)度。隨著集群處理數(shù)據(jù)量的不斷增大，處理節(jié)點(diǎn)組提供了簡(jiǎn)單高效的自動(dòng)化部署方案，當(dāng)新機(jī)器加入處理集群后，會(huì)主動(dòng)的與管理節(jié)點(diǎn)組同步心跳信息，從同一配置服務(wù)器ZooKeeper上獲取相關(guān)配置信息，通過(guò)WebServer服務(wù)獲取任務(wù)列表，開(kāi)始執(zhí)行數(shù)據(jù)處理工作。 JobKeeper調(diào)度平臺(tái)提供了一套基于Web的管理化界面，可以實(shí)時(shí)的觀察各個(gè)處理節(jié)點(diǎn)的任務(wù)運(yùn)行狀態(tài)，以及任務(wù)列表的分配情況，機(jī)器的負(fù)載情況等。用戶(hù)在管理系統(tǒng)界面上可以完成所有的工作，如新任務(wù)的添加，任務(wù)的手動(dòng)調(diào)度以及集群日志的查看與分析等。 任務(wù)處理節(jié)點(diǎn)和管理節(jié)點(diǎn)之間維護(hù)一個(gè)心跳

20、時(shí)間，實(shí)時(shí)向管理節(jié)點(diǎn)匯報(bào)任務(wù)處理信息，同時(shí)，任務(wù)處理節(jié)點(diǎn)在每個(gè)心跳時(shí)間內(nèi)向管理節(jié)點(diǎn)獲取該處理的任務(wù)列表，并和本機(jī)正在處理的任務(wù)列表進(jìn)行比對(duì)，完成相關(guān)的任務(wù)調(diào)度工作。若一個(gè)處理節(jié)點(diǎn)在多個(gè)心跳時(shí)間范圍內(nèi)仍然沒(méi)有主動(dòng)的和管理節(jié)點(diǎn)相互聯(lián)系，那么管理節(jié)點(diǎn)將會(huì)根據(jù)各機(jī)器的負(fù)載情況，將失去心跳連接的處理節(jié)點(diǎn)上的任務(wù)進(jìn)行任務(wù)的重新分配和執(zhí)行。硬件規(guī)格數(shù)據(jù)立方云計(jì)算一體機(jī)D1000系列經(jīng)濟(jì)型配置 100TB容量產(chǎn)品設(shè)備型號(hào)參數(shù)配置部件清單型號(hào)控制節(jié)點(diǎn)服務(wù)器主板Intel5600芯片組CPU雙路四核，主頻2GHz以上內(nèi)存32GB DDR3硬盤(pán)3.5寸SATA企業(yè)盤(pán)*1電源625W冗余電源1+1機(jī)箱2U機(jī)架式服務(wù)器

21、機(jī)箱處理節(jié)點(diǎn)服務(wù)器主板Intel5600芯片組CPU雙路四核，主頻2GHz以上內(nèi)存32GB DDR3 硬盤(pán)3.5寸3TB SATA企業(yè)盤(pán)*12擴(kuò)展卡高速內(nèi)置接口SAS端口 6Gb/s4端口進(jìn)階型 SerialATA 3G 1.5G電源625W冗余電源1+1機(jī)箱2U機(jī)架式服務(wù)器機(jī)箱配套設(shè)施交換機(jī)千兆交換機(jī)冗余機(jī)柜42U 高通風(fēng)率六角弧形網(wǎng) SPCC優(yōu)質(zhì)冷扎鋼板制數(shù)據(jù)立方云計(jì)算一體機(jī)D1000系列標(biāo)準(zhǔn)型配置 200TB容量產(chǎn)品報(bào)價(jià)設(shè)備型號(hào)參數(shù)配置部件清單型號(hào)控制節(jié)點(diǎn)服務(wù)器主板Intel芯片組CPUIntel E5系列*2內(nèi)存32GB DDR3硬盤(pán)3.5寸SATA企業(yè)盤(pán)*1電源750W 高效冗余電源 1+1機(jī)箱1U機(jī)架式服務(wù)器機(jī)箱處理節(jié)點(diǎn)服務(wù)器主板Intel芯片組CPUIntel E5系列*2內(nèi)