無(wú)錫101醫(yī)院云計(jì)算解決方案建議書

/18 /18 總體架構(gòu) 43分布式數(shù)據(jù)庫(kù) 數(shù)據(jù)立方.....................................................................................................................53.1數(shù)據(jù)立方(DataCube) 6 4任務(wù)調(diào)度引擎 JobKeeper...................................................................................................................8 /18 1方案概述參與的計(jì)算模式，其計(jì)算資源(計(jì)算能力、存儲(chǔ)能力、交互能力)是動(dòng)態(tài)、可伸縮、且頻監(jiān)控管理系統(tǒng)、cTrans高速云傳輸系統(tǒng)四大系統(tǒng)產(chǎn)品，充分發(fā)揮云存儲(chǔ)與云計(jì)算針/182總體架構(gòu)樣的形式為各業(yè)務(wù)單位提供資源服務(wù)；同時(shí)提供物理資源和虛擬資源的統(tǒng)一監(jiān)控管理，3分布式數(shù)據(jù)庫(kù)--數(shù)據(jù)立方數(shù)據(jù)處理是對(duì)數(shù)據(jù)的采集、存儲(chǔ)、檢索、加工、變換和傳輸。數(shù)據(jù)是對(duì)事實(shí)、概念或指令的一種表達(dá)形式，可由人工或自動(dòng)化裝置進(jìn)行處理。數(shù)據(jù)的形式可以是數(shù)字、文字、圖形或聲音等。數(shù)據(jù)經(jīng)過解釋并賦予一定的意義之后，便成為信息。數(shù)據(jù)處理的基本目的是從大量的、可能是雜亂無(wú)章的、難以理解的數(shù)據(jù)中抽取并推導(dǎo)出對(duì)于某些特定的人們來說是有價(jià)值、有意義的數(shù)據(jù)。數(shù)據(jù)處理是系統(tǒng)工程和自動(dòng)控制的基本環(huán)節(jié)。數(shù)據(jù)處理貫穿于社會(huì)生產(chǎn)和社會(huì)生活的各個(gè)領(lǐng)域。數(shù)據(jù)處理技術(shù)的發(fā)展及其應(yīng)用的廣度和深度，極大地影響著人類社會(huì)發(fā)展的進(jìn)程。3.1數(shù)據(jù)立方(DataCube)我們以B+樹的結(jié)構(gòu)建立了字段的索引，每個(gè)B+樹結(jié)構(gòu)的字段索引相當(dāng)于一個(gè)數(shù)據(jù)平面，這樣一個(gè)全局?jǐn)?shù)據(jù)表與其多個(gè)重要字段的索引就組成了一個(gè)類似于立方體的數(shù)據(jù)組織結(jié)構(gòu)，我們稱之為/18 數(shù)據(jù)立方(DataCube)是一種用于數(shù)據(jù)分析與索引的技術(shù)架構(gòu)。它是針對(duì)大數(shù)據(jù)(bigdata)的處理利器，可以對(duì)元數(shù)據(jù)進(jìn)行任意多關(guān)鍵字實(shí)時(shí)索引。通過數(shù)據(jù)立方對(duì)元數(shù)據(jù)進(jìn)行分析之后，可以大大加快數(shù)據(jù)的查詢和檢索效率。數(shù)據(jù)立方是凌駕于數(shù)據(jù)存儲(chǔ)層和數(shù)據(jù)庫(kù)系統(tǒng)之上的，通過數(shù)據(jù)立方解析后，可以大大增加數(shù)據(jù)查詢和檢索等業(yè)務(wù)，可以讓系統(tǒng)平臺(tái)具備數(shù)據(jù)實(shí)時(shí)入庫(kù)、實(shí)時(shí)查詢、查詢結(jié)果實(shí)時(shí)傳輸?shù)葍?yōu)勢(shì)。3.2軟件規(guī)格說明1小時(shí)范圍查詢：1－3秒內(nèi)響應(yīng)，24小時(shí)范圍查詢：3－5秒內(nèi)響應(yīng)，7*24小時(shí)范圍查詢：5－10秒內(nèi)響應(yīng)。采用和關(guān)系數(shù)據(jù)庫(kù)混合模式，絕大部分海量數(shù)據(jù)存放于分布式2、20個(gè)查詢?nèi)蝿?wù)的總耗時(shí)差距不大，根據(jù)機(jī)器負(fù)載進(jìn)行均衡查詢條件相同情況下，每次查詢結(jié)果相同。目(★)實(shí)時(shí)索引的數(shù)據(jù)流量(★)任意關(guān)鍵字段實(shí)時(shí)創(chuàng)建索引(★)可移植性(★)實(shí)時(shí)查詢(★)支持簡(jiǎn)單SQL組合查詢(★)負(fù)載均衡可靠性(★)支持并發(fā)查詢(★)數(shù)據(jù)準(zhǔn)確性(★)規(guī)格說/18 穩(wěn)定性(★)沒有單點(diǎn)故障，任意節(jié)點(diǎn)宕機(jī)，系統(tǒng)工作正常，可以繼續(xù)進(jìn)行可靠性(★)數(shù)據(jù)處理和應(yīng)用查詢,不會(huì)影響分布式系統(tǒng)運(yùn)行和查詢結(jié)果的既可以在很小規(guī)模機(jī)器上跑,也可以在成千上萬(wàn)臺(tái)的機(jī)器上運(yùn)擴(kuò)展性(★)行，而且經(jīng)過很簡(jiǎn)單的操作就可以把規(guī)模擴(kuò)展到成千上萬(wàn)臺(tái)服務(wù)器上,而且可靠性隨著加入節(jié)點(diǎn)的增加成線性上升。集群能增加節(jié)點(diǎn)、并且能正常執(zhí)行查詢?nèi)蝿?wù)，在流量沒變、資分布式計(jì)算能力(★)源增加的情況下，增加機(jī)器前后，查詢?nèi)蝿?wù)耗時(shí)按比例降低。支持對(duì)外接口(★)支持Web訪問和WebServices接口進(jìn)行對(duì)外數(shù)據(jù)交互操作。提供web界面對(duì)分布式文件進(jìn)行監(jiān)控，支持查看、下載索引監(jiān)控功能文件和元數(shù)據(jù)文件。3.3優(yōu)勢(shì)實(shí)時(shí)性：平臺(tái)在高效率并行分布式軟件的支撐下，可以實(shí)時(shí)完成數(shù)據(jù)處理和分析工作，如數(shù)據(jù)處理、數(shù)據(jù)查詢、和統(tǒng)計(jì)分析等。數(shù)據(jù)處理不會(huì)出現(xiàn)數(shù)據(jù)堆積現(xiàn)象，各類分析和查詢工作基本都在be理的方式，性能與節(jié)點(diǎn)數(shù)成正比，通過增加節(jié)點(diǎn)的方式，可將性能提升，以達(dá)到滿足需求的處理要高可靠性：基于對(duì)云處理可靠性深厚的研究積累，徹底解決了當(dāng)前分布式處理平臺(tái)易出現(xiàn)的單點(diǎn)故障問題。任何一個(gè)節(jié)點(diǎn)出現(xiàn)故障，系統(tǒng)將自動(dòng)屏蔽，而且不會(huì)出現(xiàn)丟失數(shù)據(jù)的現(xiàn)象。理根據(jù)處理和存儲(chǔ)任務(wù)動(dòng)態(tài)地申請(qǐng)或釋放資源，最大限度地提高資源利用率。高性價(jià)比：采用X86架構(gòu)廉價(jià)處理機(jī)構(gòu)建云處理平臺(tái)，用軟件容錯(cuò)替代硬件容錯(cuò)，大大節(jié)省成/18 本。在目標(biāo)性能和可靠性條件下，可比傳統(tǒng)的小型機(jī)加商用數(shù)據(jù)庫(kù)方案節(jié)省10倍左右的成本。全業(yè)務(wù)支持：采用NoSQL＋關(guān)系數(shù)據(jù)庫(kù)混合模式，絕大部分海量數(shù)據(jù)存放于分布式平臺(tái)并進(jìn)行分布式處理，少量實(shí)時(shí)性要求很高的數(shù)據(jù)存放于關(guān)系數(shù)據(jù)庫(kù)，可支撐各種類型的業(yè)務(wù)。不僅支撐查詢、統(tǒng)計(jì)、分析業(yè)務(wù)，還可支撐深度數(shù)據(jù)挖掘和商業(yè)智能分析業(yè)務(wù)。3.4可行性de 文件的所有block為了容錯(cuò)都會(huì)被復(fù)制(一般為3份)，每個(gè)文件的block大小和Namenode將取出該Datanode上對(duì)應(yīng)的block，對(duì)其進(jìn)行復(fù)制。NamenodeNamenode務(wù)器，為了避免主節(jié)點(diǎn)失效而影響整個(gè)系統(tǒng)正常工作，我們采用基于HDFS的改進(jìn)方案Avatar，同時(shí)可開啟兩個(gè)Namenode，主ee/18 HBase系統(tǒng)由HBase集群和ZooKeeper集群組成。HBase的可靠性由其自身的er負(fù)責(zé)管理Hregion。物理上，一張表是被拆成多個(gè)塊，一張完整的表格是保存在多個(gè)Hregion上面的。集群沒有影響，master保存的信息全是可以冗余信息(都可以從系統(tǒng)其它地方收集到/18 JobTracker0掛掉怎么辦？在系統(tǒng)啟動(dòng)時(shí)同時(shí)啟動(dòng)備份JobTracker1節(jié)點(diǎn)，當(dāng)JobTracker0節(jié)點(diǎn)宕機(jī)時(shí)，ZooKeeper會(huì)在其上啟動(dòng)JobTracker進(jìn)程替代JobTracker0節(jié)點(diǎn)，虛擬IP會(huì)指向此節(jié)點(diǎn)，TaskTracker會(huì)注冊(cè)到此節(jié)點(diǎn)上，未完成的MapReduce作業(yè)會(huì)被ZooKeeper調(diào)度到此節(jié)點(diǎn)上重新執(zhí)行。TaskTracker掛掉怎么辦？JobTracker是一個(gè)master服務(wù)，軟件啟動(dòng)之后Hadoop是一個(gè)相當(dāng)有彈性和擴(kuò)展性的平臺(tái)，它既可以在成千上萬(wàn)的機(jī)器上跑，也e其它分布式框架所寫的程序在從十臺(tái)機(jī)器的級(jí)別到成百上千臺(tái)機(jī)器需要大量的重構(gòu)工/184任務(wù)調(diào)度引擎--JobKeeperJobKeeper調(diào)度平臺(tái)是建立于虛擬化資源層之上，統(tǒng)一調(diào)度，統(tǒng)一配置的管理平臺(tái)，用于對(duì)集群中任務(wù)實(shí)時(shí)的處理調(diào)度，實(shí)時(shí)結(jié)果集的反饋，集群的負(fù)載均衡，失敗調(diào)度，集中管理，集中配置的平臺(tái)。用來保證整個(gè)集群的超低人員干預(yù)。同時(shí)，提供完善的集群伸縮機(jī)制為整個(gè)服務(wù)提供更高應(yīng)用層是一組用于管理和結(jié)果反饋的顯示組件。用于顯示任務(wù)的處理情況以及集群中機(jī)器的活動(dòng)情業(yè)務(wù)層是對(duì)于應(yīng)用層的相關(guān)功能的業(yè)務(wù)化，數(shù)字化處理，用于將應(yīng)用層的需求任務(wù)進(jìn)行規(guī)則化/18 劃分，形成統(tǒng)一的處理化模式。數(shù)據(jù)處理層是獨(dú)立的數(shù)據(jù)處理程序，是對(duì)不同需求數(shù)據(jù)的統(tǒng)一處理方案，他的運(yùn)行與監(jiān)控的工存儲(chǔ)層是用來存儲(chǔ)數(shù)據(jù)存儲(chǔ)層的處理結(jié)果集或者其他中間結(jié)果集的單元。虛擬化資源層是將實(shí)體的機(jī)器進(jìn)行虛擬化，形成更大范圍的服務(wù)集群。JobKeeper調(diào)度平臺(tái)是由一組管理節(jié)點(diǎn)(MasterNode)和一組處理節(jié)點(diǎn)(TaskNode)組成，管理節(jié)點(diǎn)組是一組基于Webserver的RPC(RPC采用客戶機(jī)/服務(wù)。請(qǐng)求程序就是一個(gè)客戶機(jī)，而服務(wù)提供程序就是一個(gè)服務(wù)器。首先，客戶機(jī)調(diào)用進(jìn)程發(fā)送一個(gè)有進(jìn)程參數(shù)的調(diào)用信息到服務(wù)進(jìn)程，然后等待應(yīng)答信息。在服務(wù)器端，進(jìn)程保持睡眠狀態(tài)直到調(diào)用信息的到達(dá)為止。當(dāng)一個(gè)調(diào)用信息到達(dá)，服務(wù)器獲得進(jìn)程參數(shù)，計(jì)算結(jié)果，發(fā)送答復(fù)信息，然后等待下一個(gè)調(diào)用信息，最后，客戶端調(diào)存儲(chǔ)系統(tǒng)上，保證每個(gè)管理節(jié)點(diǎn)中的鏡像信息的實(shí)時(shí)同步。同時(shí)架設(shè)在管理節(jié)點(diǎn)上的ZooKeeper服布式應(yīng)用可以使用它來實(shí)現(xiàn)諸如：統(tǒng)一命名服務(wù)、配置管理、分布式鎖服務(wù)、集群管理等功能。)用于對(duì)整個(gè)管理節(jié)點(diǎn)組進(jìn)行統(tǒng)一的配置化管理。處理節(jié)點(diǎn)組通過RPC的遠(yuǎn)程調(diào)用獲取各自節(jié)點(diǎn)的任務(wù)處理目標(biāo)，并實(shí)時(shí)的和處理節(jié)點(diǎn)上的任務(wù)處理目標(biāo)進(jìn)行對(duì)比，控制程序的執(zhí)行和結(jié)束。(注：這里的程序，可以是任何語(yǔ)言任何形式的獨(dú)立程序，但是必須提供執(zhí)行腳本，和運(yùn)行參數(shù)選項(xiàng))處理節(jié)點(diǎn)組會(huì)在一個(gè)設(shè)定的心跳間隔內(nèi)主動(dòng)的和管理節(jié)點(diǎn)組聯(lián)系一次，報(bào)告節(jié)點(diǎn)存活狀態(tài)。如果在若干個(gè)心跳間隔后管理節(jié)點(diǎn)組仍然沒有獲取到處理節(jié)點(diǎn)心跳報(bào)告，那么該處理節(jié)點(diǎn)將會(huì)被踢出處理節(jié)點(diǎn)組，同時(shí)該節(jié)點(diǎn)處理的所有處理任務(wù)也會(huì)被重新調(diào)度。隨著集群處理數(shù)據(jù)量的不斷增大，處理節(jié)點(diǎn)處理工作。JobKeeper調(diào)度平臺(tái)提供了一套基于Web的管理化界面，可以實(shí)時(shí)的觀察各個(gè)處理節(jié)點(diǎn)的任務(wù)運(yùn)行狀態(tài)，以及任務(wù)列表的分配情況，機(jī)器的負(fù)載情況等。用戶在管理系統(tǒng)界面上可以完成所有的與分析等。/18任務(wù)處理節(jié)點(diǎn)和管理節(jié)點(diǎn)之間維護(hù)一個(gè)心跳時(shí)間，實(shí)時(shí)向管理節(jié)點(diǎn)匯報(bào)任務(wù)處理信息，同時(shí)，任務(wù)處理節(jié)點(diǎn)在每個(gè)心跳時(shí)間內(nèi)向管理節(jié)點(diǎn)獲取該處理的任務(wù)列表，并和本機(jī)正在處理的任務(wù)列表進(jìn)行比對(duì)，完成相關(guān)的任務(wù)調(diào)度工作。若一個(gè)處理節(jié)點(diǎn)在多個(gè)心跳時(shí)間范圍內(nèi)仍然沒有主動(dòng)的和管理節(jié)點(diǎn)相互聯(lián)系，那么管理節(jié)點(diǎn)將會(huì)根據(jù)各機(jī)器的負(fù)載情況，將失去心跳連接的處理節(jié)點(diǎn)上的任務(wù)進(jìn)行任務(wù)的重新分配和執(zhí)行。/18 器 器 Intel芯片組(高溫主板)用南京市公安局廣東移動(dòng)信令共享云平臺(tái)、江蘇移動(dòng)信令共享云平臺(tái)、遼寧移動(dòng)信令共享云平臺(tái)南京智能安防監(jiān)控平臺(tái)優(yōu)化平安城市智能交通/18種種終端提供自適應(yīng)的并發(fā)訪問理天華傳媒云轉(zhuǎn)碼系統(tǒng)深圳天華傳媒、視頻點(diǎn)播行業(yè)媒體......珠海世紀(jì)鼎利通信科技股份有限公司作為一家在通信領(lǐng)域?qū)ｉL(zhǎng)于無(wú)線網(wǎng)絡(luò)測(cè)試并提供移動(dòng)通信網(wǎng)絡(luò)優(yōu)化綜合解決方案的高科技企業(yè)，以其領(lǐng)先的技術(shù)、服務(wù)實(shí)力以及優(yōu)秀業(yè)績(jī)，于2010年1月在創(chuàng)業(yè)板成功上市。世紀(jì)鼎利專注于為通信運(yùn)營(yíng)商、系統(tǒng)提供商和第三方咨詢服解決方案”提供商。移動(dòng)信令共享平臺(tái)作為世紀(jì)鼎利在通信行業(yè)云計(jì)算領(lǐng)域的典型性項(xiàng)目。移動(dòng)信令共享平臺(tái)使用云創(chuàng)存儲(chǔ)--數(shù)據(jù)立方云計(jì)算一體機(jī)解決方案，采用云計(jì)算和云存儲(chǔ)據(jù)的存儲(chǔ)和處理。該平臺(tái)既滿足中國(guó)移動(dòng)總部規(guī)范，又可以緊密結(jié)合實(shí)際網(wǎng)絡(luò)情況，提供了一套適合移動(dòng)集團(tuán)當(dāng)前管理模式，更能適應(yīng)今后發(fā)展需要。海量原始信令實(shí)時(shí)解析、合成CDR能夠?qū)α髁砍^48Gbps的全量原始信令流進(jìn)行實(shí)時(shí)處理。/18 高效索引算法，智能化調(diào)度任務(wù)系統(tǒng)，滿足秒級(jí)查詢速度。秒級(jí)實(shí)時(shí)業(yè)務(wù)響應(yīng)高效實(shí)時(shí)數(shù)據(jù)通道，對(duì)于像實(shí)時(shí)跟蹤、告警等實(shí)時(shí)業(yè)務(wù)，提供秒級(jí)響應(yīng)時(shí)間。使用云創(chuàng)存儲(chǔ)--數(shù)據(jù)立方云計(jì)算一體機(jī)，采用云計(jì)算模式，將原信令共享平臺(tái)升級(jí)到信令共享云平臺(tái)，不僅增強(qiáng)了系統(tǒng)的性能和可靠性，而且降低運(yùn)營(yíng)成本，具備了超高性價(jià)比。采用行能力，大大降低能耗和維護(hù)成本。提高客戶體驗(yàn)：使用云創(chuàng)存儲(chǔ)--數(shù)據(jù)立方云計(jì)算一體機(jī)解決方案，信令共享云平臺(tái)能夠支撐千萬(wàn)級(jí)并發(fā)訪問，PB級(jí)數(shù)據(jù)存儲(chǔ)、秒級(jí)數(shù)據(jù)處理能力，提高了客戶體驗(yàn)感。用戶訪問時(shí)，系統(tǒng)通過負(fù)載均衡云創(chuàng)存儲(chǔ)--數(shù)據(jù)立方云計(jì)算一體機(jī)具有超高可靠性，任意節(jié)點(diǎn)宕機(jī)，系統(tǒng)不停止服務(wù)；任意硬盤、網(wǎng)卡等部件損壞，不影響系統(tǒng)服務(wù)，系統(tǒng)能夠自動(dòng)容錯(cuò)，將數(shù)據(jù)分散在各個(gè)節(jié)點(diǎn)上，丟失數(shù)據(jù)的現(xiàn)象。任務(wù)處理過程中，節(jié)