電子運(yùn)維高可用方案

電子運(yùn)維高可用方案

2015.3議程什么是高可用業(yè)務(wù)背景解決思路硬件架構(gòu)調(diào)整軟件架構(gòu)調(diào)整實(shí)施步驟工作量估算議程什么是高可用業(yè)務(wù)背景解決思路硬件架構(gòu)調(diào)整軟件架構(gòu)調(diào)整實(shí)施步驟工作量估算高可用高性能可靠性容災(zāi)性容錯(cuò)性什么是高可用？頁(yè)面響應(yīng)時(shí)間不高于2s大數(shù)據(jù)操作延遲短接口調(diào)用無(wú)明顯延遲數(shù)據(jù)量增加不影響響應(yīng)時(shí)間用戶數(shù)增加不影響響應(yīng)時(shí)間高可用性（HighAvailability，縮寫為HA），是系統(tǒng)的一種特性，代表系統(tǒng)的可用性程度。其度量方式，是根據(jù)系統(tǒng)損害、無(wú)法使用的時(shí)間，以及由無(wú)法運(yùn)作回復(fù)到可運(yùn)作狀況的時(shí)間，與系統(tǒng)總運(yùn)作時(shí)間的比較。高可用性是進(jìn)行系統(tǒng)設(shè)計(jì)時(shí)的準(zhǔn)則之一。宕機(jī)次數(shù)少平均停機(jī)時(shí)間控制在一個(gè)范圍之內(nèi)停機(jī)后的恢復(fù)時(shí)間短不因?yàn)閱吸c(diǎn)故障導(dǎo)致系統(tǒng)整體不可用邏輯錯(cuò)誤數(shù)據(jù)可以自動(dòng)清理或者屏蔽不因?yàn)榫W(wǎng)絡(luò)延遲而導(dǎo)致線程掛起或CPU使用率偏高業(yè)務(wù)數(shù)據(jù)可以實(shí)時(shí)備份、快速恢復(fù)服務(wù)器硬件故障可轉(zhuǎn)移重要的程序文件不丟失議程什么是高可用業(yè)務(wù)背景解決思路硬件架構(gòu)調(diào)整軟件架構(gòu)調(diào)整實(shí)施步驟工作量估算業(yè)務(wù)背景集中化改造滿足故障集中化管理導(dǎo)致管理范圍的擴(kuò)大、鐵通10050與移動(dòng)10086融合、LTE告警故障工單接入的需求，保證在用戶數(shù)及工單數(shù)激增的情況下EOMS系統(tǒng)安全、穩(wěn)定運(yùn)行用戶量增加代維系統(tǒng)上線后代維人員需要參與故障處理；系統(tǒng)整體的用戶量激增，約有3-5倍的增加，用戶量的增加導(dǎo)致在線人數(shù)和峰值并發(fā)訪問(wèn)數(shù)量的增加，如果保證系統(tǒng)的響應(yīng)速度不變的情況下，必須對(duì)性能進(jìn)行優(yōu)化；工單量增加集中化故障系統(tǒng)的上線和鐵通10050融合以及LTE業(yè)務(wù)推廣后，家寬、無(wú)線流量用戶會(huì)帶來(lái)投訴量大量增加，最多的工單量達(dá)達(dá)5萬(wàn)/天，預(yù)計(jì)2015年會(huì)達(dá)到20萬(wàn)張/月；務(wù)必做到工單不丟失，派單要及時(shí)；不間斷服務(wù)電子運(yùn)維系統(tǒng)的重要地位導(dǎo)致客戶對(duì)系統(tǒng)可用性的要求提升，部分省份提出99.99%的可用性需求，所以必須對(duì)系統(tǒng)的架構(gòu)進(jìn)行調(diào)整以適應(yīng)高可用性的需求，傳統(tǒng)的架構(gòu)難以改進(jìn)和提升；議程什么是高可用業(yè)務(wù)背景解決思路硬件架構(gòu)調(diào)整軟件架構(gòu)調(diào)整實(shí)施步驟工作量估算解決思路硬件架構(gòu)調(diào)整提升硬件/虛擬化單一物理機(jī)/虛擬機(jī)硬件水平提升，X86云化集群化

單一集群向多集群轉(zhuǎn)變四層交換機(jī)

系統(tǒng)入口動(dòng)態(tài)負(fù)載均衡業(yè)務(wù)域拆分按重點(diǎn)業(yè)務(wù)功能域和數(shù)據(jù)用途拆分硬件分別部署基礎(chǔ)架構(gòu)調(diào)整WPS8流程引擎版本由6升級(jí)到8Informix數(shù)據(jù)庫(kù)向Oracle的遷移（11g）OracleRAC共享存儲(chǔ)的集群方案OracleDataGuard主/備模式的容災(zāi)方案軟件架構(gòu)調(diào)整SOA的架構(gòu)扁平化系統(tǒng)層次結(jié)構(gòu)，支持分布式部署接口協(xié)議簡(jiǎn)單化輕量級(jí)遠(yuǎn)程調(diào)用協(xié)議，引入請(qǐng)求隊(duì)列和多線程處理機(jī)制提高接口響應(yīng)速度統(tǒng)計(jì)分析

DataGuard備用數(shù)據(jù)庫(kù)/中間表方法實(shí)時(shí)響應(yīng)引入異步的WEB頁(yè)面消息推送機(jī)制，改善監(jiān)控類業(yè)務(wù)的使用感受引入成熟的技術(shù)框架性能監(jiān)控日志及預(yù)警99.99%=53分鐘議程什么是高可用業(yè)務(wù)背景解決思路硬件架構(gòu)調(diào)整軟件架構(gòu)調(diào)整實(shí)施步驟工作量估算硬件架構(gòu)調(diào)整–現(xiàn)有架構(gòu)WEB服務(wù)器應(yīng)用服務(wù)器數(shù)據(jù)庫(kù)服務(wù)器IHSORACLE/InformixWPS6節(jié)點(diǎn)系統(tǒng)存儲(chǔ)RAID系統(tǒng)不可用！壓力轉(zhuǎn)移！壓力轉(zhuǎn)移！系統(tǒng)不可用！硬件架構(gòu)調(diào)整–高可用架構(gòu)（低配）WEB服務(wù)器應(yīng)用服務(wù)器數(shù)據(jù)庫(kù)服務(wù)器HTTPServerORACLEWPS8集群系統(tǒng)存儲(chǔ)RAID5故障工單集群其它功能、流程集群APACHEPortalINSTANCE數(shù)據(jù)庫(kù)集群INSTANCERACPRIMARYDMNODE1NODEnDMNODE1NODEnX86云平臺(tái)4C/16G8C/32G8C/64G升級(jí)此模塊只需要更新這個(gè)集群X86服務(wù)器硬件架構(gòu)調(diào)整–高可用架構(gòu)（中配）WEB服務(wù)器應(yīng)用服務(wù)器數(shù)據(jù)庫(kù)服務(wù)器HTTPServerORACLEWPS8集群系統(tǒng)存儲(chǔ)RAID5故障工單集群接口總線其它流程、功能集群DMDMNODE1NODEnAPACHEPortal1APACHEPortal2INSTANCE數(shù)據(jù)庫(kù)集群INSTANCERACPRIMARYDMDMNODE1NODEnDMDMNODE1NODEnDM采取冷備份方式X86云平臺(tái)4C/16G8C/32G8C/64G升級(jí)此模塊只需要更新這個(gè)集群X86服務(wù)器硬件架構(gòu)調(diào)整–高可用架構(gòu)（高配）WEB服務(wù)器應(yīng)用服務(wù)器數(shù)據(jù)庫(kù)服務(wù)器HTTPServerORACLEWPS8集群系統(tǒng)存儲(chǔ)RAID5網(wǎng)絡(luò)四層交換機(jī)故障工單集群投訴工單集群接口總線其它功能集群DMDMNODE1NODEnAPACHEPortal1APACHEPortal2APACHEportalnINSTANCE流程引擎庫(kù)集群INSTANCERACPRIMARYSTANDBYDataGuardINSTANCE業(yè)務(wù)數(shù)據(jù)庫(kù)集群INSTANCERACPRIMARYSTANDBYDataGuardDMDMNODE1NODEnDMDMNODE1NODEnDMDMNODE1NODEn建立不同的數(shù)據(jù)庫(kù)賬號(hào)將流程數(shù)據(jù)剝離出去服務(wù)負(fù)載均衡和故障轉(zhuǎn)移DM采取冷備份方式X86云平臺(tái)4C/16G8C/32G8C/64G升級(jí)此模塊只需要更新這個(gè)集群X86服務(wù)器硬件架構(gòu)調(diào)整–高可用架構(gòu)HTTPSERVER宕機(jī)F5實(shí)現(xiàn)動(dòng)態(tài)負(fù)載均衡和容錯(cuò)每個(gè)節(jié)點(diǎn)都保存完整的靜態(tài)文件（HTML/JS/CSS）每個(gè)節(jié)點(diǎn)均鏈接到全部集群入口地址單個(gè)集群中DM宕機(jī)冷備份方法，備機(jī)平時(shí)不啟動(dòng)，主DM故障后，啟動(dòng)備機(jī)替代主DMDM在集群運(yùn)行期間不起作用，只要在節(jié)點(diǎn)重啟之前恢復(fù)即可集群內(nèi)的節(jié)點(diǎn)宕機(jī)集群具備容錯(cuò)和動(dòng)態(tài)負(fù)載功能，可以把請(qǐng)求轉(zhuǎn)移到其它正常工作的節(jié)點(diǎn)如果節(jié)點(diǎn)全部失敗只影響本集群的業(yè)務(wù)功能，不影響其它集群功能數(shù)據(jù)庫(kù)宕機(jī)Standby數(shù)據(jù)庫(kù)可以接管Primary，啟用備用存儲(chǔ)Primary恢復(fù)后，作為Standby角色替換盤陣宕機(jī)切換到Standby服務(wù)器議程什么是高可用業(yè)務(wù)背景解決思路硬件架構(gòu)調(diào)整軟件架構(gòu)調(diào)整實(shí)施步驟工作量估算軟件架構(gòu)調(diào)整異步化輕量化分布化服務(wù)化123隊(duì)列或者總線123ABCAABBCCServiceServiceServiceService業(yè)務(wù)模塊業(yè)務(wù)模塊業(yè)務(wù)模塊業(yè)務(wù)模塊ABCEDABC123隊(duì)列或總線系統(tǒng)1接口不可用123123發(fā)生錯(cuò)誤返回重做正常返回占用了更多資源導(dǎo)致系統(tǒng)緩慢軟件架構(gòu)調(diào)整–異步化模塊越來(lái)越多，單服務(wù)器負(fù)荷越來(lái)越大軟件架構(gòu)調(diào)整–分布化分布的服務(wù)之前數(shù)據(jù)可以同步服務(wù)不一定在本地，可能來(lái)自遠(yuǎn)程調(diào)用ServiceServiceServiceServiceServiceServiceServiceServiceREST/JavaCall/EJB/RPC/ESB/JMS/JDBC/FTP業(yè)務(wù)模塊1業(yè)務(wù)模塊2業(yè)務(wù)模塊n軟件架構(gòu)調(diào)整–服務(wù)化技術(shù)點(diǎn)現(xiàn)有技術(shù)替代技術(shù)接口協(xié)議WebServiceHTTP+JSON頁(yè)面數(shù)據(jù)推送無(wú)WebSocket/Flash頁(yè)面框架ExtJS/FLASH/SVGFlash/Bootstrap/jQuery實(shí)時(shí)監(jiān)控?zé)oNodeJS分布式緩存無(wú)RedisXML解析CastorXStreamMVC框架StrutsSpringMVC持久化框架HibernateSpringJDBC/SpringDATAIoC技術(shù)框架Spring1.2.8Spring3.x流程協(xié)議BPELBPM應(yīng)用服務(wù)器WAS+IHSNginx+TomcatJDK1.41.6報(bào)表存儲(chǔ)關(guān)系數(shù)據(jù)庫(kù)Mongodb數(shù)據(jù)庫(kù)Informix/OracleOracle+NOSQL軟件架構(gòu)調(diào)整–輕量化軟件架構(gòu)調(diào)整–整體技術(shù)架構(gòu)架構(gòu)變化包括：

SOA架構(gòu)：將以前完整打包的應(yīng)用以SOA的概念拆分為可組合的服務(wù)單元，將底層服務(wù)和上層業(yè)務(wù)分離，支持服務(wù)的遠(yuǎn)程調(diào)用和二次開發(fā)，支持分布式部署；接口優(yōu)化：放棄笨重的WebService協(xié)議，采取REST+JSON和Hessian輕量級(jí)接口協(xié)議，提供異步/同步二種接口形式，提高接口效率；成熟底層框架：采用SpringFramework業(yè)界成熟的開發(fā)框架，提高開發(fā)效率和系統(tǒng)的穩(wěn)定性，跟方便的進(jìn)行部署和測(cè)試；實(shí)時(shí)Web響應(yīng)：針對(duì)實(shí)時(shí)的監(jiān)控類型的業(yè)務(wù)需求，引入高性能的Web開發(fā)框架Nodejs，提供高性能異步的Web通訊解決方案，使用WebSocket來(lái)實(shí)現(xiàn)和頁(yè)面的實(shí)時(shí)交互，提供更好的用戶體驗(yàn)和提升數(shù)據(jù)的信息量；UI：采用EXTJS/HTML5開發(fā)框架，提供更好的、一致的使用體驗(yàn)，使用門戶的開發(fā)模式，將系統(tǒng)的分布的功能集成在一個(gè)界面中，業(yè)務(wù)模塊可單獨(dú)發(fā)布和升級(jí)，不會(huì)影響系統(tǒng)其它部分的正常運(yùn)行；WPS7JVMJ2EESpringSecuritySpringJDBCSpringDATASpringMVCSpringFrameworkESBMQORACLEREDISDerbyMongoDBHessianxFireNodeJSMemoryCacheAxStreamDroolsQuartz組織架構(gòu)實(shí)時(shí)數(shù)據(jù)統(tǒng)計(jì)并發(fā)任務(wù)管理數(shù)據(jù)導(dǎo)入導(dǎo)出流程引擎封裝數(shù)據(jù)字典角色/權(quán)限報(bào)表服務(wù)性能監(jiān)控接口監(jiān)控定時(shí)任務(wù)表單服務(wù)故障工單投訴工單應(yīng)急管理大屏展示工單看板工單流水線知識(shí)管理代維量化薪酬值班/作業(yè)基礎(chǔ)架構(gòu)技術(shù)框架基礎(chǔ)服務(wù)業(yè)務(wù)模塊Servlets/JSPsJavaScriptsHTML/CSS/IMGPortletsFLEXUIHTTPRESTWebserviceRemotecallJMSESBFTP本地或遠(yuǎn)程調(diào)用GISEOMS35.war新增工單隊(duì)列追單/告警清除隊(duì)列告警系統(tǒng)IBMWPSDB記錄接口日志W(wǎng)ebService調(diào)用立即返回工單號(hào)Interfacequeue.warnewzhuipai目前除了福建,新增和追單分離為2個(gè)隊(duì)列,其它省為1個(gè)隊(duì)列異常隊(duì)列消息從隊(duì)列里彈出CentralCommonfaultServlet1234A4B567InterSwitchAlarmnewAlarm()syncAlarm()失敗次數(shù)少于3次；被追單的主工單沒(méi)有生成，需要繼續(xù)等待；被清除的工單尚未生成；重試3次依然失?。ㄈ鏦PS異常/程序異常等）發(fā)生了未知的異常（比如：網(wǎng)絡(luò)問(wèn)題/磁盤滿等）派單追單清除告警軟件架構(gòu)調(diào)整–接口調(diào)整軟件架構(gòu)調(diào)整–統(tǒng)計(jì)RACPrimarySTANDBYDataGuardKETTLE中間表報(bào)表基于STANDBY數(shù)據(jù)庫(kù),不影響在線數(shù)據(jù)庫(kù)的性能采用KETTLE工具將細(xì)節(jié)數(shù)據(jù)抽取為較粗粒度的中間表基于中間表進(jìn)行數(shù)據(jù)查詢，完全脫離在線數(shù)據(jù)庫(kù)采用REDIS等非關(guān)系型數(shù)據(jù)庫(kù)提高實(shí)時(shí)報(bào)表的處理效率REDIS應(yīng)用服務(wù)器詳細(xì)數(shù)據(jù)【壓縮】實(shí)時(shí)統(tǒng)計(jì)數(shù)據(jù)軟件架構(gòu)調(diào)整–實(shí)時(shí)監(jiān)控Blazeds.wareoms35.war目前湖北的工單看板已經(jīng)上線，效果良好；可以滿足目前指標(biāo)的動(dòng)態(tài)呈現(xiàn)需求showpad.js采用獨(dú)立的基于異步Web服務(wù)的Nodejs作為實(shí)時(shí)監(jiān)控的服務(wù)器；與現(xiàn)有EOMS系統(tǒng)分離，保證不干擾正常業(yè)務(wù)操作的執(zhí)行；界面采用HTML5開發(fā)，支持手機(jī)和桌面多種客戶端，且無(wú)需安裝任何插件；議程什么是高可用業(yè)務(wù)背景解決思路硬件架構(gòu)調(diào)整軟件架構(gòu)調(diào)整實(shí)施步驟工作量估算遷移方案

-原則先搭建穩(wěn)定的基礎(chǔ)架構(gòu)平臺(tái)部署與業(yè)務(wù)無(wú)關(guān)的Service模塊，并作壓力測(cè)試采取逐步、且功能完整的模塊整體遷移分階段實(shí)施，不可冒進(jìn)新舊系統(tǒng)并行待舊系統(tǒng)全部遷移完成再?gòu)氐钻P(guān)閉充分測(cè)試和驗(yàn)證實(shí)施步驟1.基礎(chǔ)環(huán)境搭建InformixOracle(WPS)Oracle(EOMS)WPS7故障工單投訴工單其它工單值班/作業(yè)基礎(chǔ)模塊統(tǒng)計(jì)報(bào)表技術(shù)框架基礎(chǔ)服務(wù)http://eoms35http://eoms5實(shí)施步驟2.模塊的分布遷移InformixOracle(WPS)Oracle(EOMS)WPS8投訴工單其它工單值班/作業(yè)基礎(chǔ)模塊統(tǒng)計(jì)報(bào)表技術(shù)框架基礎(chǔ)服務(wù)http://eoms35http://eoms5故障工單遷移之后新功能