災(zāi)備切換自動化方案白皮書

1、AutoSwitch災(zāi)備切換自動化方案白皮書二零一六年八月目 錄第一章 綜述31.1手工災(zāi)備切換的問題31.2AutoSwitch的價值3第二章 AutoSwitch災(zāi)備切換自動化系統(tǒng)52.1AutoSwitch技術(shù)特點(diǎn)52.2AutoSwitch功能架構(gòu)92.3AutoSwitch系統(tǒng)原理122.4典型災(zāi)備系統(tǒng)切換過程14第三章 AutoSwitch部署架構(gòu)和成功案例303.1部署架構(gòu)303.2 配置要求303.3成功案例31第一章 綜述1.1 手工災(zāi)備切換的問題災(zāi)備中心建設(shè)投入了大量人力、物力，但災(zāi)備切換往往還停留在手工進(jìn)行災(zāi)備切換的階段，災(zāi)難來臨時災(zāi)備中心能否在規(guī)定的時間內(nèi)完成切換、及時

2、恢復(fù)生產(chǎn)、發(fā)揮應(yīng)有保障作用，還有很大的隱憂。主要原因有如下幾個方面：1) 手工切換時間過長、難以達(dá)到RTO目標(biāo) 由于災(zāi)備切換流程的繁瑣、復(fù)雜，導(dǎo)致手工進(jìn)行災(zāi)備切換至少需要很長時間才能完成災(zāi)，往往不能在規(guī)定的RTO內(nèi)完成切換，實(shí)現(xiàn)保障業(yè)務(wù)連續(xù)性的目標(biāo)。2）手工切換人為因素過多、切換經(jīng)常失敗 災(zāi)備切換流程繁瑣、復(fù)雜，手工執(zhí)行起來往往比較吃力，切換時需要操作的命令多、時間緊，操作員精神壓力大導(dǎo)致手忙腳亂，人為出錯的幾率也就增大，實(shí)際操作中由于這樣那樣的原因往往導(dǎo)致切換失敗，無法保證一次切換成功。3）缺乏演練、關(guān)鍵時刻不能發(fā)揮作用由于業(yè)務(wù)發(fā)展的需要、應(yīng)用經(jīng)常升級，有關(guān)配置、系統(tǒng)環(huán)境也隨之需要做相應(yīng)變化

3、，受限于保障生產(chǎn)的要求，無法及時進(jìn)行災(zāi)備切換演練，導(dǎo)致不能盡快發(fā)現(xiàn)問題、災(zāi)備中心關(guān)鍵時刻能否發(fā)揮作用存在很大隱憂?？傊?，災(zāi)備切換依靠手工完成，不僅效率低，而且切換時間長，由于人為因素過多導(dǎo)致切換的成功率無法保證；公司的IT運(yùn)維水平和故障應(yīng)急處理能力難以提升、難以保障IT服務(wù)的持續(xù)性和主動規(guī)避不可預(yù)見的風(fēng)險。1.2 AutoSwitch的價值1）減少人為因素、保證切換成功率災(zāi)備切換流程繁瑣、復(fù)雜、冗長，以往操作員手工執(zhí)行起來比較吃力，命令多、時間緊、操作員精神壓力大，人為出錯的幾率也隨之增大，一次切換的成功率無法保證。通過災(zāi)備自動切換系統(tǒng)替代人工操作，避免人為出錯的概率，保證切換的成功率，原則上

4、只要系統(tǒng)環(huán)境正常，切換就會成功；達(dá)到即切即用的要求、保證業(yè)務(wù)的連續(xù)性。2）縮短切換時間、大大提高切換效率通過災(zāi)備自動切換系統(tǒng)替代人工操作，既減少了人工輸入的時間、同時無依賴關(guān)系的多臺系統(tǒng)可以并發(fā)處理，減少了不必要的等待，大大縮短了切換時間。 第二章 AutoSwitch災(zāi)備切換自動化系統(tǒng)災(zāi)備系統(tǒng)切換控制的范圍涵蓋企業(yè)的每個重要業(yè)務(wù)系統(tǒng)，包括主機(jī)、存儲、數(shù)據(jù)庫、中間件、DNS系統(tǒng)等等；切換過程涉及企業(yè)的眾多部門，需要多部門、多崗位、多人配合協(xié)調(diào)才能完成；同時手工切換過程轉(zhuǎn)換成自動化流程并不是簡單將手工操作命令寫成批處理命令，而是根據(jù)業(yè)務(wù)需要將切換流程固定下來，進(jìn)行合理的優(yōu)化，從而實(shí)現(xiàn)災(zāi)備切換的自

5、動化；在執(zhí)行自動化切換的過程中，如果出現(xiàn)某個步驟異常，還需要有處理特殊故障的解決辦法。要將災(zāi)備系統(tǒng)切換自動化完成，會面臨上述的諸多挑戰(zhàn)。由于災(zāi)備切換系統(tǒng)需要管理的各種資源關(guān)系復(fù)雜，應(yīng)用系統(tǒng)之間依存性高，利用AutoSwitch災(zāi)備切換管理軟件的流程管理可以清晰定義以上各種關(guān)系，簡單友好的界面讓用戶對流程等一目了然，通過使用AutoSwitch災(zāi)備自動切換系統(tǒng)有力幫助用戶保證災(zāi)備系統(tǒng)的服務(wù)質(zhì)量、提高應(yīng)對突發(fā)事件的能力。 2.1 AutoSwitch技術(shù)特點(diǎn)Ø 一鍵式災(zāi)備切換：一是按應(yīng)用設(shè)計(jì)災(zāi)備切換流程，將切換時要做的工作先分階段定義好，再在每個階段中將要執(zhí)行的命令統(tǒng)一寫成腳本；二是災(zāi)備

6、切換作業(yè)調(diào)度完全自動化，在災(zāi)備切換時、能夠從單一Web入口進(jìn)入災(zāi)備自動切換控制臺，只需一鍵啟動災(zāi)備切換、所有命令自動執(zhí)行，在命令執(zhí)行過程中無需人工操作；通過將傳統(tǒng)手工流程轉(zhuǎn)變?yōu)槿詣踊僮髁鞒?，縮短了切換時間、提高了切換效率、降低了人工成本。 Ø 直觀展示切換進(jìn)度：災(zāi)備切換開始后， AutoSwitch展示切換進(jìn)度和執(zhí)行狀態(tài)，操作員可以清楚地看到流程各個步驟是否執(zhí)行完畢，實(shí)時監(jiān)控切換進(jìn)度。 一旦發(fā)生故障可以快速定位，并為操作員提供可操作的手工處理方案。Ø 支持人工干預(yù)、處理：切換出現(xiàn)故障或者需要人工干預(yù)時，災(zāi)備切換暫時停止，Web頁面提供人工操作控制的交互入口，等待人工處理

7、后再繼續(xù)自動處理后續(xù)流程。Ø 自動生成災(zāi)備操作手冊（Runbook）：AutoSwitch能夠自動生成災(zāi)備操作手冊，當(dāng)業(yè)務(wù)流程發(fā)生變化需要修改相關(guān)切換流程時，在AutoSwitch系統(tǒng)里修改好相關(guān)的流程、命令，即可同步生成相對應(yīng)的災(zāi)備操作手冊，極大地方便了運(yùn)維管理人員備案和實(shí)際操作人員理解災(zāi)備切換流程。Ø 支持演練環(huán)境：AutoSwitch支持演練環(huán)境,當(dāng)應(yīng)用系統(tǒng)升級或其它系統(tǒng)配置發(fā)生變化以后，可以在不影響生產(chǎn)的情況下及時演練、發(fā)現(xiàn)問題、保證災(zāi)備系統(tǒng)的可用性。Ø 內(nèi)置常用管理腳本：Autoswitch系統(tǒng)內(nèi)置了windows/unix/linux 操作系統(tǒng)、Ora

8、cle/Infomix等數(shù)據(jù)庫、Weblogic/Websphere等中間件的常用操作腳本，可以在災(zāi)備切換的命令中直接調(diào)用。Ø 內(nèi)置常用檢查腳本：災(zāi)備切換過程中需要執(zhí)行很多命令，如何判斷這個命令執(zhí)行是否成功，需要做相應(yīng)的檢查。比如，數(shù)據(jù)庫啟動后，究竟數(shù)據(jù)庫是否能正常工作，需要做相應(yīng)的檢查，否則數(shù)據(jù)庫啟動過程中由于某種原因沒有正常啟動，執(zhí)行過啟動命令后，繼續(xù)執(zhí)行其它切換中的操作命令將會造成整個災(zāi)備切換的不成功，有可能給造成無法挽回的損失。Ø 系統(tǒng)成熟、可靠、穩(wěn)定：整個災(zāi)備自動化系統(tǒng)由兩臺服務(wù)器組成主、備“災(zāi)備切換服務(wù)器”，可以保證7乘24 小時隨時能夠進(jìn)行切換操作，保證切換的

9、成功率。AutoSwitch產(chǎn)品從08年中航信使用AutoSwitch 1.0保障災(zāi)備切換起到14年國家電網(wǎng)全國災(zāi)備中心使用AutoSwitch3.0，經(jīng)過客戶多年使用反饋和不斷優(yōu)化，產(chǎn)品已經(jīng)為多個用戶成功保障災(zāi)備切換和日常災(zāi)備演練，經(jīng)過實(shí)踐證明，產(chǎn)品非常成熟可靠穩(wěn)定。2.2 AutoSwitch功能架構(gòu)詳細(xì)功能一覽表：功能名稱說明流程管理切換流程的創(chuàng)建和修改：支持圖形可視化創(chuàng)建及修改流程?？砂茨０暹M(jìn)行流程創(chuàng)建，提供版本管理、發(fā)布管理功能。支持批量創(chuàng)建流程、支持模板創(chuàng)建流程。切換流程的執(zhí)行： 支持并發(fā)執(zhí)行流程，可同時啟動后臺多個自動流程執(zhí)行。 支持靈活的流程執(zhí)行模式，在同一流程中提供正常執(zhí)行（

10、按預(yù)定義）、全自動執(zhí)行（人工轉(zhuǎn)自動）及人工執(zhí)行（自動轉(zhuǎn)人工）三種模式，能靈活根據(jù)實(shí)際要求在多種模式之間進(jìn)行自然切換。 對執(zhí)行過程中產(chǎn)生的反饋信息進(jìn)行及時的顯示和記錄，以便進(jìn)行實(shí)時跟蹤以及事后回溯分析。支持流程執(zhí)行的定時設(shè)置功能，可根據(jù)需要在指定的時間點(diǎn)發(fā)起相應(yīng)流程完成目標(biāo)要求。支持基于流程級別的角色權(quán)限控制，可保證多角色下的流程安全操作。切換流程的人工交互：支持人工交互操作，切換中如果發(fā)生故障，可以在人工處理后繼續(xù)自動處理后續(xù)流程。切換流程的故障處理：當(dāng)流程執(zhí)行過程中產(chǎn)生異常時，提供聲音或圖形界面報警，及時提醒人員在相應(yīng)故障發(fā)送位置進(jìn)行排障處理。架構(gòu)支持軟件支持中、英文，具備中英文的界面，幫助

11、，文檔。界面布局清晰合理。支持多平臺/多廠商環(huán)境。所管理的切換受控端可以分布于所有主流操作系統(tǒng)平臺。支持以下操作系統(tǒng)（包括且不僅限于AIX、 HP-UX、Solaris、Linux和Windows Server等）。采用純B/S（瀏覽器/服務(wù)器）架構(gòu)，可隨時通過瀏覽器遠(yuǎn)程管理。所管理的切換受控端支持代理Agent和非代理Agentless兩種方式對業(yè)務(wù)主機(jī)、存儲管理、DNS設(shè)備進(jìn)行交互操作。所管理的切換受控端支持安裝在WebLogic、Tomcat等各種Web和應(yīng)用服務(wù)器上。支持手動或自動對部署在生產(chǎn)和災(zāi)備業(yè)務(wù)主機(jī)上的代理程序或腳本進(jìn)行遠(yuǎn)程更新。報表功能提供內(nèi)容包括但不局限于流程執(zhí)行、用戶信息

12、、故障信息等的報表系統(tǒng)，并具有報表導(dǎo)出功能，能夠以網(wǎng)頁或EXCEL等文件方式將報表導(dǎo)出并保存。審計(jì)功能所有的操作有詳細(xì)的審計(jì)記錄（包括命令行和圖形的操作記錄及作業(yè)記錄）。能夠顯示各主要模塊的運(yùn)行狀態(tài)，具有系統(tǒng)日志審計(jì)功能。演練功能支持在不影響生產(chǎn)的情況下及時演練、發(fā)現(xiàn)問題、保證災(zāi)備系統(tǒng)的可用性，能夠根據(jù)演練中的問題進(jìn)行分析，不斷優(yōu)化演練技術(shù)流程。擴(kuò)展性通過界面配置即可完成新功能擴(kuò)展。對于新開發(fā)的功能腳本，提供良好自定義支持，對災(zāi)備端環(huán)境配置信息的變更可以自動探測。具備靈活的橫向擴(kuò)展，從技術(shù)上來說，主控端可以無限制支持增加的受控端?？煽啃?) 支持本地高可用方式部署。2) 軟件本身具備數(shù)據(jù)同步功

13、能，當(dāng)一方發(fā)生災(zāi)難時，另一方能立即在線進(jìn)行接管控制，保證了平臺7*24正常運(yùn)行。易用性采用單一用戶數(shù)據(jù)庫權(quán)限系統(tǒng)，用戶無需多次登錄；能夠從單一Web入口進(jìn)入災(zāi)備自動切換控制臺，無需人工逐一登錄各主機(jī)進(jìn)行操作。軟件對失敗或超時的流程提供異常原因分析，告知操作人員流程異常的原因，方便操作人員采取應(yīng)對措施，故障處理與反饋提示均要友好且準(zhǔn)確。展示界面1) 提供良好的人機(jī)界面，方便定義切換和管理流程；2) 通過圖形界面方式實(shí)時展示切換信息，直觀展示流程中各步驟的順序關(guān)系；3) 以圖標(biāo)的顏色標(biāo)示分步步驟的運(yùn)行狀態(tài)，流程圖上能直觀地反應(yīng)流程上各節(jié)點(diǎn)的執(zhí)行時間。4) 流程圖能夠定制流程間的依賴關(guān)系和多種制約關(guān)

14、系，以滿足災(zāi)備系統(tǒng)操作人員使用需求。狀態(tài)監(jiān)控支持對所有Agent進(jìn)行狀態(tài)監(jiān)控，保證流程可順利執(zhí)行。支持對系統(tǒng)登錄狀態(tài)進(jìn)行記錄，支持監(jiān)控和管理工作負(fù)載異常，通過操作控制臺創(chuàng)建生產(chǎn)運(yùn)行時報告，幫助分析。能在流程執(zhí)行界面中嵌入滾動日志，直觀顯示流程執(zhí)行狀態(tài)。人工處理支持人工處理環(huán)節(jié)，對于必須人工執(zhí)行或判斷的環(huán)節(jié)，由人工做出判斷后，決定流程是否繼續(xù)執(zhí)行或終止；在自動切換過程中，如果某一個步驟的執(zhí)行發(fā)生了故障，或者需要既定人工處理，操作人員可以根據(jù)圖標(biāo)顏色變化準(zhǔn)確定位故障或人工處理的發(fā)生位置，并根據(jù)圖標(biāo)鏈接頁面查詢到該步驟的人工處理方案。 授權(quán)與訪問控制支持對系統(tǒng)用戶按角色或者角色組進(jìn)行授權(quán)；支持對系統(tǒng)

15、功能提供角色級別的權(quán)限控制。2.3 AutoSwitch系統(tǒng)原理AutoSwitch服務(wù)器和應(yīng)用服務(wù)器的交互主要有下面三種方式：Ø 在應(yīng)用服務(wù)器上以root身份安裝AgentAutoSwitch服務(wù)器通過Agent完成操作。Ø 在應(yīng)用服務(wù)器上以普通用戶身份安裝AgentAutoSwitch服務(wù)器通過SSH登錄到應(yīng)用服務(wù)器完成操作。Ø 在應(yīng)用服務(wù)器上不安裝AgentAutoSwitch服務(wù)器通過SSH登錄到應(yīng)用服務(wù)器完成操作。2.4 典型災(zāi)備系統(tǒng)切換過程準(zhǔn)備工作開始切換前，應(yīng)確認(rèn)當(dāng)前環(huán)境滿足切換要求。網(wǎng)絡(luò)檢查切換工作網(wǎng)絡(luò)與所有服務(wù)器的網(wǎng)絡(luò)聯(lián)通，執(zhí)行人可以登陸到每一臺

16、服務(wù)器；切換系統(tǒng)服務(wù)器*.*.*.14到其他服務(wù)器的網(wǎng)絡(luò)聯(lián)通。切換系統(tǒng)檢查主機(jī)主機(jī)身份切換系統(tǒng)進(jìn)程檢查*.*.*.14Server切換服務(wù)進(jìn)程正常啟動*.*.*.7Agent切換代理進(jìn)程正常啟動*.*.*.11Agent切換代理進(jìn)程正常啟動*.*.*.12Agent切換代理進(jìn)程正常啟動*.*.*.13Agent切換代理進(jìn)程正常啟動*.*.*.68Agent切換代理進(jìn)程正常啟動*.*.*.36Agent切換代理進(jìn)程正常啟動應(yīng)用程序檢查（切換方向 云南：à北京）云南部分程序檢查：主機(jī)登陸用戶檢查*.*.*.16administrator有23個bat窗口啟動*.*.*.7rootps -

17、ef|grep -i "com.zy.calc.CarMap"|grep -v grep檢查：主應(yīng)用進(jìn)程正在運(yùn)行*.*.*.11rootps -ef|grep -i "gateway"|grep -v grep檢查：存在3個網(wǎng)關(guān)進(jìn)程*.*.*.12rootps -ef|grep -i "gateway"|grep -v grep檢查：存在3個網(wǎng)關(guān)進(jìn)程*.*.*.13rootps -ef|grep -i "gateway"|grep -v grep檢查：存在3個網(wǎng)關(guān)進(jìn)程北京部分程序檢查：主機(jī)登陸用戶檢查*.*.*.6

18、8rootps -ef|grep -i "com.zy.calc.MapCountControl|com.zy.calc.CarMap|AppSrv01 "|grep -v grep檢查：主應(yīng)用進(jìn)程不在運(yùn)行rootps -ef|grep -i "gateway5555"|grep -v grep檢查：不存在網(wǎng)關(guān)進(jìn)程GoldenGate同步檢查：網(wǎng)關(guān)數(shù)據(jù)庫和應(yīng)用數(shù)據(jù)庫狀態(tài)正常：主機(jī)登陸用戶檢查*.*.*.68oraclesh tjyh_oracle_check_aix_10G.sh數(shù)據(jù)庫人員檢查輸出結(jié)果*.*.*.36oraclesh tjyh_oracl

19、e_check_linux_11g.sh數(shù)據(jù)庫人員檢查輸出結(jié)果*.*.*.8db2inst1sh /home/db2inst1/db2_check.sh 數(shù)據(jù)庫人員檢查輸出結(jié)果*.*.*.12db2inst1sh /home/db2inst1/db2_check.sh數(shù)據(jù)庫人員檢查輸出結(jié)果網(wǎng)關(guān)數(shù)據(jù)庫和應(yīng)用數(shù)據(jù)庫的復(fù)制方向?yàn)椋涸颇?#224;北京主機(jī)登陸用戶檢查*.*.*.12oggsh gateway_yn_extract_status.sh數(shù)據(jù)庫人員檢查輸出結(jié)果*.*.*.36oggsh gateway_bj_replicat_status.sh數(shù)據(jù)庫人員檢查輸出結(jié)果*.*.*.8oggsh

20、 ztdb_yn_extract_status.sh 數(shù)據(jù)庫人員檢查輸出結(jié)果*.*.*.68oggsh ztdb_bj_replicat_status.sh數(shù)據(jù)庫人員檢查輸出結(jié)果2.4.2開始切換：云南à北京方向?qū)⒃颇暇W(wǎng)關(guān)服務(wù)器上的定時任務(wù)關(guān)閉主機(jī)登陸用戶檢查*.*.*.11rootcrontab -e 將gateway相關(guān)定時任務(wù)注釋*.*.*.12rootcrontab -e 將gateway相關(guān)定時任務(wù)注釋*.*.*.13rootcrontab -e 將gateway相關(guān)定時任務(wù)注釋登陸自動化切換系統(tǒng)開始切換地址：*.*.*.14用戶名/密碼：admin/admin在左側(cè)目錄中

21、選擇“自動化作業(yè)流”進(jìn)入流程自動調(diào)度頁面點(diǎn)擊右上方的箭頭圖標(biāo)，選擇“執(zhí)行作業(yè)流”在彈出窗口中選擇要執(zhí)行的切換流程，勾選后點(diǎn)擊右上角的“確認(rèn)”在提示信息窗口中點(diǎn)擊“是”，開始切換可以看到剛才勾選的切換流程已經(jīng)開始執(zhí)行了點(diǎn)擊作業(yè)流程圖圖標(biāo)，進(jìn)入流程圖作業(yè)流程圖各步驟顏色標(biāo)示的說明：灰色：未執(zhí)行；藍(lán)色：正在執(zhí)行（見向后兩頁圖例）綠色：已經(jīng)執(zhí)行并成功；紅色：需要人工處理。當(dāng)前流程圖中紅色標(biāo)示的人工處理步驟，需要以administrator登陸云南應(yīng)用服務(wù)器*.*.*.16，關(guān)閉正在運(yùn)行的23個窗口；在所有操作執(zhí)行通過后，在人工步驟上點(diǎn)擊右鍵，在菜單中選擇“繼續(xù)作業(yè)流程”該步驟將被修改為綠色完成狀態(tài)系統(tǒng)

22、將自動執(zhí)行后續(xù)操作其中，藍(lán)色為正在執(zhí)行的步驟云南網(wǎng)關(guān)程序停止并檢查通過后，按順序來到數(shù)據(jù)庫及網(wǎng)絡(luò)轉(zhuǎn)向步驟其中：為人工步驟，需依照ogg中煙云南對北京切換化方案20150330.docx執(zhí)行相應(yīng)操作。在所有操作執(zhí)行通過后，在人工步驟上點(diǎn)擊右鍵，在菜單中選擇“繼續(xù)作業(yè)流程”該步驟將被修改為綠色完成狀態(tài)系統(tǒng)將自動繼續(xù)執(zhí)行后續(xù)操作直至流程執(zhí)行結(jié)束。自動切換流程中的錯誤處理在自動化切換流程中，如果自動執(zhí)行過程中遇到異常情況，某一檢查步驟不滿足預(yù)定的期望條件，該步驟將轉(zhuǎn)為紅色標(biāo)示，需要人工處理。例：處理方法如下：在該步驟上點(diǎn)擊右鍵，在菜單中選擇“作業(yè)執(zhí)行詳細(xì)情況”，將打開該步驟作業(yè)執(zhí)行詳細(xì)情況的頁面在頁面右上方選擇標(biāo)簽“運(yùn)行日志”，可以看到該步驟的執(zhí)行結(jié)果，可作為判斷并解決異常的參考信息。如有需要，也可在其他任意步驟上打開作業(yè)執(zhí)行詳細(xì)情況的頁面作為參考。在參照結(jié)果判斷異常并解決后，將所有“作業(yè)執(zhí)行詳細(xì)情況