HACMP配置與維護手冊.doc

POWER HA5.5配置與維護手冊2010年9月2日目錄第一章 一體化系統(tǒng)HACMP配置41.1系統(tǒng)結(jié)構(gòu)圖41.2拓?fù)湟?guī)劃41.3磁盤資源規(guī)劃51.4應(yīng)用規(guī)劃61.5操作系統(tǒng)要求7第二章HACMP日常維護92.1HACMP服務(wù)正常啟停92.1.1HACMP啟動92.1.2停止HA102.2查看HACMP集群服務(wù)狀態(tài)112.2.1查看HACMP服務(wù)狀態(tài)112.2.2查看資源組的狀態(tài)112.2.3查看HACMP集群狀態(tài)12第三章系統(tǒng)切換方案133.1rlw1機器應(yīng)用出現(xiàn)故障，HACMP資源切換133.1.1切換rlw1_apprg資源組133.1.2恢復(fù)rlw1_apprg資源組143.2hg2機器應(yīng)用出現(xiàn)故障，HACMP資源切換163.2.1切換rlw2_orarg資源組163.2.2恢復(fù)rlw2_orarg資源組18第四章HACMP切換測試204.1網(wǎng)卡故障模擬測試204.2rlw1 系統(tǒng)單機故障模擬測試214.3rlw2 系統(tǒng)單機故障模擬測試234.4rlw1系統(tǒng)HA 手工切換測試254.5rlw2系統(tǒng)HA 手工切換測試27第一章 一體化系統(tǒng)HACMP配置1.1 系統(tǒng)結(jié)構(gòu)圖 Persistent Network P780(1)主機(LPAR rlw1) 共享磁盤陣列（HDS USPV存儲系統(tǒng))心跳線(tty0) ent2 ent0P780(2) 主機(LPAR rlw2) ent2ent0 Service Network1.2 拓?fù)湟?guī)劃CLUSTER NAME:rlwcluster NetworkNode Name : rlw1rlw2Service IP (Default gate: 26/28)192.168.1/28（net_ether_01) Label rlw1_serrlw2_ser Address 121.xxx21.xxxPersistent IP (Default gate: 26/28)192.168.1/28（net_ether_01)Labelrlw1rlw2Address 10221.7.0/28（net_ether_01) Label rlw1_boot1rlw2_boot1 Address 191192.168.0/28（net_ether_01) Label rlw1_boot2rlw2_boot2 Address 291Comm. Devnet_rs232_01Device name rlw1_tty0_01 path/dev/tty0Node name rlw1net_rs232_01Device name rlw2_tty0_01 path/dev/tty0Node namerlw2rlw1機器boot1地址配置在第一塊外置網(wǎng)卡上（en0），將boot2地址配置在第二塊外置網(wǎng)卡（en2），persistent ip地址綁在第二塊外置網(wǎng)卡上（en2）；rlw2機器boot1地址配置在第一塊外置網(wǎng)卡上（en0），將boo2地址配置在第二塊外置網(wǎng)卡（en2），persistent ip地址綁在第二塊外置網(wǎng)卡上（en2）。將兩個LPAR的兩塊外置網(wǎng)卡分別連接在兩個網(wǎng)絡(luò)交換機上,屬同一個vlan。Node Namerlw1rlw2備注Boot1 IPen0en0Boot2 IPen2en2Persistent IPen2en21.3 磁盤資源規(guī)劃卷組名邏輯卷名文件系統(tǒng)物理卷名備注appvgapplv/appHdisk4/5/6rlw1batchlv/batchoraclevglv_data1/oracleHdisk7/8/9rlw2lv_data2/oracle1lv_data2/oracle21.4 應(yīng)用規(guī)劃Application ServerNamerlw1_app Start Script/opt/app_script/rwpstart.sh Stop Script/opt/app_script/rwpstop.shNamerlw2_app Start Script/opt/ora_script/ora_start.sh Stop Script/opt/ora_script/ora_stop.shResource GroupNamerlw1_apprgrlw2_orarg Participating Node rlw1 rlw2rlw2 rlw1 Startup PolicyOnline On Home Node Only Online On Home Node Only Fallover PolicyFallover To Next Priority Node In The ListFallover To Next Priority Node In The List Fallback PolicyNever Fallback Never Fallback Service Labelrlw1_serrlw2_ser Application Serverrlw1_apprlw2_app Share File Systems/app /batch/oracle /oracle1 /oracle2Share Volume Groupappvgoraclevg1.5 操作系統(tǒng)要求Required AIX 6.1 BOS ComponentsThe following AIX 5L base operating system (BOS) components are required for HACMP: AIX 6.1 BOS ComponentAIX 5L v.5.3AIX 5L .tcp.server04bos.rte.SRC00bos.rte.libc04bos.rte.libcfg0bos.rte.libcur00bos.rte.libpthreads02bos.rte.odm01bos.rte.lvm.rte (required only using Concurrent Logical Volume Manager for concurrent access)bos.clvm.enh (required only using Concurrent Logical Volume Manager for concurrent access) Requirements for RSCTInstall the RSCT images before installing HACMP. Ensure that each node has the same version of RSCT. To determine if the appropriate filesets are installed and their level, issue the following commands:/usr/bin/lslpp -l pat.basic.hacmp/usr/bin/lslpp -l pat.clients.hacmp/usr/bin/lslpp -l rsct.basic.rte第二章 HACMP日常維護2.1 HACMP服務(wù)正常啟停2.1.1 HACMP啟動正常HACMP啟動，首先啟動rlw1機器上HACMP服務(wù)，然后啟動rlw2上的HACMP服務(wù)。操作步驟如下：以root用戶登錄rlw1服務(wù)器，執(zhí)行#smit clstart 啟動rlw1 上面的HA 服務(wù)。啟動的選項有三個：now，restart，both一般選擇默認(rèn)的now既可，即立即啟動HA。Restart 表示在下次系統(tǒng)重新啟動后，系統(tǒng)自動HABoth 表示立即啟動HA，并且在下次系統(tǒng)啟動后，也自動啟動HA。選擇響應(yīng)選項后，回車既可。同時查看hacmp.out啟動信息：#tail f /var/hacmp/log/hacmp.out等rlw1啟動成功后，登錄rlw2上的HACMP 服務(wù)器，啟動rlw2主機上面的HA 服務(wù)。2.1.2 停止HA正常情況下停止是先停rlw1機器上的HACMP服務(wù)，然后停rlw2上的HACMP服務(wù)。操作步驟如下：以root用戶登錄rlw1服務(wù)器，#smitty clstop停止時候于三個停止選項可以選擇: Bring Resource Groups Offline 表示停止HA服務(wù)并釋放資源組資源，其它節(jié)點不接管其資源。Move Resource Groups 表示停止HA服務(wù)并釋放資源組資源，其它節(jié)點接管其資源。Unmanaged Resource Groups 表示停止HA服務(wù)，但是不釋放資源?？梢圆捎猛瑯臃绞降卿況lw2機器，停止rlw2主機上面的HA 服務(wù)。2.2 查看HACMP集群服務(wù)狀態(tài)2.2.1 查看HACMP服務(wù)狀態(tài)可以通過命令查看節(jié)點HACMP的服務(wù)狀態(tài)。操作步驟如下：以root用戶登錄rlw1服務(wù)器：進入到/usr/es/sbin/cluster/utilities目錄，執(zhí)行./clshowsrv vtopsvcs、grpsvcs 、emsvcs、emaixos、ctrmc、clcomdES、clstrmgrES、clinfoES這些服務(wù)的狀態(tài)是active的說明HAMCP的服務(wù)正常2.2.2 查看資源組的狀態(tài)可以通過命令查看節(jié)點資源組的狀態(tài)。操作步驟如下：以root用戶登錄rlw1服務(wù)器：進入到/usr/es/sbin/cluster/utilities目錄，執(zhí)行./clRGinfo-Group Name State Node -rlw2_orarg ONLINE rlw2 OFFLINE rlw1 rlw1_apprg ONLINE rlw1 OFFLINE rlw2 資源組rlw2_orarg在rlw2上是online的狀態(tài)，資源組rlw1_apprg在rlw1上是online的狀態(tài)2.2.3 查看HACMP集群狀態(tài)可以通過命令查看節(jié)點HACMP集群的狀態(tài)。操作步驟如下：以root用戶登錄rlw1服務(wù)器：進入到/usr/es/sbin/cluster目錄，執(zhí)行./clstatCluster: rlwcluster Thu Aug 20 02:53:48 CDT 2010 State: UP Nodes: 2 SubState: STABLE Node: rlw1 State: UP Interface: rlw1_boot1 (1) Address: 7 State: UP Interface: rlw2_boot2 (1) Address: 7 State: UP Node: rlw2 State: UP Interface: rlw2_boot1 (1) Address: 9 State: UP Interface: rlw2_boot2 (1) Address: 9 State: UP第三章 系統(tǒng)切換方案3.1 rlw1機器應(yīng)用出現(xiàn)故障，HACMP資源切換3.1.1 切換rlw1_apprg資源組1. 在rlw1機器上移除rlw1_apprg到rlw2#smitty hacmp選擇第3項：System Management(C-SPOC),然后回車。顯示如下：選擇第3項：HACMP Resource Groupand Application Management，然后回車。顯示如下：選擇第4項：Move a Resource Groups to Another Node/Site，然后回車。選擇第1項：Move Resource Groups to Another Node，然后回車 。選擇資源組：rlw1_apprg 然后回車確認(rèn)選擇移到的節(jié)點：rlw2 然后回車確認(rèn)，則開始從切換資源組2. 檢查切換狀態(tài)在rlw2機器上查看hacmp.out文件，看是否成功啟動# tail f /var/hacmp/log/hacmp.out3.1.2 恢復(fù)rlw1_apprg資源組rlw1機器恢復(fù)，重新接管資源rlw1_apprg1、 在rlw2機器上移除rlw1_apprg到rlw1#smitty hacmp選擇第3項：System Management(C-SPOC),然后回車。顯示如下：選擇第3項：HACMP Resource Groupand Application Management，然后回車。顯示如下：選擇第4項：Moving a Resource Groups to Another Node/Site，然后回車。選擇第1項：Move Resource Groups to Another Node，然后回車 。選擇資源組：rlw1_apprg 然后回車確認(rèn)選擇移到的節(jié)點：rlw1 然后回車確認(rèn)，則開始從切換資源組2、 rlw1機器上查看hacmp.out文件，看是否成功啟動# tail f /var/hacmp/log/hacmp.out3.2 hg2機器應(yīng)用出現(xiàn)故障，HACMP資源切換3.2.1 切換rlw2_orarg資源組1. 在rlw2機器上移除rlw2_orarg到rlw1#smitty hacmp選擇第3項：System Management(C-SPOC),然后回車。顯示如下：選擇第3項：HACMP Resource Groupand Application Management，然后回車。顯示如下：選擇第3項：Moving a Resource Groups to Another Node/Site，然后回車。選擇第1項：Move Resource Groups to Another Node，然后回車 。選擇資源組：rlw2_orarg 然后回車確認(rèn)選擇移到的節(jié)點：rlw1 然后回車確認(rèn)，則開始從切換資源組2. rlw1機器上查看hacmp.out文件，看是否成功啟動# tail f /var/hacmp/log/hacmp.out3.2.2 恢復(fù)rlw2_orarg資源組1、 在rlw1機器上移除rlw2_orarg到rlw2#smitty hacmp選擇第3項：System Management(C-SPOC),然后回車。顯示如下：選擇第3項：HACMP Resource Groupand Application Management，然后回車。顯示如下：選擇第4項：Moving a Resource Groups to Another Node/Site，然后回車。選擇第1項：Move Resource Groups to Another Node，然后回車 。選擇資源組：rlw2_orarg 然后回車確認(rèn)選擇移到的節(jié)點：rlw2 然后回車確認(rèn)，則開始從切換資源組2、 rlw2機器上查看hacmp.out文件，看是否成功啟動# tail f /var/hacmp/log/hacmp.out第四章 HACMP切換測試4.1 網(wǎng)卡故障模擬測試 按照下面測試表格，分別在rlw1,rlw2兩臺臺主機節(jié)點上面進行測試。測試項目網(wǎng)卡故障模擬測試施工單位序號測試時間分鐘測試目的測試HACMP對網(wǎng)卡故障的保護能力操作預(yù)備條件操作系統(tǒng)運行正常、HACMP運行正常操作步驟序號內(nèi)容測試項目描述預(yù)期結(jié)果實際結(jié)果1# ps ef | grep cluster；確認(rèn)所有節(jié)點上的HACMP已啟動。所有節(jié)點上的HACMP都已經(jīng)啟動2# errclear 0；清空系統(tǒng)錯誤日志。#tailf/var/hacmp/log/hacmp.out；監(jiān)控HACMP的運行狀態(tài)。3# ifconfig en down；宕掉Service網(wǎng)卡。Service網(wǎng)卡down4# netstat in；查看另一塊boot網(wǎng)卡是否接管了宕掉的Service網(wǎng)卡的IP地址已經(jīng)接管Service網(wǎng)卡上的IP地址5使用客戶端連接數(shù)據(jù)庫，并對數(shù)據(jù)庫做簡單操作，驗證數(shù)據(jù)庫完整性數(shù)據(jù)庫正常連接，數(shù)據(jù)完整6# ifconfig en up 恢復(fù)先前宕掉的service 網(wǎng)卡網(wǎng)卡恢復(fù)本項測試結(jié)論通過 未通過 部分通過 備注（存在的問題及整改措施）4.2 rlw1 系統(tǒng)單機故障模擬測試測試項目單機故障模擬測試施工單位主機序列號測試時間分鐘測試目的測試HACMP的高可用性操作預(yù)備條件操作系統(tǒng)運行正常、HACMP運行正常操作步驟序號內(nèi)容測試項目描述預(yù)期結(jié)果實際結(jié)果1# ps ef | grep cluster；確認(rèn)所有節(jié)點（rlw1, rlw2）上的HACMP已啟動。所有節(jié)點上的HACMP都已經(jīng)啟動2# errclear 0；清空系統(tǒng)錯誤日志。在rlw2主機執(zhí)行：# tailf/var/hacmp/log/hacmp.out；監(jiān)控HACMP的運行狀態(tài)。3在rlw1節(jié)點上 # halt -q系統(tǒng)宕機4在 rlw2 節(jié)點上# netstat in、# lsvg o、# ps ef APP_PID，查看備份節(jié)點是否接管了故障節(jié)點的Service地址、共享卷組和應(yīng)用程序rlw1已經(jīng)接管了故障節(jié)點的Service地址、共享卷組和應(yīng)用程序5重新啟動故障節(jié)點，并啟動HACMP6# netstat in、# lsvg o、# ps ef APP_PID，查看該節(jié)點是否將原屬于他的Service地址、共享卷組和應(yīng)用程序接管回來了原屬于rlw1的Service地址、共享卷組和應(yīng)用程序不接管回來了7在rlw2上mv rlw1_apprg資源組在rlw1上面online rlw1_apprg資源組Rlw1手動接管rlw1_apprg資源和service IP本項測試結(jié)論通過 未通過 部分通過 備注（存在的問題及整改措施）4.3 rlw2 系統(tǒng)單機故障模擬測試測試項目單機故障模擬測試施工單位主機序列號測試時間分鐘測試目的測試HACMP的高可用性操作預(yù)備條件操作系統(tǒng)運行正常、HACMP運行正常操作步驟序號內(nèi)容測試項目描述預(yù)期結(jié)果實際結(jié)果1# ps ef | grep cluster；確認(rèn)所有節(jié)點（rlw1, rlw2）上的HACMP已啟動。所有節(jié)點上的HACMP都已經(jīng)啟動2# errclear 0；清空系統(tǒng)錯誤日志。# tailf/var/hacmp/log/hacmp.out；監(jiān)控HACMP的運行狀態(tài)。3在 rlw1 節(jié)點上# netstat in、# lsvg o、# ps ef APP_PID，查看備份節(jié)點是否接管了故障節(jié)點的Service地址、共享卷組和應(yīng)用程序rlw1已經(jīng)接管了故障節(jié)點的Service地址、共享卷組和應(yīng)用程序4重新啟動故障節(jié)點，并啟動HACMP6# netstat in、# lsvg o、# ps ef APP_PID，查看該節(jié)點是否將原屬于他的Service地址、共享卷組和應(yīng)用程序接管回來了rlw2_orarg資源和service IP不切換到rlw2節(jié)點7在rlw1上面mv rlw2_orarg資源組在rlw2上面online rlw2_orarg資源組Rlw2手動接管rlw2_orarg資源和service IP本項測試結(jié)論通過 未通過 部分通過 備注（存在的問題及整改措施）4.4 rlw1系統(tǒng)HA 手工切換測試測試項目手工切換測試施工單位序號測試時間分鐘測試目的測試HA手工切換接管是否正常操作預(yù)備條件該測試必須在網(wǎng)絡(luò)環(huán)境中進行，確保兩臺服務(wù)器上HACMP處于啟動狀態(tài)。操作步驟序號內(nèi)容測試項目描述預(yù)期結(jié)果實際結(jié)果1# ps ef | grep cluster；確認(rèn)所有節(jié)點上的HACMP已啟動。測試兩個節(jié)點上的HA 都已經(jīng)正常啟動。所有節(jié)點上的HACMP都已經(jīng)啟動2停止rlw1節(jié)點上的HACMP服務(wù)用smit停止rlw1上的HACMP，選擇takeover 模式可以正常停止3檢查rlw1上面的資源用# netstat in；lsvg o,df 命令查看rlw1上面的資源相關(guān)資源已經(jīng)不存在4檢查rlw2上面的資源用# netstat in；lsvg o,df ，ps ef APP_PID命令查看rlw2上面的資源已經(jīng)接管r