HACMP日常操作手冊(cè)

-.z.HACMP操作手冊(cè)強(qiáng)制方式停掉HACMP:HACMP的停止分為3種，graceful（正常），takeover（手工切換），force（強(qiáng)制）。下面的維護(hù)工作，很多時(shí)候需要強(qiáng)制停掉HACMP來(lái)進(jìn)行，此時(shí)資源組不會(huì)釋放，這樣做的好處是，由于IP地址、文件系統(tǒng)等等沒(méi)有任何影響，只是停掉HACMP本身，所以應(yīng)用服務(wù)可以繼續(xù)提供，實(shí)現(xiàn)了在線檢查和變更HACMP的目的。[host1][root][/]>smittyclstopStopClusterServicesTypeorselectvaluesinentryfields.PressEnterAFTERmakingalldesiredchanges.*Stopnow,onsystemrestartorbothnowStopClusterServicesonthesenodes[host1]BROADCASTclustershutdown"true*SelectanActiononResourceGroupsUnmanageResourceGroups一般所有節(jié)點(diǎn)都要進(jìn)行這樣操作。強(qiáng)制停掉后的HACMP啟動(dòng):在修改HACMP的配置后，大多數(shù)情況下需要重新申請(qǐng)資源啟動(dòng)，這樣才能使HACMP的配置重新生效。[host1][root][/]>smittyclstartStartClusterServicesTypeorselectvaluesinentryfields.PressEnterAFTERmakingalldesiredchanges.[EntryFields]*Startnow,onsystemrestartorbothnowStartClusterServicesonthesenodes[bgbcb04]BROADCASTmessageatstartup"trueStartupClusterInformationDaemon"falseReacquireresourcesafterforceddown"true日常檢查及處理為了更好地維護(hù)HACMP，平時(shí)的檢查和處理是必不可少的。下面提供的檢查和處理方法除非特別說(shuō)明，均是不用停機(jī)，而只需停止應(yīng)用即可進(jìn)行，不影響用戶使用。不過(guò)具體實(shí)施前需要仔細(xì)檢查狀態(tài)，再予以實(shí)施。clverify檢查這個(gè)檢查可以對(duì)包括LVM的絕大多數(shù)HACMP的配置同步狀態(tài)，是HACMP檢查是否同步的主要方式。smittyclverify->VerifyHACMPConfigurationVerifyClusterTypeorselectvaluesinentryfields.PressEnterAFTERmakingalldesiredchanges.[EntryFields]BaseHACMPVerificationMethodsboth(Clustertopology,resources,both,none)CustomDefinedVerificationMethods[]ErrorCount[]LogFiletostoreoutput[]Verifychangesonly"[No]Logging[Standard]回車即可經(jīng)過(guò)檢查，結(jié)果應(yīng)是OK。如果發(fā)現(xiàn)不一致，需要區(qū)別對(duì)待。對(duì)于非LVM的報(bào)錯(cuò)，大多數(shù)情況下不用停止應(yīng)用，可以用以下步驟解決：先利用強(qiáng)制方式停止HACMP服務(wù)。同樣停止host2的HACMP服務(wù)。只檢查出的問(wèn)題進(jìn)行修正和同步：smittyhacmp->E*tendedConfiguration->E*tendedVerificationandSynchronization這時(shí)由于已停止HACMP服務(wù)，可以包括”自動(dòng)修正和強(qiáng)制同步“。對(duì)于LVM的報(bào)錯(cuò)，一般是由于未使用HACMP的C-SPOC功能，單邊修改文件系統(tǒng)、lv、VG造成的，會(huì)造成VG的timestamp不一致。這種情況即使手工在另一邊修正（通常由于應(yīng)用在使用，也不能這樣做），如何選取自動(dòng)修正的同步，也仍然會(huì)報(bào)failed。此時(shí)只能停掉應(yīng)用，通過(guò)整理VG來(lái)解決。cldump檢查：cldump的監(jiān)測(cè)為將當(dāng)前HACMP的狀態(tài)快照，確認(rèn)顯示為UP，STABLE。[host1][root][/]>/usr/sbin/cluster/utilities/cldump____________________________________________________________________________ClusterName:test_clusterClusterState:UPClusterSubstate:STABLE_____________________________________________________________________________NodeName:host1State:UPNetworkName:net_ether_01State:UPAddress:Label:host1_l1_svc1State:UPAddress:Label:host1_l1_svc2State:UPAddress:.1Label:host1_l1_boot1State:UPAddress:.1Label:host1_l1_boot2State:UPNetworkName:net_ether_02State:UPAddress:Label:host1_l2_svcState:UPAddress:.1Label:host1_l2_boot1State:UPAddress:.1Label:host1_l2_boot2State:UPNodeName:host2State:UPNetworkName:net_ether_01State:UPAddress:Label:host2_l1_svc1State:UPAddress:Label:host2_l1_svc2State:UPAddress:.2Label:host2_l1_boot1State:UPAddress:.2Label:host2_l1_boot2State:UPNetworkName:net_ether_02State:UPAddress:Label:host2_l2_svcState:UPAddress:.2Label:host2_l2_boot1State:UPAddress:.2Label:host2_l2_boot2State:UPClusterName:test_clusterResourceGroupName:host1_RGStartupPolicy:OnlineOnHomeNodeOnlyFalloverPolicy:FalloverToNe*tPriorityNodeInTheListFallbackPolicy:FallbackToHigherPriorityNodeInTheListSitePolicy:ignoreNodeState------------------------------host1ONLINEhost2OFFLINEResourceGroupName:host2_RGStartupPolicy:OnlineOnHomeNodeOnlyFalloverPolicy:FalloverToNe*tPriorityNodeInTheListFallbackPolicy:FallbackToHigherPriorityNodeInTheListSitePolicy:ignoreNodeState------------------------------host2ONLINEhost1OFFLINEclstat檢查clstat可以實(shí)時(shí)監(jiān)控HACMP的狀態(tài)，及時(shí)確認(rèn)顯示為UP，STABLE[host1][root][/]>/usr/sbin/cluster/clstat注：如果沒(méi)有反應(yīng)，運(yùn)行clinfo/etc/hosts環(huán)境檢查正常情況下，2臺(tái)互備的/etc/hosts應(yīng)該是一致的，當(dāng)然如果是主備機(jī)方式，可能備機(jī)會(huì)多些IP地址和主機(jī)名。通過(guò)對(duì)比2個(gè)文件的不同，可以確認(rèn)是否存在問(wèn)題。[host1][root][/]>rshhost2:/etc/hosts>/tmp/host2_hosts[host1][root][/]>diff/etc/hosts/tmp/host2_hosts腳本檢查需要注意以下事項(xiàng)：應(yīng)用的變更需要及時(shí)修正腳本，兩邊的腳本需要及時(shí)同步，并及時(shí)申請(qǐng)時(shí)間測(cè)試。上一點(diǎn)需要維護(hù)人員充分與應(yīng)用人員溝通，運(yùn)行環(huán)境的任何變更必須通過(guò)維護(hù)人員實(shí)施。維護(hù)人員啟停應(yīng)用要養(yǎng)成使用這些腳本啟停的習(xí)慣，盡量避免手工啟停。[host1][root][/home/scripts]>rshhost2"cd/home/scripts;ls-lhost1host2m">/tmp/host2_scripts[host1][root][/home/scripts]>ls-lhost1host2m">/tmp/host1_scripts[host1][root][/]>diff/tmp/host1_scripts/tmp/host2_scripts用戶檢查正常情況下，2臺(tái)互備的HA使用到的用戶情況應(yīng)該是一致的，當(dāng)然如果是主備機(jī)方式，可能備機(jī)會(huì)多些用戶。通過(guò)對(duì)比2節(jié)點(diǎn)的不同，可以確認(rèn)是否存在問(wèn)題。[host1][root][/]>rshhost2lsuser-forarun,orarunc,tu*run,bs*1,\*>/tmp/host2_users[host1][root][/]>lsuser-forarun,orarunc,tu*run,bs*1,\*>/tmp/host1_users>/tmp/host1_users[host1][root][/]>diff/tmp/host1_user/tmp/host2_user注：兩邊的必然有些不同，如上次登錄時(shí)間等等，只要主要部分相同就可以了。還有兩邊.profile的對(duì)比，用戶環(huán)境的對(duì)比。[host1][root][/]>rshhost2su-orarun-cset>/tmp/b[host1][root][/]>su-orarun-cset>/tmp/a[host1][root][/]>diff/tmp/a/tmp/btty心跳檢查由于心跳在HACMP啟動(dòng)后一直由HACMP在使用，所以需要強(qiáng)制停掉HACMP進(jìn)行檢查。察看tty速率確認(rèn)速率不超過(guò)9600[host1][root][/]>stty-a</dev/tty0[host2][root][/]>cat/etc/hosts>/dev/tty0host1上顯示speed9600baud;0rows;0columns;eucw1:1:0:0,scrw1:1:0:0:…檢查連接和配置[host1][root][/]>host1:cat/etc/hosts>/dev/tty0[host2][root][/]>host2:cat</dev/tty0在host2可看到host1上/etc/hosts的容。同樣反向檢測(cè)一下。errpt的檢查雖然有了以上許多檢查，但我們最?？吹膃rrpt不要忽略，因?yàn)橛行﹫?bào)錯(cuò)，需要大家引起注意，由于crontab里HACMP會(huì)增加這樣一行：00***/usr/es/sbin/cluster/utilities/clcycle1>/dev/null2>/dev/null*HACMPforAI*Logfilerotation即實(shí)際上每天零點(diǎn)，系統(tǒng)會(huì)自動(dòng)執(zhí)行HACMP的檢查，如果發(fā)現(xiàn)問(wèn)題，會(huì)在errpt看到。除了HACMP檢查會(huì)報(bào)錯(cuò)，其他運(yùn)行過(guò)程中也有可能報(bào)錯(cuò)，大都是由于心跳連接問(wèn)題或負(fù)載過(guò)高導(dǎo)致HACMP進(jìn)程無(wú)法處理，需要引起注意，具體分析解決。變更及實(shí)現(xiàn)由于維護(hù)的過(guò)程出現(xiàn)的情況遠(yuǎn)比集成實(shí)施階段要復(fù)雜，即使紅皮書也不能覆蓋所有情況。這里只就大家常見(jiàn)的情況加以說(shuō)明，對(duì)于更為復(fù)雜或者更為少見(jiàn)的情況，還是請(qǐng)大家翻閱紅皮書，實(shí)在不行計(jì)劃停機(jī)重新配置也許也是一個(gè)快速解決問(wèn)題的笨方法。這里的變更原則上是不希望停機(jī)，但實(shí)際上HACMP的變更，雖然說(shuō)部分支持DARE（dynamicreconfiguration），絕大部分操作支持Forcestop完成，我們還是希望有條件的話停機(jī)完成。對(duì)于DARE，我不是非常贊成使用，因?yàn)槭褂貌划?dāng)會(huì)造成集群不可控，危險(xiǎn)性更大。我一般喜歡使用先強(qiáng)制停止HACMP，再進(jìn)行以下操作,結(jié)束同步確認(rèn)后再startHACMP。卷組變更-增加磁盤到使用的VG里:注意，pvid一定要先認(rèn)出來(lái)，否則盤會(huì)沒(méi)有或不正常。集群的各個(gè)節(jié)點(diǎn)機(jī)器運(yùn)行cfgmgr，設(shè)置pvid[host1][root][/]>cfgmgr[host1][root][/]>lspv….hdisk200c1eedf6ddb9f5ehost1vghdisk300c1eedffa577b0ehost2vghdisk4nonenone[host1][root][/]>chdev-lhdisk2-apv=yes[host1][root][/]>lspv….hdisk400c1eedffc677bfenone在host2上也要做同樣操作。運(yùn)行C-SPOC增加盤到host2vg:smittyhacmp->SystemManagement(C-SPOC)->HACMPLogicalVolumeManagement->SharedVolumeGroups->SetCharacteristicsofaSharedVolumeGroup->AddaVolumetoaSharedVolumeGroup選擇節(jié)點(diǎn)VG和磁盤增加即可ResouceGroupName host2_RGVOLUMEGROUPname hostvgReferencenodehost2VOLUMEnameshdisk4完成后兩邊都可看到hdisk300c1eedffa577b0ehost2vghdisk400c1eedffc677bfehost2vglv變更lv的變更不多，可以變更的部分如下：smittyhacmp->SystemManagement(C-SPOC)->HACMPLogicalVolumeManagement->ShowCharacteristicsofaSharedLogicalVolume->SharedLogicalVolumes->ChangeaSharedLogicalVolume選擇lv*ResourceGroupNamehost2_RGMA*IMUMNUMBERofPHYSICALVOLUMES[8][/ora10runc]MA*IMUMNUMBERofLOGICALPARTITIONS[512]裸設(shè)備增加空間：smittyhacmp->SystemManagement(C-SPOC)->HACMPLogicalVolumeManagement->SharedLogicalVolumes->SetCharacteristicsofaSharedLogicalVolume->IncreasetheSizeofaSharedLogicalVolume[EntryFields]ResourceGroupNamerac2_RGLOGICALVOLUMEname*WFTPlvReferencenoderac2*NumberofADDITIONALlogicalpartitions[100]PHYSICALVOLUMEnameshdisk3POSITIONonphysicalvolumeouter_middleRANGEofphysicalvolumesminimumMA*IMUMNUMBERofPHYSICALVOLUMES[]touseforallocationAllocateeachlogicalpartitioncopysuperstrictonaSEPARATEphysicalvolume"FilecontainingALLOCATIONMAP[]文件系統(tǒng)變更smittyhacmp->SystemManagement(C-SPOC)->HACMPLogicalVolumeManagement->SharedFileSystems->EnhancedJournaledFileSystems->Change/ShowCharacteristicsofaSharedEnhancedJournaledFileSystemResourceGroupNamebg595b02_RGFilesystemname/cubeNEWmountpoint[/cube]SIZEoffilesystem[6291456]MountGROUP[]PERMISSIONSread/writeMountOPTIONS[]StartDiskAccounting"noBlockSize(bytes)4096InlineLog"noInlineLogsize(MBytes)0服務(wù)IP地址變更增加服務(wù)IP地址修改/etc/hosts,增加以下行host1_l2_svchost2_l2_svc2HACMP新增服務(wù)IPsmittyhacmp->E*tendedConfiguration->HACMPE*tendedResourcesConfiguration->ConfigureHACMPServiceIPLabels/Addresses->AddaServiceIPLabel/Address->ConfigurableonMultipleNodes選擇網(wǎng)絡(luò)AddaServiceIPLabel/AddressconfigurableonMultipleNodes(e*tended)Typeorselectvaluesinentryfields.PressEnterAFTERmakingalldesiredchanges.*IPLabel/Addresshost1_svc2*NetworkNamenet_ether_01AlternateHWAddresstoacpanyIPLabel/Address[]同樣增加host2_svc2修正資源組smittyhacmp->E*tendedConfiguration->E*tendedResourceConfiguration->HACMPE*tendedResourceGroupConfiguration->Change/ShowResourcesandAttributesforaResourceGroup->Change/ShowAllResourcesandAttributesforaResourceGroupTypeorselectvaluesinentryfields.PressEnterAFTERmakingalldesiredchanges.[EntryFields]ResourceGroupNameeai1d0_RGParticipatingNodes(DefaultNodePriority)bgbcb11bgbcb04StartupPolicyOnlineOnHomeNodeOnlyFalloverPolicyFalloverToNe*tPriorityNodeInTheListFallbackPolicyFallbackToHigherPriorityNodeInTheListFallbackTimerPolicy(emptyisimmediate)[]ServiceIPLabels/Addresses[host1_svchost1_svc2]HACMP同步需要同步，參見(jiàn)第2部分的“檢查和同步HACMP配置”一節(jié)。HACMP啟動(dòng)注意修改啟動(dòng)參數(shù)使得啟動(dòng)時(shí)重新申請(qǐng)資源，觸發(fā)新增服務(wù)IP生效。這時(shí)netstat

-in，可以看到地址生效了。修改服務(wù)IP地址如果要修改應(yīng)用服務(wù)使用的IP地址，自然是需要停止應(yīng)用來(lái)進(jìn)行的。比如要將原地址10.2.200.*改為10.2.201.*，路由改為54步驟如下：正常停止HACMPsmittyclstop->graceful所有節(jié)點(diǎn)修改/etc/hosts將服務(wù)地址修改為需要的地址host1_l2_svchosthost2_l2_svchost2修改啟動(dòng)腳本的路由部分（如果需要）在一個(gè)節(jié)點(diǎn)修改HACMP的配置smittyhacmp->E*tendedConfiguration->HACMPE*tendedResourcesConfiguration->ConfigureHACMPServiceIPLabels/Addresses->Change/ShowaServiceIPLabel/Address選擇host1_l2_svc不做修改，直接回車即可，同樣修改host2璤l2_svc。smittyhacmp->E*tendedConfiguration->E*tendedResourceConfiguration->HACMPE*tendedResourceGroupConfiguration->Change/ShowResourcesandAttributesforaResourceGroup->Change/ShowAllResourcesandAttributesforaResourceGroup選擇host1_RG不做修改，直接回車即可，同樣修改host2璤RG同步HACMP。重新啟動(dòng)HACMP并確認(rèn)。注意修改啟動(dòng)參數(shù)使得啟動(dòng)時(shí)重新申請(qǐng)資源，觸發(fā)新服務(wù)IP地址生效。注意：如果修改的不是應(yīng)用服務(wù)要用的地址，或者修改期間對(duì)該地址的服務(wù)可以暫停，則可以將步驟1改為強(qiáng)制停止，增加第7步。整個(gè)過(guò)程可以不停應(yīng)用服務(wù)。7.去除原有服務(wù)IP地址netstat-in找到該服務(wù)IP地址所在網(wǎng)卡en2。然后執(zhí)行：boot地址變更smittytcpip修改網(wǎng)卡的地址修改/etc/hosts的boot地址修改HACMP配置smittyhacmp->E*tendedConfiguration->E*tendedTopologyConfiguration->E*tendedTopologyConfigurationChange/ShowamunicationInterfaceNodeName[bgbcb04]NetworkInterfaceen1IPLabel/Addressbgbcb04_boot1N