suse linux HA配置.doc

Suse sp3 HA配置手冊(cè) SUSE11 sp3下HA的配置1 前言HA(High Available), 高可用性群集，是保證業(yè)務(wù)連續(xù)性的有效解決方案，一般有兩個(gè)或兩個(gè)以上的節(jié)點(diǎn)，且分為活動(dòng)節(jié)點(diǎn)及備用節(jié)點(diǎn)。通常把正在執(zhí)行業(yè)務(wù)的稱為活動(dòng)節(jié)點(diǎn)，而作為活動(dòng) 節(jié)點(diǎn)的一個(gè)備份的則稱為備用節(jié)點(diǎn)。當(dāng)活動(dòng)節(jié)點(diǎn)出現(xiàn)問題，導(dǎo)致正在運(yùn)行的業(yè)務(wù)（任務(wù)）不能正常運(yùn)行時(shí)，備用節(jié)點(diǎn)此時(shí)就會(huì)偵測(cè)到，并立即接續(xù)活動(dòng)節(jié)點(diǎn)來執(zhí)行業(yè) 務(wù)。從而實(shí)現(xiàn)業(yè)務(wù)的不中斷或短暫中斷。2 資源規(guī)劃 兩臺(tái)SUSE11sp3的虛機(jī)，計(jì)算機(jī)名分別為ccfile1、ccfile2。 網(wǎng)卡的IP地址為 節(jié)點(diǎn)1 ：eth0 192.168.58.238 eth2 10.10.58.238 節(jié)點(diǎn)2 : eth0 192.168.58.238 eth2 10.10.58.238 VIP 10.10.58.240 漂移IP 10.10.58.240 192.168.58網(wǎng)段用于心跳 suse11sp3 和 對(duì)應(yīng)的HA的光盤3 前期環(huán)境準(zhǔn)備3.1 連接工具3.1.1 Vsphere client連接提前安裝好vsphere client軟件，向管理員咨詢虛擬機(jī)管理服務(wù)器vcenter server的地址，輸入其地址及個(gè)人的域名和密碼。可按IP或者虛擬機(jī)名稱查找。雙擊查找出的結(jié)果：選擇虛擬機(jī)，右鍵選擇“打開控制臺(tái)”，將鼠標(biāo)移動(dòng)到彈出的窗口中，點(diǎn)擊左鍵，即可登錄到虛擬機(jī)操作系統(tǒng)界面中。（有時(shí)可能需要重新輸入操作系統(tǒng)的賬號(hào)和密碼進(jìn)行登錄）3.1.2 xmanager xbrowser安裝Xmanager3軟件，使用xbrowser軟件來連接虛擬機(jī)。過程如下：如下圖，輸入地址后，回車。在彈出的窗口中，選擇本機(jī)地址，然后點(diǎn)“OK”，將顯示輸出到本機(jī)。3.2 安裝HA組件SUSE的HA要通過HA組件來配置，而Suse sp3操作系統(tǒng)默認(rèn)是沒有安裝HA組件的。因此要使用HA組件ISO安裝包為操作系統(tǒng)安裝HA組件。過程如下：點(diǎn)擊桌面左下角“computer”菜單，選擇YAST，點(diǎn)擊“Add”。本實(shí)驗(yàn)中SUSE Linux Enterprise Server 11 SP2的安裝ISO文件已經(jīng)先拷貝到服務(wù)器上。選擇“Local ISO Image”，點(diǎn)擊“Next”。 選中ISO文件后點(diǎn)擊“Next”。 同意協(xié)議后擊“Next”。 點(diǎn)擊“High Availability”成如圖狀態(tài)后點(diǎn)擊“OK”。注意如果之前沒有掛載好系統(tǒng)光盤，會(huì)彈出報(bào)錯(cuò)如下，此時(shí)將HA安裝盤彈出再掛載系統(tǒng)盤，等到裝好系統(tǒng)盤內(nèi)容，會(huì)再次提示掛載HA盤。選擇稍后配置后點(diǎn)擊“Next”。 點(diǎn)擊“Next”。安裝完成后，如果可以在YAST控制面板上找到“Cluster”和“Pacemaker Gui”，表示安裝成功。3.3 修改hostname修改/etc/HOSTNAME中的內(nèi)容，并且使用 hostname ccfile1 和hostname ccfile2修改當(dāng)前SESSION的hostname，修改完成后，可以重啟下機(jī)子用hostname查看確認(rèn)下是否生效。3.4 文件系統(tǒng)兩臺(tái)虛擬機(jī)的共享盤是可由虛擬機(jī)管理員提前分配好。先使用fdisk l或者partitioner工具查看兩臺(tái)虛擬機(jī)是否都已經(jīng)掛載了共享盤。以下操作，只要在一臺(tái)虛擬機(jī)上操作，另一臺(tái)就能看得到效果。推薦使用系統(tǒng)自帶的工具patitioner進(jìn)行分區(qū)及格式化。3.4.1 使用命令行格式化（不推薦）計(jì)劃使用/dev/sdc1 /dev/sdb13.4.2 使用partitioner格式化點(diǎn)擊桌面左下角“computer”菜單，選擇選擇system-partitioner此處要注意，選擇“Do not mount partition”，否則每次系統(tǒng)重啟，都可能去mount同一個(gè)共享盤，導(dǎo)致使用reboot方式的HA切換失敗。最后實(shí)際的效果圖：其中/dev/sdd1是應(yīng)用所在的文件系統(tǒng)共享盤；/dev/sdd2是仲裁盤，只需要大概100MB左右。（官方說只要10M就行）3.5 修改/etc/hosts 兩節(jié)點(diǎn)都做將192.168.XX.YY網(wǎng)段用于心跳的地址配置上去，并同時(shí)配置/etc/hosts下的內(nèi)容。在terminal窗口中輸入YAST 命令：硬盤管理員提前分配好了網(wǎng)卡資源，在另一張沒有用的網(wǎng)卡上配置上192網(wǎng)段的IP，只要兩臺(tái)通過互通就可以。注意：私網(wǎng)的地址的名稱要與hostname不一樣。127.0.0.1 localhost# special IPv6 addresses:1 localhost ipv6-localhost ipv6-loopbackfe00:0 ipv6-localnetff00:0 ipv6-mcastprefixff02:1 ipv6-allnodesff02:2 ipv6-allroutersff02:3 ipv6-allhosts10.10.58.239 ccfile2 ccfile210.10.58.238 ccfile1 ccfile1192.168.58.238 ccfile1-priv ccfile1-priv192.168.58.239 ccfile2-priv ccfile2-priv4 配置集群4.1 HA配置日志HA配置過程中的日志，可以通過tail f /var/log/messages來查看。4.2 配置ccfile1作為主節(jié)點(diǎn)在終端中運(yùn)行命令 yast2 cluster命令，打開配置窗口。（也可以通過YAST控制面板上的other-cluster打開。）此處配置的是心跳地址，而不是實(shí)際的地址，并且只要寫到192.168.58.0網(wǎng)段，不需要到具體的地址，如192.168.58.238?？梢詤⒄丈a(chǎn)上的配置，注意生產(chǎn)的地址經(jīng)過了映射。如上圖配置，bind network address選擇192私網(wǎng)網(wǎng)段的網(wǎng)段地址，組播地址和端口用默認(rèn)，node id選擇自動(dòng)生成。 勾選“啟用安全身份驗(yàn)證”選擇generate auth key file仔細(xì)閱讀此選項(xiàng)上面一行的信息把a(bǔ)uthkey的目錄記住，然后下一步To specify the synchronization group, click Add in the Sync Host group and enter the local host names of all nodes in your cluster. For each node, you must use exactly the strings that are returned by the hostname command. Click Generate Pre-Shared-Keys to create a key file for the synchronization group. The key file is written to /etc/csync2/key_hagroup. After it has been created, it must be copied manually to all members of the cluster. To populate the Sync File list with the files that usually need to be synchronized among all nodes, click Add Suggested Files.Activate Csync2 by clicking Turn Csync2 ON. This will execute chkconfigcsync2 to start Csync2 automatically at boot time.必須確保ccfile1和ccfile2是兩個(gè)結(jié)點(diǎn)使用hostname命令查詢得出的結(jié)果。配置csync2，選擇add把兩臺(tái)主機(jī)名加入，然后點(diǎn)擊add suggested files，點(diǎn)擊generate pre-shared-keys,再點(diǎn)turen csync2 on下一步這一步選擇實(shí)際的網(wǎng)卡，地址不需要配置（其實(shí)這一整步應(yīng)該可以略過的，不影響HA功能使用）。下一步，主節(jié)點(diǎn)就配完了。選擇其他節(jié)點(diǎn)注意，openais不設(shè)置成開機(jī)啟動(dòng)，可以手工啟動(dòng)，這樣可以自由地選擇要將應(yīng)用運(yùn)行在哪一臺(tái)服務(wù)器上。選擇完后，點(diǎn)“start openais now”啟動(dòng)openais。4.3 配置節(jié)點(diǎn)2在yast2 cluster下如上圖配置，但是不要點(diǎn)generate auth key file。?（實(shí)際操作時(shí)，有點(diǎn)）如上圖配置，openais可能無法馬上啟動(dòng)，不過可以重啟下兩臺(tái)機(jī)器手，手工啟動(dòng)試一下。重啟的日志，可以通過tail f /var/log/messages查看。不是主節(jié)點(diǎn)的只要啟動(dòng)csync2,其他不用改。修改心跳，選用和主節(jié)點(diǎn)相同網(wǎng)段的網(wǎng)卡。4.4 配置同步切換到主節(jié)點(diǎn)，進(jìn)入/etc/csync2目錄查看把csync2.cfg和key_hagroup用scp拷貝到其他節(jié)點(diǎn)的相同目錄下scp /etc/csync2/csync2.cfg rootccfile2:/etc/csync2scp /etc/csync2/key_hagroup rootccfile2:/etc/csync2把/etc/corosync下的authkey和corosync.conf拷到其他節(jié)點(diǎn)的相同目錄下scp /etc/corosync/authkey rootha2:/etc/corosync/scp /etc/corosync/corosync.conf rootha2:/etc/corosync/如果是手動(dòng)配置nodeid，則拷貝后，將corosync.conf中的nodeid:1#node1為1，node2為2。不過我沒有修改第二個(gè)結(jié)點(diǎn)使用csync2 xv也能成功。不過在crm_mon時(shí)，結(jié)點(diǎn)2未啟動(dòng)。在主節(jié)點(diǎn)上運(yùn)行csync2 -xv會(huì)得到如上圖顯示沒有錯(cuò)誤。 If one or several files that are to be synchronized have been modified on other nodes (not only on the current one), Csync2 will report a conflict. You will get an output similar to the one below: While syncing file /etc/corosync/corosync.conf:ERROR from peer hex-14: File is also marked dirty here!Finished with 1 errors. If you are sure that the file version on the current node is the “best” one, you can resolve the conflict by forcing this file and resynchronizing: root # csync2 -f /etc/corosync/corosync.confcsync2 -x在主節(jié)點(diǎn)上的終端運(yùn)行crm_mon看到如上圖的online里有兩個(gè)節(jié)點(diǎn)，若沒有就調(diào)節(jié)其他節(jié)點(diǎn)里的yast2 cluster里的NODE ID，ID號(hào)可能被同步成主節(jié)點(diǎn)的ID，把他們改成自己原先設(shè)置的ID號(hào)，改完后重啟。4.5 設(shè)置csync2和xinetd服務(wù)開機(jī)自啟在所有結(jié)點(diǎn)上執(zhí)行如下命令進(jìn)行配置：Service openais statuschkconfig csync2 onchkconfig xinetd onrcxinetd startrcopenais status rcopenais start4.6 修改hacluster用戶密碼配置資源前，需要修改hacluster用戶密碼：#passwd hacluster 一般直接設(shè)置與用戶名一樣。5 crm_gui配置5.1 配置CRM參數(shù)在openais服務(wù)啟動(dòng)后，在terminal窗口中執(zhí)行下面的配置命令：crm configure property stonith-enabled=falsecrm configure property no-quorum-policy=ignorecrm configure rsc_defaults resource-stickiness=100查看設(shè)置：crm configure show備注：運(yùn)行完yast2 cluster 命令配置雙機(jī)引擎參數(shù)，接著在第一次運(yùn)行service openais start命令啟動(dòng)雙機(jī)后，一定要在字符界面運(yùn)行crm命令，進(jìn)行configure配置。否則下面的圖形界面hb_gui 配置雙機(jī)資源將不會(huì)生效。?在主節(jié)點(diǎn)上運(yùn)行crm在help下運(yùn)行configure鍵入property no-quorum-policy=ignore回車再鍵入property stonith-enabled=false 暫時(shí)未執(zhí)行“primitive .eth3” by cld 151030再鍵入rsc_defaults resource-stickiness=100（缺圖）然后commit5.2 配置資源5.2.1 配置浮動(dòng)IP在terminal窗口中輸入crm_gui，回車后打開ha配置窗口。輸入hacluster用戶的密碼，連接到HA配置管理器。創(chuàng)建一個(gè)資源組，名為RES，在其中創(chuàng)建ip和filesystem資源：此處的ETH1要跟實(shí)際生產(chǎn)的地址所在的網(wǎng)卡一致。并且兩臺(tái)機(jī)器的網(wǎng)卡序號(hào)要一樣，這樣在HA切換后，才能保證網(wǎng)卡序號(hào)不變。添加一個(gè)名為“RES”的Group，此處注意：不需要勾選target-role started的屬性。上圖中的默認(rèn)的屬性要?jiǎng)h除掉。IP指的是VIP，nic要跟機(jī)器10網(wǎng)段的網(wǎng)卡一致5.2.2 配置文件系統(tǒng)參照生產(chǎn)上的配置。此處注意：不需要勾選target-role started的屬性。上圖中的默認(rèn)的屬性要?jiǎng)h除掉。5.2.3 配置ping資源創(chuàng)建一個(gè)clone資源：查看資源：5.2.3.1 添加ping約束：添加ping約束：5.2.4 配置stonith資源：打開stonith開關(guān)：勾選Stonith Enabled配置stonith資源：默認(rèn)屬性即可查看資源：有其它版本的SBD資源的類型為primitive，如下圖，這個(gè)與clone的區(qū)別是什么 ？重啟兩臺(tái)服務(wù)器。那臺(tái)先啟動(dòng)，即擁有stonith資源。5.2.5 添加應(yīng)用程序服務(wù)資源5.2.5.1 配置應(yīng)用資源在本例子中，需要配置的應(yīng)用可執(zhí)行程序?yàn)楦夸浵碌?start.sh文件。將此文件添加為資源，并且與文件系統(tǒng)等資源做啟動(dòng)順序約束。填寫好后，點(diǎn)擊“forward”進(jìn)入下一步。1. binfile所指向的文件要有可執(zhí)行權(quán)限，需檢查所有結(jié)點(diǎn)的權(quán)限配置。2. 在主備機(jī)切換的過程中，確保兩臺(tái)機(jī)器調(diào)用腳本的應(yīng)用用戶uid一致，否則可能會(huì)出現(xiàn)一臺(tái)沒有權(quán)限寫log導(dǎo)致腳本無法正常調(diào)用刪除掉此處默認(rèn)設(shè)置的operation。5.2.5.2 添加resource colocation約束一般的情況下，應(yīng)用程序App_res要在包含了共享盤和VIP的機(jī)器上啟動(dòng)，要與基礎(chǔ)資源在同一臺(tái)服務(wù)器上。因此要設(shè)置resource colocation協(xié)同約束。如果是要在基礎(chǔ)資源啟動(dòng)之后才能啟動(dòng)。因此需要?jiǎng)t配置resouce order約束。點(diǎn)擊確認(rèn)后，添加完成。5.2.5.3 添加resource order約束5.2.5.4 是否有必要添加約束本例子中，應(yīng)用程序只是設(shè)置本地的nfs服務(wù)而已，不依賴于基礎(chǔ)資源，因此，不需要建立resource order約束。但其要在擁有基礎(chǔ)資源的結(jié)點(diǎn)上啟動(dòng)，因此，需要建立resouce colocation約束。以上的resource order建立只是做示范，可以刪除掉。5.3 配置結(jié)點(diǎn)信息6 手工切換驗(yàn)證可以使用reboot命令重啟機(jī)子，或者使用service openais stop或service openais start啟動(dòng)openais服務(wù)，以進(jìn)行手工切換。這個(gè)案例中，本地的文件系統(tǒng)被其它機(jī)器mount，在沒有釋放掉的情況下，直接openais restart，不會(huì)將fs切換過去，要先service nfsserver stop后，再進(jìn)行openais restart。其它的案例中，只是本地的文件系統(tǒng)對(duì)外提供服務(wù)而已，不影響切換。可使用crm status查看HA狀態(tài)。7 注意事項(xiàng)添加應(yīng)用資源時(shí)，所有結(jié)點(diǎn)binfile所指向的文件要有可執(zhí)行權(quán)限。兩個(gè)結(jié)點(diǎn)的網(wǎng)卡序號(hào)一致。應(yīng)用所在的文件系統(tǒng)需格式化成ext3類型的格式，但不要設(shè)置自動(dòng)MOUNT。啟動(dòng)應(yīng)用資源的用戶的用戶名、組、UID都要一樣。如果是中途修改的UID，那么應(yīng)用涉及到的所有文件的屬主也要一并跟著修改。查看/etc/fstab是否有錯(cuò)誤的自動(dòng)掛載的內(nèi)容。仲裁盤不要格式化成EXT3.應(yīng)用所在的目錄要格式化成EXT3，但千萬不要MOUNT到某個(gè)目錄。8 問題處理8.1 Marking file as dirtyha1:/etc/csync2 # csync2 -xvMarking file as dirty: /etc/sysconfig/pacemakerMarking file as dirty: /etc/sysconfig/openaisMarking file as dirty: /etc/samba/smb.confMarking file as dirty: /etc/lvm/lvm.confMarking file as dirty: /etc/drbd.dMarking file as dirty: /etc/drbd.d/global_common.confMarking file as dirty: /etc/drbd.confMarking file as dirty: /etc/csync2/key_hagroupMarking file as dirty: /etc/csync2/csync2.cfgMarking file as dirty: /etc/corosync/corosync.confMarking file as dirty: /etc/corosync/authkey如果報(bào)以下錯(cuò)的話，強(qiáng)制再同步一下：csync2f/etc/csync2/csync2.cfgcsync2-f/etc/csync2/key_hagroup8.2 第二個(gè)結(jié)點(diǎn)未online將第一二結(jié)點(diǎn)的threads 都修改成2，重新拷貝同步文件到結(jié)點(diǎn)2，并且全部重新啟動(dòng)Service openais restart。之后就正常了：8.3 Could not establish cib_ro connection: Connection refused (111)ccfile1:/etc/corosync # crm_monAttempting connection to the cluster.Could not establish cib_ro connection: Connection refused (111) .Could not establish cib_ro connection: Connection refused (111) .Could not establish cib_ro connection: Connection refused (111)Oct 30 10:21:29 ccfile1 sbd: 6702: info: Watchdog enabled.Oct 30 10:21:29 ccfile1 sbd: 6702: ERROR: Header magic does not match.Oct 30 10:21:29 ccfile1 sbd: 6702: ERROR: header on device 4 is not valid.Oct 30 10:21:29 ccfile1 sbd: 6702: ERROR: No devices were available at start-up.可能是因?yàn)闆]有格式化盤導(dǎo)致的，要用PARTIONER格式化分區(qū)。8.4 什么情況會(huì)發(fā)生切換？在目前占有資源的結(jié)點(diǎn)上執(zhí)行service openais restart后，其占用的IP資源未發(fā)生切換，而FS資源處于unmanaged狀態(tài)，其它資源正常切換。只有用reboot命令將機(jī)器重啟，其IP和FS資源才會(huì)切換到另一臺(tái)。根據(jù)什么條件來觸發(fā)切換？是否根結(jié)點(diǎn)的SCORE有關(guān)？-可能是這個(gè)案例中，本地的文件系統(tǒng)被其它機(jī)器mount，在沒有釋放掉的情況下，直接openais restart，不會(huì)將fs切換過去，要先service nfsserver stop后，再進(jìn)行openais restart。要么直接用reboot重啟。8.5 在其它安全中，沒有創(chuàng)建sdb克隆資源，而是創(chuàng)建primitive普通資源，使用external/vmware的stonith，這與本案例有何區(qū)別？8.6 Header magic does not match.Nov 2 20:18:52 ccfile1 kernel: 337.849275 ll header: ff:ff:ff:ff:ff:ff:22:af:3b:61:2f:3a:08:00Nov 2 20:18:53 ccfile1 kernel: 338.047004 martian source 10.10.58.255 from 10.10.58.167, on dev eth0Nov 2 20:18:53 ccfile1 kernel: 338.047009 ll header: ff:ff:ff:ff:ff:ff:00:50:56:bd:91:03:08:00Nov 2 20:18:54 ccfile1 kernel: 339.218524 martian source 1