RAC應用集群說明

1、RAC應用集群一實施規(guī)劃平臺：操作系統(tǒng)： RedHat Enterprise Linux Advanced Server 5.0內(nèi)存大?。?2048M交換空間： 2048M硬盤空間： 10G網(wǎng)卡配置： 2（public IP，Vitual IP ,Private IP）主機結點：2（node1，node2）存儲設備：1 （DB fies）網(wǎng)絡規(guī)劃Node1 公共 192.168.100.101Node2 公共 192.168.100.102Node1-vip 虛擬 192.168.100.201Node2-vip 虛擬 192.168.100.202Node1-priv 專用 19.168.1

2、00.101Node2-priv 專用 19.168.100.102安裝流程安裝虛擬機vmware Server 1.0.9安裝RHEL5.4配置RHEL操作系統(tǒng)復制第二臺虛擬機配置雙機信任關系建立ASM存儲安裝clusterware軟件安裝database軟件配置監(jiān)聽Listener建立數(shù)據(jù)庫實例二新建虛擬機1選擇-新建，虛擬機名為RAC1，location為F:vmwareRAC1，網(wǎng)卡接口選擇橋接網(wǎng)絡方式(Use bridged networking)，適配器選擇LSI Logic，虛擬硬盤選擇SCSI，硬盤容量選擇10G，然后選擇每次擴充擴充2G(Split disk into 2GB

3、 files)，不選擇立即分配。然后按Add添加硬盤，先添加一個100M的硬盤，選擇立即分配方式(Allocate all disk space now)，該盤作為VotingDisk盤，目錄存放位置為F:vmwaresharediskVotingdisk，虛擬設備結點選擇SCSI 1：1 Hard Disk2，模式選擇一致即：independent-persistent。然后再添加一個100M的硬盤，選擇立即分配，該盤作為OCRdisk盤，目錄存放位置為：F:vmwaresharediskOCRdisk，硬盤選擇SCSI 1：2，模式為 一致。再添加一個2G的硬盤用作ASM的數(shù)據(jù)文件的空間，

4、選擇立即分配和2G擴充一個文件，目錄位置為F:vmwaresharediskASMdisk，硬盤選擇SCSI 1：3，模式選擇一致。再添加一個1.3G的硬盤用作ASM的閃回區(qū)，選擇立即分配，目錄位置為F:vmwaresharediskASMdisk2，硬盤選擇SCSI 1：4，模式選擇一致性。再添加一塊網(wǎng)卡，用作兩臺虛擬機之間的通信，連接方式選擇Host-only模式并選擇（connect at power on）。2. 開啟該虛擬機，安裝RHEL 5.4，注意事項：交換分區(qū)分2G，主機名為node1，eth0為192.168.100.101，eth1為19.168.100.101 作為nod

5、e1-priv，自定義安裝包時，選擇開發(fā)、服務器以及差不多系統(tǒng)的全部，防火墻關閉，selinux設為enabled禁用。安裝好之后，編輯F:vmwareRAC1Red Hat Linux.vmx，添加如下一段（能夠使那四個磁盤真正的作為共享盤）：disk.locking = “false”disklib.dataCacheMaxSize = “0”disklib.dataCacheMaxReadAheadSize = “0”disklib.dataCacheMinReadAheadSize = “0”disklib.dataCachePageSize = “4096”disklib.maxUn

6、syncedWrites = “0”scsi1:1.deviceType = “disk”scsi1:2.deviceType = “disk”scsi1:3.deviceType = “disk”scsi1:4.deviceType = “disk”RHEL系統(tǒng)配置#uname r2.6.128-164.el5#vim /etc/hosts（加上如下一段）192.168.100.101 node1192.168.100.102 node2192.168.100.201 node1-vip192.168.100.202 node2-vip19.168.100.101 node1-priv19.

7、168.100.102 node2-priv#vim /etc/sysctl.conf（加上如下一段）Kernel.shmall = 2097152Kernel.shmmax = 536870912Kernel.shmmni = 4096Kernel.sem = 250 32000 100 128Fs.file-max = 65536Net.ipv4.ip_local_port_range = 1024 65000Net.core.rmem_default = 1048576Net.core.rmem_max = 1048576Net.core.wmem_default = 262144Net

8、.core.wmem_max = 262144#sysctl p （是該文件生效）#vim /etc/security/limits.conf（加上如下一段）Oracle soft nproc 2047Oracle hard nproc 16384Oracle soft nofile 1024Oracle hard nofile 65536#vim /etc/pam.d/login（加上如下一段）Session required /lib/security/pam_limits.so#vim /etc/rc.loal (掛起檢測時刻定時器，檢測對方有沒有宕機)Modprobe hangchec

9、k-timer hangcheck-tick=30 hangcheck_margin=20#groupadd oinstall#groupadd dba#useradd m g oinstall G dba#passwd oracle#vim /home/oracle/.bash_profileExport TMPDIR=/tmpExport ORACLE_BASE=/u01/app/oracleExport ORACLE_HOME=$ORACLE_BASE/product/10.2.0/db_1Export ORACLE_SID=RACDB1Export ORACLE_TERM=xtermE

10、xport PATH=$ORACLE_HOME/bin:/usr/bin:$PATHExport LD_LIBRARY_PATH=$ORACLE_HOME/bin:/bin:/usr/bin:/usr/local/bin:/usr/X11R6/binExport CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlibUlimit u 16384 n 65536Umask 022#mkdir p /u01/app/oracle#chown R oracle:oinstall /u01#chmod R 775 /u0

11、1#fdisk /dev/sdb#fdisk /dev/sdc#fdisk /dev/sdd#fdisk /dev/sde#partprobe#rpm ivh oracleasm-support-*#rpm ivh oracleasm-2.6.18-164.el5.*#rpm ivh oracleasmlib*#rpm ivh compat-gcc-7.3.2-2.96.128.i386.rpm#rpm Uvh compat-libstdc+-7* -force#rpm ivh compat-libstdcdevel-7.3.2#rpm ivh compat-gcc-c+* #service

12、oracleasm configure Oracle OinstallYY#vim /etc/udev/rules.d/60-raw.rules(加上如下一段)ACTION=”add”,KERNEL=”/dev/sdb1”,RUN+=”/bin/raw /dev/raw1 %N”ACTION=”add”,ENVMAJOR=”8”,ENVMINOR=”17”,RUN+=”/bin/raw /dev/raw/raw1 %M %m” (其中的主設備號能夠通過ls l /dev/sd*查看)ACTION=”add”,KERNEL=”/dev/sdc1”,RUN+=”/bin/raw /dev/raw2

13、 %N”ACTION=”add”,ENVMAJOR=”8”,ENVMINOR=”33”,RUN+=”/bin/raw /dev/raw/raw2 %M %m”KERNEL=”raw1-2”,OWNER=”oracle”,GROUP=”oinstall”,MODE=”640”#start_udev#ls l /dev/raw/*#shutdown h now三復制出第二臺虛擬機1.將復制之后的名稱為RAC1的改為RAC2，另外編輯Red Hat Linux.vmx查找文件中的RAC1將它改為RAC2，然后編輯RAC2.vmdk將文件中的RAC1改為RAC2（如下所示）:RW 4192256 SP

14、ARSE “RAC2-s001.vmdk”RW 4192256 SPARSE “RAC2-s002.vmdk”RW 4192256 SPARSE “RAC2-s003.vmdk”RW 4192256 SPARSE “RAC2-s004.vmdk”RW 4192256 SPARSE “RAC2-s005.vmdk”RW 10240 SPARSE “RAC2-s006.vmdk”2.打開RAC2，選擇Create3.配置node2操作系統(tǒng)#hostname node2#vim /etc/sysconfig/networkHOSTNAME=node2#vim /etc/hosts127.0.0.1

15、node2 localhost.localdomain localhost#cd /etc/sysconfig/network-scripts/#cat ifcfg-eth0.bak#cat ifcfg-eth0#cat ifcfg-eth1.bak#cat ifcfg-eth1#mv ifcfg-eth0.bak ifcfg-eth0#mv ifcfg-eth1.bak ifcfg-eth1#ifconfig eth0 | grep HWaddr#cat ifcfg-eth0 | grep ADDR#ifconfig eth1 | grep Hwaddr#cat ifcfg-eth1 | g

16、rep ADDR#cat /home/oracle/.bash_profile | grep ORACLE_SIDExport ORACLE_SID=RACDB2#ping node1#ping node2#ping node1-priv#ping node2-priv4.時刻同步Node2# ssh node1Node1# service xinetd startNode1# chkconfig time-stream onNode1# chkconfig xinetd onNode1# chkconfig ntpd onNode1#service ntpd restartNode1#exi

17、tNode2#crontab e0-59/1 * * * * rdate s 192.168.100.1010-59/1 * * * * ntpdate 192.168.100.101Node2# /etc/resolv.confNode2# ssh node1Node1# /etc/resolv.conf四配置雙機信任關系Node1#su oracleNode1$ mkdir .sshNode1$ chmod 700 .sshNode1$ ssh-keygen t rsaNode1$ ssh-keygen -t dsaNode2#su oracleNode2$mkdir .sshNode2$

18、chmod 700 .sshNode2$ssh-keygen -t rsaNode2$ssh-keygen -t dsaNode1$ cat /home/oracle/.ssh/id_rsa.pub /home/oracle/.ssh/authorized_keysNode1$ cat /home/oracle/.ssh/id_dsa.pub /home/oracle/.ssh/authorized_keysNode1$ssh node2 cat /home/oracle/.ssh/id_rsa.pub /home/oracle/.ssh/authorized_keysNode1$ssh no

19、de2 cat /home/oracle/.ssh/id_dsa.pub /home/oracle/.ssh/authorized_keysNode1$ scp /home/oracle/.ssh/authorized_keys node2:/home/oracle/.ssh/authorized_keys五配置ASMNode1#service oracleasm configureNode1#service oracleasm createdisk vol1 /dev/sdd1Node1#service oracleasm createdisk vol2 /dev/sde1Node1#ser

20、vice oracleasm scandisksNode1#service oracleasm listdisksNode1#ssh node2Node2#service oracleasm scandisksNode2#service oracleasm listdisksNode2#exitNode1#cd /oradiskNode1#unzip oracle10g01_cluster*Node1#chown R oracle:oinstall /oradiskNode1#chmod R 775 /oradisk然后注銷以oracle登錄Node1$cd /oradisk/clusterw

21、are/cluvfyNode1$./runcluvfy.sh stage pre crsinst -n node1.node2 -verboseNode1$export LANG=en_USNode1$/oradisk/clusterware/runInstaller -ignoreSysPreReqs那個地點注意1.安裝路徑為/u01/app/oracle/product/10.2.0/crs_1 2.Specify Cluster Configuration 中添加上node2的信息 3.Specify Network Interface Usage中檢查一下eth0和eth1的接口類型有

22、沒有反，應該eth0為public，eth1為private。 4.指定OCR配置的路徑為/dev/raw/raw1，外部存儲 5.指定VotingDisk的路徑為/dev/raw/raw2，外部存儲 6.安裝過程中最重要的：在node2上用ntpdate 192.168.100.101與node1同步（手工進行且最好是每兩三秒同步一次）。 7.當安裝完成即出現(xiàn)要執(zhí)行兩個文件的窗口時，一定要將如下步驟操作完之后才能夠點擊OK。 Node1#/u01/app/oracle/oraInventory/orainstRoot.sh Node2#/u01/app/oracle/oraInventory

23、/orainstRoot.sh Node1#/u01/app/oracle/product/10.2.0/crs_1/root.sh（注意，在那個地點的執(zhí)行過程中要查看/dev/raw/raw*是不是屬于oracle和oinstall組） Node2#/u01/app/oracle/product/10.2.0/crs_1/root.sh(在那個地點執(zhí)行完會報錯，現(xiàn)在要修改/u01/app/oracle/product/10.2.0/crs_1/bin/vipca和srvctl )如下所示： Node2#vim vipcaif “Sarch” = “i686” o “Sarch” = “ia6

24、4” then LD_ASSUME_KERNEL=2.4.19 export LD_ASSUME_KERNELfiunset LD_ASSUME_KERNEL （加上這句話） Node2#vim srvctlLD_ASSUME_KERNEL=2.4.19export LD_ASSUME_KERNELunset LD_ASSUME_KERNEL（*） Node2#/u01/app/oracle/product/10.2.0/crs_1/root.sh Node2#cd /u01/app/oracle/product/10.2.0/crs_1/bin/ Node2#export LANG=en_U

25、S.UTF-8 Node2#./vipca (會報錯) Node2#./oifcfg iflist Node2#./oifcfg setif -global eth0/192.168.100.0:public Node2#./oifcfg setif -global eth1/19.168.100.0:cluster_interconnect Node2#./oifcfg getif Node2#./vipca （該項配置過程中注意兩個vip的配置，完成之后回到node1上的clusterware安裝界面點擊ok）集群軟件安裝完成之后：Node1#cd /u01/app/oracle/prod

26、uct/10.2.0/crs_1/binNode1#./crs_stat -t (能夠看到有六個)Node1#ssh node2Node2#cd /u01/app/oracle/product/10.2.0/crs_1/binNode2#./crs_stat -tNode2#./crs_stop ora.node2.vipNode2#./crs_start ora.node2.vipNode2#tail -3 /etc/inittabNode1#tail -3 /etc/inittab六Clusterware卸載自動卸載：$ORACLE_HOME/install/rootdelete.sh$O

27、RACLE_HOME/install/rootdeinstall.sh手工卸載：#srvctl stop nodeapps n node1#rm -rvf /etc/oracle/*#rm -rvf /etc/init.d/init.*#rm -rvf /etc/rc3.d/*.crs#rm -rvf /etc/rc5.d/*.crs#cp /etc/inittab.orig /etc/inittab#ps ef | grep crs#ps ef | grep css#ps ef | grep evm#rm rvf /tmp/.oracle/*#rm rvf /var/tmp/.oracle/

28、*#rm -rvf /u01/app/oracle/*#dd if=/dev/zero of=/dev/Votingdisk bs=1024 count=100000#dd if=/dev/zero of=/dev/OCRdisk bs=1024 count=100000#dd if=/dev/zero of=/dev/ASMdisk bs=1024 count=2000000#dd if=/dev/zero of=/dev/ASMdisk2 bs=1024 count=1300000#shutdown r now七安裝數(shù)據(jù)庫軟件檢查：Node1#cat /etc/hostsNode1#cat

29、 /etc/sysctl.confNode1#cat /etc/security/limits.confNode1#cat /etc/pam.d/loginNode1#cat /etc/redhat-releaseNode1#cat /home/oracle/.bash_profile注銷以oracle用戶登錄Node1$cd /oradisk/databaseNode1$./runInstaller ignoreSysPreReqs注意在指定路徑時的路徑：/u01/app/oracle/product/10.2.0/db_1 在Specify Hardware Cluster Install

30、ation Mode然后將node1和node2都勾選上。八.配置監(jiān)聽選擇集群配置（Cluster configuration）兩個結點都選上Node1$cd /u01/app/oracle/product/10.2.0/crs_1/bin/Node1$./crs_stat -tNode1$./crs_stat |moreNode1$./crs_stat -p |moreNode1$ssh node2Node2$cd /u01/app/oracle/product/10.2.0/crs_1/bin/Node2$./crs_stat -tNode2$./crs_stat | more (查詢每個

31、name的具體信息)Node2$./crs_stat p |more（查詢更具體的信息）九建立數(shù)據(jù)庫實例Node1$dbca安裝的數(shù)據(jù)庫的名稱為RACDB選擇ASM自動存儲治理創(chuàng)建初始化參數(shù)文件的路徑為：ORACLE_BASE/admin/+ASM/pfile/init.oraASM的兩個磁盤建立成為外部的，一個命名為RAC_VOLGRP1,另一個命名為FLASH_RECOVERY_AREADatabae component中的em倉庫可選可不選字符集選成ZHS16GBK安裝完成之后：Node1$ cd /u01/app/oracle/product/10.2.0/crs_1/binNode1

32、$ ./crs_stat -t (現(xiàn)在會看到十三個RAC的治理進程)Node1$ ssh node2Node2$ cd /u01/app/oracle/product/10.2.0/crs_1/binNode2$ ./crs_stat -t (13個)十測試RACNode2斷電，不可使用shutdown h now，要使用非正常關機，否則可不能產(chǎn)生飄移。Node1$ /u01/app/oracle/product/10.2.0/crs_1/bin/crs_stat t (等待時刻為1-5分鐘就能夠看到node2的虛擬IP飄移到了node1上)Node2上電，再來查看，會看到虛擬IP飄移了回來。十一.RAC啟停及警告文件關閉RA