多種虛擬機(jī)環(huán)境下安裝Oracle11gRAC

1、多種虛擬機(jī)環(huán)境下安裝Oracle11g RAC2016年8月17日目 錄1、安全環(huán)境與網(wǎng)絡(luò)規(guī)劃51.1、安裝環(huán)境51.2、網(wǎng)絡(luò)規(guī)劃51.3、Oracle軟件組51.4、RAC節(jié)點51.5、存儲組件62、創(chuàng)建虛擬機(jī)62.1、VMware vSphere62.2、VMware Workstation162.3、Virtual BOX223、安裝系統(tǒng)263.1、安裝系統(tǒng)(兩節(jié)點)263.2、配置網(wǎng)絡(luò)(兩節(jié)點)313.3、刪除自動生成的虛擬網(wǎng)卡(兩節(jié)點)333.4、測試網(wǎng)絡(luò)(兩節(jié)點)344、添加共享存儲344.1、VMware vSphere344.1.1、配置rac1節(jié)點344.2.2、配置rac2

2、節(jié)點384.2、VMware Workstation414.2.1、物理機(jī)中添加共享磁盤414.2.2、關(guān)閉節(jié)點，用記事本編輯vmx文件，例如：rac1.vmx(兩節(jié)點)414.3、Virtual BOX424.3.1、配置rac1節(jié)點424.3.2、配置rac2節(jié)點475、實現(xiàn)共享存儲475.1、劃分共享磁盤(單節(jié)點)475.2、配置ASM磁盤(兩節(jié)點)496、配置Linux系統(tǒng)506.1、用戶組及用戶設(shè)置(兩節(jié)點，root用戶)506.1.1、創(chuàng)建Oracle軟件組506.1.2、創(chuàng)建grid、oracle用戶506.1.3、為grid、oracle用戶設(shè)置密碼506.2、主機(jī)名IP映射文

3、件設(shè)置(兩節(jié)點)516.3、配置Linux內(nèi)核參數(shù)(兩節(jié)點)516.4、設(shè)置grid、oracle用戶設(shè)置shell limits(兩節(jié)點)526.5、創(chuàng)建Oracle Inventory Directory(兩節(jié)點)536.6、創(chuàng)建Oracle Grid Infrastructure Home目錄(兩節(jié)點)536.7、創(chuàng)建Oracle RDBMS Home目錄(兩節(jié)點)536.8、安裝相應(yīng)系統(tǒng)支持包(兩節(jié)點64&32bit)536.9、修改grid、oracle用戶環(huán)境變量(兩節(jié)點)547、關(guān)閉防火墻557.1、設(shè)置SELinux(兩節(jié)點)557.2、關(guān)閉防火墻iptables(兩節(jié)點)55

4、8、設(shè)置grid、oracle用戶ssh等效性569、時鐘同步579.1、使用Linux系統(tǒng)的NTP服務(wù)同步時鐘(兩節(jié)點)579.2、使用oracle集群軟件ctss服務(wù)同步時鐘(兩節(jié)點)5810、安裝前準(zhǔn)備5811、安裝Oracle Grid Infrastructure5911.1、安裝流程5911.2、安裝后檢查7311.3、配置ASM磁盤組7412、安裝Oracle DataBase7712.1、安裝流程7712.2、安裝數(shù)據(jù)庫8613、Oracle RAC維護(hù)9613.1、節(jié)點層9613.2、網(wǎng)絡(luò)層9613.2.1、列出CRS網(wǎng)卡9613.2.2、獲取CRS網(wǎng)卡信息9613.3、集群

5、層9713.3.1、檢查CRS狀態(tài)9713.3.2、檢查CRS 單個服務(wù)9713.3.3、檢查CRS是否自動啟動（root用戶）9713.3.4、啟動、停止、查看CRS（root用戶）9713.3.5、查看Votedisk磁盤位置9713.3.6、維護(hù)Votedisk9713.3.7、查看OCR狀態(tài)9813.3.8、維護(hù)OCR9813.4、應(yīng)用層10013.4.1、查看CRS狀態(tài)10013.4.2、onsctl命令10013.4.3、srvctl命令10114、附錄：10214.1、CRS名詞解釋：10214.1.1、CRS一些服務(wù)作用10214.1.2、Oracle Cluster Regi

6、stry(OCR)10214.1.3、Votedisk10214.1.4、Admin Managed和Policy Managed10214.1.5、Grid Name Service(GNS)10314.1.6、Intelligent Management Platform Interface(IPMI)10314.2、安裝問題10314.2.1、安裝界面亂碼10314.2.2、xhost +報錯10314.2.3、網(wǎng)卡名稱與MAC地址不能對應(yīng)10414.2.4、Linux6.*yum安裝報錯10414.2.5、11g支持Linux系統(tǒng)列表10414.2.6、udev配置RAC ASM的幾種

7、方式10414.2.7、Oracle11.2.0.1問題1051、安全環(huán)境與網(wǎng)絡(luò)規(guī)劃1.1、安裝環(huán)境RAC節(jié)點操作系統(tǒng)：Linux 6.4 x86_64Cluster software：Oracle Grid Infrastructure 11gr2(11.2.0.4)Oracle Database software：Oracle11gr2(11.2.0.4)共享存儲：ASM1.2、網(wǎng)絡(luò)規(guī)劃節(jié)點名稱Public IPPrivate IPVirtual IPSCAN 名稱SCAN IPrac1192.168.2.2311.1.6.231192.168.2.233rac-scan192.168.2

8、.235rac2192.168.2.2321.1.6.232192.168.2.234注意：Oracle11g新增SCAN-IP，為VIP的一個池概念1.3、Oracle軟件組軟件組件用戶輔助組用戶主目錄ORACLE_BASEORACLE_HOMEGrid Infrastructuregridasmadminasmdbaasmoper/home/grid/u01/app/grid/crs/u01/app/11.2.0/gridOracle RACoracledbadbaoperasmdba/home/oracle/u01/app/oracle/u01/app/oracle/11.2.0/db_

9、11.4、RAC節(jié)點節(jié)點名稱實例名稱數(shù)據(jù)庫名稱內(nèi)存操作系統(tǒng)rac1rac1rac8GLinux 6.4 x86_64rac2rac28GLinux 6.4 x86_641.5、存儲組件存儲組件文件系統(tǒng)卷大小ASM卷組名ASM冗余磁盤名OCR、VOTING DiskASM5GCRSExternalOCR_VOTE數(shù)據(jù)庫20GDATAExternalASMDATA快速恢復(fù)區(qū)5GFRAExternalBACKUP2、創(chuàng)建虛擬機(jī)2.1、VMware vSphere以administrator用戶登錄虛擬化主機(jī)：對主機(jī)右鍵點擊“新建虛擬機(jī)”選擇自定義配置，下一步給虛擬機(jī)命名 rac1，下一步選擇虛擬機(jī)存

10、放位置，下一步選擇虛擬機(jī)文件存放位置(盡量放于共享存儲上，空間大且防止數(shù)據(jù)丟失)，下一步選擇高版本，下一步選擇操作系統(tǒng)為Linux，版本為Red Hat Enterprise Linux 6(64位)，下一步配置CPU、內(nèi)存，下一步選擇網(wǎng)卡，配置兩塊網(wǎng)卡，一塊作為Public，另一塊作為Private，下一步選擇SCSI驅(qū)動器類型：LSI Logic并行，下一步選擇創(chuàng)建新磁盤，下一步配置磁盤大小，下一步上述三個選項的解釋：選擇虛擬設(shè)備節(jié)點，默認(rèn)為SCSI(0:0)，選擇模式為非獨立，下一步選擇在虛擬機(jī)創(chuàng)建之前編輯選項，繼續(xù)編輯光驅(qū)設(shè)備，選擇ISO文件，完成查看新建虛擬機(jī)配置以相同方式創(chuàng)建另一個

11、節(jié)點rac2。2.2、VMware Workstation新建虛擬機(jī)rac1，選擇自定義，下一步選擇安裝操作系統(tǒng)ISO，下一步命名虛擬機(jī)，選擇存放位置，下一步配置內(nèi)存大小，下一步選擇網(wǎng)絡(luò)類型為橋接網(wǎng)絡(luò)，下一步選擇I/O控制器類型為LSI Logic，下一步選擇磁盤類型為SCSI，下一步配置磁盤大小，并選擇將虛擬磁盤拆分多個文件，下一步指定磁盤文件，下一步以相同方式創(chuàng)建另一個節(jié)點rac2。2.3、Virtual BOX新建虛擬機(jī)rac1，命名虛擬機(jī)，選擇系統(tǒng)類型為Linux，版本為Red Hat （64bit），下一步配置內(nèi)存大小，下一步創(chuàng)建虛擬硬盤，創(chuàng)建選擇虛擬磁盤文件類型，下一步選擇動態(tài)分配

12、，下一步選擇文件位置和大小，下一步創(chuàng)建完成設(shè)置虛擬機(jī)參數(shù)選擇存儲，在右側(cè)屬性，點擊分配光驅(qū)右邊的，選擇安裝操作系統(tǒng)ISO文件以相同方式創(chuàng)建另一個節(jié)點rac2。3、安裝系統(tǒng)3.1、安裝系統(tǒng)(兩節(jié)點)系統(tǒng)安裝過程都是一致，因此不予詳述。本文只針對安裝過程中部分容易出錯的地方簡述選擇基本存儲設(shè)備提示是否丟棄所有的數(shù)據(jù)，yes,discard any data選擇自定義分區(qū)，Create Custom Layout進(jìn)入分區(qū)界面選擇標(biāo)準(zhǔn)分區(qū)模式，Standard Partition分別創(chuàng)建虛擬內(nèi)存(swap)、boot分區(qū)、/分區(qū)分區(qū)結(jié)果選擇確定格式化選擇寫入磁盤選擇默認(rèn)即可選擇系統(tǒng)模式，Softwar

13、e Development Workstation，Customize Later，其他默認(rèn)開始安裝系統(tǒng)安裝后，提示重啟系統(tǒng)，并有一系列配置，其中啟動Kdump根據(jù)提示，再次重啟系統(tǒng)，系統(tǒng)安裝完畢！3.2、配置網(wǎng)絡(luò)(兩節(jié)點)此步驟，需要虛擬機(jī)有兩塊網(wǎng)卡，分別為Public和Private網(wǎng)卡。雙機(jī)IP配置：節(jié)點名稱Public IPPrivate IPrac1192.168.2.2311.1.6.231rac2192.168.2.2321.1.6.232使用root用戶登錄虛擬機(jī)，右鍵，選擇Edit Connection按以下步驟操作，分別配置兩塊網(wǎng)卡IP為上表對應(yīng)項3.3、刪除自動生成的虛擬

14、網(wǎng)卡(兩節(jié)點)所謂虛擬網(wǎng)卡，即執(zhí)行 ifconfig命令列出的virbr0，如圖執(zhí)行以下命令來刪除該虛擬網(wǎng)卡virsh net-listvirsh net-destroy defaultvirsh net-undefine defaultservice libvirtd restart再次使用ifconfig命令查看，該虛擬網(wǎng)卡已不存在3.4、測試網(wǎng)絡(luò)(兩節(jié)點)1、物理機(jī)ping兩臺虛擬機(jī)rac1、rac2的Public IP2、rac1節(jié)點 ping rac2節(jié)點的Public IP和Private IP3、rac2節(jié)點 ping rac1節(jié)點的Public IP和Private IP以上三

15、步完全可以ping通即可。4、添加共享存儲4.1、VMware vSphere4.1.1、配置rac1節(jié)點關(guān)閉rac1節(jié)點，右鍵rac1節(jié)點選擇編輯設(shè)置，進(jìn)入配置界面，點擊添加選擇硬盤，下一步創(chuàng)建新的虛擬磁盤配置磁盤大小，選擇厚置備置零（集群專用），指定磁盤的存放位置，下一步驅(qū)動器設(shè)備選擇SCSI 1:0，模式選擇獨立（集群必須選擇此項），下一步在虛擬機(jī)屬性中，選擇剛添加的SCSI controller 1 驅(qū)動器，配置其為物理模式（用于支持共享），以保證rac1、rac2節(jié)點的共享訪問重復(fù)執(zhí)行上述步驟，添加另外兩塊磁盤，將其驅(qū)動器設(shè)備選擇為SCSI 1:1；SCSI 1:2。添加3塊共享磁盤

16、的rac1節(jié)點配置信息如下：4.2.2、配置rac2節(jié)點關(guān)閉rac2節(jié)點，右鍵rac2節(jié)點選擇編輯設(shè)置，進(jìn)入配置界面，點擊添加選擇硬盤，下一步選擇已有虛擬磁盤，下一步選擇指定的存儲設(shè)備，此處需要注意：選擇在rac1節(jié)點中創(chuàng)建的第一塊磁盤驅(qū)動器設(shè)備選擇SCSI 1:0，模式選擇獨立，下一步同rac1節(jié)點一樣，在rac2節(jié)點屬性中，選擇剛添加的SCSI controller 1驅(qū)動器，配置其為物理模式用于共享重復(fù)執(zhí)行以上步驟，添加剩余的2塊磁盤。注意，驅(qū)動器編號要依次選擇SCSI 1:1、SCSI 1:2。添加3塊共享磁盤的rac2節(jié)點配置信息如下：4.2、VMware Workstation4.

17、2.1、物理機(jī)中添加共享磁盤vmware-vdiskmanager.exe -c -s 5G -a lsilogic -t 2 d:Virtual MachinesRACsharedasm1.vmdkvmware-vdiskmanager.exe -c -s 5G -a lsilogic -t 2 d:Virtual MachinesRACsharedasm2.vmdkvmware-vdiskmanager.exe -c -s 20G -a lsilogic -t 2 d:Virtual MachinesRACsharedasm3.vmdk注意：-a 指定磁盤類型 t 2表示直接劃分一個預(yù)分配

18、空間的文件。4.2.2、關(guān)閉節(jié)點，用記事本編輯vmx文件，例如：rac1.vmx(兩節(jié)點)添加如下內(nèi)容：#shared disks configuredisk.EnableUUID = TRUEdisk.locking = FALSEdiskLib.dataCacheMaxSize = 0diskLib.dataCacheMaxReadAheadSize = 0 diskLib.dataCacheMinReadAheadSize = 0diskLib.maxUnsyncedWrites = 0scsi1.present = TRUEscsi1.virtualDev = lsilogicscsi

19、l.sharedBus = VIRTUALscsi1:0.present = TRUEscsi1:0.mode = independent-persistentscsi1:0.fileName = D:Virtual MachinesRACsharedasm1.vmdkscsi1:0.deviceType = diskscsi1:0.redo = scsi1:1.present = TRUEscsi1:1.mode = independent-persistentscsi1:1.fileName = D:Virtual MachinesRACsharedasm2.vmdkscsi1:1.dev

20、iceType = diskscsi1:1.redo = scsi1:2.present = TRUEscsi1:2.mode = independent-persistentscsi1:2.fileName = D:Virtual MachinesRACsharedasm3.vmdkscsi1:2.deviceType = diskscsi1:2.redo = 注意：1、 此處添加了3塊共享盤，因此添加3段內(nèi)容scsi1:0，scsi1:1，scsi1:2，也即要增加幾塊盤，就要增加相應(yīng)段數(shù)的內(nèi)容2、 scsi 1:*.fileName=后面的內(nèi)容要與你在物理主機(jī)使用vmware-vdisk

21、manager.exe創(chuàng)建的磁盤存儲位置一致3、 重啟兩節(jié)點，查看虛擬機(jī)配置，確認(rèn)共享磁盤文件加載成功（不重啟系統(tǒng)可能不能識別出磁盤）4.3、Virtual BOX4.3.1、配置rac1節(jié)點方法1：rac1節(jié)點的配置也中，選擇存儲，選擇SATA 控制器，然單擊添加硬盤圖標(biāo)創(chuàng)建新的磁盤，create new disk選擇默認(rèn)VDI磁盤模式選擇固定大小（共享磁盤必須選擇此選項），下一步配置共享磁盤存儲路徑及大小新建的磁盤，已經(jīng)連接到rac1虛擬機(jī)選擇此新磁盤。單擊修改（modify）圖標(biāo)并選擇Shareable重復(fù)以上步驟，創(chuàng)建另外2塊磁盤。最后，增加磁盤后的配置信息方法2：1、在物理主機(jī)命令行

22、中執(zhí)行以下語句，創(chuàng)建磁盤VBoxManage.execreatehd-filenameasm1.vdi-size5120-formatVDI-variantFixedVBoxManage.execreatehd-filenameasm2.vdi-size5120-formatVDI-variantFixedVBoxManage.execreatehd-filenameasm3.vdi-size204800-formatVDI-variantFixed2、連接rac1虛擬機(jī)VBoxManage.exestorageattachrac1-storagectlSATA控制器-port1-device

23、0-typehdd-mediumasm1.vdi-mtypeshareableVBoxManage.exestorageattachrac1-storagectlSATA控制器-port2-device0-typehdd-mediumasm2.vdi-mtypeshareableVBoxManage.exestorageattachrac1-storagectlSATA控制器-port3-device0-typehdd-mediumasm3.vdi-mtypeshareable3、設(shè)置磁盤共享VBoxManage.exemodifyhdasm1.vdi-typeshareableVBoxMan

24、age.exemodifyhdasm2.vdi-typeshareableVBoxManage.exemodifyhdasm3.vdi-typeshareable4、查看rac1配置信息4.3.2、配置rac2節(jié)點rac2節(jié)點只需配置磁盤驅(qū)動器與虛擬機(jī)的連接即可，如下：VBoxManage.exestorageattachrac2-storagectlSATA控制器-port1-device0-typehdd-mediumasm1.vdi-mtypeshareableVBoxManage.exestorageattachrac2-storagectlSATA控制器-port2-device0-

25、typehdd-mediumasm2.vdi-mtypeshareableVBoxManage.exestorageattachrac2-storagectlSATA控制器-port3-device0-typehdd-mediumasm3.vdi-mtypeshareable5、實現(xiàn)共享存儲5.1、劃分共享磁盤(單節(jié)點)fdisk l三個分區(qū)作用解釋：fdisk /dev/sdb-作為ocr和voting disk存放文件fdisk /dev/sdc-存放快速恢復(fù)區(qū)文件fdisk /dev/sdd-存放數(shù)據(jù)庫文件fdisk /dev/sdbc|d依次n p 1 Enter Enter w，實現(xiàn)

26、分區(qū)fdisk l-再次查看并在rac2節(jié)點查看，確保與rac1完全一致分區(qū)完畢，不要對新加磁盤進(jìn)行格式化，保持裸設(shè)備。5.2、配置ASM磁盤(兩節(jié)點)使用udev管理配置磁盤方式rpm -qa|grep udev-查看是否安裝udev執(zhí)行以下命令，獲取scsi id信息scsi_id -g -u -d /dev/sdb c|d36000c292f99f2349911c3766f3cc53d736000c293f4c9f2c1fdd38a63e5861ad336000c2994d5eda8fbefc5922b14ab651編輯udev配置文件，添加rules文件（/etc/udev/rules

27、.d/）并授權(quán)添加以下參數(shù)。方法1：vi /etc/udev/rules.d/99-x-asmdisk.rulesKERNEL=sdb1, BUS=scsi, PROGRAM=scsi_id -g -u -d /dev/$parent,RESULT=36000c292f99f2349911c3766f3cc53d7, NAME=asmdiskOCR, OWNER:=grid, GROUP:=dba,MODE=0660KERNEL=sdc1, BUS=scsi, PROGRAM=scsi_id -g -u -d /dev/$parent,RESULT=36000c293f4c9f2c1fdd38

28、a63e5861ad3, NAME=asmdiskDATA, OWNER:=grid, GROUP:=dba,MODE=0660KERNEL=sdd1, BUS=scsi, PROGRAM=scsi_id -g -u -d /dev/$parent,RESULT=36000c2994d5eda8fbefc5922b14ab651, NAME=asmdiskFRA, OWNER:=grid, GROUP:=dba,MODE=0660注意：1、 一行為一條規(guī)則2、 , 與下一個關(guān)鍵詞要有空格3、 GROUP:=后面不確定值，dba與asmadmin都可以啟動udevstart_udevls /de

29、v/asmdisk*方法2：vi /etc/udev/rules.d/99-oracle-asmdevices.rules直接在命令行下輸入并執(zhí)行以下循環(huán)for i in b c d;doecho KERNEL=sd*, BUS=scsi, PROGRAM=/sbin/scsi_id -whitelisted -replace-whitespace -device=/dev/$name, RESULT=/sbin/scsi_id -whitelisted -replace-whitespace -device=/dev/sd$i, NAME=asm-disk$i, OWNER=grid, GR

30、OUP=asmadmin, MODE=0660 /etc/udev/rules.d/99-oracle-asmdevives.rulesdone注意：此處的b、c、d是sdb、sdc、sdd去掉sd啟動udevstart_udevls /dev/asm*6、配置Linux系統(tǒng)6.1、用戶組及用戶設(shè)置(兩節(jié)點，root用戶)6.1.1、創(chuàng)建Oracle軟件組groupadd -g 601 oinstallgroupadd -g 602 dbagroupadd -g 603 opergroupadd -g 604 asmadmingroupadd -g 605 asmdbagroupadd -g

31、606 asmoper6.1.2、創(chuàng)建grid、oracle用戶useradd -u 601 -g oinstall -G asmadmin,asmdba,asmoper griduseradd -u 602 -g oinstall -G dba,oper,asmdba oracle6.1.3、為grid、oracle用戶設(shè)置密碼passwd gridpasswd oracle6.2、主機(jī)名IP映射文件設(shè)置(兩節(jié)點)vi /etc/hosts-加入以下內(nèi)容#public:192.168.2.231 rac1192.168.2.232 rac2#vip:192.168.2.233 rac1-vi

32、p192.168.2.234 rac2-vip#priv1.1.6.231 rac1-priv1.1.6.232 rac2-priv#SCAN192.168.2.235 rac-scan6.3、配置Linux內(nèi)核參數(shù)(兩節(jié)點)vi /etc/sysctl.conf-加入以下內(nèi)容fs.aio-max-nr = 1048576fs.file-max = 6815744kernel.shmmni = 4096kernel.sem = 250 32000 100 128net.ipv4.ip_local_port_range = 9000 65500net.core.rmem_default = 26

33、2144net.core.rmem_max = 4194304net.core.wmem_default = 262144net.core.wmem_max = 1048576sysctl p-使以上設(shè)置生效6.4、設(shè)置grid、oracle用戶設(shè)置shell limits(兩節(jié)點)vi /etc/security/limits.conf-加入以下內(nèi)容grid soft nproc 2047grid hard nproc 16384grid soft nofile 1024grid hard nofile 65536grid soft stack 10240grid hard stack 32

34、768oracle soft nproc 2047oracle hard nproc 16384oracle soft nofile 1024oracle hard nofile 65536oracle soft stack 10240oracle hard stack 32768vi /etc/pam.d/login-加入以下內(nèi)容session required pam_limits.so6.5、創(chuàng)建Oracle Inventory Directory(兩節(jié)點)mkdir -p /u01/app/oraInventorychown -R grid.oinstall /u01/app/oraI

35、nventorychmod -R 775 /u01/app/oraInventory6.6、創(chuàng)建Oracle Grid Infrastructure Home目錄(兩節(jié)點)mkdir -p /u01/app/gridmkdir -p /u01/app/grid/crsmkdir -p /u01/app/grid/11.2.0chown -R grid.oinstall /u01/app/gridchmod -R 775 /u01/app/grid6.7、創(chuàng)建Oracle RDBMS Home目錄(兩節(jié)點)mkdir -p /u01/app/oraclechown -R oracle.oinst

36、all /u01/app/oraclechmod -R 775 /u01/app/oraclemkdir -p /u01/app/oracle/product/11.2.0/db_1chown -R oracle.oinstall /u01/app/oracle/product/11.2.0/db_1chmod -R 775 /u01/app/oracle/product/11.2.0/db_16.8、安裝相應(yīng)系統(tǒng)支持包(兩節(jié)點64&32bit)binutilscompat-libstdc+-33 elfutils-libelf elfutils-libelf-devel gcc gcc-c+

37、 glibc glibc-common glibc-devel glibc-headers ksh libaio libaio-devel libgcc libstdc+ libstdc+-devel make numactl-devel sysstatunixODBCunixODBC-devel方法1：拷貝系統(tǒng)光盤內(nèi)容到本地目錄mkdir /yum/cp /media/* /yum/刪除/etc/yum.repos.d/下內(nèi)容并創(chuàng)建yum.repovi /etc/yum.repos.d/yum.repoyumname=yumbaseurl=file:/yum/enabled=1方法2：rpm

38、 ivh nodeps force *rpm6.9、修改grid、oracle用戶環(huán)境變量(兩節(jié)點)Su grid-切換到grid用戶，修改環(huán)境變量Vi .bash_profile-刪除重復(fù)內(nèi)容，加入以下內(nèi)容export ORACLE_HOSTNAME=rac1(rac2)export ORACLE_UNQNAME=racexport ORACLE_BASE=/u01/app/grid/crsexport ORACLE_HOME=/u01/app/grid/11.2.0export ORACLE_SID=+ASM1(+ASM2)export ORACLE_TERM=xtermexport PA

39、TH=$ORACLE_HOME/bin:/usr/sbin:$PATHexport LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/libexport CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlibexport TMP=/tmpexport TMPDIR=$TMPSu oracle-切換到oracle用戶，修改環(huán)境變量Vi .bash_profile-刪除重復(fù)內(nèi)容，加入以下內(nèi)容export ORACLE_HOSTNAME=rac1(rac2)export ORACLE

40、_UNQNAME=racexport ORACLE_BASE=/u01/app/oracleexport ORACLE_HOME=$ORACLE_BASE/product/11.2.0/db_1export ORACLE_SID=rac1(rac2)export ORACLE_TERM=xtermexport PATH=$ORACLE_HOME/bin:/usr/sbin:$PATHexport LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/libexport CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$O

41、RACLE_HOME/rdbms/jlibexport TMP=/tmpexport TMPDIR=$TMP7、關(guān)閉防火墻7.1、設(shè)置SELinux(兩節(jié)點)1、立即生效setenforce 0-立即關(guān)閉SELinuxgetenforce-查看SELinux狀態(tài)2、永久生效vi /etc/selinux/config-關(guān)閉selinux替換SELinux=enforcing為SELinux=disabled7.2、關(guān)閉防火墻iptables(兩節(jié)點)service iptables saveservice iptables stop-關(guān)閉iptableschkconfig iptables o

42、ff-設(shè)置iptables不隨系統(tǒng)啟動chkconfig -list iptables-查看防火墻狀態(tài)列表8、設(shè)置grid、oracle用戶ssh等效性ssh等效性操作過程一樣，因此只需切換到相應(yīng)用戶執(zhí)行即可su grid-兩節(jié)點cd /home/gridrm -rf /.sshmkdir /.sshchmod 700 /.sshssh-keygen -t rsassh-keygen -t dsa配置同步rac1節(jié)點cat /.ssh/id_rsa.pub /.ssh/authorized_keyscat /.ssh/id_dsa.pub /.ssh/authorized_keysscp /.

43、ssh/authorized_keys rac2:/.ssh/authorized_keysrac2節(jié)點cat /.ssh/id_rsa.pub /.ssh/authorized_keyscat /.ssh/id_dsa.pub /.ssh/authorized_keysscp /.ssh/authorized_keys rac1:/.ssh/authorized_keys檢測連通性-兩節(jié)點ssh racdb1 datessh racdb2 datessh racdb1-priv datessh racdb2-priv date注意：第一次詢問是否要連接，輸入yes即可。9、時鐘同步9.1、使

44、用Linux系統(tǒng)的NTP服務(wù)同步時鐘(兩節(jié)點)vi /etc/ntp.conf-主節(jié)點rac1加入以下內(nèi)容Server 127.127.1.0Fudge 127.127.1.0 stratum 11Broadcastdelay 0.008vi /etc/ntp.conf -其他節(jié)點rac2加入以下內(nèi)容Server 192.168.2.231 preferDriftfile /var/lib/ntp/driftBroadcastdelay 0.008vi /etc/sysconfig/ntpd-配置NTP服務(wù)SYNC_HWCLOCK=yesOPTIONS=-x -u ntp:ntp -p /va

45、r/run/ntpd.pid/etc/init.d/ntpd restart-啟動NTP服務(wù)chkconfig ntpd on-設(shè)置NTP服務(wù)隨系統(tǒng)啟動netstat -an |grep 123 -確保該端口以udp方式開放ntpstat-查看NTP服務(wù)狀態(tài)9.2、使用oracle集群軟件ctss服務(wù)同步時鐘(兩節(jié)點)11G R2 默認(rèn)有自己的時間同步機(jī)制，沒有NTP也是可以的。有NTP的話ctss應(yīng)該一直運行觀察模式的。使用集群時間同步服務(wù)在集群中提供同步服務(wù)，需要卸載網(wǎng)絡(luò)時間協(xié)議 (NTP) 及其配置。service ntpd stopchkconfig ntpd offmv /etc/n

46、tp.conf /etc/ntp.conf.original -有/etc/ntp.conf這個文件，ctss是不會啟用的rm /var/run/ntpd.pid-此文件保存NTP后臺程序的pid10、安裝前準(zhǔn)備本操作需要兩節(jié)點分別執(zhí)行！上傳安裝文件，本次安裝的是Oracle 11.2.0.4版本，共3個安裝包，其中1、2是database包，3是grid包。分別解壓3個包，解壓后產(chǎn)生兩個目錄/setup/database、/setup/grid注意：rac2節(jié)點只上傳grid包，解壓即可。在兩個rac節(jié)點上安裝操作系統(tǒng)程序包cvuqdisk(安裝包在/setup/grid/下)。如果沒有cv

47、uqdisk，集群驗證實用程序就無法發(fā)現(xiàn)共享磁盤(/dev/asm*)，且在安裝后期會收到”Package cvuqdisk not installed”的錯誤。root用戶下安裝cvuqdisk-1.0.9-1.rpm包export CVUQDISK_GRP=oinstallcd /setup/grid/rpmrpm ivh cvuqdisk-1.0.9-1.rpmsu grid-切換到grid用戶cd /setup/grid./runcluvfy.sh stage -pre crsinst -n rac1,rac2 -fixup -verbose 1.log-輸入1.log，方便查看如有報

48、錯，則執(zhí)行下面命令后再次執(zhí)行此命令/tmp/CVU_11.2.0.1.0_grid/runfixup.shrm -rf /tmp/bootstrap./runcluvfy.sh stage -pre crsinst -n rac1,rac2 -fixup -verbose注意：以上命令執(zhí)行結(jié)果中，提示網(wǎng)絡(luò)問題、時間同步、DNS問題可忽略！./runcluvfy.sh stage post hwos n rac1,rac2 verbose注意：1、 兩條CVU檢查命令的結(jié)果均為passed才能繼續(xù)安裝(網(wǎng)絡(luò)、時間、DNS問題可忽略)。2、 此時要保證兩節(jié)點4個IP（Public、Private）

49、可以互相ping通11、安裝Oracle Grid Infrastructure11.1、安裝流程本操作只需在一個節(jié)點分別執(zhí)行！圖形界面安裝需要在root用戶執(zhí)行如下命令xhost +出現(xiàn)如上輸出，即可繼續(xù)進(jìn)行圖形安裝。su gridcd /setup/grid./runInstaller跳過更新選擇安裝選項選擇高級安裝（方便設(shè)置參數(shù)）Cluster Name可以隨意命名；SCAN Name需要與/etc/hosts中配置一致；端口默認(rèn)1521。不配置GNS添加節(jié)點2信息網(wǎng)絡(luò)信息采用ASM存儲管理配置ocr及voting disk存儲磁盤組，此處為磁盤組名為CRS更改發(fā)現(xiàn)路徑/dev/asm*

50、，以找到共享磁盤選擇規(guī)劃好的磁盤加入CRS組設(shè)置ASM管理密碼（為了方便采用統(tǒng)一設(shè)置密碼）密碼不符合oracle規(guī)則警告，選擇yes繼續(xù)不適用IPMI選擇grid軟件ORACLE_BASE及ORACLE_HOME（事先配置了.bash_profile，這里會自動找到路徑）選擇oraInventory目錄（該目錄主要存放安裝日志等）安裝預(yù)檢。如果兩節(jié)點ll /dev/asm*，可以查看到一致內(nèi)容，則Device Checks for ASM警告可以忽略；如果使用Linux系統(tǒng)NTP服務(wù)，則出現(xiàn)Network Time Protocol警告（使用ctss則不會報警）可能還會有一些關(guān)于DNS、網(wǎng)絡(luò)的警告，忽略即可略過警告提醒，選擇yes繼續(xù)安裝概覽安裝提示以root用戶分別在兩節(jié)點執(zhí)行root.sh腳本。注意最后的提示，需要在安裝節(jié)點先執(zhí)行root.sh完畢后，再在其他節(jié)點執(zhí)行（此時可以并行執(zhí)行）！rac1節(jié)點執(zhí)行完畢接下來在其他節(jié)點執(zhí)行root.shINS-20802是監(jiān)聽錯誤。其原因是/etc/hosts中配置了SCAN的地址，此步如果可以ping通SCAN-IP，那么忽略此