RedhatLinux64ASMOracle11gR2RAC安裝配置和管理

第頁本資料僅供學習交流使用RedhatLinux6.4+ASM+Oracle11gR2RAC安裝配置和管理XXX公司技術部2019-05-19目錄一. 前言 4二. 安裝環(huán)境 41.1. 硬件列表 41.2. 需要安裝的軟件 41.3. RAC拓樸結構 5三. 安裝步驟： 62.1. 任務列表 62.2. 規(guī)劃階段 62.2.1. 集群詳細信息規(guī)劃 62.2.2. 磁盤、存儲空間規(guī)劃 72.2.3. 數(shù)據(jù)庫基本信息規(guī)劃 82.3. 實施階段 82.3.1. 操作系統(tǒng)安裝 92.3.2. 主機配置 92.3.3. 磁盤分區(qū) 212.3.4. 安裝和配置ASM（此項可不做） 212.3.5. 安裝OracleGrid 222.3.6. 創(chuàng)建ASM磁盤組 312.3.7. 安裝OracleDatabase 332.3.8. 創(chuàng)建數(shù)據(jù)庫 40四. 測試Failover 553.1. 簡單測試 55五. 測試負載均衡LoadBalance 56六. RAC運行維護 565.1. OracleCluster正常啟停 565.1.1. Oracle11gCluste啟停 565.1.2. Oracle10gRAC啟停順序 575.2. OracleCluster開機自啟動 585.3. 檢查、注冊與移除CRS服務 595.4. 導出CRS資源配置模板 595.5. 檢查VotingDisk 595.6. 檢查CRS資源組狀態(tài) 595.7. 檢查ASM狀態(tài)及配置 605.8. 檢查nodeapp狀態(tài)及配置 605.9. 檢查TNS的狀態(tài)及配置 605.10. 檢查VIP的狀態(tài)及配置 605.11. 檢查SCAN的狀態(tài)及配置 605.12. 檢查RAC運行狀況 615.13. 檢查Oracle數(shù)據(jù)庫實例狀態(tài)及配置 615.14. 檢查Cluster集群節(jié)點 615.15. 檢查Oracle集群注冊表(OCR) 615.16. 手動切換SCANip至其他節(jié)點 615.17. 啟動或停止EM管理器 615.18. 登錄EM管理數(shù)據(jù)庫 61七. 卸載Oracle11gRACCRS的方法 62八. 問題及解決辦法 637.1. 問題1、Grid安裝_缺少pdksh包 637.2. 問題2、Grid安裝_缺少cvuqdisk包 647.3. 問題3、Grid安裝_PRVF-5436:NTPTimeProtocol 64前言分享此文檔僅為學習交流使用，如果您的軟硬件環(huán)境及本文檔不完全一致，請酌情參考使用。因本人水平有限，為避免給大家?guī)聿槐匾睦Щ?。如遇到文檔中有不嚴謹?shù)牡胤?，請大家反饋給本人，謝謝！安裝環(huán)境硬件列表服務器設備型號CPU型號CPU主頻CPU數(shù)量單CPU核數(shù)硬盤容量硬盤數(shù)量內(nèi)存數(shù)據(jù)庫1浪潮TS860IntelE7-8850v22.3GHz812300G4512G數(shù)據(jù)庫2浪潮TS860IntelE7-8850v22.3GHz812300G4512G存儲EMC600G80-需要安裝的軟件序號軟件名稱軟件列表1操作系統(tǒng)RedHatEnterpriseLinux6.4forx86_642集群軟件--OracleClusterwarep13390677_112040_Linux-x86-64_3of7.zip3數(shù)據(jù)庫--OracleDatabase11.2.0.4.0p13390677_112040_Linux-x86-64_1of7.zipp13390677_112040_Linux-x86-64_2of7.zip4集群文件系統(tǒng)—ASM(3個包)oracleasmlib-2.0.4-1.el6.x86_64.rpm（oracle官網(wǎng)支持）oracleasm-support-2.1.8-1.el6.x86_64.rpm（oracle官網(wǎng)支持）kmod-oracleasm-2.0.6.rh1-2.el6.x86_64.rpm（需在網(wǎng)上下載。Linux6以及以上操作系統(tǒng)本身沒有對應版本的oracleasm安裝包，更換為kmod-oracleasm安裝包）5LinuxRpm包binutils-2.20.51.0.2-5.11.el6(x86_64)compat-libcap1-1.10-1(x86_64)compat-libstdc++-33-3.2.3-69.el6(x86_64)compat-libstdc++-33-3.2.3-69.el6.i686gcc-4.4.4-13.el6(x86_64)gcc-c++-4.4.4-13.el6(x86_64)glibc-2.12-1.7.el6(i686)glibc-2.12-1.7.el6(x86_64)glibc-devel-2.12-1.7.el6(x86_64)glibc-devel-2.12-1.7.el6.i686kshlibgcc-4.4.4-13.el6(i686)libgcc-4.4.4-13.el6(x86_64)libstdc++-4.4.4-13.el6(x86_64)libstdc++-4.4.4-13.el6.i686libstdc++-devel-4.4.4-13.el6(x86_64)libstdc++-devel-4.4.4-13.el6.i686libaio-0.3.107-10.el6(x86_64)libaio-0.3.107-10.el6.i686libaio-devel-0.3.107-10.el6(x86_64)libaio-devel-0.3.107-10.el6.i686make-3.81-19.el6sysstat-9.0.4-11.el6(x86_64)不同的OS需要的RPM可能不一樣。使用ASMLib創(chuàng)建ASM,需要下載ASMLib的3個包，其中oracleasm這個包要選擇和OS內(nèi)核版本匹配。RAC拓樸結構安裝步驟：任務列表任務大項序號任務小項名稱任務完成情況前期規(guī)劃1確認集群節(jié)點數(shù)量，每個節(jié)點的主機名；已完成√2確認每個主機的3個IP地址(區(qū)分Public、Private、VIP)和1個SCANIP；已完成√3數(shù)據(jù)庫存儲技術選型(ASM/OCFS/RAW/Other)；已完成√4存儲空間規(guī)劃，包括軟件安裝位置、數(shù)據(jù)庫文件位置規(guī)劃已完成√配置節(jié)點主機1配置主機名和3個IP地址；已完成√2RPM包檢查；已完成√3配置磁盤分區(qū)；已完成√4配置ASM設備；已完成√5系統(tǒng)需求(OSKernel參數(shù)、空間需求)；已完成√6創(chuàng)建Oracle用戶,要求每個節(jié)點UID、GID相同；已完成√7定義Oracle用戶的環(huán)境變量，包括$ORACLE_HOME；$OCR_HOME、資源數(shù)量限制；已完成√8配置用戶等價；已完成√9配置節(jié)點時間同步；已完成√10配置Hangcheck-timer模塊已完成√安裝部署1安裝OracleClusterware，已完成√2安裝后進行檢查；已完成√3安裝OracleDatabase；已完成√4創(chuàng)建ASM磁盤；已完成√5配置Listener；已完成√6創(chuàng)建ASM；已完成√7創(chuàng)建RAC數(shù)據(jù)庫；已完成√8安裝后測試，F(xiàn)ailover和Loadbalance已完成√規(guī)劃階段集群詳細信息規(guī)劃OracleCluster詳細信息規(guī)劃節(jié)點1節(jié)點2主機名rcahadb1rcahadb2Public雙網(wǎng)卡綁定虛擬網(wǎng)卡名稱bond0bond0Private雙網(wǎng)卡綁定虛擬網(wǎng)卡名稱bond1bond1網(wǎng)絡名/PublicIPrcahadb1/10.230.26.211rcahadb1/10.230.26.212網(wǎng)絡名/PrivateIPrcahadb1-priv/192.168.1.11rcahadb1-priv/192.168.1.12網(wǎng)絡名/VIPrcahadb1-vip/10.230.26.213rcahadb1-vip/10.230.26.214網(wǎng)絡名/SCANIPrcahadb-scan/10.230.26.215說明：PrivateIP、VIP子網(wǎng)掩碼：255.255.255.0、網(wǎng)關：10.230.26.254磁盤、存儲空間規(guī)劃數(shù)據(jù)庫存儲選用OracleASM技術。本地磁盤文件系統(tǒng)規(guī)劃文件系統(tǒng)掛接點生產(chǎn)庫1生產(chǎn)庫2備注/100G100Gvg00-lv_root/boot512M512M/home10G10Gvg00-lv_home/opt10G10Gvg00-lv_opt/usr15G15Gvg00-lv_usr/var10G10Gvg00-lv_var/swap32G32G[1G-2G]則交換區(qū)=RAM*1.5;[2G-16G]=RAM;[>16G]=RAM*0.75/tmp10G10Gvg00-lv_tmp/oracle40G40Gvg00-lv_oracle/arch01300G兩臺主機分別建立自己的/arc檔目錄，通過NFS訪問對方/arch目錄。/arch02300G軟件安裝位置、數(shù)據(jù)庫文件位置規(guī)劃文件類別本地文件系統(tǒng)RAWASM共享存儲文件系統(tǒng)OracleClusterwareORACLE_BASE/oracle/app/grid-ORACLE_HOME/oracle/app/11.2.0/grid-OCR、VoteDisk-/dev/emcpowera1--/dev/emcpowera2-/dev/emcpowera3-OracleDatabaseORACLE_BASE/oracle/app/oracle--ORACLE_HOME/oracle/app/oracle/11.2.0/db_1-Spfile-+DATA01-Pfile、passwordfile$ORACLE_HOME/dbs--Controlfile--+DATA01-Datafile--+DATA01-Logfile--+DATA01-ArchivedLog/arch01、/arch02Backup/backup數(shù)據(jù)庫基本信息規(guī)劃數(shù)據(jù)庫類型：Oracle數(shù)據(jù)庫版本：11.2.0.4,64位數(shù)據(jù)庫SID：rcadb1，rcadb2數(shù)據(jù)庫名：rcadb語言：AMERICAN_AMERICA數(shù)據(jù)庫字符集(NLS_CHARACTERSET)：AL32UTF8國家區(qū)域字符集(NLS_NCHAR_CHARACTERSET)：AL16UTF16實施階段整個過程可分為9個步驟：1：操作系統(tǒng)安裝2：主機配置 3：磁盤分區(qū)4：安裝和配置ASM5：安裝OracleGrid6：創(chuàng)建ASM磁盤組7：安裝OracleDatabase8：創(chuàng)建數(shù)據(jù)庫。操作系統(tǒng)安裝略。主機配置網(wǎng)絡配置兩個網(wǎng)卡配置成2.2.1節(jié)即可。然后分別在兩個節(jié)點配置hosts文件。通過編輯每個節(jié)點的/etc/hosts文件#vi/etc/hosts添加如下信息：#bond0-public10.230.26.211rcahadb110.230.26.212rcahadb2#bond1-private192.168.1.11rcahadb1-priv192.168.1.12rcahadb2-priv#vip10.230.26.213rcahadb1-vip10.230.26.214rcahadb2-vip#scanip10.230.26.215rcahadb-scan修改主機名分別在2個節(jié)點修改主機名#vi/etc/sysconfig/networkHOSTNAME=rcahadb1重啟網(wǎng)絡服務使其生效#servicenetworkrestart關閉selinux和防火墻分別在2個節(jié)點執(zhí)行[root@rcahadb1~]#vi/etc/selinux/config#把enabled改為disabled[root@rcahadb1~]#chkconfigiptablesoff[root@rcahadb1~]#serviceiptablesstop關閉selinux需要重啟主機，如果立即生效需要執(zhí)行[root@rcahadb1~]#setenforce0安裝軟件包需要安裝rpm包清單binutils-2.20.51.0.2-5.11.el6(x86_64)compat-libcap1-1.10-1(x86_64)compat-libstdc++-33-3.2.3-69.el6(x86_64)compat-libstdc++-33-3.2.3-69.el6.i686gcc-4.4.4-13.el6(x86_64)gcc-c++-4.4.4-13.el6(x86_64)glibc-2.12-1.7.el6(i686)glibc-2.12-1.7.el6(x86_64)glibc-devel-2.12-1.7.el6(x86_64)glibc-devel-2.12-1.7.el6.i686kshlibgcc-4.4.4-13.el6(i686)libgcc-4.4.4-13.el6(x86_64)libstdc++-4.4.4-13.el6(x86_64)libstdc++-4.4.4-13.el6.i686libstdc++-devel-4.4.4-13.el6(x86_64)libstdc++-devel-4.4.4-13.el6.i686libaio-0.3.107-10.el6(x86_64)libaio-0.3.107-10.el6.i686libaio-devel-0.3.107-10.el6(x86_64)libaio-devel-0.3.107-10.el6.i686make-3.81-19.el6sysstat-9.0.4-11.el6(x86_64)rpm包檢查方法#rpm-qpackage_namerpm-q--qf'%{name}-%{VERSION}-%{RELEASE}(%{ARCH})\n'\binutils\compat-libcap1\compat-libstdc++\gcc\gcc-c++\glibc\glibc-devel\ksh\libgcc\libstdc++\libstdc++-devel\libaio\libaio-devel\make\sysstat配制時間同步在集群中的兩個OracleRAC節(jié)點上執(zhí)行以下集群時間同步服務配置。OracleClusterware11g第2版及更高版本要求在部署了OracleRAC的集群的所有節(jié)點上實現(xiàn)時間同步。Oracle提供了兩種方法來實現(xiàn)時間同步：一種方法是配置了網(wǎng)絡時間協(xié)議(NTP)的操作系統(tǒng)；另一種方法是新的Oracle集群時間同步服務(CTSS)。Oracle集群時間同步服務(ctssd)旨在為那些OracleRAC數(shù)據(jù)庫無法訪問NTP服務的組織提供服務。一、NTP配置步驟配置時間服務器同步,(本案例，采用配置的IP為時鐘同步服務器地址，請結合實際情況修改為實際IP)。1節(jié)點（時鐘同步客戶端）[root@rcahadb1~]#vi/etc/ntp.conf//加入如下內(nèi)容server10.101.100.11preferserver10.101.100.12driftfile/etc/ntp.drifttracefile/etc/ntp.trace2節(jié)點（時鐘同步客戶端）[root@rcahadb2~]#vi/etc/ntp.conf//加入如下內(nèi)容server10.101.100.11preferserver10.101.100.12driftfile/etc/ntp.drifttracefile/etc/ntp.trace[root@rcahadb1~]#vi/etc/crontab增加以下一行06***ntpdate-u10.101.100.11//2分鐘同步一次驗證結果客戶端2個節(jié)點分別啟動NTP服務1節(jié)點執(zhí)行：[root@rcahadb1~]#/etc/init.d/ntpdstart2節(jié)點執(zhí)行：[root@rcahadb2~]#/etc/init.d/ntpdstart兩個服務器同步需要幾分鐘的時間，查看ntp服務是否在運行[root@rcahadb1~]#psaux|grepntpd[root@rcahadb1~]#watchntpq-pEvery2.0s:ntpq-pWedFeb1919:00:422019remoterefidsttwhenpollreachdelayoffsetjitter*LOCAL(0).LOCL.11l1764170.0000.0000.001當“reach”為17時，表示NTP服務已經(jīng)啟動完成，可以使用以下命令進行測試：[root@rcahadb1~]#ntpdate-d10.101.100.11最后一行出現(xiàn)以下內(nèi)容為時鐘同步正確配置9Feb19:04:30ntpdate[1966]:adjusttimeserver10.230.26.211offset0.000023sec#查看是否開機自啟動[root@rcahadb2~]#chkconfig--list|grepntp[root@rcahadb2~]#chkconfig--level35ntpdonLinux下服務開機自啟動配置方法[root@rcahadb2~]#setup->系統(tǒng)服務->選擇服務名稱->確定二、配置集群時間同步服務—(CTSS)使用集群時間同步服務在集群中提供同步服務，需要卸載網(wǎng)絡時間協(xié)議(NTP)及其配置。要停用NTP服務，必須停止當前的ntpd服務，從初始化序列中禁用該服務，并刪除ntp.conf文件。要在OracleEnterpriseLinux上完成這些步驟，以root用戶身份在兩個OracleRAC節(jié)點上運行以下命令：[root@rcahadb1~]#/sbin/servicentpdstop[root@rcahadb1~]#chkconfigntpdoff[root@rcahadb1~]#mv/etc/ntp.conf/etc/ntp.conf.original還要刪除以下文件：[root@racrcahadb1~]#rm/var/run/ntpd.pid此文件保存了NTP后臺程序的pid。當安裝程序發(fā)現(xiàn)NTP協(xié)議處于非活動狀態(tài)時，安裝集群時間同步服務將以活動模式自動進行安裝并通過所有節(jié)點的時間。如果發(fā)現(xiàn)配置了NTP，則以觀察者模式啟動集群時間同步服務，OracleClusterware不會在集群中進行活動的時間同步。在安裝后，要確認ctssd處于活動狀態(tài)，請作為網(wǎng)格安裝所有者(grid)輸入以下命令：[grid@rcahadb1~]$crsctlcheckctssCRS-4701:集群時間同步服務處于活動模式。CRS-4702:偏移量(毫秒):0[grid@rcahadb2~]$crsctlcheckctssCRS-4701:集群時間同步服務處于活動模式。CRS-4702:偏移量(毫秒):0說明：Oracle集群時間同步服務(CTSS)配置，作者未做經(jīng)過測試，僅供參考。創(chuàng)建Oracle用戶和DBA組必須保證每個節(jié)點上Oracle用戶的uid和DBA用戶組的GID相同,下面的命令在每個節(jié)點都要執(zhí)行。groupadd-g501dbagroupadd-g502oinstallgroupadd-g503opergroupadd-g504asmadmingroupadd-g505asmopergroupadd-g506asmdbauseradd-goinstall-Gdba,asmdba,operoracleuseradd-goinstall-Gasmadmin,asmdba,asmoper,dbagrid修改用戶密碼：(oracle)passwdoraclepasswdgrid創(chuàng)建Oracle基目錄創(chuàng)建OracleRAC所使用的目錄，并修改相應的權限，在所有節(jié)點root用戶執(zhí)行mkdir-p/oracle/appmkdir-p/oracle/app/oraclemkdir-p/oracle/app/oracle/11.2.0/db_1mkdir-p/oracle/app/gridmkdir-p/oracle/app/11.2.0/gridmkdir-p/oracle/app/oraInventorychown-Roracle:oinstall/oraclechmod-R775/oraclechown-Roracle:oinstall/oracle/appchmod-R775/oracle/appchownoracle:oinstall/oracle/app/oraclechmod-R775/oracle/app/oraclechownoracle:oinstall/oracle/app/oracle/11.2.0/db_1chmod-R775/oracle/app/oracle/11.2.0/db_1chown-Rgrid:oinstall/oracle/app/gridchmod-R775/oracle/app/gridchown-Rgrid:oinstall/oracle/app/11.2.0/gridchmod-R775/oracle/app/11.2.0/gridchowngrid:oinstall/oracle/app/oraInventorychmod-R775/oracle/app/oraInventory配置Oracle用戶的環(huán)境根據(jù)用戶的shell種類，編輯對應的profile文件。節(jié)點1以grid用戶登錄，[root@rcahadb1~]$su-grid[grid@rcahadb1~]$vi~/.bash_profile把以下內(nèi)容追加到.bash_profile文件umask022exportTMP=/tmpexportTMPDIR=/tmpexportPATH=/bin:/usr/bin:/usr/local/bin:/usr/X11R/bin:/usr/sbinexportORACLE_SID=+ASM1exportORACLE_BASE=/oracle/app/gridexportORACLE_HOME=/oracle/app/11.2.0/gridexportORACLE_HOSTNAME=rcahadb1exportORACLE_TERM=xtermexportNLS_DATE_FORMAT="YYYY-MM-DDHH24:MI:SS"exportTNS_ADMIN=$ORACLE_HOME/network/adminexportPATH=$ORACLE_HOME/bin:$PATHexportNLS_LANG="AMERICAN_AMERICA.ZHS16GBK"exportLD_LIBRARY_PATH=$ORACLE_HOME/lib:/usr/libexportCLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlibexportLD_LIBRARY_PATH=${LD_LIBRARY_PATH}:$ORACLE_HOME/oracm/libexportCVUQDISK_GRP=oinstall節(jié)點1以oracle用戶登錄，[root@rcahadb1~]$su-oracle[oracle@rcahadb1~]$vi~/.bash_profile把以下內(nèi)容追加到.bash_profile文件umask022exportTMP=/tmpexportTMPDIR=$TMPexportORACLE_HOSTNAME=rcahadb1exportORACLE_TERM=xtermexportNLS_LANG=AMERICAN_AMERICA.ZHS16GBKexportORACLE_SID=rcadb1exportORACLE_UNQNAME=rcadbexportORACLE_BASE=/oracle/app/oracleexportORACLE_HOME=/oracle/app/oracle/11.2.0/db_1exportPATH=${PATH}:$CRS_HOME/bin:$ORACLE_HOME/binexportPATH=${PATH}:/usr/bin:/bin:/usr/bin/X11:/usr/local/binexportPATH=${PATH}:$ORACLE_BASE/common/oracle/binexportTNS_ADMIN=$ORACLE_HOME/network/admin#exportORA_NLS10=$GRID_HOME/nls/dataexportLD_LIBRARY_PATH=$ORACLE_HOME/lib:$ORACLE_HOME/oracm/libexportLD_LIBRARY_PATH=${LD_LIBRARY_PATH}:/lib:/usr/lib:/usr/local/libexportCLASSPATH=$ORACLE_HOME/JREexportCLASSPATH=${CLASSPATH}:$ORACLE_HOME/jlibexportCLASSPATH=${CLASSPATH}:$ORACLE_HOME/network/jlibexportCLASSPATH=${CLASSPATH}:$ORACLE_HOME/jlibexportNLS_DATE_FORMAT="YYYY-MM-DDHH24:MI:SS"exportTHREADS_FLAG=native節(jié)點2以grid用戶登錄，[root@rcahadb2~]$su-grid[grid@rcahadb2~]$vi~/.bash_profile把以下內(nèi)容追加到.bash_profile文件umask022exportTMP=/tmpexportTMPDIR=/tmpexportPATH=/bin:/usr/bin:/usr/local/bin:/usr/X11R/bin:/usr/sbinexportORACLE_SID=+ASM2exportORACLE_BASE=/oracle/app/gridexportORACLE_HOME=/oracle/app/11.2.0/gridexportORACLE_HOSTNAME=rcahadb2exportORACLE_TERM=xtermexportNLS_DATE_FORMAT="YYYY-MM-DDHH24:MI:SS"exportTNS_ADMIN=$ORACLE_HOME/network/adminexportPATH=$ORACLE_HOME/bin:$PATHexportNLS_LANG="AMERICAN_AMERICA.ZHS16GBK"exportLD_LIBRARY_PATH=$ORACLE_HOME/lib:/usr/libexportCLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlibexportLD_LIBRARY_PATH=${LD_LIBRARY_PATH}:$ORACLE_HOME/oracm/libexportCVUQDISK_GRP=oinstall節(jié)點2以oracle用戶登錄[root@rcahadb2~]$su-oracle[oracle@rcahadb2~]$vi~/.bash_profile把以下內(nèi)容追加到.bash_profile文件umask022exportTMP=/tmpexportTMPDIR=$TMPexportORACLE_HOSTNAME=rcahadb2exportORACLE_TERM=xtermexportNLS_LANG=AMERICAN_AMERICA.ZHS16GBKexportORACLE_SID=rcadb2exportORACLE_UNQNAME=rcadbexportORACLE_BASE=/oracle/app/oracleexportORACLE_HOME=/oracle/app/oracle/11.2.0/db_1exportPATH=${PATH}:$CRS_HOME/bin:$ORACLE_HOME/binexportPATH=${PATH}:/usr/bin:/bin:/usr/bin/X11:/usr/local/binexportPATH=${PATH}:$ORACLE_BASE/common/oracle/binexportTNS_ADMIN=$ORACLE_HOME/network/admin#exportORA_NLS10=$GRID_HOME/nls/dataexportLD_LIBRARY_PATH=$ORACLE_HOME/lib:$ORACLE_HOME/oracm/libexportLD_LIBRARY_PATH=${LD_LIBRARY_PATH}:/lib:/usr/lib:/usr/local/libexportCLASSPATH=$ORACLE_HOME/JREexportCLASSPATH=${CLASSPATH}:$ORACLE_HOME/jlibexportCLASSPATH=${CLASSPATH}:$ORACLE_HOME/network/jlibexportCLASSPATH=${CLASSPATH}:$ORACLE_HOME/jlibexportNLS_DATE_FORMAT="YYYY-MM-DDHH24:MI:SS"exportTHREADS_FLAG=native設置用戶資源限制因為所有進程都是以Oracle身份運行的，需定義Oracle用戶能夠使用的系統(tǒng)資源數(shù)量。首先編輯配置文件：vi/etc/security/limits.conf增加內(nèi)容：gridsoftnproc16384gridhardnproc16394gridsoftnofile65536gridhardnofile65536oraclesoftnofile65536oraclehardnofile65536oraclesoftnproc16384oraclehardnproc16384配置SSH用戶等價(此項可不做)在安裝grid軟件和oracle數(shù)據(jù)庫軟件時，系統(tǒng)會自動做SSH用戶等價操作。自動做SSH用戶等價操作此處不做說明。手動配置SSH用戶等價具體實施的話命令如下：在主節(jié)點rcahadb1上以grid,oracle用戶身份生成用戶的公匙和私匙[root@rcahadb1~]$pingrcahadb2[root@rcahadb1~]$pingrcahadb2-priv[root@rcahadb1~]$su-grid[grid@rcahadb1~]$mkdir~/.ssh[grid@rcahadb1~]$ssh-keygen-trsa[grid@rcahadb1~]$ssh-keygen-tdsa[root@rcahadb1~]$su-oracle[oracle@rcahadb1~]$mkdir~/.ssh[oracle@rcahadb1~]ssh-keygen-trsa[oracle@rcahadb1~]ssh-keygen-tdsa在副節(jié)點rcahadb2上以grid,oracle執(zhí)行相同的操作，確保通信無阻[root@rcahadb2~]$pingrcahadb1[root@rcahadb2~]$pingrcahadb1-priv[root@rcahadb2~]$su-grid[grid@rcahadb2~]$mkdir~/.ssh[grid@rcahadb2~]$ssh-keygen-trsa[grid@rcahadb2~]$ssh-keygen-tdsa[root@rcahadb2~]$su-oracle[oracle@rcahadb2~]$mkdir~/.ssh[oracle@rcahadb2~]$ssh-keygen-trsa[oracle@rcahadb2~]$ssh-keygen-tdsa在主節(jié)點rcahadb1上grid,oracle用戶執(zhí)行以下操作[grid@rcahadb1~]$cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys[grid@rcahadb1~]$cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys[grid@rcahadb1~]$sshrcahadb2cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys[grid@rcahadb1~]$sshrcahadb2cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys[grid@rcahadb1~]$scp~/.ssh/authorized_keysrcahadb2:~/.ssh/authorized_keys[oracle@rcahadb1~]$cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys[oracle@rcahadb1~]$cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys[oracle@rcahadb1~]$sshrcahadb2cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys[oracle@rcahadb1~]$sshrcahadb2cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys[oracle@rcahadb1~]$scp~/.ssh/authorized_keysrcahadb2:~/.ssh/authorized_keys主節(jié)點rcahadb1上分別grid,oracle用戶執(zhí)行檢驗操作[grid@rcahadb1~]$exec/usr/bin/ssh-agent$SHELL[grid@rcahadb1~]$/usr/bin/ssh-add[grid@rcahadb1~]$sshrcahadb1date[grid@rcahadb1~]$sshrcahadb2date[grid@rcahadb1~]$sshrcahadb1-privdate[grid@rcahadb1~]$sshrcahadb2-privdate[oracle@rcahadb1~]$exec/usr/bin/ssh-agent$SHELL[oracle@rcahadb1~]$/usr/bin/ssh-add[oracle@rcahadb1~]$sshrcahadb1date[oracle@rcahadb1~]$sshrcahadb2date[oracle@rcahadb1~]$sshrcahadb1-privdate[oracle@rcahadb1~]$sshrcahadb2-privdate在副節(jié)點rcahadb2上分別grid,oracle用戶執(zhí)行檢驗操作[grid@rcahadb1~]$exec/usr/bin/ssh-agent$SHELL[grid@rcahadb1~]$/usr/bin/ssh-add[grid@rcahadb1~]$sshrcahadb1date[grid@rcahadb1~]$sshrcahadb2date[grid@rcahadb1~]$sshrcahadb1-pridate[grid@rcahadb1~]$sshrcahadb2-pridate[oracle@rcahadb1~]$exec/usr/bin/ssh-agent$SHELL[oracle@rcahadb1~]$/usr/bin/ssh-add[oracle@rcahadb1~]$sshrcahadb1date[oracle@rcahadb1~]$sshrcahadb2date[oracle@rcahadb1~]$sshrcahadb1-pridate[oracle@rcahadb1~]$sshrcahadb2-pridateOSKernel配置修改操作系統(tǒng)相關參數(shù)，在所有節(jié)點執(zhí)行；#vi/etc/sysctl.conf增加內(nèi)容：kernel.shmmni=4096kernel.sem=25032000100128fs.file-max=6815744net.ipv4.ip_local_port_range=900065500net.core.rmem_default=4194304net.core.rmem_max=4194304net.core.wmem_default=4194304net.core.wmem_max=4194304kernel.panic=60fs.aio-max-nr=1048576net.ipv4.tcp_syncookies=1生效：sysctl-p分區(qū)大于2T配置[root@rcahadb1grid]#parted/dev/emcpowerj(parted)mklabelgpt(parted)mkpartprimary04096000(parted)quit多路徑設備配置1、EMC自帶多路徑權限配置[root@rcahadb1]vi/etc/udev/rules.d/50-udev.rulesSUBSYSTEM=="block",KERNEL=="emcpowerb",GROUP="asmadmin",OWNER="grid",MODE:="0660"SUBSYSTEM=="block",KERNEL=="emcpowerc",GROUP="asmadmin",OWNER="grid",MODE:="0660"SUBSYSTEM=="block",KERNEL=="emcpowerd",GROUP="asmadmin",OWNER="grid",MODE:="0660"SUBSYSTEM=="block",KERNEL=="emcpowere",GROUP="asmadmin",OWNER="grid",MODE:="0660"SUBSYSTEM=="block",KERNEL=="emcpowerf",GROUP="asmadmin",OWNER="grid",MODE:="0660"[root@rcahadb1]start_udev[root@rcahadb1]ll/dev/emcpower*2、Linux自帶多路徑權限配置從linux6.4中自帶的權限模板復制到udev配置文件所在目錄#cp/usr/share/doc/device-mapper-1.02.77/12-dm-permissions.rules/etc/udev/rules.d/在12-dm-permissions.rules中增加多路徑設備權限設置[root@rcahadb1]#vi12-dm-permissions.rulesENV{DM_NAME}=="mpathb",OWNER:="grid",GROUP:="asmadmin",MODE:="660"ENV{DM_NAME}=="mpathc",OWNER:="grid",GROUP:="asmadmin",MODE:="660"ENV{DM_NAME}=="mpathd",OWNER:="grid",GROUP:="asmadmin",MODE:="660"ENV{DM_NAME}=="mpathe",OWNER:="grid",GROUP:="asmadmin",MODE:="660"ENV{DM_NAME}=="mpathf",OWNER:="grid",GROUP:="asmadmin",MODE:="660"重啟udev服務[root@rcahadb1]#/sbin/start_udev驗證權限是否正確[root@rcahadb1]#ll/dev/mapper/mpath*[root@rcahadb1]#ll/dev/dm-*磁盤分區(qū)略。安裝和配置ASM（此項可不做）安裝Oracle11g，可不使用Oracleasmlib配置裸設備，故此處可用不做。檢查操作系統(tǒng)版本確認安裝及操作系統(tǒng)相匹配的asmlib，在所有節(jié)點執(zhí)行；[root@rcahadb1asmlib]#uname–a[root@rcahadb1asmlib]#lsb_release–a安裝ASM軟件包(在所有節(jié)點執(zhí)行)[root@rcahadb1asmlib]#rpm-ivhoracleasm-support-2.1.8-1.el6.x86_64.rpm[root@rcahadb1asmlib]#rpm-ivhkmod-oracleasm-2.0.6.rh1-2.el6.x86_64.rpm[root@rcahadb1asmlib]#rpm-ivhoracleasmlib-2.0.4-1.el6.x86_64.rpm[root@rcahadb1asmlib]#rpm-qa|greporacleasm配置ASM(在所有節(jié)點執(zhí)行)[root@rcahadb1~]#/etc/init.d/oracleasmconfigureDefaultusertoownthedriverinterface[]:gridDefaultgrouptoownthedriverinterface[]:asmadminStartOracleASMlibrarydriveronboot(y/n)[n]:yScanforOracleASMdisksonboot(y/n)[y]:yWritingOracleASMlibrarydriverconfiguration:done創(chuàng)建ASM磁盤(在節(jié)點1執(zhí)行)注：創(chuàng)建ASM磁盤之前，兩節(jié)點必須同時認出共享磁盤，并用fdisk命令劃分磁盤分區(qū)。/etc/init.d/oracleasmcreatediskOCR_VOTE01/dev/emcpowera1/etc/init.d/oracleasmcreatediskOCR_VOTE02/dev/emcpowera2/etc/init.d/oracleasmcreatediskOCR_VOTE03/dev/emcpowera3/etc/init.d/oracleasmcreatediskdata01/dev/sdd1/etc/init.d/oracleasmcreatediskdata02/dev/sdd2掃描識別ASM磁盤(在所有節(jié)點執(zhí)行)/etc/init.d/oracleasmscandisks/etc/init.d/oracleasmlistdisks安裝OracleGrid安裝GridInfrastructure軟件以grid用戶登錄然后用ssh把軟件包上傳到rcahadb1p13390677_112040_Linux-x86-64_3of7.zipgrid用戶登錄解壓$unzipp13390677_112040_Linux-x86-64_3of7.zip登陸到grid用戶，執(zhí)行安裝文件，在節(jié)點1執(zhí)行；全面檢查./runcluvfy.shstage-precrsinst-nrcahadb1,rcahadb2-verbose檢查網(wǎng)絡和等效性./runcluvfy.shcompnodecon-nrcahadb1,rcahadb2-verbose3、安裝./runInstaller選擇“安裝和配置集群的網(wǎng)格基礎結構”：選擇“高級安裝”選擇“中文”和“英語”填寫名稱選擇“添加”增加節(jié)點忽略警告沒有配置DNS會有Taskresolv.confIntegrity報錯不影響安裝直接ignoreall跳過.點skip,Grid安裝完成。安裝過程報錯解決方法見第八章節(jié)。創(chuàng)建ASM磁盤組以grid用戶在rcahadb1節(jié)點登錄在安裝Clusterware的時候，會創(chuàng)建ASM實例，但是它只創(chuàng)建了一個CRS組來安裝OCR和VotingDisk。在我們繼續(xù)安裝Oracle數(shù)據(jù)庫之前，我們需要創(chuàng)建一個DATA01的ASM磁盤組來存放這些文件。創(chuàng)建過程很簡單。運行asmca（ASMConfigurationAssistant）命令就可以彈出創(chuàng)建窗口。在窗口中創(chuàng)建完DATA01后，退出窗口即可。在grid用戶下，執(zhí)行asmca，啟動asm磁盤組創(chuàng)建向導點擊“創(chuàng)建”按鈕，在彈出的創(chuàng)建界面中填寫磁盤組名稱，選擇External(None)，并勾選成員，選擇完畢后點擊ok；創(chuàng)建DATA01磁盤組，創(chuàng)建完畢后如下：安裝OracleDatabase以oracle用戶登錄到節(jié)點1[oracle@rcahadb1~]$./runInstaller提示需要以root在兩個節(jié)點上執(zhí)行腳本#/oracle/app/oracle/11.2.0/db_1/root.shPerformingrootuseroperationforOracle11gThefollowingenvironmentvariablesaresetas:ORACLE_OWNER=oracleORACLE_HOME=/oracle/app/oracle/11.2.0/db_1Enterthefullpathnameofthelocalbindirectory:[/usr/local/bin]:Thecontentsof"dbhome"havenotchanged.Noneedtooverwrite.Thecontentsof"oraenv"havenotchanged.Noneedtooverwrite.Thecontentsof"coraenv"havenotchanged.Noneedtooverwrite.Entrieswillbeaddedtothe/etc/oratabfileasneededbyDatabaseConfigurationAssistantwhenadatabaseiscreatedFinishedrunninggenericpartofrootscript.Nowproduct-specificrootactionswillbeperformed.Finishedproduct-specificrootactions.創(chuàng)建數(shù)據(jù)庫本節(jié)操作在節(jié)點1執(zhí)行；以oracle用戶登錄，執(zhí)行dbca命令點Exit，數(shù)據(jù)庫創(chuàng)建完成。安裝完成后，Oracle官方建議備份root.sh和spfile。備份root.sh[oracle@rcahadb1~]$cd/oracle/app/oracle/11.2.0/db_1[oracle@rcahadb1~]$cp./root.sh./root.bak.sh備份spfile[oracle@rcahadb1~]$cd/oracle/app/oracle/admin/rcadb/pfile/[oracle@rcahadb1~]$sqlplus/assysdbaSQL>createpfile='init.ora.bak.20190513'fromspfile;以上操作全部完成后，的crs資源狀態(tài)應該如下：[grid@rcahadb1~]$crs_stat-t-vNameTypeR/RAF/FTTargetStateHostNameTypeR/RAF/FTTargetStateHostora.DATA01.dgoraup.type0/50/ONLINEONLINErcahadb1oraER.lsnroraer.type0/50/ONLINEONLINErcahadb1oraN1.lsnroraer.type0/50/0ONLINEONLINErcahadb1oraVOTE.dgoraup.type0/50/ONLINEONLINErcahadb1ora.asmora.asm.type0/50/ONLINEONLINErcahadb1ora.cvuora.cvu.type0/50/0ONLINEONLINErcahadb1ora.gsdora.gsd.type0/50/OFFLINEOFFLINEora...workorark.type0/50/ONLINEONLINErcahadb1ora.oc4jora.oc4j.type0/10/2ONLINEONLINErcahadb1ora.onsora.ons.type0/30/ONLINEONLINErcahadb1ora.rcadb.dborase.type0/20/1ONLINEONLINErcahadb1oraSM1.asmapplication0/50/0ONLINEONLINErcahadb1oraB1.lsnrapplication0/50/0ONLINEONLINErcahadb1oradb1.gsdapplication0/50/0OFFLINEOFFLINEoradb1.onsapplication0/30/0ONLINEONLINErcahadb1oradb1.viporat1.type0/00/0ONLINEONLINErcahadb1oraSM2.asmapplication0/50/0ONLINEONLINErcahadb2oraB2.lsnrapplication0/50/0ONLINEONLINErcahadb2oradb2.gsdapplication0/50/0OFFLINEOFFLINEoradb2.onsapplication0/30/0ONLINEONLINErcahadb2oradb2.viporat1.type0/00/0ONLINEONLINErcahadb2orary.acfsorafs.type0/50/ONLINEONLINErcahadb1ora.scan1.viporaip.type0/00/0ONLINEONLINErcahadb1測試Failover簡單測試1、客戶端連接到rcahadb上，查詢連接的實例D:\>sqlplussys/oracle@rcadbassysdbaSQL>selectinstance_namefromv$instance;INSTANCE_NAMErcadb22、強制關閉上面session連接的實例racl2[oracle@rcahadb2~]$sqlplus

/

as

sysdbaSQL>shutdown

immediate3、查詢當前連接的實例：rcadb1SQL>

select

instance_name

from

v$instance;INSTANCE_NAMErcadb1可以看到session會轉移到rcadb1上了。測試負載均衡LoadBalance設置了LOAD_BALANCE=ON之后，使用rcadb服務名連接數(shù)據(jù)庫時就啟動了負載均衡功能。登陸rcadb1實例，檢查兩個實例上的會話連接情況：SQL>SELECTINST_ID,COUNT(*)FROMGV$SESSIONGROUPBYINST_ID;INST_IDCOUNT(*)131229可以看出基本上兩個實例的負載分配權重為1:1，需要注意的是這種分配并不是簡單的算術平均SQL>SELECTINSTANCE_NAMEFROMV$INSTANCE;INSTANCE_NAMErcadb1RAC運行維護OracleCluster正常啟停Oracle11gCluste啟停rac默認會開機自啟動，如需維護時可使用以下命令：關閉crs：crsctlstopcluster停止本節(jié)點集群服務crsctlstopcluster-all停止所有節(jié)點服務開啟rcscrsctlstartcluster開啟本節(jié)點集群服務crsctlstartcluster-all開啟所有節(jié)點服務注：以上命令需以root用戶執(zhí)行Oracle10gRAC啟停順序啟動OracleRAC10g環(huán)境第一步是啟動節(jié)點應用程序（虛擬IP、GSD、TNS監(jiān)聽器和ONS）。當成功啟動節(jié)點應用程序后，啟動ASM實例。最后，啟動Oracle實例（相關服務）以及企業(yè)管理器數(shù)據(jù)庫控制臺。#/etc/init.d/init.crsstart1.root啟動cluster軟件$exportORACLE_SID=rcadb1(2)2.設置環(huán)境變量ORACLE_SID$srvctlstartnodeapps-nrcahadb1(2)3.啟動節(jié)點應用程序（虛擬IP、GSD、TNS監(jiān)聽器和ONS）$srvctlstartasm-nrcahadb1(2)4.啟動ASM實例$srvctlstartinstance-drcadb-ircadb1(2)5.啟動Oracle實例或者第5步可以使用下面一條命令執(zhí)行$srvctlstartdatabase-drcadb啟動數(shù)據(jù)庫所有Oracle實例（等效命令）$srvctlstartlistener-nrcahadb1(2)6.在其中一個節(jié)點執(zhí)行啟動監(jiān)聽命令，也可以用lsnrctlstart來操作$emctlstartdbconsole7.啟動EM停止OracleRAC10g環(huán)境$exportORACLE_SID=rcadb1設置環(huán)境變量ORACLE_SID$emctlstopdbconsole1.關閉EM$srvctlstoplistener-nrcahadb1(2)2.在其中一個節(jié)點執(zhí)行關閉監(jiān)聽命令，也可以用lsnrctlstop來操作$srvctlstopinstance-drcadb-ircadb1(2)3.分別停止Oracle的每個實例或者第2步可以使用下面一條命令執(zhí)行$srvctlstopdatabase-drcadb停止數(shù)據(jù)庫所有Oracle實例（等效命令）$srvctlstopasm-nrcahadb1(2)4.關閉ASM實例$srvctlstopnodeapps-nrcahadb1(2)5.關閉節(jié)點應用程序（虛擬IP、GSD、TNS監(jiān)聽器和ONS）#/etc/init.d/init.crsstop6.root停cluster軟件停機順序為，先停監(jiān)聽->實例->服務->cluster軟件或者用$crs_stop-all然后#init0關閉服務器，或者如果重新啟動#init6關閉電源。OracleCluster開機自啟動Oracle11g開啟自動啟動crs[root@rcahadb2~]#./crsctlenablecrsOracle11g關閉自動啟動crs[root@rcahadb2~]#./crsctldisablecrsOracle10g開啟自動啟動crs[root@rcahadb2~]#/etc/init.d/init.crsenableOracle10g開啟自動啟動crs[root@rcahadb2~]#/etc/init.d/init.crsdisable主機重啟后，資源自動重啟#crs_stat-pAUTO_START有3個值：always，restore，never#crsctlmodifyresourceora.LISTENER.lsnr-attrAUTO_START=always檢查、注冊及移除CRS服務[root@rcahadb1~]$crs_stat[root@rcahadb1~]$crs_registerora.ora10g.hr_org10g1.srv[root@rcahadb1~]$crs_unregisterora.ora10g.hr_ora10g1.srv導出CRS資源配置模板#crs_profile-templateora.or