Oracle RAC入門和提高

Oracle RAC入門和提高 OrOra數(shù)據(jù)件存最小故障重配重配故障重啟恢復(fù)預(yù)熱總故同時(shí)racle?RAOracle Racle的并行據(jù)庫，節(jié)點(diǎn)之存放在共享RAC提供的 (1)多節(jié)點(diǎn) (2)提供高小化，下表障切換操作配置組成員配置分布鎖障切換磁盤啟動(dòng)Oracle復(fù)Oracle熱緩沖區(qū)故障切換時(shí) (3)通過并 (4)通過橫 (5)節(jié)約硬時(shí)節(jié)約相應(yīng)6)可擴(kuò)展OracAC?產(chǎn)品概Real Appli行集群，位于之間通過私享的設(shè)備上，的好處包括點(diǎn)負(fù)載均衡高可用故表是RAC與傳鎖盤卷e時(shí)間并行執(zhí)行技橫向擴(kuò)展提硬件成本，應(yīng)維護(hù)成本;展性好，可以le RA概述?cation Se于不同服務(wù)器私有網(wǎng)絡(luò)進(jìn)能夠被集群括衡;故障容錯(cuò)和無傳統(tǒng)的雙機(jī)RAC15秒5秒0秒0秒20秒0秒間-通常用接數(shù);-通服務(wù)器代替擴(kuò)展硬件和提高，簡稱Ora例同時(shí)訪問文件、聯(lián)機(jī)讀寫。 其系統(tǒng)件和軟件錯(cuò)的對(duì)比傳統(tǒng)主備模0秒0秒多則20分鐘多則5分鐘20秒10+min35分鐘用于數(shù)據(jù)分通常對(duì)于聯(lián)替昂貴的小型件資源;高acle RAC，同一個(gè)Ora機(jī)日志和數(shù)據(jù)統(tǒng)架構(gòu)如下錯(cuò)誤造成的影模式切換鐘鐘分析系統(tǒng);聯(lián)機(jī)事務(wù)系統(tǒng)型機(jī)或大型，是acle據(jù)文下圖影響統(tǒng);型機(jī)，RAC的缺點(diǎn)有相對(duì)單機(jī)，管理更復(fù)雜，要求更高;在系統(tǒng)規(guī)劃設(shè)計(jì)較差時(shí)性能甚至不如單節(jié)點(diǎn);可能會(huì)增加軟件成本(如果使用高配置的pc服務(wù)器，Oracle一般按照CPU個(gè)數(shù)收費(fèi))在Oracle9i之前，RAC的名稱是OPS(Oracle parallelServer)。 RAC與OPS之間的一個(gè)較大區(qū)別是，RAC采用了Cache Fusion(高速緩存合并)技術(shù)。 在OPS中，節(jié)點(diǎn)間的數(shù)據(jù)請(qǐng)求需要先將數(shù)據(jù)寫入磁盤，然后發(fā)出請(qǐng)求的節(jié)點(diǎn)才可以讀取該數(shù)據(jù)。 使用Cache fusion時(shí)，RAC的各個(gè)節(jié)點(diǎn)的數(shù)據(jù)緩沖區(qū)通過高速、低延遲的內(nèi)部網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)塊的傳輸。 Oracle RAC在中國各行各業(yè)使用都比較廣泛，包括通信移動(dòng)、金融服務(wù)、社會(huì)保障和電子商務(wù)等，據(jù)Oracle統(tǒng)計(jì)，xx財(cái)年中國有500多家企業(yè)使用Oracle實(shí)時(shí)應(yīng)用集群，考慮到未登記信息，實(shí)際數(shù)字更高于這一數(shù)字。 典型的用戶包括中彩在線/OLTP/4節(jié)點(diǎn)/10gR2/AIX5. 3、淘寶/DataWarehouse/4節(jié)點(diǎn)/10gR2/RHEL 4、北京社保/6節(jié)點(diǎn)/HP_Alpha/MA 8000、建行證券系統(tǒng)/2節(jié)點(diǎn)/IBM_P595/EMC_DMX 3、上海電力/2節(jié)點(diǎn)/Alpha_GS 160、廣東移動(dòng)、山東網(wǎng)通等。 Oracle?RAC/Clusterware的結(jié)構(gòu)和組件 一、RAC主要組件,軟硬件兩部分 (1)服務(wù)器=2 (2)操作系統(tǒng)，推薦使用Oracle認(rèn)證的系統(tǒng);版本不要太老，也不要太新 (3)CPU/內(nèi)存根據(jù)業(yè)務(wù)需要，內(nèi)存至少1G (4)本地磁盤空間，=30G (5)網(wǎng)卡=2，推薦4個(gè)以上千兆網(wǎng)卡 (6)私有以太網(wǎng)絡(luò)，推薦千兆交換機(jī)以上 (7)HBA卡，如果是SAN，推薦2個(gè)冗余HBA (8)共享存儲(chǔ)設(shè)備，推薦SAN設(shè)備 (9)存儲(chǔ)管理，ASM/Cluster LV/裸分區(qū)/CFS，不推薦用OCFS，卷管理軟件、多路徑軟件等 (10)第三方集群軟件:可選 (11)Oracle Clusterware軟件 (12)Oracle RDBMS軟件 二、Clusterware主要進(jìn)程 (1)crsd負(fù)責(zé)管理集群的高可用操作。 管理的crs資源包括數(shù)據(jù)庫、實(shí)例、監(jiān)聽、虛擬IP，ons，gds或者其他，操作包括啟動(dòng)、關(guān)閉、監(jiān)控及故障切換。 改進(jìn)程由root用戶管理和啟動(dòng)。 crsd如果有故障會(huì)導(dǎo)致系統(tǒng)重啟。 (2)cssd，管理各節(jié)點(diǎn)的關(guān)系，用于節(jié)點(diǎn)間通信，節(jié)點(diǎn)在加入或離開集群時(shí)通知集群。 該進(jìn)程由oracle用戶運(yùn)行管理。 發(fā)生故障時(shí)cssd也會(huì)自動(dòng)重啟系統(tǒng)。 (3)oprocd集群進(jìn)程管理Process monitorfor thecluster.用于保護(hù)共享數(shù)據(jù)IO fencing。 僅在沒有使用vendor的集群軟件狀態(tài)下運(yùn)行 (4)evmd事件檢測進(jìn)程，由oracle用戶運(yùn)行管理 三、Clusterware使用的共享設(shè)備 (1)Oracle ClusterRegistry(OCR)記錄集群的配置信息; (2)Voting disk:即投票盤，保存節(jié)點(diǎn)的成員信息，當(dāng)配置多個(gè)投票盤的時(shí)候個(gè)數(shù)必須為奇數(shù)，每個(gè)節(jié)點(diǎn)必須同時(shí)能夠連接半數(shù)以上的投票盤才能夠存活; 四、安裝路徑的選擇本地文件系統(tǒng)集群文件系統(tǒng)ASM共享裸設(shè)備Clusterware軟件Y YRDBMS軟件Y OCR&vote diskY Y數(shù)據(jù)文件Y Y Y spfileY Y YY歸檔日志/密碼文件YYY注 (1)在Oracle RAC中，軟件不建議安裝在共享文件系統(tǒng)上;包括CRS_HOME和ORACLE_HOME，尤其是CRS軟件，推薦安裝在本地文件系統(tǒng)中，這樣在進(jìn)行軟件升級(jí)，以及安裝patch和patchset的時(shí)候可以使用滾動(dòng)升級(jí)(rolling upgrade)的方式，減少計(jì)劃當(dāng)機(jī)時(shí)間。 另外如果軟件安裝在共享文件系統(tǒng)也會(huì)增加單一故障點(diǎn)。 (2)如果使用ASM存儲(chǔ)，需要為asm單獨(dú)安裝ORACLE軟件，獨(dú)立的ORACLE_HOME，易于管理和維護(hù)，比如當(dāng)遇到asm的bug需要安裝補(bǔ)丁時(shí)，就不會(huì)影響RDBMS文件和軟件。 (3)在Oracle11gR2中將新增存儲(chǔ)選項(xiàng)acfs(Oracle ASMCluster FileSystem)第三方集群在Oracle9i中，除了Windows和Linux，在安裝RAC之前必須先安裝vendor clusterware，即第三方集群，包括IBM的HACMP,HP的ServiceGuard fororacle RAC,Sun cluster，Veritas SFRAC等，這一類的集群軟件為Oracle RAC提供了下面的功能 (1)共享的邏輯卷管理或者集群文件系統(tǒng)用于存放數(shù)據(jù)文件; (2)提供了統(tǒng)一的集群的成員組管理; (3)使用更健壯的SCSI-3PGR機(jī)制來防止心跳故障(即裂腦split brain)導(dǎo)致的數(shù)據(jù)損壞，這種功能一般叫做IO fencing; (4)提供效率更高的、更低延遲的心跳網(wǎng)絡(luò)用于cache fusion，可以相對(duì)減少TCP/IP的開銷，包括HP SGeRAC:HMP(Hyper MessagingProtocol),Sun Cluster:RSM(Remote SharedMemory),Veritas SFRAC:LLT(low-latency transport),Compac TrueCluster:RDG(reliable datagrams);通常如果要使用第三方集群的心跳協(xié)議，需要將$ORACLE_HOME/lib/libskgxpX.so文件替換為第三方集群是S是olibRAC案，災(zāi)級(jí)距離性能列,簡稱的可設(shè)備str文件稱AIXCRSlib沒有說，兩套員信軟件提供System Keroracle開放skgxp文件 (5)提供擴(kuò)C;如下圖，方案一是級(jí)別的實(shí)時(shí)離更遠(yuǎn)、超 (6)Verit補(bǔ)充的Or能;標(biāo)準(zhǔn)的多在異構(gòu)SAN從Oracle稱CRS，這個(gè)可選項(xiàng)。 同備的管理，還ripe andmi那么Orac在安裝完件的作用就CM)。 X/Solaris/當(dāng)安裝C過程中skgxn2.so有第三方集在有第三套集群的成信息。 供的libskgxrnel Gener放的一個(gè)應(yīng)件定義的傳輸擴(kuò)展的容災(zāi)以Verita是使用Verit時(shí)數(shù)據(jù)保護(hù);超過10km廣as SFRACracle ODM，路徑軟件(N環(huán)境中有e10g起，O個(gè)軟件是安同時(shí)提供了還實(shí)現(xiàn)了數(shù)irror everycle是如何完第三方集群就是上面的第在HPUX/Linux下這CRS的的檢生成一個(gè)o或pa20_6集群，那么C三方集群存在成員信息保持xpX.so文件ic Interfa應(yīng)用接口，用輸協(xié)議是U災(zāi)方案，例如as的SFRACtas Volume方案二使用廣域網(wǎng)的容災(zāi)還提供了以可以使Or(DMP)，不需有更好的兼容Oracle提供安裝oracle另外一個(gè)新數(shù)據(jù)文件的條ything)，何識(shí)別第三方群后，會(huì)在第二點(diǎn)功能下該文件這個(gè)文件是/檢查階段，就軟連接文件64文件，這CRS安裝過在的情況下持一致和同件(其中X代ace Inter-用于傳輸GUDP/IP。 如campus C為例，它e Manager用GCO/VVR災(zāi);以下特性racle同時(shí)需要再安裝容性;供了自己的e rac的前新特性叫做條帶化和鏡，不再依賴方集群的呢在特定目錄下能集群成員是/opt/opt/ORCLc就會(huì)檢測是，文件這個(gè)軟連接過程中生成自下，CRS的集同步;沒有第代表Oracle-Process CGCS和GES cluster/m它提供兩種對(duì)底層陣列對(duì)數(shù)據(jù)庫進(jìn)時(shí)擁有文件系裝其他軟件就集群軟件，前提，而上述做ASM，可以鏡像，以提高賴第三方存儲(chǔ)呢?下生成Ora員管理信息/nmapi/nmacluster/l是否有該文件名是ligs的位置在C自己的lib集群成員信第三方集群情e版本號(hào)9/ommunicat的數(shù)據(jù)。 Ometro clusOracleEx列進(jìn)行鏡像進(jìn)行數(shù)據(jù)復(fù)系統(tǒng)的易管就可支持絕叫Oracle述第三方集以用于RAC高性能和安全儲(chǔ)軟件來搭cle RAC接(cluster mapi2/lib/pib/libskgx件，如果有kgxn2.so，CRS_HOME/lskgxn2.so信息是于情況時(shí)，CR/10/11),skions的縮寫Oracle自帶ster/extentended RA像，提供同城復(fù)制，可以實(shí)管理和裸設(shè)備絕大多數(shù)磁盤e clusterw集群則成了安下的共享磁全性(S.A.搭建RAC系統(tǒng)接口文件，這membershippa20_64，xn2.so。 有的話，在安指向上lib/目錄;如文件。 換句于第三方集RS自己管理kgxp寫，帶的nded AC方城容實(shí)現(xiàn)備的盤陣ware安裝磁盤M.E:統(tǒng)。 這個(gè)p簡在安裝面的如果句話集群，理成通過查詢$CRS_HOME/log/hostname/cssd/ocssd.log可以看到css識(shí)別到的第三方集群，下面的例子分別是HACMP、SFRAC、SunCluster、ServiceGuide:CSSDxx-05-2715:09:43.4561029TRACE:clssnm_skgxninit:initialized skgxnversion(2/0/IBM AIXskgxn)CSSDxx-12-3021:44:56.1721029TRACE:clssnm_skgxninit:initialized skgxnversion(2/0/Veritas ClusterServer MMCSSDxx-08-1002:19:39.5723TRACE:clssnm_skgxninit:initialized skgxnversion(2/2/Oracle SolarisUDLM)CSSDxx-09-2918:57:53.3235TRACE:clssnm_skgxninit:initialized skgxnversion(2/0/Hewlett-Packard SKGXN2.0)在9i/8i中沒有css/crs，該信息可以在后臺(tái)進(jìn)程lmon的trace文件中得到(在bdump中);在安裝Oracle9i RAC/8i OPS的過程中，Oracle識(shí)別集群方法類似。 在多個(gè)平臺(tái)上，如果兩個(gè)節(jié)點(diǎn)沒有正確鏈接libskgxn2文件，可能會(huì)導(dǎo)致第二個(gè)實(shí)例無法mount或出現(xiàn)ORA-600錯(cuò)誤。 Oracle支持的RAC環(huán)境因?yàn)镺racle RAC本身比較復(fù)雜，在安裝和管理中可能會(huì)遇到各種問題，涉及到OS、RDBMS、Cluster軟件和網(wǎng)絡(luò)、主機(jī)、存儲(chǔ)等硬件，為了避免不必要的問題發(fā)生，在安裝之前，我們需要確認(rèn)安裝環(huán)境是否滿足要求，包括軟件和硬件兩方面，尤其是Vendor clusterware和OS的版本的兼容性需要注意，可以從metalink中得到最新的Oracle官方認(rèn)證信息登陸Metalink.oracle.選擇Certify，選擇by product，選擇real applicationserver，選擇對(duì)應(yīng)平臺(tái)就可以得到。 下面列出一些關(guān)于硬件和平臺(tái)支持的常見問題官方不支持的Vmware，Sun LDOM，Solaris LocalContainer/Zones官方支持的IBM LPAR，IBM VIOS(Virtual IOServer)，Solaris GlobalContainers，RHEL GFS，ISCSI；私有網(wǎng)絡(luò)(心跳線)的支持不支持使用交叉線，支持Infiniband RDS(10gR2之后)異構(gòu)環(huán)境支持不同的硬件、但相同的軟件(OS/Oracle)組成的集群，不支持32位與64位系統(tǒng)間的集群目前支持的NFS的server包括EMC CelerraFujitsu FilerNR1000Series IBMN SeriesNetApp FAS,F,G SeriesPillar DataSystems Axiom500Sun StorageTek5000Series Oracle?Clusterware的心跳Oracle clusterware使用兩種心跳設(shè)備來驗(yàn)證成員的狀態(tài)，保證集群的完整性;一是對(duì)voting disk的心跳，ocssd進(jìn)程每秒向votedisk寫入一條心跳信息;二是節(jié)點(diǎn)間的私有以太網(wǎng)的心跳，兩種心跳機(jī)制都有一個(gè)對(duì)應(yīng)的超時(shí)時(shí)間，分別叫做misscount和disktimeout misscount用于定義節(jié)點(diǎn)間心跳通信的超時(shí)，單位為秒;disktimeout,默認(rèn)200秒，定義css進(jìn)程與vote disk連接的超時(shí)時(shí)間;reboottime，發(fā)生裂腦并且一個(gè)節(jié)點(diǎn)被踢出后，這個(gè)節(jié)點(diǎn)將在reboottime的時(shí)間內(nèi)重啟;默認(rèn)是3秒;其中misscount默認(rèn)值見下表OS10g(R1&R2)11gR1使用第三方集群時(shí)Linux6030600Unix&Windows3030600用下面的命令查看上述參數(shù)的實(shí)際值1.#crsctl getcss misscount2.#grep misscount$CRS_HOME/log/hostname/cssd/ocssd.logCSSDxx-11-2722:29:42.3971TRACE:clssnmInitNMInfo:misscount setto600在下面兩種情況發(fā)生時(shí)，css會(huì)踢出節(jié)點(diǎn)來保證數(shù)據(jù)的完整， (1)Private NetworkIO timemisscount，會(huì)發(fā)生split brain即裂腦現(xiàn)象，產(chǎn)生多個(gè)“子集群”(subcluster)，這些子集群進(jìn)行投票來選擇哪個(gè)存活，踢出節(jié)點(diǎn)的原則按照下面的原則節(jié)點(diǎn)數(shù)目不一致的，節(jié)點(diǎn)數(shù)多的subcluster存活;節(jié)點(diǎn)數(shù)相同的，node ID小的節(jié)點(diǎn)存活。 (2)Vote DiskIO Timedisktimeout，踢出節(jié)點(diǎn)原則如下失去半數(shù)以上vote disk連接的節(jié)點(diǎn)將在reboottime的時(shí)間內(nèi)重啟;例如有5個(gè)vote disk，當(dāng)由于網(wǎng)絡(luò)或者存儲(chǔ)原因某個(gè)節(jié)點(diǎn)與其中=3個(gè)vote disk連接超時(shí)時(shí)，該節(jié)點(diǎn)就會(huì)重啟。 當(dāng)一個(gè)或者兩個(gè)vote disk損壞時(shí)則不會(huì)影響集群的運(yùn)行。 可以手工修改這三個(gè)參數(shù)的值，單位都是秒(謹(jǐn)慎使用)$CRS_HOME/bin/crsctl setcss misscount$CRS_HOME/bin/crsctl setcss reboottime-force$CRS_HOME/bin/crsctl setcss disktimeout-force或者重新設(shè)置成默認(rèn)值crsctl unsetcss misscountClusterware的私有網(wǎng)絡(luò)在Oracle10g/11g中，Oracle的私有網(wǎng)絡(luò)(private work)包括clusterware的私有網(wǎng)絡(luò)和數(shù)據(jù)庫實(shí)例的私有網(wǎng)絡(luò)clusterware的私有網(wǎng)絡(luò)主要包括css數(shù)據(jù)的傳送，即用一種特殊的ping命令來檢測其他機(jī)器的狀態(tài);數(shù)據(jù)庫實(shí)例的私有網(wǎng)絡(luò)，包括RDMS和ASM的，用于cache fusion(GCS/GES)數(shù)據(jù)的傳輸。 當(dāng)我們只使用一個(gè)私有網(wǎng)卡的時(shí)，同時(shí)傳送上面兩類的數(shù)據(jù)。 如果我們?cè)诎惭b時(shí)指定了兩個(gè)私有網(wǎng)卡，首先使用如下面$CRS_HOME/bin/oifcfg getif命令來得到所有網(wǎng)絡(luò)接口列表，這些信息保存在ocr中#oifcfg getifen010.200.56.0global publicen3192.168.3.0global cluster_interconnect en5192.168.5.0global cluster_interconnect情況會(huì)有所不同，clusterware的私有網(wǎng)絡(luò)，目前(10g/11g)只能使用一個(gè)網(wǎng)絡(luò)接口，對(duì)應(yīng)于/etc/hosts中定義的private hostname的那個(gè)網(wǎng)卡，可以通過查看ocssd的log來確定:當(dāng)/etc/hosts中定義private hostname為192.168.3.233時(shí)看到CSSD1029TRACE:clssgmPeerListener:Listening on(ADDRESS=(PROTOCOL=tcp)(DEV=12)(HOST=192.168.3.233)(PORT=45527)這個(gè)是與其他節(jié)點(diǎn)css進(jìn)行通信的信息CSSD1029TRACE:clssgmConnectToNode:node2clsc(ADDRESS=(PROTOCOL=tcp)(DEV=12)(HOST=192.168.3.234)(PORT=37732)-size64ver1當(dāng)/etc/hosts中定義private hostname為192.168.5.233時(shí),css使用了另外一個(gè)網(wǎng)絡(luò)CSSD1029TRACE:clssgmPeerListener:Listening on(ADDRESS=(PROTOCOL=tcp)(DEV=12)(HOST=192.168.5.233)(PORT=50415)Oracle實(shí)例的私有網(wǎng)絡(luò)Oracle實(shí)例的心跳網(wǎng)絡(luò)使用方式的優(yōu)先級(jí)從高到低如下 (1)如果使用了第三方集群的IPC，替換了對(duì)應(yīng)$ORACLE_HOME/lib/libskgxnX.so文件，那么數(shù)據(jù)庫實(shí)例的cache fusion會(huì)使用對(duì)應(yīng)的網(wǎng)絡(luò)協(xié)議，而忽略ocr中和數(shù)據(jù)庫初始化參數(shù)中cluster_interconnects的配置，下面的例子當(dāng)中就使用了VCSIPC，可以從對(duì)應(yīng)的alert log中驗(yàn)證db_name=r10g open_cursors=300pga_aggregate_target=1237319680Fri Mar1314:00:35xxOracle instancerunning withODM:Veritas6.0ODM Library,Version1.1cluster interconnectIPC version:VERITAS IPC5.1.0.015:16:24Feb12xxIPC Vendor86proto76Version1.0PMON startedwith pid=2,OS id=4399196DIAG startedwith pid=3,OS id=3936288 (2)如果沒有使用第三方IPC，則優(yōu)先使用數(shù)據(jù)庫初始化參數(shù)的cluster_interconnects配置，這個(gè)參數(shù)的格式為if1:if2:.:ifn，可以不同于crs的私有網(wǎng)絡(luò)，需要注意的是，該參數(shù)不支持多個(gè)網(wǎng)卡的故障切換; (3)沒有上面兩個(gè)配置，數(shù)據(jù)庫會(huì)使用oifcfg列出的心跳的網(wǎng)絡(luò)，在對(duì)應(yīng)的告警日志中可以得到Interface type1en6192.168.61.0configured fromOCR foruse asa clusterinterconnect Interfacetype1en010.182.0.0configured fromOCR foruse asa public interface Clustermunication isconfigured touse thefollowing interface(s)for thisinstance192.168.61.0 (4)沒有1和2的配置，并且oifcfg也沒有配置cluster_interconnect，則數(shù)據(jù)庫會(huì)使用共有網(wǎng)絡(luò)進(jìn)行心跳信息的傳輸，這種配置其實(shí)是配置失敗的情況，數(shù)據(jù)庫雖然能夠啟動(dòng)，但急需DBA修正，在告警日志中可以看到WARNING:No clusterinterconnect hasbeen specified.Depending onthe municationdriver configuredOracle clustertraffic maybe directedto thepublicinterfaceof thismachine.Oracle remendsthat RACclustered databasesbe configuredwith aprivate interconnectfor enhancedsecurity andperformance.對(duì)于一個(gè)已經(jīng)有的系統(tǒng)，可以用下面幾種方法確認(rèn)數(shù)據(jù)庫實(shí)例的心跳配置，包括網(wǎng)卡名稱，IP地址，使用的網(wǎng)絡(luò)協(xié)議 (1)最簡單的方法可以在數(shù)據(jù)庫的后臺(tái)報(bào)警日志中得到。 具體參見上面列出的告警日志; (2)使用oradebug;SQLoradebug setmypidSQLoradebug ipcSQLoradebug tracefile_name找到對(duì)應(yīng)trace文件的這一行socket no10IP10.0.0.1UDP49197 (3)從數(shù)據(jù)字典中得到(V$CLUSTER_INTERCONNECTS和V$CONFIGURED_INTERCONNECTS)，或查詢x$ksxpia SQLSELECT*FROM V$CLUSTER_INTERCONNECTS;-Oracle11g開始支持此試圖NAME IP_ADDRESS IS_SOURCE-en3192.168.2.31NO OracleCluster Repositoryen5192.168.3.231NO OracleCluster RepositorySQLSELECT*FROM V$CONFIGURED_INTERCONNECTS;NAME IP_ADDRESS IS_SOURCE-en3192.168.2.31NO OracleCluster Repositoryen5192.168.3.231NO OracleCluster Repositoryen010.200.59.231YES OracleCluster RepositorySQLselect*from x$ksxpia;ADDR INDXINST_ID PUB_KSXPIA PICKED_KSXPIA NAME_KSXPIA IP_KSXPIA-00000001104AAF2801N OCRen6192.168.61.12100000001104AAF2811Y OCRen010.182.6.211為了避免心跳網(wǎng)絡(luò)成為系統(tǒng)的單一故障點(diǎn)，簡單地我們可以使用操作系統(tǒng)綁定的網(wǎng)卡來作為Oracle的心跳網(wǎng)絡(luò)，以AIX為例，我們可以使用etherchannel技術(shù)，假設(shè)系統(tǒng)中有ent0/1/2/3四塊網(wǎng)卡，我們綁定2和3作為心跳#mkdev-c adapter-s pseudo-t ibm_ech-a adapter_names=ent2,ent3#將生成網(wǎng)卡設(shè)備ent4#/usr/lib/methods/defif#lsdev-Cc adapter|grep ent#lsattr-El ent4#ifconfig en4i192.168.3.231mask255.255.255.0up在Solaris上可以使用dladm來創(chuàng)建鏈路聚合:#dladm create-aggr-d bge2-d bge31#ifconfig aggr1plumb192.168.3.231mask255.255.255.0up#dladm show-aggr#ifconfig-a同樣在HPUX和Linux對(duì)應(yīng)的技術(shù)分別叫APA和bonding。 UDP私有網(wǎng)絡(luò)的調(diào)優(yōu)當(dāng)使用UDP作為數(shù)據(jù)庫實(shí)例間cashe fusion的通信協(xié)議時(shí)，在操作系統(tǒng)上需要調(diào)整相關(guān)參數(shù)，以提高UDP傳輸效率，并在較大數(shù)據(jù)時(shí)避免出現(xiàn)超出OS限制的錯(cuò)誤 (1)UDP數(shù)據(jù)包發(fā)送緩沖區(qū)大小通常設(shè)置要大于(db_block_size*db_multiblock_read_count)+4k， (2)UDP數(shù)據(jù)包接收緩沖區(qū)大小通常設(shè)置10倍發(fā)送緩沖區(qū); (3)UDP緩沖區(qū)最大值設(shè)置盡量大(通常大于2M)并一定要大于前兩個(gè)值;各個(gè)平臺(tái)對(duì)應(yīng)查看和修改命令如下Solaris查看ndd/dev/udp udp_xmit_hiwat udp_recv_hiwat udp_max_buf;修改ndd-set/dev/udp udp_xmit_hiwat262144ndd-set/dev/udp udp_recv_hiwat262144ndd-set/dev/udp udp_max_buf2621440AIX查看no-a|egrep“udp_|tcp_|sb_max”修改no-p-o udp_sendspace=262144no-p-o udp_recvspace=1310720no-p-o tcp_sendspace=262144no-p-o tcp_recvspace=262144no-p-o sb_max=2621440Linux查看文件/etc/sysctl.conf修改sysctl-w .core.rmem_max=2621440sysctl-w .core.wmem_max=2621440sysctl-w .core.rmem_default=262144sysctl-w .core.wmem_default=262144HP-UX不需要HP TRU64查看/sbin/sysconfig-q udp修改文件/etc/sysconfigtab i:udp_recvspace=65536udp_sendspace=65536Windows不需要常見安裝、管理錯(cuò)誤1.安裝CRS失敗，或執(zhí)行root.sh報(bào)錯(cuò)，可能原因 (1)節(jié)點(diǎn)間的時(shí)間不同步，解決方法使用ntp服務(wù) (2)Linux下啟用了默認(rèn)的防火墻，導(dǎo)致執(zhí)行root.sh報(bào)錯(cuò)Failure atfinal checkof OracleCRS stack.10解決方法禁用iptables，注釋/etc/pam.d/other;#service iptables stop;#chkconfig iptablesoff. (3)裸設(shè)備的權(quán)限問題，可能因?yàn)椴僮飨到y(tǒng)重新啟動(dòng)后權(quán)限發(fā)生變化。 (RHEL4)解決方法把chown oracle:dba/dev/raw/raw*命令加入到/etc/rc.local中，每次開機(jī)自動(dòng)執(zhí)行或者修改文件/etc/udev/permissions.d/50-udev.permissions第113行raw/*:root:disk:0660改成raw/*:oracle:dba:0660 (4)Solaris使用了包括cylinder0的磁盤分區(qū)來存儲(chǔ)OCR或者vote disk。 解決辦法相關(guān)分區(qū)不應(yīng)該包括cylinder0，可以從1開始。 (5)使用的公網(wǎng)IP地址不可路由，解決方法添加相關(guān)網(wǎng)關(guān) (6)在/etc/hosts中沒有l(wèi)oopback地址，即127.0.0.1localhost (7)主機(jī)名含有大些字母、減號(hào)或者下劃線等特殊字符; (8)HPUX中oracle不要使用gnu的bash，修改使用默認(rèn)shell; (9)檢查操作系統(tǒng)、第三方集群是否是oracle官方支持的，是否需要補(bǔ)丁，比如在AIX5.3+HACMP上安裝Oracle10g/11g RAC，oslevel就需要06及以上; (10)AIX平臺(tái)，需要將共享設(shè)備的reserve_policy(reserve_lock)屬性修改為no_reserve(no); (11)所有節(jié)點(diǎn)看到的OCR和vote設(shè)備的路徑名應(yīng)該一致，如果不一致，可以用軟連接解決; (12)心跳設(shè)備問題或者ocr/votedisk訪問問題，unix/linux查看有無/tmp/crsctl.*文件，得到錯(cuò)誤信息; (13)在CRS舊的安裝的環(huán)境中重新安裝失敗解決方法dd清除ocr和vote disk，并使用下面語句清理舊的crs配置文件rm-rf/usr/tmp/.oracle/var/tmp/.oracle/tmp/.oracle/etc/oracle/*/var/opt/oracle/*rm-rf/etc/init.cssd/etc/init.crs*/etc/init.evmd/etc/init.d/init.cssd/etc/init.d/init.crs rm-rf/etc/init.d/init.crsd/etc/init.d/init.evmd/etc/rc3.d/K96init.crs/etc/rc3.d/S96init.crs rm-rf/etc/rc.d/rc2.d/K96init.crs/etc/rc.d/rc2.d/S96init.crs2客戶端有時(shí)候報(bào)錯(cuò)ORA-12545:Connect failedbecause targethost orobject doesnot existORA-12545:因目標(biāo)主機(jī)或?qū)ο蟛淮嬖?連接失敗解決方法設(shè)置local_listener初始化參數(shù)3如果選擇節(jié)點(diǎn)界面出不來。 (1)HACMP環(huán)境中需要檢查o