Oracle真正應(yīng)用集群(RAC)最佳實踐-Jerry

1、Roy RosseboRAC Pack甲骨文公司真正應(yīng)用集群最佳應(yīng)用真正應(yīng)用集群最佳應(yīng)用作者：Kirk McGowanRoland KnappRoy Rossebo以及 RAC Pack 團隊其他成員講座目標(biāo)講座目標(biāo) 只要堅持遵從一些最佳應(yīng)用，在 Linux 上實施真正應(yīng)用集群就應(yīng)該會相對簡單一些 演示基于 RAC Pack 客戶對 9i 和 10g 體驗的最重要的 RAC 最佳應(yīng)用， 一般的和 Linux 特定的最佳應(yīng)用沒有其他特定平臺重點講述 10g免責(zé)聲明免責(zé)聲明這些最佳應(yīng)用的依據(jù)是客戶的真實體驗，通常會提供最佳的結(jié)果。但是不同系統(tǒng)具有不同的需求和成本結(jié)構(gòu)，因此這些最佳應(yīng)用可能不適用于所

2、有情況。隨著技術(shù)不斷的發(fā)展，以及新體驗的出現(xiàn)，這些最佳應(yīng)用可能會隨著時間的推移而發(fā)生變化。這些最佳應(yīng)用不能替代產(chǎn)品使用正式指南的標(biāo)準(zhǔn)產(chǎn)品文檔。議程議程 規(guī)劃最佳應(yīng)用體系結(jié)構(gòu)考慮事項期望效果項目計劃 實施最佳應(yīng)用基礎(chǔ)架構(gòu)考慮事項安裝數(shù)據(jù)庫配置應(yīng)用程序考慮事項 運作的最佳應(yīng)用備份與恢復(fù)監(jiān)控與調(diào)整生產(chǎn)移植了解體系結(jié)構(gòu)了解體系結(jié)構(gòu)集群的集群的數(shù)據(jù)庫服務(wù)器數(shù)據(jù)庫服務(wù)器鏡像磁盤鏡像磁盤子系統(tǒng)子系統(tǒng)高速交換機和高速交換機和互聯(lián)互聯(lián)集線器或集線器或交換機結(jié)構(gòu)交換機結(jié)構(gòu)網(wǎng)絡(luò)網(wǎng)絡(luò)集中集中管理控制臺管理控制臺存儲區(qū)域網(wǎng)存儲區(qū)域網(wǎng)低延遲互聯(lián)低延遲互聯(lián)用戶無單點故障了解體系結(jié)構(gòu)了解體系結(jié)構(gòu) 共享內(nèi)存共享內(nèi)存/全局區(qū)域全

3、局區(qū)域. . . . . 共享內(nèi)存共享內(nèi)存/全局區(qū)域全局區(qū)域 共享內(nèi)存共享內(nèi)存/全局區(qū)域全局區(qū)域 共享內(nèi)存共享內(nèi)存/全局區(qū)域全局區(qū)域共享數(shù)據(jù)模型了解體系結(jié)構(gòu)了解體系結(jié)構(gòu)公用網(wǎng)絡(luò)公用網(wǎng)絡(luò)節(jié)點 1共享存儲共享存儲重做日志所有實例重做日志所有實例數(shù)據(jù)庫和控制文件數(shù)據(jù)庫和控制文件OCR 和和 voting 磁盤磁盤(oracle_home)操作系統(tǒng)CRS集群互聯(lián)集群互聯(lián)數(shù)據(jù)庫實例 1ASM 實例 1節(jié)點 2操作系統(tǒng)CRS數(shù)據(jù)庫實例 2ASM 實例 2節(jié)點 3操作系統(tǒng)CRS數(shù)據(jù)庫實例 3ASM 實例 3集群互聯(lián)集群互聯(lián). . .了解體系結(jié)構(gòu)了解體系結(jié)構(gòu) 集群術(shù)語 基本功能通過消除作為單點故障 (SPOF

4、) 的節(jié)點和 Oracle，實現(xiàn)了高可用性通過增加額外的處理容量，實現(xiàn)了可伸縮性 硬件組件專用互聯(lián)/網(wǎng)絡(luò)交換機共享存儲器/并行訪問/存儲交換機 軟件組件操作系統(tǒng)、集群管理器、DBMS/RAC、應(yīng)用程序各種集群管理器之間的區(qū)別規(guī)劃體系結(jié)構(gòu)規(guī)劃體系結(jié)構(gòu) 消除單點故障 工作負(fù)載分布（負(fù)載均衡）策略Net 服務(wù) (SQL*Net)Oracle10g 服務(wù) 使用網(wǎng)格控件監(jiān)控和管理并達(dá)成服務(wù)級別協(xié)議 處理節(jié)點 足夠的CPU 以適應(yīng)故障 可伸縮 I/O 子系統(tǒng)使用 ASM 和 S.A.M.E.規(guī)劃體系結(jié)構(gòu)規(guī)劃體系結(jié)構(gòu) 集群互聯(lián)FastEthernet、千兆以太網(wǎng) 公用網(wǎng)絡(luò) 以太網(wǎng)、FastEthernet、

5、千兆以太網(wǎng) 推薦的服務(wù)器配置每臺服務(wù)器最少 2 個 CPU2 個和 4 個 CPU 服務(wù)器的成本通常最經(jīng)濟每個 CPU 1-2 GB 內(nèi)存 光纖通道、SCSI 或 NAS 存儲連接規(guī)劃體系結(jié)構(gòu)規(guī)劃體系結(jié)構(gòu)堅不可摧的堅不可摧的 Linux 產(chǎn)品產(chǎn)品 Red Hat Enterprise Linux AS 、 ES 2.1 和 3.0 SuSE Linux Enterprise Server 8 (SuSE Linux AG) Oracle 將支持與其他發(fā)行版本一起運行的 Oracle 產(chǎn)品，但不支持該操作系統(tǒng)本身。堅不可摧堅不可摧 Linux 上的上的 RAC 認(rèn)證認(rèn)證 認(rèn)證 企業(yè)級操作系統(tǒng)發(fā)行

6、（例如 RH AS 2.1 和 3.0，Suse SLES/8 ）集群件（Oracle OSD 集群件）直接聯(lián)網(wǎng)存儲（例如 Network Appliance filers）大多數(shù) SCSI 和 SAN 存儲器都可兼容 有關(guān)軟件認(rèn)證的詳細(xì)信息，請訪問： http:/ 與您的硬件供應(yīng)商一起討論硬件配置設(shè)置正確的期望設(shè)置正確的期望如果您的應(yīng)用程序要在 SMP 上透明伸縮，則現(xiàn)實的期望是它在 RAC 上伸縮良好，而不必對應(yīng)用程序代碼進(jìn)行任何更改。 RAC 消除了作為單點故障的數(shù)據(jù)庫和節(jié)點本身，確保了出現(xiàn)這些故障時數(shù)據(jù)庫的完整性制定適當(dāng)?shù)哪繕?biāo)制定適當(dāng)?shù)哪繕?biāo) 高可用性目標(biāo)計劃與非計劃技術(shù)故障、站點故障與

7、人為錯誤 可伸縮性目標(biāo)加速和擴展響應(yīng)時間、吞吐量和其他計量標(biāo)準(zhǔn) 服務(wù)器/整合目標(biāo)通常與 TCO 相關(guān)通常比較主觀構(gòu)建您的項目計劃構(gòu)建您的項目計劃 與您的供應(yīng)商合作多個股東，共享成功 構(gòu)建詳細(xì)的測試計劃在進(jìn)入 RAC 之前確認(rèn)在 SMP 上的可伸縮性 首先優(yōu)化單個實例 明確知識上的欠缺并進(jìn)行培訓(xùn)集群、RAC、高可用性、可伸縮性、系統(tǒng)管理需要時利用外部資源 建立嚴(yán)格的系統(tǒng)和應(yīng)用程序更改控制一次針對一個系統(tǒng)元素應(yīng)用更改首先針對測試環(huán)境應(yīng)用更改監(jiān)控應(yīng)用程序更改對基礎(chǔ)系統(tǒng)組件的影響 定義支持機制和上報過程議程議程 計劃最佳應(yīng)用體系結(jié)構(gòu)考慮事項期望效果項目計劃 實施最佳應(yīng)用基礎(chǔ)架構(gòu)考慮事項安裝數(shù)據(jù)庫配置應(yīng)

8、用程序考慮事項 運作的最佳應(yīng)用備份與恢復(fù)監(jiān)控與調(diào)整生產(chǎn)移植安裝流程圖安裝流程圖配置硬件 配置專用網(wǎng)絡(luò)安裝和配置 堅不可摧的 Linux安裝 Oracle CRS安裝 Oracle 數(shù)據(jù)庫， 包括 RAC 和 ASM運行 VIPCA，自動從 RDBMS root.sh 啟動配置存儲器，包括 ASMLIB使用 DBCA 創(chuàng)建數(shù)據(jù)庫Linux x86 要求要求 操作系統(tǒng)要求Red Hat Enterprise Linux ES/AS 2.1 (x86) Gnu gcc package，gcc- 或更高版本還必須安裝下列程序包（或更高版本）： make-3.79 binutils-

9、2.11 openmotif-2.1.30 Kernel errata 25 (e.25) 或更高版本 (RHSA-2003:195-06) glibc 2.2.4-31 errata 或更高版本 (RHSA-2003:022-09) Linux x86 要求（續(xù)）要求（續(xù)） 操作系統(tǒng)要求Red Hat Enterprise Linux ES/AS 3 (Update 2) (x86) Gnu gcc package，gcc-3.2.3-2 或更高版本還必須安裝下列程序包（或更高版本）： make-3.79 binutils-2.11 openmotif-2.2.2-16 setarch-1.

10、3-1 compat-db- compat-gcc-7.3-2.96.122 compat-gcc-c+-7.3-2.96.122 compat-libstdc+-7.3-2.96.122 compat-libstdc+-devel-7.3-2.96.122Linux x86 要求（續(xù)）要求（續(xù)） 操作系統(tǒng)要求UnitedLinux 1.0 (x86) 尚未認(rèn)證，認(rèn)證將與補尚未認(rèn)證，認(rèn)證將與補丁程序集丁程序集 一起在一起在 6 月末結(jié)束。月末結(jié)束。Service Pack 3 (SP3) 或更高版本 (內(nèi)核版本 2.4.21-138) Gnu gcc pack

11、age，gcc-3.2.2-38 或更高版本還必須安裝下列程序包（或更高版本） ： make-3.79 binutils-2.12 openmotif-2.2.2-124Linux IA64 要求要求 操作系統(tǒng)要求Red Hat Enterprise Linux ES/AS 2.1 (Update 3) 還必須安裝下列程序包（或更高版本） ： make-3.79 binutils-2.11 openmotif-2.1.30 gcc-2.96-124 glibc-2.2.4-32 libaio-0.3.92-1 libaio-devel-0.3.92-1 必須安裝 Kernel errata 4

12、0 (e.40) 或更高版本Linux IA64 要求（續(xù)）要求（續(xù)） 操作系統(tǒng)要求Red Hat Enterprise Linux ES/AS 3 (Update 1) 還必須安裝下列程序包（或更高版本） ： gcc-3.2.3-20 make-3.79 binutils-2.11 openmotif-2.2.2-16 setarch-1.3-1 compat-db- compat-gcc-7.3-2.96.122 compat-gcc-c+-7.3-2.96.122 compat-libstdc+-7.3-2.96.122 compat-libstdc+-devel-7.3

13、-2.96.122 必須安裝 Kernel errata 40 (e.40) 或更高版本Linux IA64 要求（續(xù)）要求（續(xù)） 操作系統(tǒng)要求SuSE Linux Enterprise Server 8 還必須安裝下列程序包（或更高版本） ： Service Pack 3 (SP3) 或更高版本 (kernel version 2.4.21-107) gcc-3.2-29 make-3.79 binutils-2.12 openmotif-2.2.2-124有關(guān)詳細(xì)信息，請參閱 Oracle 數(shù)據(jù)庫客戶機快速安裝指南Linux Itanium 的 10g Release 1 (10.1) 編

14、號. B13763-01 準(zhǔn)備準(zhǔn)備 Linux 環(huán)境環(huán)境 在集群的每個節(jié)點上執(zhí)行下列操作在 /etc/sysctl.conf 中設(shè)置內(nèi)核參數(shù)向 /etc/hosts 文件添加主機名為 ORACLE_HOME（對于 Oracle 用戶 ID 可寫入）建立文件系統(tǒng)和位置在所有節(jié)點上設(shè)置 ssh在所有節(jié)點上安裝該 rpm使用腳本“/etc/init.d/oracelasmConfigure”選項配置 ASMLib使用 “/etc/init.d/oracleasmcreatedisk VOL1 /dev/sdg” 為 ASM 提供磁盤將發(fā)現(xiàn)字符串設(shè)置為 “ORCL”從 http:/ 下載最新的 ASM

15、Lib rpmASMLib 的安裝流程圖的安裝流程圖 有關(guān)詳細(xì)的安裝說明，請參閱有關(guān)詳細(xì)的安裝說明，請參閱http:/ 使用 Oracle Universal Installer 安裝 CRS/CSS 堆棧 使用 $CRS_HOME/root.sh 第一次啟動該 Oracle 堆棧 加載/安裝 hangcheck 計時器如果要對數(shù)據(jù)庫文件使用 ASM，則請為 CRS/CSS 創(chuàng)建兩個裸設(shè)備CRS 安裝流程圖安裝流程圖使用使用 DBCA 簡化數(shù)據(jù)庫創(chuàng)建簡化數(shù)據(jù)庫創(chuàng)建 設(shè)置 MAXINSTANCES、MAXLOGFILES、MAXLOGMEMBERS、MAXLOGHISTORY、MAXDATAFI

16、LES（DBCA 為自動進(jìn)行） 將表空間創(chuàng)建為本地管理（ DBCA 為自動進(jìn)行） 創(chuàng)建所有的表空間并具有ASSM（自動分段空間管理）特性 (DBCA 為自動進(jìn)行) 配置自動 UNDO 管理（ DBCA 為自動進(jìn)行） 使用 SPFILE 而不是使用多個 init.ora （ DBCA 為自動進(jìn)行）安裝后安裝后 要啟用異步 I/O， 必須重新鏈接 Oracle 才能使用 skgaioi.o ，并為RH2.1 和 RH3.0系統(tǒng)安裝 bug 3208258 與Basebug 3016968的 Patch Set Exception 。 安裝 ARU: ARU 6076422 來修復(fù)

17、專用互聯(lián)的使用。 將 UDP 發(fā)送/接受緩沖區(qū)大小調(diào)整為 256K sysctl -w net.core.rmem_max=262144sysctl -w net.core.wmem_max=262144sysctl -w net.core.rmem_default=262144sysctl -w net.core.wmem_default=262144ASMLib 安裝后安裝后 使用 asmlib realease 1.0.1。確保正確運行了確保正確運行了“oracleasm configure“確保對于所需的磁盤正確運行了確保對于所需的磁盤正確運行了“oracleasm createdis

18、k“執(zhí)行執(zhí)行“oracleasm listdisks“顯示可使用磁盤顯示可使用磁盤對于每個標(biāo)記的磁盤執(zhí)行對于每個標(biāo)記的磁盤執(zhí)行“oracleasm querydisk“，確保它已被標(biāo)記確保它已被標(biāo)記使用使用cat /proc/filesystem命令，確保存在一個命令，確保存在一個 oracleasm 文件系統(tǒng)文件系統(tǒng)執(zhí)行執(zhí)行 df ha，此命令應(yīng)該顯示此命令應(yīng)該顯示 /dev/oracleasmfs 已經(jīng)裝載已經(jīng)裝載ls -l /dev/oracleasm/disks，確保確保 ownership/permissions 為為 oracle:oinstall驗證對于驗證對于 ASMLIB 是

19、否使用了下列搜索字符串（或?qū)κ欠袷褂昧讼铝兴阉髯址ɑ驅(qū)?DBCA 或?qū)γ钚校夯驅(qū)γ钚校骸癘RCL:*“Oracle 10g的現(xiàn)有版本要求執(zhí)行自定義安裝才能獲取標(biāo)記的的現(xiàn)有版本要求執(zhí)行自定義安裝才能獲取標(biāo)記的 asmlib 磁盤。磁盤。如果如果 ASM 實例當(dāng)前處于活動狀態(tài)，則在發(fā)現(xiàn)實例當(dāng)前處于活動狀態(tài)，則在發(fā)現(xiàn) asmlib 磁盤的同時，要跟蹤磁盤的同時，要跟蹤 ASM alert.log，來查看來查看 ASM 是否會顯示有關(guān)發(fā)現(xiàn)的消息。是否會顯示有關(guān)發(fā)現(xiàn)的消息。驗證驗證 RAC 配置配置在所有節(jié)點上運行的實例在所有節(jié)點上運行的實例SQL select * from gv$inst

20、anceRAC 在專用互聯(lián)上進(jìn)行通信在專用互聯(lián)上進(jìn)行通信SQL oradebug setmypid SQL oradebug ipcSQL oradebug tracefile_name/home/oracle/admin/RAC_1/udump/rac_1_ora_1343841.trc Check trace file in the user_dump_dest:SSKGXPT 0 x2ab25bc flags info for network 0 socket no 10 IP UDP 49197 sflags SSKGXPT_UP info for network 1

21、 socket no 0 IP UDP 0 sflags SSKGXPT_DOWNRAC 正在使用所要求的正在使用所要求的 IPC 協(xié)議：協(xié)議：Check Alert.log. cluster interconnect IPC version:Oracle UDP/IP IPC Vendor 1 proto 2 Version 1.0 PMON started with pid=2 . 僅在必要時才使用僅在必要時才使用 cluster_interconnects議程議程 計劃最佳應(yīng)用體系結(jié)構(gòu)考慮事項期望效果項目計劃 實施最佳應(yīng)用基礎(chǔ)架構(gòu)考慮事項安裝數(shù)據(jù)庫配置應(yīng)用程序考慮事項 運

22、作的最佳應(yīng)用備份與恢復(fù)監(jiān)控與調(diào)整生產(chǎn)移植本地管理的表空間本地管理的表空間 將所有表空間創(chuàng)建為本地管理，并且?guī)в凶詣臃侄慰臻g管理CREATE TABLESPACE xx .EXTENT MANAGEMENT LOCAL .SEGMENT SPACE MANAGEMENT AUTO .在 DBCA 中這是自動完成的ASSM 自動分段空間管理 (ASSM)消除了計算 PCTUSED、FREELISTS 和 FREELIST GROUPS 的復(fù)雜過程允許實例進(jìn)行空間的動態(tài)親和，避免了可用列表組固有空間的硬分區(qū)。 避免了并發(fā)訪問時的爭用，并優(yōu)化了空間使用。不需要任何維護(hù)。使您能夠支持任意數(shù)量的實例，而不

23、用對對象作任何更改。使用在線重新構(gòu)建功能，將對象從可用列表組移到 ASSM。在 DBCA 中自動配置應(yīng)用程序部署應(yīng)用程序部署 對于 RAC 無需特殊的應(yīng)用程序設(shè)計或編碼 在一個單一實例 SMP 環(huán)境中運行正常的所有應(yīng)用程序在 RAC 也會運行正常 只是.在一個實例環(huán)境中出現(xiàn)的爭用問題在 RAC 環(huán)境中可能會更加嚴(yán)重。如果與數(shù)據(jù)相關(guān)的路由可在中間層實現(xiàn)，則還可以進(jìn)一步提高性能應(yīng)用程序部署應(yīng)用程序部署 規(guī)則與單一實例相同SQL 調(diào)整順序緩存將大型對象分區(qū)使用不同的塊大小避免 DDL按照前面的注意事項使用 LMT 和 ASSMSQL 調(diào)整調(diào)整 優(yōu)化的執(zhí)行計劃 可共享的 SQL 解析 審計 全表掃描順

24、序順序 順序號總是使用緩存選項 將順序緩存設(shè)置為 1000 或更多 增加 SYS.AUDSES$ 的緩存值在出現(xiàn)大量“登錄”時會有所幫助將順序 sys.audses$ 的緩存更改為 10000；對大型表對大型表/索引進(jìn)行分區(qū)索引進(jìn)行分區(qū) 使用合適的分區(qū)。 改善對象的可管理性。 DML 密集對象的散列、列表和組合分區(qū)會有所幫助。不同的塊大小不同的塊大小 大塊用于經(jīng)常進(jìn)行長掃描的表。大多數(shù)為讀操作的表和索引。使用批量加載進(jìn)行加載并且沒有更新的表。 小塊用于上述情況之外的環(huán)境。盡量少用盡量少用 DDL 不要創(chuàng)建和刪除屬于正常用戶應(yīng)用程序一部分的表 而采用其他方式DDL 訪問數(shù)據(jù)字典，在單個實例以及

25、RAC 上都會引起爭用問題DDL 操作可能會使得存儲的 sql 語句失效，從而導(dǎo)致重新分析，這樣會影響性能議程議程 計劃最佳應(yīng)用體系結(jié)構(gòu)考慮事項期望效果項目計劃 實施最佳應(yīng)用基礎(chǔ)架構(gòu)考慮事項安裝數(shù)據(jù)庫配置應(yīng)用程序考慮事項 運作的最佳應(yīng)用備份與恢復(fù)監(jiān)控與調(diào)整生產(chǎn)移植操作操作 DBA 過程與單個實例基本相同，只有一些較小區(qū)別，而且大多數(shù)為機械上的區(qū)別。 管理 Oracle 環(huán)境通過引導(dǎo)/重新引導(dǎo)服務(wù)器來啟動/停止 Oracle 集群系列管理多個重做日志線程 啟動和關(guān)閉數(shù)據(jù)庫使用網(wǎng)格控制 備份和恢復(fù) 性能監(jiān)控和調(diào)整 生產(chǎn)移植備份和恢復(fù)備份和恢復(fù) 使用 RMAN備份和恢復(fù) ASM 文件的唯一選擇 使用

26、網(wǎng)格控制訪問 RMAN 的 GUI 界面 對于備份和存檔日志使用 10g 快速恢復(fù)區(qū)域在 ASM 上，可用于所有實例實例恢復(fù)實例恢復(fù) 設(shè)置 fast_start_mttr_target初始設(shè)置為 300 比較好性能與可用性的平衡 為一次恢復(fù)確定緩沖區(qū)大小。 確保使用了異步 I/O。 使用恢復(fù)并行。避免逐出故障節(jié)點避免逐出故障節(jié)點 如果一些重要進(jìn)程無法快速響應(yīng)，則可能會收到“heart beat”故障為 LMS 啟用實時優(yōu)先級不要長時間在 100% CPU 情況下運行系統(tǒng)確保對于控制文件和 voting 磁盤都具有良好的 I/O 響應(yīng)時間性能監(jiān)控性能監(jiān)控/調(diào)整調(diào)整 首先對單個實例 10g 進(jìn)行調(diào)整 Oracle 性能管理器 / ADDM / AWR RAC 特定的視圖 使用腳本/跟蹤進(jìn)行