AIX下 Oracle RAC平臺(tái)部署手冊

1、 AIX 下 Oracle RAC 平臺(tái)部署手冊 目錄1 主機(jī)規(guī)劃1.1 硬件環(huán)境1.2 軟件環(huán)境1.3 網(wǎng)絡(luò)規(guī)劃1.3.1 ip 地址規(guī)劃1.3.2 DNS 服務(wù)器1.4 安裝目錄規(guī)劃1.5 存儲(chǔ)規(guī)劃1.5.1 grid、ASM 安裝目錄1.5.2 Clusterware 安裝目錄1.5.3 OCR、VOTE存儲(chǔ)規(guī)劃2 安裝準(zhǔn)備2.1 系統(tǒng)硬件環(huán)境檢查2.1.1 Oracle11gR2 RAC 最低安裝要求2.1.2 驗(yàn)證方法2.2 安裝操作系統(tǒng)軟件包2.2.1 安裝 FILESETS2.2.2 配置 IP 地址2.2.3 修改/etc/hosts 文件2.3 文件系統(tǒng)準(zhǔn)備2.3.1 方法

2、1 ：使用命令創(chuàng)建2.4 調(diào)整系統(tǒng)參數(shù)2.4.1 打開異步 IO2.4.2 調(diào)整虛擬內(nèi)存管理2.4.3 調(diào)整 maxuproc （系統(tǒng)最大進(jìn)程數(shù)）和 ncargs （系統(tǒng)塊大?。﹨?shù)2.4.4 調(diào)整 SHELL 限制2.4.5 確認(rèn)網(wǎng)絡(luò)配置參數(shù)2.5 創(chuàng)建用戶、組2.5.1 要求2.5.2 創(chuàng)建命令2.5.3 修改用戶屬性2.6 用戶環(huán)境變量設(shè)置2.6.1 grid 用戶2.6.2 oracle 用戶2.7 創(chuàng)建安裝目錄并修改權(quán)限2.8 SSH 信任關(guān)系設(shè)置2.8.1 首先在兩臺(tái)機(jī)器上安裝好 OpenSSH 軟件2.8.2 在 在 grid 安裝中選擇自動(dòng)配置 SSH 雙機(jī)信任關(guān)系2.9 配置

3、磁盤設(shè)備2.9.1 設(shè)置磁盤屬性2.9.2 修改用于數(shù)據(jù)庫存儲(chǔ)的 PV 的屬主2.9.3 修改用于數(shù)據(jù)庫存儲(chǔ)的 PV 的權(quán)限2.9.4 清除 PVID3 安裝 Grid3.1 Grid 安裝前檢查3.1.1 執(zhí)行rootpre.sh3.1.2 安裝grid3.1.3 Clusterware 安裝校驗(yàn)4 安裝 Database5 創(chuàng)建 ASM 磁盤組6 DBCA 創(chuàng)建數(shù)據(jù)庫1 主機(jī)規(guī)劃1.1 硬件環(huán)境服務(wù)器：兩臺(tái) IBM P740存儲(chǔ)：DS5020 存儲(chǔ)；1.2 軟件環(huán)境數(shù)據(jù)庫：p10404530_112030_AIX64-5L_1of7.zipp10404530_112030_AIX64-5L

4、_2of7.zip集群軟件:p10404530_112030_AIX64-5L_3of7.zip這三個(gè)包操作 系統(tǒng):AIX 7.1,Oracle 11gR21.3 網(wǎng)絡(luò)規(guī)劃1.3.1 ip地址規(guī)劃1.3.2 DNS服務(wù)器使用/etc/hosts 來解析 scan1.4 安裝目錄規(guī)劃安裝目錄規(guī)劃原則：建立/u01 文件系統(tǒng)用來安裝 grid、 datbase 程序。 程序都安裝在/u01/app下面， 對(duì)于 grid 與 database分別建立不同的目錄， 分配不同的權(quán)限。 其中g(shù)rid 的 ORACLE_BASE和 ORACLE_HOME 建議安裝在不同的目錄下，具體規(guī)劃如下：新建 50g

5、lv ：fslv新建文件系統(tǒng)，掛載點(diǎn)：/u01gridbase 目錄：/u01/app/grid #grid 用戶的 ORACLE_BASEgrid asm 安裝目錄：/u01/app/11.2/grid #grid 用戶的 ORACLE_HOME，也即是安裝時(shí)的software locationOracle base 目錄：/u01/app/oracle #oracle 用戶的 ORACLE_BASE1.5 存儲(chǔ)規(guī)劃1.5.1 grid 、ASM 安裝目錄在 Oracle 11gR2 中 grid 和 ASM 是安裝在同一目錄下的，我們將 grid 和 ASM安裝在/u01/app/grid

6、 目錄下，為 JFS2 文件系統(tǒng)，大小為 50G。1.5.2 Clusterware 安裝目錄我們將 Clusterware 安裝在/u01/app目錄下。1.5.3 OCR 、VOTE 存儲(chǔ)規(guī)劃在我們的方案中規(guī)劃如下：OCR、 VOTE hdisk2 容量：3x1GDATAhdisk3 容量：500GFLASH hdisk8 容量：200G2 安裝準(zhǔn)備2.1 系統(tǒng)硬件環(huán)境檢查2.1.1 Oracle11gR2 RAC 最低安裝要求：內(nèi)存：安裝 grid infrastructure最少需要 1.5GB 的內(nèi)存，安裝 grid infrastructure和 RAC 最少需要 2.5GB 的內(nèi)

7、存swap ：最少需要 4GB,有的資料介紹最少 1.5G，不過安裝環(huán)境檢查時(shí)顯示需要16G。temp ：推薦 10G，可以將安裝文件上傳至/tmp 目錄下，8GB 合適安裝目錄：grid infrastructure+ASM+Clusterware 最少需要 12GB操作系統(tǒng)：AIX 7.1, 64-bitkernel2.1.2 驗(yàn)證方法： 確認(rèn)內(nèi)存大小# r lsattr l -El 0 sys0 a -a realmem 確認(rèn) SWAP 空間，最少 4G。 。# s lsps -a若不夠 4G，需要增加 PPS 數(shù)。本系統(tǒng)一個(gè) PPS 為 128M，所以增加 20 個(gè)，使 swap 達(dá)到

8、 4G。PPS 大小可以通過lsvg rootvg 查看。# s chps s -s 2 32 hd6# s lsps -a 確認(rèn)/tmp 大于 1.5GB 和/oracle 目錄空間于 大于 15GBoracle 安裝目錄在 50GB左右，grid infrastructure+ASM 安裝在/u01/app/grid目錄下，其中 Oracle11g 安裝在/u01/app/oracle/目錄下.s chfs a a G size=10G /tmp 確認(rèn)系統(tǒng)結(jié)構(gòu)# f getconf HARDWARE_BITMODE64 確認(rèn)系統(tǒng) CPU 個(gè)數(shù)和主頻：# v lsdev C -C | | p

9、 grep proc# r lsattr l -El proc02.2 安裝操作系統(tǒng)軟件包2.2.1 安裝 FILESETSAIX 7 71 .1 需要安裝如下軟件包：The following operatingsystem filesetsare required for X AIX 7.1: bos.adt.base bos.adt.lib bos.adt.libm bos.perf.libperfstat bos.perf.perfstat ctools xlC.aix61.rte: or later xlC.rte. or later gpfs.base 1 or later以上 f

10、ilesets 安裝與否可以用命令 lslpp l 進(jìn)行檢查確認(rèn)。默認(rèn)安裝都是全的，不需要手工進(jìn)行添加。其中 gpfs.base 不需要安裝。驗(yàn)證如下：2.2.2 配置 IP 地址根據(jù)前面的規(guī)劃先配置要兩臺(tái)機(jī)器的 IP 地址，就是 interlib1、interlib1-priv 和interlib2、interlib2-priv 這四個(gè)IP 地址。同樣配置幾塊網(wǎng)卡的 IP 地址，en0 和 en1 做冗余綁定（en4） ，其中服務(wù)地址要配置網(wǎng)關(guān)，網(wǎng)關(guān)地址為：54。2.2.3 修改/etc/hosts 文件修改每個(gè)節(jié)點(diǎn)上的/etc/hosts 文件。 loopback localhost #

11、loopback (lo0) name/address interlib1 interlib1-vip interlib1-priv interlib2 interlib2-vip interlib2-priv interlib-scan注意：如果你的環(huán)境里不具備 DNS 服務(wù)器，那么 SCAN 地址解析可以通過/etc/hosts 或 GNS來實(shí)現(xiàn)， 這需要在你的所有數(shù)據(jù)庫主機(jī)的 host 文件里添加一個(gè) SCAN 地址， 并且這個(gè)地址的解析名不要超過 16 個(gè)字符，超過的話，oracle 只會(huì)解析前 16 個(gè)字符。本例中我們通過/etc/hosts 來解析 scan。2.3 文件系統(tǒng)準(zhǔn)備創(chuàng)

12、建1 /u01 文件系統(tǒng)2.3.1 方法 1 ：使用命令創(chuàng)建1、r mkdir /u012、建立一個(gè)lv v mklv t t 2 jfs2 y y 0 fslv00 g rootvg 100 #100個(gè)pps，可視需要而定3、建立一個(gè)文件系統(tǒng) s crfs v v 2 jfs2 d -d 0 /dev/fslv00 m -m /u014、mount文件系統(tǒng) t mount /u015、使用smitchfs，修改/u01啟動(dòng)自動(dòng)mount。創(chuàng)建文件系統(tǒng)1、r mkdir /u012、建立一個(gè)lv v mklv t t 2 jfs2 y y 0 fslv00 g rootvg 100 #100個(gè)

13、pps，可視需要而定3、建立一個(gè)文件系統(tǒng) s crfs v v 2 jfs2 d -d 0 /dev/fslv00 m -m /u014、mount文件系統(tǒng) t mount /u015、使用smitchfs，修改/u01啟動(dòng)自動(dòng)mount。2.4 調(diào)整系統(tǒng)參數(shù)2.4.1 打開異步 IOAIX5.3 中，在安裝grid 軟件前執(zhí)行 rootpre.sh 會(huì)自動(dòng)打開異步 IO 服務(wù)，在AIX7.1 中默認(rèn)異步 IO 服務(wù)是打開的。推薦的 aio_maxreqs 值為 64k (65536)，檢查方法如下：AIX 7.1# o ioo o -o aio_maxreqsaio_maxreqs = 65

14、5362.4.2 調(diào)整虛擬內(nèi)存管理Oracle推存使用vmo命令去調(diào)優(yōu)虛擬內(nèi)存管理，參數(shù)推薦如下：命令如下:o vmo p -p o -o minperm%=3o vmo p -p o -o maxperm%=90o vmo p -p o -o maxclient%=90o vmo p -p o -o lru_file_repage=0o vmo p -p o -o strict_maxclient=1o vmo p -p o -o strict_maxperm=0You must restart the system forthese changes to take effect.2.4.3

15、 調(diào)整 maxuproc （系統(tǒng)最大進(jìn)程數(shù)）和 ncargs （系統(tǒng)塊大?。﹨?shù)# v chdev l -l 0 sys0 a -a maxuproc=16384sys0 changed也可以使用：smitty chgsys 修改“Maximum number of PROCESSES allowed per user”修改完成后查看：# r lsattr l -El 0 sys0 a -a maxuprocmaxuproc 16384 Maximum number of PROCESSES allowed per user True# v chdev l -l 0 sys0 a -a nca

16、rgs=256sys0 changed2.4.4 調(diào)整 SHELL 限制1. 在 /etc/security/limits文件中增加如下行:default:e fsize = = -1e core = = - -1 1u cpu = = -1a data = = -1s rss= -1k stack = = -1s nofiles = = -12.45 確認(rèn)網(wǎng)絡(luò)配置參數(shù)用# /usr/sbin/no -a | more來查看網(wǎng)絡(luò)參數(shù)是否滿足下面的要求PARAMETER RECOMMENDED VALUEipqmaxlen 512rfc1323 1sb_max 1500000tcp_recvsp

17、ace 65536tcp_sendspace 65536udp_recvspace1351680 這個(gè)值應(yīng)該是 udp_sendspace 的 10 倍，但是必須小于 sb_maxudp_sendspace 135168 這 個(gè) 值 至 少 應(yīng) 該 是 4K （db_block_size*db_multiblock_read_count）的大小修改命令no -r -o ipqmaxlen=521no -p -o rfc1323=1no -p -o sb_max=1500000no -p -o tcp_recvspace=65536no -p -o tcp_sendspace=65536no -

18、p -o udp_recvspace=1351680no -p -o udp_sendspace=13516在修改前需要先查看系統(tǒng)設(shè)置的兼容性：# r lsattr l -El 0 sys0 a -a pre520tune1 、輸出如：pre520tune disable Pre-520 tuning compatibilitymode True說明是不兼容方式，這樣就可以用上面的方式調(diào)整：2 、如果是 y compatibility 模式，則：# /usr/sbin/no -o parameter_name=value并且編輯文件/etc/ 加入下面內(nèi)容：if -f/usr/sbin/no

19、; then/usr/sbin/no -oudp_sendspace=65536/usr/sbin/no -oudp_recvspace=655360/usr/sbin/no -otcp_sendspace=65536/usr/sbin/no -otcp_recvspace=65536/usr/sbin/no -orfc1323=1/usr/sbin/no -osb_max=2*655360/usr/sbin/no -oipqmaxlen=512fi2.5 創(chuàng)建用戶、組2.5.1 要求本次安裝我們就規(guī)劃了多個(gè)組，但是規(guī)劃兩個(gè)用戶，一個(gè)用于管理 ASM 實(shí)例，另一個(gè)用于管理 DB 實(shí)例。2.5.

20、2 創(chuàng)建命令：#mkgroup -A id=500 adms=root oinstall#mkgroup -A id=501 adms=root dba#mkgroup -A id=502 adms=root oper#mkgroup -A id=503 adms=root asmadmin#mkgroup -A id=504 adms=root asmdba#mkgroup -A id=505 adms=root asmoper#mkuser id=500 pgrp=oinstall groups=asmadmin,asmdba,asmoper home=/home/grid grid#mk

21、userid=501 pgrp=oinstall groups=dba,asmdba,oper home=/home/oracle oracle！注意保持雙機(jī)用戶與組的 D ID 的一致。2.5.3 修改用戶屬性 grid 用戶1、在兩臺(tái)主機(jī)上要保證 grid 用戶具有以下能力：CAP_NUMA_ATTACH, CAP_BYPASS_RAC_VMM, and CAP_PROPAGATE查看grid用戶能力：#lsuser-a capabilitiesgrid增加grid用戶能力：# r chuser E capabilities=CAP_NUMA_ATTACH,CAP_BYPASS_RAC_V

22、MM,CAP_PROPAGATE grid2、設(shè)置grid用戶密碼：#d passwd grid3、在兩臺(tái)主機(jī)上最消grid用戶shell限制可以通過smit chuser去修改grid用戶限制，或直接修改/etc/security/limits 文件，具體參數(shù)如下：default:fsize = -1core = 2097151cpu = -1data = -1rss = -1stack = -1nofiles = -1 oracle 用戶1、在兩臺(tái)主機(jī)上要保證 oracle 用戶具有以下能力：CAP_NUMA_ATTACH, CAP_BYPASS_RAC_VMM, and CAP_PROP

23、AGATE查看oracle用戶能力：# lsuser -a capabilities oracle增加oracle用戶能力：#r chuser E capabilities=CAP_NUMA_ATTACH,CAP_BYPASS_RAC_VMM,CAP_PROPAGATE oracle2、設(shè)置oracle用戶密碼：#passwdoracle3、在兩臺(tái)主機(jī)上最消oracle用戶shell限制可以通過smit chuser去修改oracle用戶限制，或直接修改/etc/security/limits 文件，具體參數(shù)如下：oracle:fsize = -1core = 2097151cpu = -1d

24、ata = -1rss = -1stack = -1nofiles = -1 root 用戶在兩臺(tái)主機(jī)上最消root用戶shell限制，因?yàn)镃RS進(jìn)程（crsd）需要以root用戶運(yùn)行。可以通過smit chuser去修改root用戶限制，或直接修改/etc/security/limits 文件，具體參數(shù)如下：default:fsize = -1core = 2097151cpu = -1data = -1rss = -1stack = -1nofiles = -12.6 用戶環(huán)境變量設(shè)置2.6.1grid 用戶在兩臺(tái)服務(wù)器的的 grid 用戶的.profile 最后，增加如下內(nèi)容：umask

25、 022ORACLE_BASE=/u01/app/grid #需手工創(chuàng)建ORACLE_HOME=/u01/app/11.2.0/grid #需手工創(chuàng)建ORACLE_SID=+ASM1 #節(jié)點(diǎn) 2 是+ASM2NLS_DATE_FORMAT=yyyy-mm-dd hh24:mi:ssPAHT=$ORACLE_HOME/bin:$PATHexport ORACLE_SID ORACLE_BASE ORACLE_HOME PATH NLS_DATE_FORMAT2.6.2 oracle 用戶在兩臺(tái)服務(wù)器的的 oracle 用戶的.profile 最后，增加如下內(nèi)容：umask 022ORACLE_S

26、ID=interlib1ORACLE_BASE=/u01/app/oracleORACLE_HOME=$ORACLE_BASE/product/11.2.0/db_1ORACLE_UNQNAME=interlibNLS_DATE_FORMAT=yyyy-mm-dd hh24:mi:ssPATH=$ORACLE_HOME/bin:$PATHexport ORACLE_SID ORACLE_BASE ORACLE_HOME ORACLE_UNQNAME PATH NLS_DATE_FORMAT2.7 創(chuàng)建安裝目錄并修改權(quán)限注意：如果 grid 與 orcle 安裝在同一文件系統(tǒng)下面，如上，在進(jìn)行權(quán)

27、限修改的時(shí)候要注意順序，先進(jìn)行/u01 賦權(quán)，再進(jìn)行/u01/db 賦權(quán)，否則會(huì)被覆蓋。2.8 SSH 信任關(guān)系設(shè)置2.8.1 首先在兩臺(tái)機(jī)器上安裝好 OpenSSH 軟件；具體安裝方法本處不詳述，需要下載 openssh、openssl，安裝時(shí)需先安裝 openssl，然后再安裝 openssh。也可以通過 AIX 系統(tǒng)光盤，執(zhí)行 smitty install，選擇所有 ssh 包安裝。安裝完畢后可以檢查：# lslpp l | grep ssh2.8.2 在 grid 安裝中選擇自動(dòng)配置 SSH 雙機(jī)信任關(guān)系以下兩個(gè)節(jié)點(diǎn)都執(zhí)行：#su grid$mkdir p /.ssh$chmod 70

28、0 /.ssh$/usr/bin/ssh-keygen -trsa提示輸入密碼時(shí)，保持為空，直接回車即可。以下只在節(jié)點(diǎn) 1 1 上執(zhí)行：$ touch/.ssh/authorized_keys$ ssh interlib1cat /.ssh/id_rsa.pub/.ssh/authorized_keys$ ssh interlib2cat /.ssh/id_rsa.pub/.ssh/authorized_keys$ scp /.ssh/authorized_keys interlib2:.ssh/authorized_keys以下只在節(jié)點(diǎn) 2 2 上執(zhí)行：$ chmod600 /.ssh/au

29、thorized_keys2.9 配置磁盤設(shè)備2.9.1 設(shè)置磁盤屬性該步驟若不做，在 grid 安裝完成建立 ASM 時(shí)，第二個(gè)節(jié)點(diǎn)會(huì)找不到硬盤，同時(shí)加入不了群集。檢測:lsattr -El hdisk3 |grep reserve_查看一個(gè)即可設(shè)置保持策略:如果上面查看的結(jié)果是 reserve_policychdev -l hdisk2 -a reserve_policy=no_reservechdev -l hdisk3 -a reserve_policy=no_reservechdev -l hdisk8 -a reserve_policy=no_reservechdev -l hdi

30、sk9 -a reserve_policy=no_reserve如果上面查看的結(jié)果是 reserve_lockchdev -l hdisk3 -a reserve_lock=no2.9.2 修改用于數(shù)據(jù)庫存儲(chǔ)的 PV 的屬主chown grid:dba /dev/rhdisk2chown grid:dba /dev/rhdisk3chown grid:dba /dev/rhdisk8chown grid:dba /dev/rhdisk92.9.3 修改用于數(shù)據(jù)庫存儲(chǔ)的 PV 的權(quán)限chmod 777 /dev/rhdisk2chmod 777 /dev/rhdisk3chmod 777 /de

31、v/rhdisk8chmod 777 /dev/rhdisk92.9.4 清除 PVID查看 LUN，如果已經(jīng)有了 PVID 的話，需要進(jìn)行清除。chdev -l hdisk3 -a pv=clear重復(fù)同樣的操作，清除所有 LUN 的 PVID3 安裝 Grid3.1 Grid 安裝前檢查切換到 grid 用戶并執(zhí)行安裝前檢查，進(jìn)入 grid 安裝目錄：$./runcluvfy.sh stage -pre crsinst -n interlib1,interlib2 -fixup -verbose檢查失敗項(xiàng)并進(jìn)行相應(yīng)的調(diào)整。3.1.1 執(zhí)行 rootpre.sh1、以 root 身份登錄在所

32、有節(jié)點(diǎn)執(zhí)行：slibclean2、以 root 身份登錄在所有節(jié)點(diǎn)執(zhí)行 grid 軟件下的：rootpre.sh3.1.2 安裝 grid使用 xmanager 登錄，$ export DISPLAY=26:0.0 #安裝終端 IP在上傳的 grid 安裝文件目錄下，鍵入./runInstaller 開始安裝：在這個(gè)界面下選擇合適的安裝類型，選擇 typical，將遇到更少的選擇，并且在后續(xù)Oracle 可以生成一個(gè) fixup 腳本叫你執(zhí)行，然后自動(dòng)調(diào)整你沒有按要求調(diào)整的系統(tǒng)參數(shù)，如果選擇 advanced，那么你將遇到更多的選擇，并且所有環(huán)境變量要按要求事先準(zhǔn)備，否則會(huì)報(bào)錯(cuò),在這里我們選擇

33、 advanced選項(xiàng)：Next：在上圖選擇產(chǎn)品語言時(shí)加上中文件語句， 否則在使用 EM 時(shí)如果你的 IE 優(yōu)先使用中文的話會(huì)出亂碼的：本次實(shí)施中我們使用的是/etc/hosts 解析，直接填寫 scan，即可。若是有 DNS 解析，這里填上在 DNS 服務(wù)器中建立的 SCAN.IBM.COM 的名稱。Next：這里如果 DNS 沒有配置好，會(huì)報(bào) scan vip 出錯(cuò)。指定網(wǎng)絡(luò)接口，public 和 private.這里選擇 ASM 存儲(chǔ)：創(chuàng)建 ASM磁盤組 SYSTEMDG，用于放置 OCR、VOTE 文件：Next：設(shè)置一致的密碼，這里我們設(shè)置為：interlib。密碼不要忘記，在建立

34、RAC集群數(shù)據(jù)庫時(shí)還需要。會(huì)提示密碼過于簡單，不用理會(huì)。Next：上圖指定特權(quán)操作系統(tǒng)組：Next上圖指定 oracle base 和 software install 目錄，按我們的規(guī)劃要求進(jìn)行調(diào)整：Oracle Base：/u01/app/gridSoftware Location：/u01/app/11.2.0/grid安裝不通過， 將software location改為/u01/db后可以繼續(xù)， /u01/db的屬主是oracle:dba,不解創(chuàng)建臨時(shí)目錄 inventory：預(yù)安裝檢查，如下：檢查結(jié)果：嘗試忽略其它 Failed 繼續(xù)安裝。點(diǎn)擊：Finish 開始安裝：安裝時(shí)間較長

35、，達(dá)數(shù)十分鐘。在兩個(gè)節(jié)點(diǎn)上分別按提示的順序執(zhí)行 oraInstRoot.sh 和 root.sh，注意一定要按提示的順序執(zhí)行。若是在 node1 上安裝，則執(zhí)行順序：Node1:#/./orainstRoot.shNode2:/./orainstRoot.shNode1:/./root.shNode2:/./root.sh完成后點(diǎn)擊 OK：完裝完成后點(diǎn)擊:close。3.1.3 Clusterware 安裝校驗(yàn)查看集群啟動(dòng)了哪些服務(wù)，以 grid 用戶執(zhí)行 crs_stat t v 命令：如果看到啟動(dòng)的許多相應(yīng)的服務(wù)，則顯示正常。4 安裝 Database這里只安裝數(shù)據(jù)庫軟件，之后再用 dbca 命令建立集群數(shù)據(jù)庫。安裝完 database 軟件后，還要