SAP系統(tǒng)升級及集群擴(kuò)展實(shí)施方案v1.2

SAP系統(tǒng)升級及集群實(shí)施方案長沙友旭信息科技有限公司二00八年十一月目 錄一、前言2二、相關(guān)配置信息31、主機(jī)信息32、主機(jī)卷信息33、存儲(chǔ)信息34、系統(tǒng)及軟件規(guī)劃45、IP規(guī)劃4三、AIX系統(tǒng)安裝調(diào)試51、安裝系統(tǒng)52、系統(tǒng)安裝設(shè)置53、擴(kuò)展軟件包安裝7四、EtherChannel（以太通道）的配置及規(guī)劃111、配置前要考慮的事項(xiàng)：112、配置EtherChannel123、配置備份網(wǎng)卡12五、HACMP安裝配置131、HACMP及補(bǔ)丁安裝132、HACMP配置143、HACMP啟動(dòng)184、HACMP關(guān)閉195、配置HAMCP后EMC存儲(chǔ)的性能調(diào)整20六、主機(jī)軟硬件詳細(xì)信息211、sapprd00主機(jī)詳細(xì)信息212、sapprd01主機(jī)詳細(xì)信息21一、 前言三一重工之前的SAP系統(tǒng)平臺在IBM P561小型機(jī)上運(yùn)行，考慮到現(xiàn)有的硬件環(huán)境已經(jīng)不能滿足業(yè)務(wù)的需要，決定進(jìn)行設(shè)備更新?lián)Q代新購買兩臺IBM P570小型機(jī)加EMC存儲(chǔ)系統(tǒng)，將SAP系統(tǒng)移到P570上，并且建立高可用的HA集群環(huán)境。此方案詳細(xì)記錄了系統(tǒng)升級后的拓?fù)鋱D和硬件設(shè)備配置；實(shí)施過程中的AIX 系統(tǒng)安裝配置、enthchnnal的配置及規(guī)劃、HACMP安裝配置；用于提供P series系統(tǒng)硬件平臺的重要信息備份，為日后維護(hù)硬件平臺提供重要數(shù)據(jù)記錄，從而進(jìn)一步提高此硬件平臺的高可用性，高可靠性以及高可維護(hù)性。系統(tǒng)結(jié)構(gòu)圖二、 相關(guān)配置信息1、 主機(jī)信息機(jī)型系統(tǒng)版本數(shù)據(jù)庫版本HACMP版本9117-MMAAIX5300-06OracleHACMP5.32、 主機(jī)卷信息主機(jī)卷組PP(M)邏輯卷文件系統(tǒng) 大小功 能sapprd00rootvg256系統(tǒng)卷/512M/usr8G/var512M/tmp2G/home4G/opt512M/media4Gsapprd01rootvg256系統(tǒng)卷/512M/usr8G/var512M/tmp2G/home4G/opt512M3、 存儲(chǔ)信息機(jī)型RAID規(guī)劃LUN規(guī)劃控制器EMC4、 系統(tǒng)及軟件規(guī)劃分類項(xiàng)目描述備注主機(jī)節(jié)點(diǎn)名sapprd00/ sapprd01AIX版本5300-06HA版本HACMP 5.3共享卷組datavg網(wǎng)卡en0：/24 /24en2：/24 /24數(shù)據(jù)庫Oracle版本歸檔模式歸檔實(shí)例名ORCL數(shù)據(jù)庫名ORCL存儲(chǔ)方式裸設(shè)備磁盤陣列管理IP數(shù)據(jù)庫用戶名/密碼oracle/sys/超級用戶5、 IP規(guī)劃主機(jī)名IP地址別名說明sapprd00sapprd00_boot1sapprd00節(jié)點(diǎn)boot1IPsapprd00_boot2sapprd00節(jié)點(diǎn)boot2IPsapprd00_persapprd00節(jié)點(diǎn)管理IP sapprd_svc服務(wù)IPsapprd0sapprd01_boot1sapprd01節(jié)點(diǎn)boot1IPsapprd01_boot2sapprd01節(jié)點(diǎn)boot2IP sapprd01_persapprd01節(jié)點(diǎn)管理IP三、 AIX系統(tǒng)安裝調(diào)試1、 安裝系統(tǒng)將設(shè)備上電，插入操作系統(tǒng)光盤開始進(jìn)行操作系統(tǒng)的安裝。2、 系統(tǒng)安裝設(shè)置在開始正式的操作系統(tǒng)之前，我們需要對操作系統(tǒng)的安裝控制臺、安裝方式、安裝時(shí)的語言環(huán)境等參數(shù)進(jìn)行設(shè)置，其具體步驟如下：1、在小機(jī)加電后按F5鍵，設(shè)置光驅(qū)引導(dǎo)，出現(xiàn)下面的安裝界面中首先按F1鍵，然后按回車鍵設(shè)置系統(tǒng)控制臺* Please define the System Console. *Type a F1 and press Enter to use this terminal as the system console.Typ een F1 en druk op Enter om deze terminal als de systeemconsole to gebruiken.Pour definir ce terminal comme console systeme, appuyez sur F1 puis sur Entree.Taste F1 und anschliessend die Eingabetaste druecken, um diese Datenstation als systemkonsole zu verwenden.Premere il tasto 1 ed Invio per usare questo terminal come console.Escriba F1 y pulse Intro para utilizar esta terminal como consola del sistema.Escriviu F1 1 i premeu Intro per utilitzar aquest terminal com a consola del sistema.Digite um F1 e pressione Enter para utilizar este terminal como console do sistema.2、按“1”鍵，設(shè)置安裝操作系統(tǒng)時(shí)的語言環(huán)境為英語 1 Type 1 and press Enter to have English during install.2 Entreu 2 i premeu Intro per veure la instalaci* en catal*.3 Entrez 3 pour effectuer linstallation en franis.4 Installation in deutscher Sprache 4 eingeben und die Eingabetaste drken.5 Immettere 5 e premere Invio per linstallazione in Italiano.6 Digite 6 e pressione Enter para usar Portugu na instala.7 Escriba 7 y pulse Intro para usar el idioma espal durante la instalaci.8 Skriv 8 och tryck ned Enter = Svenska vid installationen.88 Help ?3、在如下的BOS系統(tǒng)的安裝界面選擇“2”，即選擇“Change/Show Installation Settings and Install”安裝方式。Welcome to Base Operating SystemInstallation and MaintenanceType the number of your choice and press Enter. Choice is indicated by . 1 Start Install Now with Default Settings 2 Change/Show Installation Settings and Install 3 Start Maintenance Mode for System Recovery 88 Help ? 99 Previous Menu Choice 1: 2說明：選項(xiàng)1：按照缺省方式安裝操作系統(tǒng)。選項(xiàng)2：如果要改變安裝方式和系統(tǒng)設(shè)置。選項(xiàng)3：進(jìn)入系統(tǒng)維護(hù)模式。4、在如下的安裝界面中選擇“1”，重新設(shè)置系統(tǒng)的安裝方式Installation and SettingsEither type 0 and press Enter to install with current settings, or type the number of the setting you want to change and press Enter. 1 System Settings: Method of Installation. .New and Complete Overwrite Disk Where You Want to Install .hdisk0 2 Primary Language Environment Settings (AFTER Install): Cultural Convention.English (United States) Language .English (United States) Keyboard .English (United States) Keyboard Type.Default3 Install Trusted Computing Base. No 0 Install AIX with the current settings listed above. +- 88 Help ? | WARNING: Base Operating System Installation will 99 Previous Menu|destroy or impair recovery of ALL data on the |destination disk hdisk0. Choice 0:說明：在如上的安裝界面中選擇“1”，重新設(shè)置系統(tǒng)的安裝方式后有兩個(gè)功能選項(xiàng)可以供安裝者對系統(tǒng)的安裝方式進(jìn)行重新設(shè)置。A、“Method of Installation”（安裝方式），其中有三種安裝方式可供選擇：- New and Complete Overwrite Installation.(完全覆蓋)- Migration Installation.（升級安裝）- Preservation Installation.（保護(hù)安裝）為了保證安裝一個(gè)干凈的操作系統(tǒng)，這里我們選擇第一種安裝方法以全新、完全覆蓋的方式來安裝操作系統(tǒng)，即選擇 “1”。B、“Disk Where You Want To Install”菜單項(xiàng)，選擇hdisk0作為安裝的目標(biāo)盤。5、在完成系統(tǒng)安裝方式后將正式開始從光盤安裝操作系統(tǒng)Installing Base Operating SystemIf you used the system key to select SERVICE mode,turn the system key to the NORMAL position any time before theinstallation ends. Please wait. Approximate Elapsed time % tasks complete (in minutes) 0 0 Approximate Elapsed time % tasks complete (in minutes) 95 12 Installing additional software.操作系統(tǒng)安裝過程中會(huì)提示進(jìn)行相應(yīng)光盤的更換，完成之后系統(tǒng)將自動(dòng)重新啟動(dòng)，待系統(tǒng)重啟后我們將進(jìn)行操作系統(tǒng)擴(kuò)展包的安裝。3、 擴(kuò)展軟件包安裝1、以root登錄 2、安裝AIX5.3 Fileset#smitty installp 選擇 INPUT device / directory for software 為/dev/cd0(按F4選擇) 進(jìn)入 SOFTWARE to install選擇所需安裝的軟件開頭有符即已安裝過開頭有+符即未安裝過以下必須裝:安裝以bos、rsct、X11打頭的所有文件集 F7 確認(rèn)/選擇 / 為搜索 倒數(shù)2項(xiàng)選擇 YES3、升級系統(tǒng)#smitty update_all在“INPUT device / directory for software”處輸入TL包所在位置在“software to update”處選擇要安裝的包在 “commit software updates?”處可選擇NO在“ACCEPT new license agreements?”處選擇YESl 異步I/O設(shè)置# smitty chgaio MINIMUM number of servers 1 MAXIMUM number of servers 10STATE to be configured at system restart availablel 系統(tǒng)時(shí)區(qū)設(shè)置東八區(qū),北京時(shí)間(不用“夏令時(shí)”)，時(shí)間和日期為當(dāng)前時(shí)間和日期修改成當(dāng)前的日期和時(shí)間# smittysystem environmentsChange / Show Date and TimeChange / Show Date & Time修改成東八區(qū),北京時(shí)間(不用“夏令時(shí)”) # smittysystem environmentsChange / Show Date and Time Change Time Zone using system defined values 出現(xiàn)如下的提示Use DAYLIGHT SAVINGS TIME？選擇No，出現(xiàn)提示菜單選擇(BEIST-8) Peoples Rep. China (CUT +8)l 用戶最大進(jìn)程數(shù)、water mark設(shè)置# smitty chgsysMaximum number of PROCESSES allowed per user 4096HIGH water mark for pending write I/Os per file 33 LOW water mark for pending write I/Os per file 24l 換頁空間設(shè)置Page Space默認(rèn)的hd6大小為512M，對于數(shù)據(jù)庫服務(wù)器，可擴(kuò)大到8G或與內(nèi)存大小一樣根據(jù)業(yè)務(wù)的運(yùn)行狀況可配置1個(gè)Page Space01，并且Page Space01位于本地磁盤hdisk2，再刪除hd6新增Page Space01#smitty mkps -新增Page Space01Paging space name page00Volume group name rootvgPhysical volume name hdisk2NUMBER of additional logical partitions 32#smitty swapon -激活新增Page Space01刪除hd6交換空間運(yùn)行命令使hd6交換空間處于非活動(dòng)狀態(tài)#smitty swapoff刪除ps交換空間，采用命令刪除hd6交換空間#smitty rmpsl 配置文件屬性修改將/etc/security/limits文件中nofiles配置項(xiàng)改為8192，fsize配置項(xiàng)改為 -1l rootvg鏡像（1）#extendvg rootvg hdisk1（2）鏡像rootvg #mirrorvg rootvg（時(shí)間比較長）（3）#bosboot -ad /dev/hdisk0#bosboot -ad /dev/hdisk1 (4) #bootlist -m normal hdisk0 hdisk1四、 EtherChannel（以太通道）的配置及規(guī)劃AIX集成了EtherChannel功能，可以實(shí)現(xiàn)2塊網(wǎng)卡以上的負(fù)載均衡和冗余， EtherChannel技術(shù)的最主要好處是他能夠累加所有成員網(wǎng)卡的帶寬。如果一個(gè)成員網(wǎng)卡失效，EtherChannel會(huì)自動(dòng)調(diào)整流量分配策略，從而只使用剩余的網(wǎng)卡進(jìn)行工作。失效的網(wǎng)卡修復(fù)后，EtherChannel會(huì)重新啟用他。1、 配置前要考慮的事項(xiàng)：a) 對于每個(gè)EtherChannel您可以配置多達(dá)8個(gè)主以太網(wǎng)適配器，每個(gè)EtherChannel僅具有一個(gè)備份以太網(wǎng)適配器。同一個(gè)EtherChannel的所有成員網(wǎng)卡都需要連接在同一個(gè)交換機(jī)上。如果這個(gè)交換機(jī)出現(xiàn)故障，整個(gè)EtherChannel就都會(huì)失效。為了解決這個(gè)問題，可以配置備份網(wǎng)卡。用戶能為整個(gè)EtherChannel指定一塊備份網(wǎng)卡，這塊網(wǎng)卡連接在不同的交換機(jī)上。當(dāng)整個(gè)EtherChannel失效時(shí)，這塊網(wǎng)卡會(huì)自動(dòng)頂替EtherChannel的功能。b) 您可以在一個(gè)系統(tǒng)上配置多個(gè)EtherChannel，但是每個(gè)EtherChannel會(huì)組建一個(gè)附加的以太網(wǎng)接口。 c) 在EtherChannel中可以使用任何受支持的以太網(wǎng)適配器。然而，以太網(wǎng)適配器必須連接到一個(gè)支持EtherChannel的交換機(jī)。請參閱隨交換機(jī)一起提供的文檔以確定它是否支持EtherChannel（交換機(jī)文檔可能也將該能力稱作“鏈路聚集”或“中繼”）。 d) 在EtherChannel中的所有適配器都應(yīng)該配置為相同的速度（例如，100 Mbps），而且應(yīng)該是全雙工的。 e) 配置完EtherChannel后，系統(tǒng)不能訪問EtherChannel中使用的適配器。要修改它們的任何屬性，如介質(zhì)速度，傳送或接收排隊(duì)大小等等，則在將它們包含在“EtherChannel”之前必須進(jìn)行這些操作。 f) 計(jì)劃用于EtherChannel的適配器不應(yīng)該給它們配置 IP 地址。當(dāng)使用擁有 IP地址的適配器配置以太通道時(shí)，請確保它們的接口處于拆離（detach）狀態(tài)。要添加到EtherChannel的適配器不能具有up狀態(tài)的接口（如果它們的 IP地址是使用 SMIT 配置的就會(huì)發(fā)生這種情況）。這會(huì)導(dǎo)致機(jī)器在重新引導(dǎo)時(shí)提示EtherChannel產(chǎn)生問題，因?yàn)樵?DOM中底層接口在EtherChannel啟用之前就使用了。因此，配置EtherChannel時(shí)，它會(huì)發(fā)現(xiàn)它的其中一個(gè)適配器已經(jīng)在使用。要改變這種狀況，請?jiān)趧?chuàng)建EtherChannel之前，輸入 smit chinet，選擇EtherChannel中所要包括的適配器的每一個(gè)接口，將它的state值更改為 detach。這樣就會(huì)確保機(jī)器重新引導(dǎo)時(shí)可以正確地配置EtherChannel。 （請注意，不要用ifconfig命令去做，這樣將不會(huì)修改ODM）g) 如果計(jì)劃使用超常幀（Jumbo Frames），則在創(chuàng)建EtherChannel之前您可能需要啟用每個(gè)適配器以及EtherChannel本身的這一功能。在命令行中輸入 smitty chgenet。將 Enable Jumbo Frames值更改為 yes 然后按下 Enter 鍵。請為您要啟用“超長幀”的每一個(gè)適配器執(zhí)行這一操作。稍后，您還要啟用EtherChannel自身的超長幀。 注:在 AIX 5.2 及后續(xù)版本中，一旦超常幀在EtherChannel本身中啟用，則不必啟用每個(gè)底層適配器中的超常幀。如果將啟用超常幀屬性設(shè)置為yes，則該功能將自動(dòng)啟用。2、 配置EtherChannel1) 用root登錄, 在命令行運(yùn)行smitty etherchannel。 2) 選擇 Add an etherchannel。 3) 選擇etherchannel的成員網(wǎng)卡。4) 按照以下說明輸入下列信息： Mode中選擇Round Robin模式: 在這種模式下各個(gè)成員網(wǎng)卡被輪流使用，每輪每個(gè)網(wǎng)卡發(fā)送一個(gè)數(shù)據(jù)包。 5) 在更改了希望更改的字段后按 Enter 鍵來創(chuàng)建EtherChannel。 6) 使用smit chinet為EtherChannel設(shè)備（entx）設(shè)置IP地址 7) 從列表中選擇新的“etherchannel”接口。 8) 填充所有需要的字段并按 Enter 鍵。3、 配置備份網(wǎng)卡1) 用 root 權(quán)限，在命令行上輸入 smit etherchannel。 2) 從列表中選擇Change/Show Characteristics of an EtherChannel/Link Aggregation并按下 Enter 鍵。 3) 選擇Add Backup Adapter并按 Enter 鍵。 4) 增加備份網(wǎng)卡到EtherChannel設(shè)備（entx）中。五、 HACMP安裝配置1、 HACMP及補(bǔ)丁安裝將安裝文件和patch通過ftp工具上傳到主機(jī)，所在目錄如下：安裝文件所在目錄：/media/hacmp/hacmp53patch所在目錄：/media/hacmp/patch#smitty installp Install SoftwareType or select values in entry fields.Press Enter AFTER making all desired changes. Entry Fields*INPUT device / directory for software /media/hacmp/hacmp53* SOFTWARE to install _all_latest + PREVIEW only? (install operation will NOT occur) no + COMMIT software updates? yes + SAVE replaced files? no + AUTOMATICALLY install requisite software? yes + EXTEND file systems if space needed? yes + OVERWRITE same or newer versions? no + VERIFY install and check file sizes? no + Include corresponding LANGUAGE filesets? yes + DETAILED output? no + Process multiple volumes? yes + ACCEPT new license agreements? yes + Preview new LICENSE agreements? no +說明：按F4進(jìn)入軟件產(chǎn)品選擇，除cluster.hativoli、cluster.haview和rsct.exp文件集外都安裝#smitty update_all Update Installed Software to Latest Level (Update All)Type or select values in entry fields.Press Enter AFTER making all desired changes. Entry Fields* INPUT device / directory for software /media/hacmp/patch* SOFTWARE to update _update_all PREVIEW only? (update operation will NOT occur) no + COMMIT software updates? yes + SAVE replaced files? no + AUTOMATICALLY install requisite software? yes + EXTEND file systems if space needed? yes + VERIFY install and check file sizes? no + DETAILED output? no + Process multiple volumes? yes + ACCEPT new license agreements? yes Preview new LICENSE agreements? no +2、 HACMP配置編輯/etc/hosts文件，內(nèi)容如下： sapprd00_boot1 sapprd00_boot sapprd00_persapprd01_boot1 sapprd01_boot sapprd01_per sapprd_svc說明：hosts文件在所有節(jié)點(diǎn)上必須保持一致。編輯/usr/es/sbin/cluster/etc/rhosts文件，內(nèi)容如下： sapprd00_boot1sapprd00_boot2sapprd00_persapprd01_boot1sapprd01_boot2sapprd01_persapprd_svc說明：rhosts文件在所有節(jié)點(diǎn)上必須保持一致。#smitty hacmp Extended ConfigurationExtended Topology ConfigurationConfigure an HACMP ClusterAdd/Change/Show an HACMP Cluster* Cluster Name cl_sapprdExtended Configuration Extended Topology Configuration Configure HACMP Nodes Add a Node to the HACMP Cluster* Node Name sapprd00 Communication Path to Node sapprd00Extended Configuration Extended Topology Configuration Configure HACMP Nodes Add a Node to the HACMP Cluster* Node Name sapprd01 Communication Path to Node sapprd01Extended ConfigurationDiscover HACMP-related Information from Configured NodesExtended ConfigurationExtended Topology Configuration Configure HACMP Networks Add a Network to the HACMP Cluster# Discovered IP-based Network Types ether Add an IP-Based Network to the HACMP Cluster* Network Name net_ether_01 * Network Type ether* Netmask * Enable IP Address Takeover via IP Aliases Yes IP Address Offset for Heartbeating over IP AliasesExtended ConfigurationExtended Topology Configuration Configure HACMP Networks Add a Network to the HACMP Cluster# Discovered Serial Device Types ? rs232* Network Name net_rs232_02* Network Type rs232Extended ConfigurationExtended Topology Configuration Configure HACMP Communication Interfaces/Device Add Communication Interfaces/DevicesAdd Discovered Communication Interface and Devices Communication Interfaces net_ether_01 # Node / Network # Interface IP Label IP Address # net_ether_01 / sapprd00 en0 sapprd00_boot1 en2 sapprd00_boot2 # net_ether_01 / sapprd01 en0 sapprd01_boot2 en2 sapprd01_boot1 Extended ConfigurationExtended Topology Configuration Configure HACMP Communication Interfaces/Device Add Communication Interfaces/DevicesAdd Discovered Communication Interface and Devices Communication Device net_ether_01Extended ConfigurationExtended Topology Configuration Configure HACMP Communication Interfaces/Device Add Discovered Communication Interface and Devices Communication Interfaces net_rs323_02* Device Name sapprd00_tty0_01* Network Type rs232* Network Name net_rs323_02* Device Path /dev/tty0* Node Name sapprd00 * Device Name sapprd01_tty0_01* Network Type rs232* Network Name net_rs323_02* Device Path /dev/tty0* Node Name sapprd01 Extended ConfigurationExtended Topology Configuration Configure HACMP Persistent Node IP Label/Addresses Add a Persistent Node IP Label/Address sapprd00&sapprd01* Node Name sapprd00* Network Name net_ether_01 +* Node IP Label/Address sapprd00_per +* Node Name sapprd01* Network Name net_ether_01 +* Node IP Label/Address sapprd01_per +Extended Configuration HACMP Extended Resources Configuration Configure HACMP ApplicationsConfigure HACMP Application ServerAdd an Application Server Entry Fields* Server Name app* Start Script /hascripts/dbstart.sh* Stop Script /hascripts/dbstop.sh Application Monitor Name(s)