Datastage安裝

1、Information Server 8.5 Installation Based on Oracle 11g R21 系統(tǒng)環(huán)境1.1 硬件資源CPU16Memory48G1.2 操作系統(tǒng)及軟件版本操作系統(tǒng)版本HP Unix Release B.11.31數(shù)據(jù)庫版本linux.x64_11gR2()InfoSphere Information Server版本IIS 8.51.3 安裝拓撲1.4 系統(tǒng)要求1.4.1 操作系統(tǒng)操作系統(tǒng)處理器HP-UX 11i v2Intel Itanium processors.HP-UX 11i v3Intel Itanium processo

2、rs.1.4.2 內(nèi)存安裝條目最低要求內(nèi)存實際內(nèi)存引擎層/服務(wù)層6G資源庫層4G1.4.3 磁盤空間安裝條目最低要求內(nèi)存實際內(nèi)存引擎層/服務(wù)層6G資源庫層1.4.4 內(nèi)核參數(shù)參數(shù)條目引擎服務(wù)層資源庫層DB2OracleMAXFILES8000*MSGMAP32768*MSGMAX65535*MSGMNB65535 (single profile)131070 (more than one profile)*MSGMNI50*MSGSEG32767 MSGTQL2046NFILE58145NFLOCKS3000*NPROC4116*SEMMNI2048*SEMMNS16384*SEMMNU102

3、4*SEMMSL2048*SHMMAX307200000*SHMMNI2000*SHMSEG1024*MAXUPRC1000 or unlimited*NOFILES102401.4.5 用戶資源用戶資源類型資源名稱值1.4.6 網(wǎng)絡(luò)Vi /etc/hosts9 T274NP00VM03HOSTNAME=T274NP00VM03IP=91.4.7 依賴包IIS8.5Oracle11gR2x84_64x84_64compat-libstdc+-33.x86_64binutils.x86_64glibc.x86_64compat-libstdc+

4、-33.x86_64libaio.x86_64elfutils-libelf.x86_64libgcc.x86_64elfutils-libelf-devel.x86_64libstdc+.x86_64gcc.x86_64libX11.x86_64gcc-c+.x86_64libXau.x86_64glibc.x86_64libxcb.x86_64glibc-common.x86_64libXext.x86_64glibc-devel.x86_64libXmu.x86_64glibc-headers.x86_64libXp.x86_64ksh.x86_64nss-softokn-freebl.

5、x86_64libaio.x86_64pam.x86_64libaio-devel.x86_64libXmu.x86_64libgcc.x86_64glibc.i686libstdc+.x86_64libXp.i686libstdc+-devel.x86_64libXau.i686make.x86_64libXext.i686sysstat .x86_64libX11.i686unixODBC.x86_64libxcb.i686unixODBC-devel.x86_64nss-softokn-freebl.i686compat-libstdc+-33.i686 glibc.i686&

6、#160;glibc-devel.i686 libaio.i686 libaio-devel.i686 libgcc.i686 libstdc+.i6861.5 環(huán)境配置1.5.1 、關(guān)閉防火墻和Selinuxservice iptables stop 暫停防火墻服務(wù)service ip6tables stopchkconfig iptables off永久關(guān)閉防火墻chkconfig ip6tables offvi /etc/selinux/config將selinux disable1.5.2 更改系統(tǒng)Release文件 安裝oracle時，需要修改

7、此文件vi /etc/system-release注釋掉原有內(nèi)容新增如下： 1.5.3 修改內(nèi)核參數(shù)vim /etc/sysctl.conf內(nèi)核參數(shù)需要考慮到Information server engine以及oracle對內(nèi)核的最低要求。fs.aio-max-nr = 1048576fs.file-max = 6815744kernel.shmall = 2097152kernel.shmmax = 4294967295kernel.shmmni = 4096kernel.sem = 250 256000 100 1024net.ipv4.ip_local_port_range = 900

8、0 65500net.core.rmem_default = 262144net.core.rmem_max = 4194304net.core.wmem_default = 262144net.core.wmem_max = 10485861.5.4 依賴包安裝更新yum install -y binutils.x86_64 compat-libcap1.x86_64 compat-libstdc+-33.i686 compat-libstdc+-33.x86_64 gcc.x86_64 gcc-c+.x86_64 glibc.i686 glibc.x86_64 glibc-devel.i6

9、86 glibc-devel.x86_64 ksh libaio.i686 libaio.x86_64 libaio-devel.i686 libaio-devel.x86_64 libgcc.i686 libgcc.x86_64 libstdc+.i686 libstdc+.x86_64 libstdc+-devel.i686 libstdc+-devel.x86_64 make sysstat.x86_64 libX11.x86_64 libXau.x86_64 libxcb.x86_64 libXext.x86_64 libXmu.x86_64 libXp.x86_64 nss-soft

10、okn-freebl.x86_64 pam.x86_64 unixODBC.x86_64 unixODBC.i686 unixODBC-devel.x86_64 unixODBC-devel.i686以上包安裝完成后執(zhí)行包更新操作：yum y updaterpm -ivh pam-1.1.1-17.el6.i686.rpm -nodepsrpm -qa | grep -glibc-2.12-1.107.el6.x86_64libXau-1.0.5-1.el6.x86_64libxcb-1.5-1.el6.x86_64libX11-1.3-2.el6.x86_64libXext-1.1-3.el

11、6.x86_64libXp-1.0.0-15.1.el6.x86_64cracklib-2.8.16-4.el6.i686.rpmlibICE-1.0.6-1.el6.i686.rpmlibuuid-2.17.2-12.18.el6.i686.rpmlibXt-1.0.7-1.el6.i686.rpmlibXmu-1.0.5-1.el6.x86_64nss-softokn-freebl-3.14.3-9.el6.x86_64audit-libs-2.3.7-5.el6.i686.rpmdb4-4.7.25-19.el6_6.i686.rpmpam-1.1.1-4.el6_0.1.x86_64l

12、ibaio-0.3.107-10.el6.x86_64libstdc+-4.4.7-3.el6.x86_64compat-libstdc+-33-3.2.3-69.el6.x86_64libgcc-4.4.7-3.el6.x86_641.5.5 關(guān)聯(lián)設(shè)置執(zhí)行如下命令，修改關(guān)聯(lián)文件/etc/pam.d/loginvi /etc/pam.d/login在文件尾部添加如下信息：session required pam_limits.so1.5.6 創(chuàng)建用戶和組創(chuàng)建oracle用戶和組groupadd oinstallgroupadd dbauseradd -g oinstall -G dba ora

13、clepasswd oracle在oracle用戶目錄下編輯.bash_profile設(shè)置如下環(huán)境變量ORACLE_BASE=/opt/oracle;export ORACLE_BASEORACLE_HOME=$ORACLE_BASE/product/11.2.0/db_1;export ORACLE_HOMEORACLE_SID=XMETA;export ORACLE_SIDPATH=$PATH:$HOME/bin:$ORACLE_HOME/bin;export PATHLD_LIBRARY_PATH=$ORACLE_HOME/lib:/usr/lib;export LD_LIBRARY_P

14、ATH創(chuàng)建DS用戶和組groupadd dstageuseradd g dstage dsadmpasswd dsadm1.5.7 創(chuàng)建安裝目錄規(guī)劃安裝目錄，并提前創(chuàng)建好安裝目錄，并做相應(yīng)權(quán)限更改。創(chuàng)建ORACLE_BASE目錄mkdir p /opt/oraclemkdir p /opt/oracle/product/11.2.0/db_1mkdir p /opt/oracle/oradatamkdir p /opt/oraInventorychown oracle:oinstall R /opt/oraclechown oracle:oinstall R /opt/oracle/produ

15、ct/11.2.0/db_1chown oracle:oinstall R /opt/oracle/oradatachown oracle:oinstall R /opt/oraInventory1.5.8 修改/etc/profileif $USER = "oracle" ; then if $SHELL = "/bin/ksh" ; then ulimit -p 16384 ulimit -n 65536 else ulimit -u 16384 -n 65536 fi fi1.5.9 修改資源限制vim /etc/security/limits.c

16、onf以oracle用戶為例子，DS用戶也需要做相同操作oracle soft nproc 2047oracle hard nproc 16384oracle soft nofile 10240oracle hard nofile 65536oracle soft stack 102402 安裝Oracle 11g R22.1 安裝步驟2.1.1 Configure Security Updates2.1.2 Installation Option2.1.3 System Class2.1.4 Typical Installation字符集必須選擇NLS_CHARACTERSET = AL32

17、UTF8SYS,SYSTEM,SYSMAN,DBSNMP has the same password Password4me2.1.5 Create Inventory2.1.6 Prerequisite Checks2.1.7 Summary2.1.8 Install Product2.1.9 Finish2.2 Oracle啟動與關(guān)閉2.2.1 啟動v STARTUP NOMOUNT 可以不裝入數(shù)據(jù)庫而啟動事例，一般是在數(shù)據(jù)庫才創(chuàng)建時才可以這樣做：v STARTUP MOUNT用戶可以啟動事例而并裝入數(shù)據(jù)庫但不打開數(shù)據(jù)庫，允許用戶執(zhí)行特定的維護操作。例如： 重命名數(shù)據(jù)文件； 添加、撤消或重

18、命名重做日志文件； 啟動和禁止重做日志歸檔； 執(zhí)行全部的數(shù)據(jù)庫恢復(fù)。 v STARTUP 正常情況是一個事例被啟動，數(shù)據(jù)庫裝入并打開。這種模式允許任何有效用戶連接到數(shù)據(jù)庫并執(zhí)行典型 的數(shù)據(jù)庫訪問操作。v STARTUP RESTRICT用戶可以在嚴格的模式下啟動事例并裝入數(shù)據(jù)庫，這樣的模式只允許DBA做以下的工作： 執(zhí)行結(jié)構(gòu)維護，如重建索引； 執(zhí)行數(shù)據(jù)庫文件的導(dǎo)入導(dǎo)出； 執(zhí)行數(shù)據(jù)裝載； 臨時阻止典型用戶使用數(shù)據(jù) v STARTUP FORCE可以用下面命令來強行啟動事例，如果一個事例正在啟動，則STARTUP FORCE 重新啟動。 v STARTUP OPEN RECOVER如果用戶要求介質(zhì)

19、恢復(fù)，可以啟動一個事例，裝入指向事例的數(shù)據(jù)庫，并自動地啟動恢復(fù)程序。 2.2.2 關(guān)閉v SHUTDOWN NORMAL不允許新的連接、等待會話結(jié)束、等待事務(wù)結(jié)束、做一個檢查點并關(guān)閉數(shù)據(jù)文件。啟動時不需要實例恢復(fù)。v SHUTDOWN TRANSACTIONAL不允許新的連接、不等待會話結(jié)束、等待事務(wù)結(jié)束、做一個檢查點并關(guān)閉數(shù)據(jù)文件。啟動時不需要實例恢復(fù)。v SHUTDOWN IMMEDIATE不允許新的連接、不等待會話結(jié)束、不等待事務(wù)結(jié)束、做一個檢查點并關(guān)閉數(shù)據(jù)文件。沒有結(jié)束的事務(wù)是自動rollback的。啟動時不需要實例恢復(fù)。 v SHUTDOWN ABORT不允許新的連接、不等待會話結(jié)束

20、、不等待事務(wù)結(jié)束、不做檢查點且沒有關(guān)閉數(shù)據(jù)文件。啟動時自動進行實例恢復(fù)。2.3 監(jiān)聽服務(wù)lsnrctl status|start|stopstatus:查看監(jiān)聽狀態(tài)start:啟動監(jiān)聽服務(wù)stop:停止監(jiān)聽服務(wù)如果系統(tǒng)自動配置的監(jiān)聽，在啟動服務(wù)后容易出現(xiàn)監(jiān)聽錯誤，需要在監(jiān)聽文件下增加如下內(nèi)容：SID_LIST_LISTENER= (SID_LIST= (SID_DESC= (GLOBAL_DBNAME=XMETA) (SID_NAME=XMETA) (ORACLE_HOME=/opt/oracle/product/11.2.0/db_1) (PRESPAWN_MAX=20) (PRESPAWN

21、_LIST= (PRESPAWN_DESC=(PROTOCOL=tcp)(POOL_SIZE=2)(TIMEOUT=1) ) ) )2.4 OEM2.4.1 常規(guī)啟動emctl status|start|stop dbconsole 2.4.2 重建OEMemca repos recreate此命令作用是先刪除EM資料檔案庫，再創(chuàng)建EM資料檔案庫，這一步刪除和創(chuàng)建分別要等10-15分鐘，oracle.exe進程會占用50%多的CPU資源。emca config dbcontrol db此操作將移去現(xiàn)有配置和默認設(shè)置，并重新執(zhí)行配置。根據(jù)提示，會一次提供sys,system,sysnmp等帳號及

22、密碼，另需要指定LISTENER的位置。emctl start dbconsole啟動OEM2.4.3 解決Windows下無法打開OEM以管理員身份運行一下命令：certutil -setreg chainminRSAPubKeyBitLength 512/允許的最小 RSA 密鑰長度為 512certutil -setreg chainEnableWeakSignatureFlags 2/啟用密鑰長度少于 1024 位的 RSA 根證書2.5 Oracle常用命令su oraclesqlplus / as sysdbaSQL> startup #啟動數(shù)據(jù)庫實例SQL> shut

23、down immediate #關(guān)閉數(shù)據(jù)庫實例SQL> select * from tab; #查看所有表SQL> select name from v$datafile #查看數(shù)據(jù)庫存放目錄SQL> show parameter service #查看服務(wù)名SQL> select * from v$instance; #查看實例名SQL> select name from v$database; #查看數(shù)據(jù)庫名SQL> select * fromdba_users; #查看所有用戶信息SQL> select username,password fro

24、m dba_users; #只查詢用戶和密碼SQL> select * fromv$pwfile_users; #查看具有sysdba權(quán)限的用戶SQL> select * fromdba_ustats; #查看當前用戶信息SQL> select * fromuser_sys_privs #查看當前用戶系統(tǒng)權(quán)限SQL> select * fromuser_role_privs #查看當前用戶角色SQL> select * fromdba_sys_privs #查看指定用戶所具有的系統(tǒng)權(quán)限SQL> select * fromv$version #查看oracle

25、版本SQL> select * fromuser_views #查看視圖信息rootoracledb # lsnrctl start #開啟遠程監(jiān)聽端口3 安裝Information Server 9.13.1 創(chuàng)建XMETA數(shù)據(jù)庫及相應(yīng)用戶3.1.1 創(chuàng)建表空間3.1.2 創(chuàng)建用戶XMETA:XMETASRDSODB需要賦予DSODB 用戶如下權(quán)限：CREATE SESSION, CONNECT, RESOURCECREATE TABLECREATE PROCEDURE3.2 安裝步驟3.2.1 Getting Started3.2.2 Firewall Requirement3.2.

26、3 Early Requirement Check3.2.4 Installation Directory3.2.5 Installation Type Selection3.2.6 Tier Selection3.2.7 Product Selection3.2.8 Product License Agreement3.2.9 IBM InfoSphere DataStage Installation Options3.2.10 High Availability Server Cluster Configuration3.2.11 Application Server Options3.2

27、.12 IBM WAS Installation Directory3.2.13 IBM WAS Profile Ports Assignment3.2.14 Application Server Administrator3.2.15 IBM InfoSphere Information Server Administrator3.2.16 Database Management System Selection3.2.17 Database connection3.2.18 WAS data source for the staging area3.2.19 IBM IIS Agent P

28、orts Configuration3.2.20 Job Monitor Ports Configuration3.2.21 ITAG Configuration for Multiple Engine Tiers3.2.22 IBM InfoSphere DataStage Administrator3.2.23 IBM DataStage and QualityStage Globalization3.2.24 IBM WebSphere MQ Plug-in Selection3.2.25 SAS Configuration3.2.26 Operations Database Conne

29、ction3.2.27 IBM InfoSphere DataStage Projects3.2.28 System Requirement Check3.2.29 Response File Review3.2.30 Preinstallation Summary for the Current Computer3.2.31 IBM InfoSphere Information Server Progress4 安裝后配置4.1 配置ORACLE連接4.2 配置ODBC連接在dsenv中設(shè)置ORACLE_HOME變量，ORACLE_HOME=/opt/oracle/product/11.2.

30、0/db_1;export ORACLE_HOME 設(shè)置PATH變量，PATH必須包括ORACLE_HOME下的bin目錄 以及DSHOME/DSComponents/bin PATH=$ORACLE_HOME/bin:$DSHOME/DSComponents/bin:PATH;export PATH 設(shè)置LD_LIBRARY_PATH,必須包括ORACLE_HOME/lib LD_LIBRARY_PATH=$ORACLE_HOME/lib:LD_LIBRARY_PATH;export LD_LIBRARY_PATHdsadmetl DSEngine$ cat dsenv#!/bin/shOR

31、ACLE_HOME=/opt/oracle/product/11.2.0/db_1;export ORACLE_HOMEPATH=dirname $DSHOME/DSComponents/bin:$ORACLE_HOME/bin:$PATH;export PATHLD_LIBRARY_PATH=$ORACLE_HOME/lib:$LD_LIBRARY_PATH;export LD_LIBRARY_PATH#TNS_ADMIN=/home/dsadm/instantclient_11_2/network/admin;export TNS_ADMIN4.2.1 測試ODBC連通性v DSSH測試將

32、目錄切換到 $DSHOME，并通過運行 dsenv 設(shè)置 IBM® InfoSphere® DataStage® 環(huán)境： . ./dsenv 啟動引擎 shell： ./bin/dssh 在引擎 shell 中，登錄到項目： LOGTO project_name 通過輸入以下命令獲得可用 DSN 的列表： DS_CONNECT 通過輸入以下命令測試所需連接： DS_CONNECT DSN 其中，DSN 指定想要測試的連接。 輸入用戶名和密碼，以連接到所需的數(shù)據(jù)源。 在連接到數(shù)據(jù)源后，輸入 .Q 以關(guān)閉連接。v EXAMPLE測試 切換目錄至/opt/IBM/Inf

33、ormationServer/Server/branded_odbc/samples/example ./example4.3 配置Operation Console4.3.1 檢查ODB是否安裝默認安裝時，已經(jīng)將ODSDB成功安裝，一般在XMETA數(shù)據(jù)中有一個ODSDB的SCHEMA4.3.2 生成Operations數(shù)據(jù)庫模式的腳本如果在初始安裝時沒有安裝ODSDB，可以利用系統(tǒng)提供的工具生成建庫的腳本。dsadmetl bin$ ./RepositoryAdmin.sh saveSQLScripts reposName name scriptLocation locationName:數(shù)

34、據(jù)庫名字，一般為XMETALocation:保存腳本的路徑4.3.3 檢查ODB是否注冊切換至安裝目錄/opt/IBM/InformationServer/ASBServer/bindsadmetl bin$ ./RepositoryAdmin.sh -listRepositoriesdsodbdsadmetl bin$ 表示DSODB已經(jīng)注冊成功4.3.4 手工完成注冊如果未注冊，將/opt/IBM/InformationServer/Server/DSODB目錄下的DSODBrepos_perties文件復(fù)制到/opt/IBM/InformationServ

35、er/ASBServer/bin修改此文件，把數(shù)據(jù)庫信息修改為之前創(chuàng)建的XMETA數(shù)據(jù)庫。執(zhí)行注冊命令：dsadmetl bin$ ./RepositoryAdmin.sh registerRepository propertyFile DSODBrepos_perties4.3.5 配置Operations數(shù)據(jù)庫修改/opt/IBM/InformationServer/Server/DSODB目錄下的DSODBConfig.cfg文件，設(shè)置DSODBON=14.3.6 檢查監(jiān)控系統(tǒng)的配置切換至/opt/IBM/InformationServer/Server/

36、DSODB/bin4.3.7 啟動AppWatcher進程DSAppWatcher.sh -start4.3.8 配置工作負載管理修改/opt/IBM/InformationServer/Server/DSODB目錄下的DSODBConfig.cfg文件，設(shè)置WLMON=1重新啟動DS引擎uv -admin stopuv admin start4.3.9 啟動Operations Consolehttp:/domain:port/ibm/iis/ds/console/login.htmlhttps:/domain:port/ibm/iis/ds/console/login.html4.4 配置

37、CRONTAB和AT權(quán)限為了讓DIRECTOR執(zhí)行SCHEDULE任務(wù)，需要對dsadm賦予CRONTAB和AT使用權(quán)限4.4.1 CRONTAB文件：/etc/cron.deny說明：該文件中所列用戶不允許使用crontab命令文件：/etc/cron.allow說明：該文件中所列用戶允許使用crontab命令文件：/var/spool/cron/說明：所有用戶crontab文件存放的目錄,以用戶名命名crontab文件的含義：用戶所建立的crontab文件中，每一行都代表一項任務(wù)，每行的每個字段代表一項設(shè)置，它的格式共分為六個字段，前五段是時間設(shè)定段，第六段是要執(zhí)行的命令段，格式如下：minute h