Datastage8.5的配置(通信等问题)
DataStage安装手册
3．ETL环境部署3.1 安装DataStage3.1.1 Server安装3.1.1.1 创建用户及组AIX运行smit命令，启动管理界面在安装机器上创建dstage组, ADMINISTRATIVE USER 选项为true，创建用户dsadm，主属为dstage ，ADMINISTRATIVE USER 选项为true；Primary GROUP，Group SET，ADMINISTRATIVE GROUPS：均为dstageHP Unix运行sam命令，启动管理界面在安装机器上创建dstage组创建用户dsadm，主属为dstage组3.1.1.3 系统参数设置1)检查Server端paging space的空间，对于CPU数量少于20个的机器，最好整个Paging Space为500M×CPU数，如机器配置了8个CPU，则推荐至少需要配置4GB的Paging Space空间。
2)检查核心参数，不符合要求则针对操作系统进行如下调整(AIX使用smit，HPUnix使用sam)：3)运行lsattr -E -l sys0 | grep maxuproc，检查参数Maximum number of PROCESSESallowed per user，设置Datastage允许运行的最大进程数，推荐设置到较大的值，如：8192。
4)运行lsuser –f dsadm,检查如下参数：fsize，data，stack，rss。
推荐将这些参数设置为unlimit3.1.1.4 Server安装步骤确保以超级用户root进入系统(非常重要)如果是硬盘包，则执行命令：gunzip 2105-ds-75a-aix.tar.Z进入解压目录Tar xvf 2105-ds-75a-aix.tar进入/解压环境/Ascential.media/aix目录如果是光盘包，则执行命令：Mount /cdrom进入/cdrom目录1)AIX操作系统执行/Ascential.media/install.sh –admin dsadm.2)；HP Unix执行./INSTALL.SH\;1。
Datastage8.5服务器安装部署手册
执行计划查看优化如何查看执行计划基于ORACLE的应用系统很多性能问题，是由应用系统SQL性能低劣引起的，所以，SQL的性能优化很重要，分析与优化SQL的性能我们一般通过查看该SQL的执行计划，本文就如何看懂执行计划，以及如何通过分析执行计划对SQL进行优化做相应说明。
一、什么是执行计划（explain plan）执行计划：一条查询语句在ORACLE中的执行过程或访问路径的描述。
二、如何查看执行计划1: 在PL/SQL下按F5查看执行计划。
第三方工具toad等。
很多人以为PL/SQL的执行计划只能看到基数、优化器、耗费等基本信息，其实这个可以在PL/SQL工具里面设置的。
可以看到很多其它信息，如下所示2:在SQL*PLUS(PL/SQL的命令窗口和SQL窗口均可)下执行下面步骤1. 工作实质将SQL语句预估的执行计划加载到表plan_table,是对表plan_table 执行了DML操作，故不会执行隐式提交可以对select,insert,update,merge,delete,create table, create index,alter index等加载执行计划到plan_table2. 前提条件需要先创建plan_table，创建方法：@?/rdbms/admin/utlxplan对当前的SQL语句有执行权限以及对依赖的对象有相应操作的权限2.1SQL>EXPLAIN PLAN FORSELECT * FROM SCOTT.EMP; --要解析的SQL脚本SQL>SELECT * FROM TABLE(DBMS_XPLAN.DISPLAY);2.2SQL> SELECT * FROM PLAN_TABLE;2.3SQL> @E:\app\kerry\product\11.2.0\dbhome_1\RDBMS\ADMIN\utlxpls.sql SQL> @E:\app\kerry\product\11.2.0\dbhome_1\RDBMS\ADMIN\utlxplp.sql3:在SQL*PLUS下(有些命令在PL/SQL下无效)执行如下命令：SQL>SET TIMING ON --控制显示执行时间统计数据SQL>SET AUTOTRACE ON --这样设置包含执行计划、脚本数据输出、统计信息SQL>执行需要查看执行计划的SQL语句SQL>SET AUTOTRACE OFF --不生成AUTOTRACE报告，这是缺省模式SQL>SET AUTOTRACE ON EXPLAIN --这样设置包含执行计划、脚本数据输出，没有统计信息SQL>执行需要查看执行计划的SQL语句SQL>SET AUTOTRACE OFF --不生成AUTOTRACE报告，这是缺省模式SQL> SET AUTOTRACE ON --这样设置包含执行计划、统计信息、以及脚本数据输出SQL>执行需要查看执行计划的SQL语句SQL>SET AUTOTRACE OFFSQL> SET AUTOTRACE TRACEONLY --这样设置会有执行计划、统计信息，不会有脚本数据输出SQL>执行需要查看执行计划的SQL语句SQL>SET AUTOTRACE TRACEONLY STAT --这样设置只包含有统计信息SQL>执行需要查看执行计划的SQL语句SET AUTOT[RACE] {ON | OFF | TRACE[ONLY]} [EXP[LAIN]] [STAT[ISTICS]] 参考文档：SQLPlus User’s Guide and Reference Release 11.1注意：PL/SQL Developer 工具并不完全支持所有的SQL*Plus命令，像SET AUTOTRACE ON 就如此，在PL/SQL Developer工具下执行此命令会报错SQL> SET AUTOTRACE ON;Cannot SET AUTOTRACE4：SQL_TRACE可以作为参数在全局启用，也可以通过命令形式在具体SESSION启用4.1 在全局启用，在参数文件（pfile/spfile)中指定SQL_TRACE =true，在全局启用SQL_TRACE时会导致所有进程活动被跟踪，包括后台进程以及用户进程，通常会导致比较严重的性能问题，所以在生产环境要谨慎使用。
DATASTAGE的介绍及基本操作
内容提要：
• 一、datastage 介绍 • 二、如何安装datastage • 三、配置datastage 工程 • 四、设计并运行datastage的job • 五、操作元数据 • 六、操作关联数据 • 七、操作约束条件及数据来源 • 八、定义查找使用的哈希文件 • 九、聚合数据 • 十、job的运行及调试 • 十一、创建Basic表达式
• 使用DataStage中的Manager来存储和管理Job的元
数据，使之可以在DataStage中的Designer中再度被 使用。
• 元数据包括表单和文件结构和导出数据的Routines
的转换等等。
• Manager是DataStage存储的一个重要的部分，可以
用来加入表单和文件的结构，在左侧分支树中显示 Routines、Transforms和Jobs。
• 问题二：
Datastage的Manager用来执行编译通过的Jobs。（Yes/No）
答案二：
No， Datastage的Manager是用来管理元数据的，如表单结 构，内置和自定义Routines等的，使Datastage用来管理资源 存储的。
• 问题三：
Datastage的Director用来执行编译通过的Jobs。 （Yes/No） 答案三：
程中系统提示使用者选择安装路径和输入产 品序列号。
在Datastage Server安装的过程中会提示 用户建立一个工程。
在安装Datastage Server端以后，需要安 装Datastage Client端，鼠标点击
软件会自动进行安装，安装过程中系统提示 使用者选择安装路径和输入产品序列号。
• 安装有Datastage服务端的机器，必须运行
Datastage8.5的配置（通信等问题）
Datastage8.5的配置（通信等问题）Datastage8.5的配置(通信等问题)Datastagelinux版本的服务端、客户端安装完成后需要进行一些配置。
这是以我自己的使用过程遇到的错误进行了一次配置的总结。
有不对的地方请大家指正。
DS版本：8.5x服务端操作系统：linux redhat 5.7客户端操作系统：win7源数据和目标数据库为：oracle下列配置，是在服务端和客户端已经安装成功的情况下。
客户端和服务端的通信。
可能遇到问题：1. Failed to authenticate the current user against the selected service tier:Server [servername] not found.2. Failed to authenticate the current user against the selected service tier:Could not connect to server [servername] on port [portnumber].3. Failed to authenticate the current user against the selected Domain:Invalid user name (username) or password.解决思路，大概如下：一，确保所有的datastage 服务已经开启。
在linux 可使用ps -ef |grep db2 ，ps -ef|grep websphere，ps -ef|grep agent等命令来查看相关服务是否已经启动。
二，客户端配置在windows：C:\WINDOWS\system32\drivers\etc\hosts file 添加（服务器的IP地址，以及计算机名）比如：192.168.26.10 /doc/5018983421.html, dahost三，如果遇到用户名和密码的问题那么使用dsadmin 或者dsadm用户登陆客户端试试，密码是安装时自己设置的，切记。
Datastage8.5安装手册with_Oracle_repository
Datastage8.5安装⼿册with_Oracle_repository ⽬录1.概述 (1)1.1⽬的 (1)1.2适⽤范围 (1)2.安装环境 (1)2.1软件环境 (1)2.2硬件环境 (1)2.3安装软硬件需求 (2)2.3.1操作系统 (2)2.3.2操作系统内核参数 (2)2.3.3依赖动态链接库 (2)2.3.4内存 (3)2.3.5硬盘 (3)2.3.6知识库 (3)3.安装步骤 (3)3.1创建知识库 (3)3.1.1获取知识库创建脚本 (4)3.1.2获取知识库创建脚本 (4)3.2C++编译器安装 (4)3.3D A TASTAGE S ERVER安装 (4)3.3.1介质上传及解压 (4)3.3.2启动安装程序 (4)3.3.3使⽤浏览器登陆安装界⾯ (5)3.3.4安装前浏览信息 (5)3.3.5软件许可协议 (6)3.3.6防⽕墙检查 (7)3.3.7早期安装需求检查 (8)3.3.8指定Information Server安装⽬录 (9)3.3.10选择安装软件 (11)3.3.11选择要安装的产品 (12)3.3.12选择要安装的版本 (15)3.3.13集群配置 (15)3.3.14安装Websphere Application Server (17)3.3.15指定Websphere Application Server⽬录 (17)3.3.16为Websphere Application Server分配监听端⼝ (18) 3.3.17Websphere Application Server管理员配置 (19) 3.3.18Infomation Server管理员配置 (21)3.3.19Datastage知识库选择 (21)3.3.20配置Datastage知识库连接 (22)3.3.21Infomation Server代理端⼝配置 (23)3.3.22配置Datastage管理员 (25)3.3.23Infomation Server作业监听端⼝配置 (27)3.3.24Infomation Server多实例设置 (28)3.3.25DS全球化⽀持 (29)3.3.26MQ插件选择 (30)3.3.27SAS组件配置 (31)3.3.28安装过程是否创建⼯程 (32)3.3.29Information Analyzer分析数据库连接配置 (33)3.3.30软件安装软硬件需求检测 (34)3.3.31安装过程相应⽂件 (34)3.3.32安装前摘要 (36)3.3.33开始安装 (36)3.3.34安装完成 (38)3.4D A TASTAGE C LIENT安装 (38)4.DATASTAGE配置 (38)4.1D A TASTAGE S ERVER配置 (38)4.1.2DS系统环境设置 (43)4.2D A TASTAGE C LIENT配置 (43)5.卸载 (44)6.数据库连接访问配置 (45)6.1O RACLE连接配置 (45)6.1.1Oracle客户端安装 (45)6.1.2Datastage⽤户组设置 (47)6.1.3Datastage⽤户环境配置 (47)6.1.4重启服务使得配置⽣效 (47)6.1.5Oracle⽤户权限设置 (49)7.ODBC配置 (50)7.1DSENV配置 (51)7.2ODBC.INI配置 (51)7.3修改UVODBC.CONFIG (52)8.安装验证 (53)8.1基本作业验证 (53)8.2编译器是否正常 (55)8.3O RACLE CONNECTOR验证 (57)9.注意事项 (57)1.概述1.1⽬的本⽂档旨在描述Datastage8.5在Redhat EE 64bit Server5.9安装执⾏步骤，以及注意事项。
datastage使用说明
用DataStage进行数据整合DataStage 的开发环境是基于C/S 模式的，通过DataStage Client 连接到DataStage Server 上进行开发。
这里有一点需要注意，DataStage Client 只能安装在Windows 平台上面。
而DataStage Server 则支持多种平台，比如Windows、Redhat Linux、AIX、HP-UNIX。
DataStage Client 有四种客户端工具。
分别是DataStage Administrator、DataStage Designer、DataStage Manager、DataStage Director。
接下来首先介绍这几种客户端工具在DataStage 架构中所处的位置以及它们如何协同工作来开发ETL Job 的，接着再分别详细介绍每个工具的功能。
图1 描述了IBM WebSphere DataStage 的整个系统架构。
DataStage 的客户端工具连接到DataStage Server 上进行ETL Job 的开发，DataStage Server 再与后台的数据库连接起来进行数据处理。
DataStage 的客户端工具之间的是一个相互合作的关系。
下面通过介绍ETL Job的开发过程来介绍他们之间的这种关系。
ETL Job开发流程1．用DataStage Administrator 新建一个项目；2．用DataStage Designer 连接到这个新建的项目上进行ETL Job的设计；3．用DataStage Director 对设计好的ETL Job设置运行的模式，比如多长时间运行一次ETL Job；4．用DataStage Manager 进行ETL Job的备份等。
图1：IBM WebSphere DataStage 架构图DataStage AdministratorDataStage Administrator 的主要功能有以下几个：1．设置客户端和服务器连接的最大时间。
DATASTAGE使用实用指南
DATESTAGE 使用实用指南1.DataStage官方文档学习笔记1.1通过右键添加link鼠标右键点击起始stage，按住右键移动鼠标到目标stage。
还有一种方法就是把鼠标放在起始stage的边缘等到变为一个小圆圈里面有一个叉的时候拖动鼠标到目标stage。
1.2DataStage中默认和隐式类型转换时注意的问题当从源向目标映射数据时，如果类型不一致，对于有些类型我们需要在modify或transfomer stage中通过函数进行转换，对于有些系统会自动完成类型转换，在类型转换过程中，注意以下几点：1 在变长到固定长度字符串的默认转换中，parallel jobs用null（ASCII 0）字符来填充剩余长度。
联系到前面做的一个parallel job，当目标是变长时（当时源也是变长，但是好像源的精度要小些），但是字符串实际的长度没有指定的变长那么长的话，系统会自动用空格（ASCII 20）来填充（具体在哪个stage 填充的不知），而且环境变量APT_STRING_PADCHAR的默认值也是空格（ASCII 20）。
2 通过环境变量APT_STRING_PADCHAR可以改变默认的填充字符null（ASCII 0）。
注：联系上面两点，感觉文档讲的与实际不符，难道我们项目的administrator改变了该环境变量的默认值？3 有个PadString 函数可以用来用指定的字符来填充一个变长的字符串到指定的长度。
这个函数的参数不能使固定长度字符串，如果是固定长度的先转化为变长。
1.3Copy Stage作为占位符在job开发中，当你暂时不知道该使用哪个stage时，可以使用copy stage作为占位符，注意不要把Force 属性设为True，在不把Force设为True时，复制将在运行时进行优化。
使用Schema file来指定meta data1 可以通过列定义和schema file两种方式来指定meta data，值得注意的一点是Note that, if you usea schema file, you should ensure that runtime column propagation is turned on. Otherwise the column definitions specified in the stage editor will always override any schema file.即，如果想通过schema file来指定meta data，必须勾上runtime column propagation，否则总是使用列定义来作为meta data。
DataStage客户端安装及使用文档
DataStage 客户端安装及使用文档1.客户端安装1.1 安装步骤解压客户端文件client_IA-suite.rar，完成后，进入目录，client_IA-suite，运行install.exe，会提示如下：选择英语，点击确定，安装时，最好关闭防火墙，选择要安装客户端的位置，点击NEXT：选择要安装的组件，点击NEXT：选择安装模式，点击NEXT：点击INSTALL后，开始安装：点击FINISH，安装完成。
安装完成后，在本机的HOSTS文件中需要配置一下：目录：C:\Windows\System32\drivers\etc在最后一行添加如下：# localhost name resolution is handled within DNS itself.# 127.0.0.1 localhost# ::1 localhost17.83.26.110（IP地址为服务器地址）ETL110（这个名字可以自己取）1.2 DataStage Client组件安装完成后有如下组件：1.Administrator Client用于创建DataStage 用户，创建，移动项目，设置清除标准的用户界面。
2.Director Client用来验证，计划时间，运行，监控DataStage 作业的用户界面。
3.Designer Client用来创建DataStage 应用（或作业）的设计接口。
每个作业都指定数据源，所需的转换和数据的目的地。
作业被编译成可执行的，由Director 计划，由Server 运行（主机作业被转移，在主机上运行）。
4.Datastage Manager用于存储和管理JOB 的元数据，使之可以在DataStage Designer 中再度被使用，包括库表定义、集中的转换程序等，并对工程备份和恢复。
2.组件使用2.1Administrator Client2.1.1登陆界面ETL110为刚刚我们在HOSTS中配置的名字，端口一般都是9080输入DOMAIN和账号密码完成后，点击DATASTAGE SERVER 右边的小三角，这时DATASTAGE会去验证用户名密码，成功后，会出来下拉框，这时证明已经联通了，选中一个SERVER，点击OK即可登陆2.1.2设置参数登陆成功后，界面如下：General页签：Projects页签：点击工程属性按钮后，显示界面如下：General 页签：Protect Projec t :设置项目为protected, 如果一个项目已经是protected，则按钮就显示为“Unprotect Project”Auto-purge of job log：每个Job 都对应一个log 文件，Job 的每一次运行都会产生新的log 附加到log 文件中，如果不及时清除无用的log，将会占用大量的空间，同时还会影响Job 的运行效率。
DataStage 8.1 for windows 2003安装文档
IBM Information Server（DataStage）安装注：抱歉现在不能上传图片，CSDN啥时候才能传图片呢一、安装条件——系统需求.二、安装步骤.1. 安装文件说明：.2. 安装步骤说明：.a）安装DB2用于元数据管理.b）安装WebSphere Application Server用于发布.c）配置IBM Information Server服务管理员.d）添加Datastage项目.e） Information Analyzer数据库.f） DB2服务信息.g） DB2实例信息.3. 安装过程步骤图例：.三、各组件功能介绍.1. IBM Information Server 控制台.2. IBMInformation Server Web 控制台.3. Introduction to IBM Information Server FastTrack4. Multi-Client Manager5. Designer客户机.6. Administrator or客户机.7. Director客户机.四、添加用户、组及凭证.1. 登陆IBMInformation Server Web 控制台.2. 添加管理用户和组.3. 配置凭证.五、配置对Oracle数据库的访问.1. 配置环境变量.2. 安装install.liborchoracle六、 DataStage Designer客户端的登录.1. 登陆DataStage Designer客户端.2. 说明.一、安装条件——系统需求Server: Windows Server 2003 Service Pack 2Client: Windows XP Service Pack 2, Windows Vista, Windows Server 2003 Service Pack 2其它安装先决条件请参考：/infocenter/iisinfsv/v8r1/index.jsp?topic=/com.ibm.swg.im.iis.pr oductization.iisinfsv.migrate.doc/topics/switchingclients.html二、安装步骤1. 安装文件说明：服务端安装程序：InfoSvr_v8.1_WinSvr2003.zip客户端安装程序：InfoSvr_Client_v8.1_Win.zipLicense：infos-license.xml2. 安装步骤说明：解压InfoSvr_v8.1_WinSvr2003.zip，执行install.exe。
DataStageV8.5配置连接oracle操作手册
DataStageV8.5配置连接oracle操作手册编制：长安铃木信息系统课王川2012-5-7目录1概述 (4)1.1编写目的 (4)1.2系统配置 (4)1.3事前准备 (4)2开始安装客户端 (4)3配置DATASTAGE 环境 (6)4配置测试 (7)文档版本记录版本编号变更内容变更人日期DataStageV8.5配置连接oracle操作手册1概述1.1 编写目的DataStage V8.5 在安装后默认支持DB2 数据库，为了实现抽取ORACLE 数据库，需要配置服务器端。
1.2 系统配置DataStage V8.5Suse linux server sp11.3 事前准备1、安装XFTP：传递文件。
2、开启SSH服务：终端控制。
3、Oracle官网下载11g client。
/technetwork/database/enterprise-edition/downloads/112010-linuxsoft-085393.html2开始安装客户端1、FTP上传linux_11gR2_client.zip ，并解压至TMP目录。
2、创建组和权限。
groupadd oinstall groupadd dbauseradd –g oinstall –G dba –m oracle passwd oraclemkdir –p /home/oracle/chown -R oracle:oinstall /home/oracle/3、修改环境配置文件。
/etc/sysctl.conf 加上如下内容fs.aio-max-nr = 1048576 fs.file-max = 6815744 kernel.shmall = 2097152 kernel.shmmax = 536870912 kernel.shmmni = 4096kernel.sem = 250 32000 100 128 net.ipv4.ip_local_port_range = 9000 65500 net.core.rmem_default = 262144 net.core.rmem_max = 4194304 net.core.wmem_default = 262144 net.core.wmem_max = 1048586 net.ipv4.tcp_wmem = 262144 262144 262144 net.ipv4.tcp_rmem = 4194304 4194304 4194304启动时加载/etc/sysctl.conf/sbin/chkconfig boot.sysctl on使修改的参数立即生效/sbin/sysctl -p4、切换到ORACLE用户下，修改用户配置。
Datastage产品开发使用指南
Datastage产品开发使用指南目录目录 (I)1. 引言 (1)2. 常用STAGE使用说明 (1)2.1.S EQUENTIAL F ILE S TAGE (1)2.2.A NNOTATION (4)2.3.C HANGE C APTURE S TAGE (5)2.4.C OPY S TAGE (7)2.5.F ILTER S TAGE (8)2.6.F UNNEL S TAGE (9)2.7.T ANSFORMER S TAGE (10)2.8.S ORT S TAGE (11)2.9.L OOK U P S TAGE (12)2.10.J OIN S TAGE (12)2.11.M ERGE S TAGE (14)2.12.M ODIFY S TAGE (15)2.13.D ATA S ET S TAGE (16)2.14.F ILE S ET S TAGE (17)2.15.L OOKUP F ILE S ET S TAGE (19)2.16.O RACLE E NTERPRISE S TAGE (21)2.17.A GGREGATOR S TAGE (22)2.18.R EMOVE D UPLICATES S TAGE (24)2.19.C OMPRESS S TAGE (25)2.20.E XPAND S TAGE (26)2.21.D IFFERENCE S TAGE (27)2.22.C OMPARE S TAGE (29)2.23.S WITCH S TAGE (30)2.24.C OLUMN I MPORT S TAGE (31)2.25.C OLUMN E XPORT S TAGE (33)3. DATASTAGE ADMINISTRATOR常用配置 (35)3.1.设置T IME O UT时间 (35)3.2.设置P ROJECT的属性 (36)3.3.更新D ATA S TAGE S ERVER的L ICENSE和本地C LIENT的L ICENSE (37)4. DATASTAGE MANAGER使用 (37)4.1.导入导出J OB及其它组件 (37)4.2.管理配置文件 (39)5. DATASTAGE DIRECTOR使用 (40)5.1.察看J OB的状态，运行已经编译好的J OB (40)5.2.将编译好的J OB加入计划任务 (43)5.3.监控J OB的运行情况 (44)1.引言DataStage EE的开发主要由DataStage Designer完成。
Datastage虚拟机配置指南
Datastage虚拟机配置指南Datastage配置文档由于Datastage是个C/S架构的，如下图所示：因此首先要通过本机客户端（Client）连接服务器（Server），然后再通过服务器（Server）连接数据库（Database）。
本文档主要介绍如何通过配置虚拟机的连接方式，从而连接本机客户端（Client），虚拟机上的服务器（Server）及其本机的数据库（Database）。
具体方式如下：1.打开VMware Workstation，依次点击File ->Open。
2.找到服务器虚拟机存放路径，并打开Red Hat Enterprise Linux 4.vmx（或者直接进入Red Hat 4文件夹，双击打开Red Hat Enterprise Linux 4.vmx）。
3.启动服务器虚拟机，点击红圈所示。
4.对弹出的对话框全部点OK。
5.等待服务器虚拟机启动完毕，使用Username：dsadm及其Password：dsadm登录。
6.修改虚拟机连接方式为NAT，依次点击VMware Workstation 右下角的网络连接设置（图中红圈所示）-> Setting并在弹出的对话框中选择NAT，然后点击OK。
7.打开虚拟机的网卡配置。
在虚拟机中依次点击左上角的Applications -> SystemTools -> Network Device Control.8.然后选择Configure。
此时会提示输入Root密码，在这里输入：wangli，然后点OK。
9.配置网卡，选择所要配置的网卡，然后点击Edit。
10.设置虚拟机IP。
Address： 192.168.92.X（和Dafault gateway address 相对应。
X可以随便写，范围2-253），Subnet mask：255.255.255.0Dafault gateway address：192.168.92.1(注意，此处填写的是本机中虚拟网卡VMnet8的IP地址，比如说我的机器为192.168.92.1。
DataStage8.5安装手册
DataStage8.5安装手册DataStage 8.5 安装文档 1. 服务器安装前提要求，DataStage 的服务器推荐使用一台全新的干净服务器，全新安装的 SUSE Linux Enterprise Server 11，或者 Redhat AS 5.4，没有预装任何 DB2 和 WAS 软件。
rpm -Uvh compat-libstdc++-33-*.rpm rpm -Uvh libXp-1*.rpm rpm -Uvh libXmu-1.0.2-5.x86_64.rpm rpm -Uvh libXmu-1.0.2-5.i386.rpm cat "Add for DataStage" cat "kernel.sem = 250 256000 32 1024" >> /etc/sysctl.conf cat "kernel.msgmni = 1024" >> /etc/sysctl.conf sysctl -p安装步骤如下：DataStage 8.5 的安装介质为InfoSvr_v8.5_Linux64.tar.gz，解压后得到目录 is-suite。
在is-suite 下执行./setup，安装程序将启动一个Web 服务，URL 为 http://机器 IP:8080/ISInstall在浏览器（IE 或者 Fixforx）中打开上述 URL，例如，待安装的服务器IP 为192.168.5.170，则在浏览器栏输入http://192.168.5.170:8080/ISInstall。
缺省安装界面语言为英文（English），也可以选择中文。
本文档以英文为安装语言。
进入安装界面后，第一个界面选择 Next 按钮。
第二个界面如下图所示选择接受License 协议（I accept the terms in the license agreement），然后下一步（Next）。
DataStage_问题处理大全
DataStage乱码问题1.用户的.bash_profile里面：NLS_LANG=AMERICAN_AMERICA.ZH16GBK，如果说开发机器是Windows，那注册表项：[HKEY_LOCAL_MACHINE\SOFTWARE\ORACLE\KEY_OraDb10g_home1] 中NLS_LANG=AMERICAN_AMERICA.ZHS16GBK 这是为了能够在客户端正确地显示字符。
2.2DataStage Administration Client 选中自己的工程，点击NLS，查看其中的确Parallel Maps项，Dafault map name:直接输入GKB。
PXEngine\etc\Oracle_cs.txt 这个文件是Oracle和DataStage之间交互用的，添加以下二行：GBK ZHS16GBK ZHS16GBK GBKDataStage 中的Hash File近期遇到些使用hash file的问题，遂整理些自己搜集的东西，有些是翻译的，有些是自己写的，有些english资料不忍篡改，遂保留其原汁原味。
首先，What Exactly Are Hash Fils？•Group -physical division•Record -contains data•Key -identifies recordDataStage 中的hash file 无论是静态（"static" Types 2 - 18）还是动态（"dynamic" Type 30）都被分为许多group存储数据。
group是存贮文件数据的物理单元，每个Group大小相同，存贮零条或者多条数据。
对于静态Hash file，group的大小由指定分区决定，是512bytes的倍数。
举例说明：指定4个分区，则group以2,048bytes来创建；对于动态hash file，group的大小由GROUP.SIZE 参数来决定，以2,048 bytes为单元，GROUP.SIZE允许的值只有1和2，所以动态hashfile中的group大小只能是2 ,048或者4,096bytes。
DataStage Stage使用
Funnel阶段Funnel阶段是一个处理阶段。
它将多个输入数据集复制到单个数据集，该操作对于将单独数据集合并到单个大型数据集而言非常有用。
该阶段可以有众多输入链接和一个输出链接Funnel阶段能够以下列三种方式之一运行：1、连续传送以不可保证顺序合并输入数据的记录。
它依次从每个输入链接获取一条记录。
如果输入链接上的数据不可用，那么该阶段会跳至下一个链接，而不是等待。
2、排序传送按照一个或多个键列的值定义的顺序合并输入记录，输出记录的顺序由这绡排序键确定。
3、顺序将第一个输入数据集中的所有记录复制到输出数据集，然后将第二个输入数据集中的所有记录复制到输出数据集，依此类推。
对于所有方法，所有数据数据集的元数据都必须椒相同的。
排序传送方法对于其输入数据有一些特定要求。
所有输入数据集都必须根据Funnel操作的键列进行排序。
通常，排序传送操作的所有输入数据集在排序之前都是散列分区的（选择自动分区方法将确保完成这一操作）.散列分区可确保具有相同键列值的所有记录都位于同一分区中，以便在同一个节点上处理。
如果在Funnel阶段之前在单独的阶段上执行排序和分区，那么必须保留该分区排序传送操作允许您设置一个主键和多个辅键以确定将输出的记录的顺序。
Funnel阶段：快速路径InfoSphere DataStage有许多缺省设置，这表示您能够载作业中轻松包含Funnel阶段。
本部分指定了要使Funnel阶段运行所需的最少步骤。
InfoSphere DataStage提供了多样化的用户界面，且提供了许多快捷方式供您达到特定目标，本部分描述了基本方法。
要使用Funnel阶段：1、在“阶段”页面的属性选项卡中，指定“传送类型”。
“连续传送”为缺省值，但也可以选择“顺序”或“排序传送”。
如果选择使用“排序传送”方法，则还需要指定对数据进行排序所依据的键。
可以重复使用键属性来指定组合键。
2、如果使用“顺序”方法，请在“阶段”页面的“链接排序”选项卡中，指定合并数据集的顺序。
datastage综合使用参考手册
Ascential DataStage Enterprise Edition 综合使用参考手册目录目录 (I)1. 引言 (1)1.1.编写目的 (1)1.2.帮助使用 (1)2. 产品概述 (2)2.1.A DVANCED D EVELOPMENT AND M AINTENANCE (2)2.2.C OMPLETE D EVELOPMENT E NVIRONMENT (3)2.3.H IGHLY S CALABLE A RCHITECTURE (6)2.4.E ND－TO－E ND E NTERPRISE M ETA D ATA (7)3. 安装 (8)3.1.S ERVER安装 (8)3.1.1. Server安装前准备 (8)3.1.2. Server安装步骤 (9)3.1.3. 验证DataStage的安装 (22)3.1.4. Server启动和停止 (23)3.2.C LIENT安装 (24)4. 常规应用 (24)4.1.常用组件使用方法 (24)4.1.1. Sequential file (24)4.1.2. Annotation (27)4.1.3. Change Capture Stage (29)4.1.4. Copy Stage (31)4.1.5. Filter Stage (32)4.1.6. Funnel Stage (33)4.1.7. Tansformer Stage (34)4.1.8. Sort Stage (35)4.1.9. LookUp Stage (36)4.1.10. Join Stage (36)4.1.11. LookUp Stage 和Join Stage的区别 (38)4.1.12. Merge Stage (38)4.1.13. Modify Stage (39)4.1.14. Data Set Stage (40)4.1.15. File Set Stage (41)4.1.16. Lookup File Set Stage (43)4.1.17. Oracle Enterprise Stage (45)4.1.18. Aggregator Stage (46)4.1.19. Remove Duplicates Stage (48)4.1.20. Compress Stage (49)4.1.21. Expand Stage (50)4.1.22. Difference Stage (51)4.1.23. Compare Stage (53)4.1.24. Switch Stage (54)4.1.25. Column Import Stage (55)4.1.26. Column Export Stage (57)4.2.常用数据库的连接 (59)4.2.1. Informix数据库连接 (59)4.2.2. Oracle数据库连接 (60)5. 高级应用 (62)5.1.D ATA S TAGE BASIC接口 (62)5.2.自定义S TAGE T YPE (62)5.2.1. Wrapped Stage (62)5.2.2. Build Stage (67)5.2.3. Custom Stage (75)5.3.性能调优 (75)5.3.1. 优化策略 (75)5.3.2. 关键问题分析 (79)5.3.3. 并行度 (80)5.3.4. 处理建议 (80)5.3.5. 其它 (80)5.3.6. 机器的对称性 (81)5.3.7. 并行调度测试说明： (81)6. 开发经验技巧汇总 (82)6.1.1. 问题 (82)1.引言1.1.编写目的IBM DataStage作为项目主要使用的ETL开发工具，在项目中得到了比较充分的应用，对IBM DataStage产品方方面面的功能，都有所涉及。
datastage教程
1、【第一章】datastage简介与工作原理1、简介数据中心（数据仓库）中的数据来自于多种业务数据源，这些数据源可能是不同硬件平台上，使用不同的操作系统，数据模型也相差很远，因而数据以不同的方式存在不同的数据库中。
如何获取并向数据中心（数据仓库）加载这些数据量大、种类多的数据，已成为建立数据中心（数据仓库）所面临的一个关键问题。
针对目前系统的数据来源复杂，而且分析应用尚未成型的现状，专业的数据抽取、转换和装载工具DataStage是最好的选择。
Websphere DataStage 是一套专门对多种操作数据源的数据抽取、转换和维护过程进行简化和自动化，并将其输入数据集市或数据中心（数据仓库）目标数据库的集成工具。
DataStage 能够处理多种数据源的数据，包括主机系统的大型数据库、开放系统上的关系数据库和普通的文件系统等，以下列出它所能处理的主要数据源：大型主机系统数据库：IMS,DB2,ADABAS,VSAM 等开放系统的关系数据库：Informix,Oracle,Sybase,DB2,Microsoft SQL Server等ERP 系统：SAP/R3,PeopleSoft系统等，普通文件和复杂文件系统，FTP 文件系统，XML等IIS,Netscape,Apache等Web服务器系统Outlook等Email系统。
DataStage 可以从多个不同的业务系统中，从多个平台的数据源中抽取数据，完成转换和清洗，装载到各种系统里面。
其中每步都可以在图形化工具里完成，同样可以灵活的被外部系统调度，提供专门的设计工具来设计转换规则和清洗规则等，实现了增量抽取、任务调度等多种复杂而实用的功能。
其中简单的数据转换可以通过在界面上拖拉操作和调用一些DataStage 预定义转换函数来实现，复杂转换可以通过编写脚本或结合其他语言的扩展来实现，并且DataStage 提供调试环境，可以极大提高开发和调试抽取、转换程序的效率。
Datastage 配置操作步骤
1部署软件环境DB服务器：22.4.8.7DB客户端：22.4.8.10，22.4.8.11，22.4.8.12，22.4.8.13DataStage主服务器：22.4.8.11DataStage备份服务器：22.4.8.13DataStage节点：22.5.8.10，22.5.8.122创建用户为每台机器创建dstage组和dsadm用户运行smit命令，启动管理界面在安装机器上创建dstage组设置ADMINISTRA TIVE USER 选项为true设置GID设为300创建用户dsadm设置主属为dstage，设置ADMINISTRA TIVE USER 选项为true；设置UID设为300；设置Primary GROUP，Group SET，ADMINISTRATIVE GROUPS：均为dstage；设置Soft FILE size [-1] （无限制）设置Hard FILE size [-1] （无限制）3修改系统参数调整每台机器的最大进程数查看用户进程最大数目：lsattr -El sys0|grep maxuproc如：修改用户进程最大数目：注意：要调整每个Ｄatastage节点的最大进程数用root用户登陆，键入即可。
chdev -l sys0 -a maxuproc=40964DataStage安装4.1上传DataStage介质到服务器上将介质拷贝到终端上，然后ftp到22.4.8.11和22.4.8.13上，将介质放在/Ascential.media 目录下，并赋上所有权限：chmod -R 777 /Ascential.media4.2安装DataStage4.2.1进入/Ascential.media，运行sh ./install.sh –admin dsadm，中间安装过程请参考上线文档，在安装过程中创建工程ETL_ODS.4.2.2配置dsadm用户.profile环境变量，增加如下内容22.4.8.11：# The following three lines have been added by IBM DB2 instance utilities.if [ -f /home/db2inst1/sqllib/db2profile ]; then. /home/db2inst1/sqllib/db2profilefi#ds envexport ETLPLUS_HOME=/home/dsadmexport DSHOME=/home/dsadm/Ascential/DataStage/DSEngineexport APT_ORCHHOME=/home/dsadm/Ascential/DataStage/PXEngineexport DB2HOME=/home/db2inst1/sqllibexportPATH=$PATH:$DSHOME/bin:$DB2HOME/include:/home/dsadm/Ascential/DataStage/PX Engine.753.1/libexportLIBPATH=$LIBPA TH:$DSHOME/lib:$APT_ORCHHOME/lib:/home/dsadm/Ascential/Dat aStage/PXEngine.753.1/lib. $DSHOME/dsenv22.4.8.13：# The following three lines have been added by IBM DB2 instance utilities.if [ -f /home/db2inst1/sqllib/db2profile ]; then. /home/db2inst1/sqllib/db2profilefi#ds envexport ETLPLUS_HOME=/home/dsadmexport DSHOME=/home/dsadm/Ascential/DataStage/DSEngineexport APT_ORCHHOME=/home/dsadm/Ascential/DataStage/PXEngineexport DB2HOME=/home/db2inst1/sqllibexportPATH=$PATH:$DSHOME/bin:$DB2HOME/include:/home/dsadm/Ascential/DataStage/PX Engine.753.1/libexportLIBPATH=$LIBPA TH:$DSHOME/lib:$APT_ORCHHOME/lib:/home/dsadm/Ascential/Dat aStage/PXEngine.753.1/lib. $DSHOME/dsenv22.4.8.10：export DSHOME=/home/dsadm/Ascential/DataStage/DSEngineexport APT_ORCHHOME=/home/dsadm/Ascential/DataStage/PXEngineexport DB2DIR=/opt/IBM/db2/V9.5export DB2INSTANCE=db2inst1export INSTHOME=/home/db2inst1exportPATH=$PATH:$INSTHOME/sqllib/bin:$INSTHOME/sqllib/adm:$INSTHOME/sqllib/misc: $APT_ORCHHOME/lib:$APT_ORCHHOME/binexportDB2PATH=$INSTHOME/sqllib/bin:$INSTHOME/sqllib/adm:$INSTHOME/sqllib/misc exportLIBPATH=$LIBPA TH:$DB2DIR/lib:$INSTHOME/sqllib/lib:$APT_ORCHHOME/lib export ETLPLUS_HOME=/home/dsadm22.4.8.12：export DSHOME=/home/dsadm/Ascential/DataStage/DSEngineexport APT_ORCHHOME=/home/dsadm/Ascential/DataStage/PXEngineexport DB2DIR=/opt/IBM/db2/V9.5export DB2INSTANCE=db2inst1export INSTHOME=/home/db2inst1exportPATH=$PATH:$INSTHOME/sqllib/bin:$INSTHOME/sqllib/adm:$INSTHOME/sqllib/misc: $APT_ORCHHOME/lib:$APT_ORCHHOME/binexportDB2PATH=$INSTHOME/sqllib/bin:$INSTHOME/sqllib/adm:$INSTHOME/sqllib/misc exportLIBPATH=$LIBPA TH:$DB2DIR/lib:$INSTHOME/sqllib/lib:$APT_ORCHHOME/libexport ETLPLUS_HOME=/home/dsadm22.4.8.7：# The following three lines have been added by IBM DB2 instance utilities.if [ -f /home/db2inst1/sqllib/db2profile ]; then. /home/db2inst1/sqllib/db2profilefiexport ETLPLUS_HOME=/progexport DSHOME=/home/dsadm/Ascential/DataStage/DSEngineexport APT_ORCHHOME=/home/dsadm/Ascential/DataStage/PXEngineexport DB2DIR=/opt/IBM/db2/V9.5export DB2INSTANCE=db2inst1export INSTHOME=/home/db2inst1exportPATH=$PATH:$INSTHOME/sqllib/bin:$INSTHOME/sqllib/adm:$INSTHOME/sqllib/misc: $APT_ORCHHOME/lib:$APT_ORCHHOME/binexportDB2PATH=$INSTHOME/sqllib/bin:$INSTHOME/sqllib/adm:$INSTHOME/sqllib/misc exportLIBPATH=$LIBPA TH:$DB2DIR/lib:$INSTHOME/sqllib/lib:$APT_ORCHHOME/libexport DateInfoPath=/gpfsf/DateInfoPath5配置rsh环境。
Datastage 用户配置指南
© 2012 IBM Corporation
In the Web Console, go to the Administration Tab, expand the “Users and Groups” category and click “Users”. This will give an option for “New User” on the right side. Click “New User” to create a new Information Server user.
On the right side of the screen, under Assign User Credentials, enter the username and password for the operating system user on the DataStage Engine server that you want the DataStage administrator user to use. The DataStage Administrator account is typically mapped to the OS account that was defined as the DataStage administrator during the initial install. Next, click Apply and Close. The dsadm account should now be a functional DataStage Administrator account.
7
Setting up basic DataStage users
© 2012 IBM Corporation
DataStage8.5服务器安装教程
DataStage8.5服务器安装教程小燕资料铺2021-11-17目录1.文档介绍 (4)2.安装DataStage服务器 (4)2.1.操作系统补丁及其他要求 (4)2.2.Linux主机资源要求 (4)2.3.操作系统磁盘空间要求 (4)2.4.检查安装环境 (5)3.安装步骤 (5)3.1.Orace数据库的安装 (5)3.2.DataStage服务器安装 (7)4.DataStage服务器配置步骤 (26)5.配置字符集 (32)6.DataStage服务器FIXPATCH1更新步骤 (34)7.Oracle Connector配置步骤 (35)7.1.修改dsenv文件 (35)7.2.配置完成后重启DATASTAE、WAS (36)8.安装问题诊断 (37)1.文档介绍本文档内容为安装Datastage8.5的服务器内容，安装内容包括DataStage、WAS、Metadata Repository,其中元数据库安装在Oracle11g上。
2.安装DataStage服务器2.1.操作系统补丁及其他要求系统要求Rhel5.464-bit系统包Rhel5.464-bitC++编译器libgcc-4.1.2-42.el5compat-gcc-c++-7.3.2.96.122compat-libstdc++-7.3-2.96.1222.2.Linux主机资源要求安装DataStage服务器的主机资源至少为为4C、16G。
2.3.操作系统磁盘空间要求2.4.检查安装环境检查C++编译器【root用户】：运行命令：#rpm–qa|grep package_name。
逐个检查需要的补丁包是否安装。
3.安装步骤3.1.Orace数据库的安装以下操作用【root用户】1，关闭防火墙.关闭：chkconfig iptables off查看：chkconfig--list|grep iptables重启生效2，关闭selinux:vi/etc/selinux/config设置selinux=disabledvi/etc/sysconfig/selinux设置selinux=disabled重启生效。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Datastage8.5的配置(通信等问题)
Datastagelinux版本的服务端、客户端安装完成后需要进行一些配置。
这是以我自己的使用过程遇到的错误进行了一次配置的总结。
有不对的地方请大家指正。
DS版本：8.5x
服务端操作系统：linux redhat 5.7
客户端操作系统：win7
源数据和目标数据库为：oracle
下列配置，是在服务端和客户端已经安装成功的情况下。
客户端和服务端的通信。
可能遇到问题：
1. Failed to authenticate the current user against the selected service tier:
Server [servername] not found.
2. Failed to authenticate the current user against the selected service tier:
Could not connect to server [servername] on port [portnumber].
3. Failed to authenticate the current user against the selected Domain:
Invalid user name (username) or password.
解决思路，大概如下：
一，确保所有的datastage 服务已经开启。
在linux 可使用ps -ef |grep db2 ，ps -ef|grep websphere，ps -ef|grep agent等命令来查看
相关服务是否已经启动。
二，客户端配置
在windows：C:\WINDOWS\system32\drivers\etc\hosts file 添加（服务器的IP地址，以及计算机名）
比如：192.168.26.10 dahost
三，如果遇到用户名和密码的问题那么使用dsadmin 或者dsadm用户登陆客户端试试，密码是安装时自己设置的，切记。
如果使用的是其他用户，那么登陆web console ，确保已经做好了Credential mapping 。
四，确保使用的是正确的port ，端口一般是9080。
控制台是9060
可以通过netstat -a 来查看当前监听的是哪一个端口。
使用oracle组件，或从oracle导入源数据，加载数据到oracle数据库
第一步安装oracle 客户端
1. 在服务器上安装oracle客户端，配置tnsnames.ora(linux下的oracle的ora文件时需要自己手动添加的), 并启动TNS服务
2. 需要在/etc/hosts文件中加上要连接到的oracle服务器的IP、计算机名信息。
第二步配置desnv ---配置$DSHOME/dsenv文件
1）进入DSEngin目录，备份dsenv后将其打开
cd /IBM/InformationServer/Server/DSEngine
cp dsenv dsenv.bak
vi dsenv
2) 修改LIBPATH内容
如果文件中不含有上述有颜色部分，则需要添加；如果已经含有，则只需要添加如下内容：
添加完内容后，执行以下命令：
bash
.$DSHOME/dsenv
第三步配置profile 文件(好像不用配置也可以。
这个不太确定。
可以先不配置。
试试能不能使用)
配置完后，输入下列命令：
bash
. /home/dsadm/.profile
第四步安装oracle 组件
切换到DS组件安装目录/opt/IBM/InformationServer/Server/DSComponents/install，执行命令安装oracle组件：。