ETL维护手册
天融信TA系统数据库维护手册
TA系统数据库维护手册利用TA系统做数据库的备份和恢复1、本地数据库备份:1、具体方法：使用GUI连接到TA Server上，在服务器配置里面选择任务调度策略，新建一个备份数据库任务，riL J肆霜驚繰畿瞿箴蠶蠶令黠F向导’您只扁要）^择和输入-锁•:上一歩⑤fr一步凰〉|飓消1注意：完全备份的间隔时间根据日志产生量来确定, 的计算公式是：完全备份的间隔天数<= （磁盘大小12）1每天产生的日志量，推荐至少每周做一次完全备份设S任务执行时闾翳鹭驛矗餐離舉熬期靡?下跻调度时间•翻沁择O 立即执昏©计立嗣—每天执行 ©毎周执行厂1L 債D 垢月执匸ro 自定义时问 piZJ 31^~3314"上’：'4取消I注意：备份参数选择完全备份， 可以根据需要选择是否清除数据库里面的数据;如果选择了“备份完成后清除旧日志” 定要选“紧缩数据库空间”才能保证数据库空间有效释放。
厂1L 債1、 融髓巒执行时，■^统将日志目鳩份在愆指走的歸桎下.關徨为远程服务备份类型；© 融韻邺•O 増量备份（増呈备愉之前必颔进行过完全备份）H ■ ■ ■ ■ ■ ■ ■ X0不删除I 日日志 O 渚除所有旧日志 O 活隍氏于厂数嶠库选项:□紧霜数据库空间验证完全备份是否成功: 棗曲日志°<上1步迢〕I T -步®〉| 取消 ]在开始菜单，选择程序，TOP SEC 安全审计综合分析系统，审计服务器，配置服务器，在数据库设置里面找到备份文件路径，验证路径里面是否存在定制时间的文件，并且以 DBK为扩展名基本设置数据库设置厂1L -I II詹麗驚繰畿霭霧離卸翳号鯛'您只需要选擇和输1硕数据库类型|HS 5eL SIKVEE2000 3服薯器诵口 |1433用尸名 恋码备阱文件诧径[eTVbak=取消I2、 建立增量备份:任务荃本信息职消I 同建立完全备份的方法，在备份参数里面选择增量备份, 建议增量备份的时间间隔为一天,可以根据需要调整设S任务执行时闾翳鹭驛矗餐離嬲曙期靡?下跻调度时间•翻沁择需"O 立即执昏c 上一齿国11下一歩也〕〉| 取消 I注意提示：必须已经成功做过完全备份才可以建立增量备份厂1L 債II融勰巒执行时，统将日志目鳩份在您指走的蹄轻下.關勧远程服务备份类型；0完全备份 0増呈勧幷増曼备符乏箭匹须进行过完至备扮丁j■ H H ■ ■ ■ ■ ■ H ■ ■ ■ ■ H ■ H ■ ■ ■ ■ ■ H H ■ ■ ■ ■ . — . . ■ ■ ■ H ■ H ■ ■ H H ■ ■ ■ ■ . H ■ ■ ■ H ■ H ■ ■ H H ■ ■ ■ ■ . H ■ ■ ■ H ■ H ■ H0不删除I 日日志 O 満殊所有旧日志圭的日志-数鬻库逝项:□紧霜数据库空间3、验证增量备份是否成功：厂1&计划执I ~0骞沃抉行0毎周执行 0毎月执疔0自定义时问[Si re F0ZI W |i 壮越血 W1^~3 |M 西號314:29：[J 2＜上1步迢〕I T -步®取消IFBK同验证完全备份的方法，验证数据库备份路径里面是否存在定制时间的文件，并且以为扩展名2些有用的心得（来自深圳雷江生）、刚刚安装设置完成后，建议立即做一次的完整备份；保证完整备份的DBK文件尽可能小，这样在进行历史数据的恢复的时候，速度会快些。
E数据库服务器维护手册sybse公司
ASE数据库服务器维护手册目录☆概述在ASE数据库服务器运行工作期间，数据库系统管理员应该完成相应的日常维护工作，在出现数据库故障后，应该具备一定的故障定位和解决能力，以保证数据库系统的稳定、高效运行，为应用系统提供正常的工作平台。
本文用于数据库管理员日常维护使用。
主要分为以下章节：ASE数据库服务器安装、ASE日常维护管理、ASE故障检查及恢复、ASE性能监控及优化☆ASE数据库服务器安装篇本篇以一个实际的产品安装过程为例，讲述ASE服务器的安装及基本配置过程。
因具体软硬件情况不同，某些细节可能有所差异，在实际安装过程中可能需要更改相应的部分。
硬件环境：IBM RS6000 H85双机（双CPU、1G内存）操作系统：IBM AIX 5.1.0.0数据库系统：SYBASE ASE FOR IBM 64bit，Version 12.5（For IBM 5L）一．逻辑卷组由IBM工程师对主机本地磁盘及磁盘阵列进行划分，系统中应已经存在多个逻辑卷组：rootvg、dbvg等。
其中的dbvg用于数据库系统数据库。
另外，建议为sybase ASE产品分配单独的存放空间（单独的文件系统存放），空间大小为2G左右。
（根据应用系统情况不同，可能需要划分多个逻辑卷组以对多个应用系统提供单独的存储系统。
）二．逻辑卷（根据应用系统情况不同，划分的逻辑卷大小、个数可能会有所差异，应在划分前与Sybase工程师进行相应的确认。
）三．创建sybase用户组及用户为了便于权限管理，需要创建sybase用户组和sybase用户。
建立sybase用户组使用操作系统管理员root用户身份，运行smitty管理工具使用上下箭头键选择 Security & Users ✍Groups ✍Add a Group在Group NAME处输入组名sybase，其余使用默认值即可，回车将弹出添加用户组成功提示，使用F3键返回上一界面。
ETL操作手册_TV模式
快速入门指南 电视分析仪/接收机模式目录说明 (1)1频道表和调制标准 (2)1.1频道表 (2)1.1.1编辑频道表 (5)1.1.2创建频道表 (6)1.1.3频道表复制 (6)1.2调制标准 (6)1.2.1创建新调制标准 (7)1.2.2 编辑调制标准 (10)1.2.3 调制标准复制 (10)1.2.4 模拟电视调制标准 (10)1.2.5 数字电视调制标准 (12)2模拟电视基础和测试用例 (14)2.1 频谱测量 (15)2.2 载波测量 (16)2.3 视频示波 (16)2.4视频调制测量 (17)2.5 Hum测量 (18)2.6 C/N测量 (20)2.6.1离线（Off-Service）C/N测试 (20)2.6.2在线（In-Service）C/N测试 (21)2.6.3 Quiet Line C/N测试 (22)2.7 CSO测量 (23)2.7.1离线（Off-Service）CSO测试 (23)2.7.2 Quiet Line CSO测试 (25)2.8 CTB测量 (26)3DVB-C,J.83A/C测试用例 (27)3.1 频谱测量 (28)3.2 测试结果一览 (29)3.3 星座图测试（Modulation Analysis） (30)3.4 幅度、相位和群时延分析（Channel Analysis） (31)3.5 APD/CCDF测量 (31)4DVB-T/H测量用例 (32)5TV Analyzer测量 (32)6频道表测试与不利用频道表测试 (33)7通用功能和信息 (34)7.1 信号电平 (34)7.2 衰减调整 (34)7.3 测量显示界面的标识 (35)7.4 状态栏标识 (35)7.5 术语和缩写 (35)说明R&S ETL的操作指南包括三种：快速入门指南、操作手册和在线帮助。
对于ETL而言，主要分为频谱分析仪和电视分析仪/接收机两大功能，为了方便，我们分开撰写了快速操作指南。
ETL维护手册
ETL系统维护手册1.概述文件包括以下方面的内容：▪简要描述了ETL系统的概念，目标和系统边界。
▪描述了ETL系统的整个处理流程。
▪描述了ETL系统的系统结构和功能模块。
▪确定了ETL服务器的目录结构和ETL作业的命名原则，从而能够以此为依据来设计、管理经营分析系统的数据转换作业。
2.ETL系统概念ETL系统是经营分析系统的一个子系统，完成经营分析系统所必须的ETL过程。
ETL是extraction,transformation和load的缩写，意思是抽取，转换和加载。
下面对三个概念分别说明：▪抽取：将经营分析所关注的原始的未经转换的源数据从源系统中抽取出来，按照一定的格式形成数据块，并按照特定的传输协议从源系统传到ETL系统，做为ETL系统下一步操作的数据源。
▪转换：将源系统传来的源数据按照经营分析系统的所规定的正确性，一致性，无冗余性的要求进行转换。
▪加载：将数据加载到经营分析系统的数据仓库中。
1.1. ETL目标ETL系统的目标是经过适当的抽取，转换和加载过程，将经营分析系统所关注的数据从源系统中正确地，一致地，无冗余地载入经营分析系统的数据仓库中。
1.2. ETL系统边界ETL系统边界包括两部分：▪ETL系统同源系统的接口界面：ETL系统同源系统的交互是通过文件形式完成的。
源系统按照经营分析系统的要求按照特定的周期以特定的格式生成源数据文件，ETL系统取得源系统生成的数据文件进行下一步的处理。
▪ETL系统同经营分析系统其它子系统的接口界面：ETL系统同经营分析系统其它子系统的交互是通过数据仓库的基层表形式完成的。
ETL按照经营分析系统的要求，将数据加载到数据仓库的基层表，经营分析系统其它子系统根据基层表中的内容形成面向分析使用的中间表，多维数据库表等等。
1.3. ETL处理流程ETL处理流程包括以下几个方面：▪取数据文件流程：取数据文件流程即是ETL系统同源系统的接口处理流程，包括以下几个步骤：•取得源系统当前传送的数据文件文件名列表•校验文件的完整性，根据文件名列表中文件大小和我们实际取得的文件的文件大小进行比较，可以得到源数据是否完整。
东方通ETL工具软件TI-ETLv2产品白皮书全解
T ongT ech®TI-ETL v2产品白皮书北京东方通科技公司2015年目录1 前言 (1)2 为什么要用ETL (1)2.1 业务需求 (1)2.2 IT需求 (2)2.3 IT与业务一致性要求 (2)3 TI-ETL v2简介 (3)3.1 产品组成结构 (3)3.1.1 集成开发工具 (4)3.1.2 服务器 (5)3.1.3 资源库 (5)3.1.4 统一管理平台 (6)3.2 产品结构关系 (7)3.3 转换流程和任务流程 (8)3.3.1 转换流程 (8)3.3.2 任务流程 (9)4 主要功能和特点 (10)4.1 大数据适配 (10)4.2 强健的ETL引擎 (10)4.3 丰富的系统适配 (11)4.4 资源统一存储 (11)4.5 丰富的处理组件 (11)4.6 多种数据抽取模式 (11)4.7 图形化操作/调试/预览能力 (11)4.8 高效数据处理 (12)4.9 异常恢复和数据一致性 (12)4.10 强大的监控管理功能 (12)4.11 插件式组件管理和可扩展性 (12)4.12 国产环境支持 (13)5 成功案例 (13)1前言随着IT应用建设的发展，数据成为了最重要的资源，无论是接地气的业务系统、应用软件、数据中心或是高大上的云/物/移/大/智，均是以数据资源为核心，依托发挥数据价值而存在和发展。
目前，虽然各行业IT发展成熟度不一致，但基本已经度过了大批量业务系统建设阶段，业务系统也经过了几年的运转，积累了不同量级的数据资源。
但因早起IT业务系统的很少跨部门、跨单位、跨层级的统一规划和建设，导致业务系统处于分散、独立的状况，业务间数据资源不仅处于烟囱状态，数据资源的一致性和互用性较差，数据资源的价值无法充分发挥。
此外，各行业自身业务也在逐渐多元化和复杂化，业务产生和所需使用的数据也就具有不确定和频繁变动性，导致一旦应用发生变化、新增系统或物理数据变动，一旦无法借助某些手段适应变化，整个应用和数据体系均有较大可能不得不随之修改。
ORACLE数据库日常维护手册(最全+最实用)
ORACLE数据库日常维护手册（最全+最实用）byfwyangoracle日常维护手册查阅数据库版本select*fromv$version;查阅数据库语言环境selectuserenv('language')fromdual;查阅oracle实例状态selectinstance_name,host_name,startup_time,status,database_statusfromv$instanc e;查阅oracle监听状态lsnrctlstatus查看数据库归档模式selectname,log_mode,open_modefromv$database;查看回收站中对象selectobject_name,original_name,typefromrecyclebin;清空回收站中对象purgerecyclebin;还原回收站中的对象flashbacktable\tobeforedroprenametotest;1byfwyang闪回误删除的表flashbacktableaaatobeforedrop;闪回表中记录到某一时间点altertabletestenablerowmovement;flashbacktabletesttotimestamp21:17:47','yyyy-mm-ddhh24:mi:ss');to_timestamp('2021-10-15查阅当前可以话selectsid,serial#,username,program,machine,statusfromv$session;查阅ddl门锁select*fromdba_ddl_lockswhereowner='fwyang';检查等待事件selectsid,ername,event,wait_class,t1.sql_textfromv$sessiona,v$sqlareat1whe rewait_class<>'idle'anda.sql_id=t1.sql_id;检查数据文件状态selectfile_name,statusfromdba_data_files;检查表空间使用情况selectupper(f.tablespace_name)\表中空间名\,d.tot_grootte_mb\表中空间大小(m)\,d.tot_grootte_mb-f.total_bytes\已使用空间(m)\,to_char(round((d.tot_grootte_mb-f.total_bytes)/d.tot_grootte_mb*100,2),'990.99')\采用比\,f.total_bytes\空闲空间(m)\,2byfwyangf.max_bytes\最小块(m)\from(selecttablespace_name,round(sum(bytes)/(1024*1024),2)total_bytes,round(max(bytes)/(1024*1024),2)max_ bytesfromsys.dba_free_spacegroupbytablespace_name)f,(selectdd.tablespace_name,round(sum(dd.bytes)/(1024*1024),2)tot_grootte_mbfromsys.dba_data_filesddgroupb ydd.tablespace_name)dwhered.tablespace_name=f.tablespace_nameorderby4desc;膨胀表中空间altertablespcets_aj_datacoalesce;减少表中空间大小selectt.tablespace_name,t.file_name,t.bytes/1024/1024/1024fromdba_data_filestwheret.tablespace_name='ts_aj_data';altertablespacets_aj_dataadddatafile'/data/ts_aj_data05_10g.dbf'size10000mauto extendoff;检查不起作用的约束selectowner,constraint_name,table_name,constraint_type,statusfromdba_constrain tswherestatus='disable';检查出现坏块的数据库对象selecttablespace_name,segment_type,owner,segment_namefromdba_extentswherefile_id=<afn>and<block>betweenblock_idandblock_id+blocks-1;3byfwyang检查违宪的数据库对象selectowner,object_name,object_typefromdba_objectswherestatus='invalid';查看语句执行进度selectse.sid,opname,trunc(sofar/totalwork*100,2)||'%'aspct_work,elapsed_secondselapsed,round(elapsed_seconds*(totalwork-sofar)/sofar)remain_time,sql_textfromv$session_longopssl,v$sqlareasa,v$sessionsewheresl.sql_hash_value=sa.hash_ valueandsl.sid=se.sidandsofar!=totalworkorderbystart_time;检查碎片程度低的表中selectsegment_nametable_name,count(*)extentsfromdba_segmentswhereownernotin('sys','system')groupbysegment_namehavingcount(*)=(selectmax(count(*))fromdba_segmentsgroupbysegment_name);检查表空间的i/o比例selectdf.tablespace_namename,df.file_name\,f.phyrdspyr,f.phyblkrdpbr,f.phywrts pyw,f.phyblkwrtpbwfromv$filestatf,dba_data_filesdfwheref.file#=df.file_idorderbydf.tablespace_na me;4byfwyang检查碎片程度低的表中selectsegment_nametable_name,count(*)extentsfromdba_segmentswhereownernotin('sys','system')groupbysegment_namehavingcount(*)=(selectmax(count(*))fromdba_segmentsgroupbysegment_name);检查文件系统的i/o比例selectsubstr(a.file#,1,2)\,substr(,1,30)\,a.status,a.bytes,b.phyrds,b.ph ywrtsfromv$datafilea,v$filestatbwherea.file#=b.file#;检查消耗cpu最低的进程selectp.pidpid,s.sidsid,p.spidspid,ernameusername,s.osuserosname,p.serial#s_#,p.terminal,p.programprogram,p.background,s.status,rtrim(substr(a.sql_text,1,80))sqlfromfromv$processp,v$sessions,v$sqlareaawhere p.addr=s.paddrands.sql_address=a.address(+)andp.serial#<>'1';检查运转好久的sqlselectusername,5。
ETL使用手册
ETL使用手册2007年11月8日ETL使用手册第一章配置文件结构<loaderJob>//根标签<restartCounter/>//在目标数据库中创建数据表,纪录importDefinition标签重新启动的次数,如果存在表明会抛错.<variables>//接收参数定义<variable/></variables><jdbcDefaultParameters>//默认JDBC连接<jdbcSourceParameters><jdbcSourceParameter/></jdbcSourceParameters><jdbcTargetParameters><jdbcTargetParameter/></jdbcTargetParameters></jdbcDefaultParameters><sql>//执行SQL语句<jdbcTargetParameters><jdbcTargetParameter/></jdbcTargetParameters><sqlStmt><include/></sqlStmt></sql><definitionInclude>//定义包含<include/>//包含多个<definitionInclude>标签文件<echo/>//日志开头要显示的信息<copyTable/>//简单表复制<importDefinition>//导入定义<sortColumns>//确保字段数据唯一<sortColumn/></sortColumns><jdbcParameters>//导入任务定义的JDBC连接<jdbcSourceParameters><jdbcSourceParameter/></jdbcSourceParameters><jdbcTargetParameters><jdbcTargetParameter/></jdbcTargetParameters></jdbcParameters><valueColumns>//直接对应转换列<valueColumn/></valueColumns><transformations>//自定义转换规则<transformation>//转换规则<sourceColumns><sourceColumn/></sourceColumns><targetColumns><targetColumn/></targetColumns><javaScript><include/></javaScript></transformation></transformations><variableColumns><variableColumn/>//将变量值赋给目标字段必须属性override="true"<userIDColumn/>//将当前用户赋给目标字段<timeStampColumn/>//将当前时间赋给目标字段</variableColumns><relationColumns><relationColumn/>//导入外键关系（必须存在对应关系）</relationColumns><constantColumns><constantColumn/>//将固定值（常量）赋给目标字段</constantColumns><counterColumns><counterColumn/>//通过计数器表向目标字段自动增量生成数据（例如：自动加1）<subCounterColumn/><subCounterKeyColumn/></subCounterColumn></counterColumns><tables>//定义目标表<table/></tables></importDefinition></definitionInclude></loaderJob>第二章标签说明<loaderJob>ETL配置文件的根标签。
数据仓库系统运维操作手册
数据仓库生产环境操作手册一．运维概述“数据仓库生产系统”的运行维护责任在于保障系统运行，运维方式主要是操作员通过工作机远程登陆到系统中的相关主机，对主机进行操作，包括automation调度系统、数据库、磁盘、软件环境、数据情况等，查看批出理的运行情况，一旦运行出现问题作相应的记录并通知相关的技术人员，作出相应的处理。
所有运维项目成员严格按照《数据仓库系统运维守则.doc》文档来进行运维检查工作，否则出现事故由值班人员和当日值班负责人承担事故责任。
二．运维内容1．每日维护1.1数据检查每日批处理运行前运行完成后都需要对源头的数据和生产出的数据进行检查，确保当日批处理程序正常从事生产。
检查工作在每日9：00-9：30之间完成，且必须在启动程序（批处理程序）前执行。
具体规定如下：1.1.1 转定长数据的检查每天上午9:00--9：45之间，运维值班人员进行这项工作具体执行步骤如下:1.在本地工作机上使用telnet远程登录工具登录到168.7.6.163服务器上，输入用户名sjtq,密码:cib2009edw,2.输入命令 cd EDW/sh/log3.输入命令 more yyyymmdd当天的日志，是否有错误信息，最后数据是否都上传结束。
4.以下错误属于正常情况：03:00:03 : 1.检查20091031标志文件失败～～～～～～～～～03:00:03 : 1.数据标志检查失败，等待5分钟(06001/dta_varied)正常等待情况5.检查点如下：1）每个大任务开始的初始化操作03:00:00 : ================ 0.环境变量设置完毕 ================ 2）数据装载，卸载，上传，整个模块处理结束的情况。
05:41:50 : ================ 2.装载Unl数据完毕 ================05:41:50 : ---------------- 2.开始装载BAK数据----------------05:41:50 : ================ 2.装载BAK数据完毕 ================05:41:50 : ---------------- 3.开始卸载fix数据----------------06:26:11 : ================ 3.卸载fix数据完毕================06:26:11 : ---------------- 4.开始向批量数据交换平台送fix数据----------------06001 send ok06001 send ok06002 send ok06002 send ok07002 send ok07002 send ok06027 send ok06027 send ok06:28:56 : ================ 4.向批量数据交换平台送fix数据完毕================06:28:58 : END6.查找是否存在“错误“，”出错“字样。
数据库维护工作手册
数据库维护工作手册文档编号：文档名称：编写：审核：批准:批准日期：目录1 概述 (4)2 数据库监控 (4)2.1 数据库监控工作内容 (4)2.2 数据库监控工作步骤 (4)2.2.1 查看数据库日志 (4)2.2.2 检查是否有失效的数据库对象 (5)2.2.3 查看数据库剩余空间 (5)2.2.4 重点表检查 (5)2.2.5 查看数据库是否正常 (6)2.2.6 死锁检查 (6)2.2.7 监控SQL语句的执行 (6)2.2.8 操作系统级检查 (6)2.2.9 其他 (6)3 数据库维护 (7)3.1 数据库维护工作内容 (7)3.2 数据库维护工作事项 (7)3.2.1 页面修复 (7)3.2.2 数据库对象重建 (7)3.2.3 碎片回收（数据重组） (7)3.2.4 删除不用的数据 (7)3.2.5 备份恢复 (7)3.2.6 历史数据迁移 (8)3.2.7 定期修改密码 (8)3.2.8 删除掉不必要的用户 (8)3.2.9 其他 (8)4 数据库管理常用SQL脚本 (9)5 日常维护和问题管理 (17)5.1 目的 (17)5.2 例行工作建议 (17)5.3 相关填表说明 (17)概述数据库的日常监控是使管理员及时了解系统异常的手段。
大部分情况下，系统总是正常运行的。
只有对正常情况的充分了解，才能通过对比正常情况发现异常情况。
对于数据库的日常监控要有记录，文字记录或者电子文档保存。
对于数据库异常进行分析，提出解决方案。
日常工作包括监控和维护两个部分。
此文档中关于数据库的运行命令示例主要针对于ORACLE数据库，但对于SYBASE数据库同样有参考价值，只要换用相对应的语句即可。
数据库监控1数据库监控数据库监控工作内容制定和改进监控方案，编写监控脚本。
对于数据库进行日常监测，提交记录。
根据监测结果进行分析、预测，提交相应的系统改进建议方案。
数据库监控工作步骤1.1.1查看数据库日志数据库的日志上会有大量对于管理员有用的信息。
数据库维护手册
维护手册1ORACLE数据库维护1.1查询SQL语句的性能消耗1.1.1查询SQL语句的消耗性能明细SQL：SELECT EXECUTIONS , DISK_READS, BUFFER_GETS,ROUND((BUFFER_GETS-DISK_READS)/BUFFER_GETS,2) Hit_radio,ROUND(DISK_READS/EXECUTIONS,2) Reads_per_run, SQL_TEXT FROM V$SQLAREAWHERE EXECUTIONS>0AND BUFFER_GETS > 0 AND (BUFFER_GETS-DISK_READS)/BUFFER_GETS < 0.8 ORDERBY 4 DESC1.1.2查询SQL语句执行时间和占用CPU一个是视图V$SQLAREA：存储的SQL 和一些相关的信息，比如累计的执行次数，逻辑读，物理读等统计信息selectsa.sql_text,sa.executions,sa.CPU_TIME,sa.ELAPSED_TIME,si.schemanamefrom v$session si,V$SQLAREA sawhere si.SQL_ADDRESS = sa.ADDRESS order by ELAPSED_TIME desc;一个是V$SQL：存储的是具体的SQL 和执行计划相关信息，实际上，v$sqlarea 可以看做v$sql 根据sqltext 等做了group by 之后的信息select sa.sql_text,sa.executions,sa.CPU_TIME,sa.ELAPSED_TIME,si.schemanamefrom v$session si,V$SQL sawhere si.SQL_ADDRESS = sa.ADDRESS order by ELAPSED_TIMEdesc;1.2查询死锁问题1.2.1查询死锁SQL：SELECT lpad(' ', decode(l.xidusn, 0, 3, 0)) || l.oracle_username User_name,o.owner,o.object_name,o.object_type,s.MACHINE,s.program,s.sid,s.serial#,'alter system kill session ''' || s.SID || ',' || s.SERIAL# || ''';'FROM v$locked_object l, dba_objects o, v$session sWHERE l.object_id = o.object_idAND l.session_id = s.sidORDER BY o.object_id, xidusn DESC1.2.2查询死锁SQLselect sql_text from v$session a,v$sqltext_with_newlines bwhere DECODE(a.sql_hash_value, 0, prev_hash_value,sql_hash_value)=b.hash_valueand a.sid=&sid order by piece;1.2.3等待中的锁SELECT lpad(' ', decode(l.xidusn, 0, 3, 0)) || l.oracle_username User_name,o.owner,s.MACHINE,o.object_name,o.object_type,s.sid,s.serial#,'alter system kill session ''' || s.SID || ',' || s.SERIAL# || ''';' as altersFROM v$locked_object l, dba_objects o, v$session sWHERE l.object_id = o.object_idAND l.session_id = s.sidORDER BY o.object_id, xidusn DESC;1.2.4被等待的锁SELECT a.SID, a.serial#, a.machine, st_call_et, ername, b.TYPE,a.status,b.id1FROM (SELECT ername, a.SID, a.serial#, a.lockwait, a.machine, a.status, st_call_et, a.sql_hash_value, a.programFROM v$session aWHERE NVL (ername, 'NULL') < > 'NULL') a,(SELECT id1, kaddr, SID, request, TYPEFROM v$lock) bWHERE b.id1 IN (SELECT DISTINCT e.id1FROM (SELECT ername, a.SID, a.serial#, a.lockwait,a.machine, a.status, st_call_et,a.sql_hash_value, a.programFROM v$session aWHERE NVL (ername, 'NULL') < > 'NULL') d,(SELECT id1, kaddr, SID, request, TYPEFROM v$lock) eWHERE d.lockwait = e.kaddr)AND a.SID = b.SIDAND b.request = 0;1.3查询刚刚执行过的语句select * from v$sql order by last_load_time desc;1.4导出/导入数据1.4.1数据导出1 将数据库TEST完全导出,用户名system 密码manager 导出到D:daochu.dmp中exp system/manager@TEST file=d:daochu.dmp full=y2 将数据库中system用户与sys用户的表导出exp system/manager@TEST file=d:daochu.dmp owner=(system,sys)3 将数据库中的表inner_notify、notify_staff_relat导出exp aichannel/aichannel@TESTDB2 file= d:datanewsmgnt.dmp tables=(inner_notify,notify_staff_relat)4 将数据库中的表table1中的字段filed1以"00"打头的数据导出exp system/manager@TEST file=d:daochu.dmp tables=(table1) query=" where filed1 like '00%'"上面是常用的导出，对于压缩，既用winzip把dmp文件可以很好的压缩。
西门子减速机维护手册说明书
Gearhead Maintenance Manual2. Inspection upon deliveryhe gearhead and motor should be handled, installed and maintained by trained technicians. Carefully read this manual and all copy of this manual should be sent to the actual user of the gear unit.his manual should be maintained by the user.. G earhead and motor with same model number and same heat treatment symbols can be combined. Please refer to Fig. 1 as an example.3. Allowable maximum torque. A llowable maximum torque is maximum torque during motor operation. It is limited by rated motor torque, temperature rise, and strength of gearhead combined. This torque depends on reduction ratio. Please refer to catalogue for details.4. Rotating direction. T here are two rotating directions for output shaft of gearhead, same direction as motor and counter-direction, determined by reduction ratio. Refer to (table 1).. Direction of intermediate gearhead (1/10) is the same as a single unit.Fig.1 Combination example ofmotor & gearhead1) A8 M 25 DG8 K Model No.{Motor}:Reduction ratio{Gearhead}{Motor}{Gearhead}2) A9 M 60 A H G9BK HModel No.Heat treatment symbol5. Operation life & service factor (SF) of gearheadTable 2. Service factor & load type. A pply each service factor corresponding to the load type (Refer to Table 2).. The operating life of gearhead with service factor 1.0 would be 5,000hrs.Fig. 2No.EM0101E-4.0EE01 Printed 2020.04The warranty period for the new Products shall be 18 months after the shipment of the Products from the seller’s works or 12 months from the Products coming into operation, In the event that any problem or damage to the Product arises during the “Warranty Period” from defects in the Product whenever the Product is properly installed and com-bined with the Buyer’s equipment or machines, maintained as specified in the maintenance manual, and properly operated under the conditions described in the catalog or as otherwise agree upon in writing between the Seller and the Buyer or its customers; the Seller will provide, at its sole discretion, appropriate repair or replacement of the Product, However, if the Product is installed or integrated into the Buyer’s equipment or machines, the Seller shall not reimburse the cost of: removal or re-installation of the Product or other incidental costs related thereto, any lost opportunity, any profit loss or other incidental or consequential losses or damages incurred by the Buyer or its customers.installation, connection, combination or integration of the Product in or to the other equipment or machine that is rendered by any person or entity other than the Seller ; insufficient maintenance or improper operation by the Buyer or its customers, such that the Product is not maintained in accordance with the maintenance manual provided improper use or operation of the Product by the Buyer or its customers that is not informed to the Seller, including, without limitation, the Buyer’s or its customers’ operation any problem or damage to any equipment or machine to which the Product is installed, connected or combined, or on any specifications particular to the Buyer or its cus-any changes, modifications, improvements or alterations to the Product or those functions that are rendered on the Product by any person or entity other than the Seller ;。
ETL的说明书要求
Some information for ETL applicationbela.ETL marking or CETL marking and STD., Please refer the following (must have and complywith dimension)ETL 标记或CETL的标记要求如下( 必须有并且要符合尺寸)xxxx1)相关字体的大小及尺寸必须满足以上要求2)“XXXXXXX”控制号码, 一个申请人对应一个并且所有的产品都用这一个3)“C/US”若申请UL与CSA两个标准, 则标示中必须有“C/US”,若只申请UL标准, 则只有“US”, 必须取消“C”, 若只申请CSA标准, 则标示中只有”C”, 必须取消“US”的标示.4)“CONFORMS TO UL STD. xxxx”, xxxx指所申请的UL的标准号, “CERTIFIED TO CSASTD. C22.2 NO. xxxx”, xxxx指所申请的CSA标准号。
例：目前我司的搅拌器类产品应写如下“CONFORMS TO UL STD. 982CERTIFIED TO CSA STD. C22.2 NO. 1335.1 & 1335.2.14”b.Manufacturer’s name, trade name, or trademark (must have)制造商名或商标( 必须有)c.The date or other dating period of manufacture not exceeding any three consecutive months(must have)不能超过连续三个月的日期标示( 必须有)d. A distinctive catalog number or the equivalent (must have)型号( 必须有)e.The electric rating: rated voltage, rated power/rated current, rated frequency (must have)电气参数, 包括额定电压, 额定功率(若产品的功率大于50 W,并且其最大载的功率因子大于0.8, 才标示功率, 否则只能标示额定电流)/电流,额定频率( 必须有)f.Indicate for ho usehold type usage: “HOUSEHOLD USE ONLY” OR “HOUSEHOLD TYPE”and the like. Lettering shall not be less than 2.4 mm high. (must have)产品为家用的则必须标示“HOUSEHOLD USE ONLY” OR “HOUSEHOLDTYPE” 或类似句子，并且字体不能小于2.4 mm. ( 必须有)g.Caution : “CAUTION: DO NOT IMMERSE IN WATER (& NE PAS IMMERGER)”,Lettering shall not less than 2.4 mm high or if the letters have a contrasting color to thebackground, not less than 1.6 mm (must have)警告语:“CAUTION: DO NOT IMMERSE IN WATER (& NE PAS IMMERGER)”若申请加拿大标准则必须增加“& NE PAS IMMERGER”这句.并且所有字体不小于2.4mm高度, 若字体颜色与底色有很大差异, 则字体须满足不小于1.6mm的高度要求( 必须有)h.Specific appliance marking for food mixers: (must have if it didn’t marked near beater drivers)1)For handheld food mixer, “Unplug before inserting or removing parts” and “Do notput in water” marked near beater drivers2)For others, “Unplug before inserting or removing parts” marked on the base plateunder the mixing bowl.对搅拌器标示的特殊要求(如果没有在搅拌棒的驱动器附近有则必须在铭牌上标示) :1)对于手持式的搅拌器, 则在退棒按扭处标示, “Unplug before inserting orremoving parts” and “Do not put in water”2)对于其它搅拌器, 则必须在退棒按扭处标示“Unplug before inserting or removingparts”i.其它2.Instruction normal manual：说明书的一般要求a) Base safety requirement基本的安全要求(必须有):When using electrical appliance, basic safety precautions should always be followed, including the following:IMPORTANT SAFEGUARDS （至少4.8 mm高）◇READ ALL INSTRUCTIONS BEFORE USING THIS MIXER.◇To protect against risk of electrical shock, do not put Mixer in water or other liquid. This may cause personal injury and/or damage to the product.◇Close supervision is necessary when it is used by or near children.◇Unplug from outlet while not in use, before putting on or taking off parts and before cleaning. Allow to cool before handling◇Do not operate Mixer with a damaged cord or plug, after the appliance malfunctions, or if it is dropped or damaged in any manner. Return appliance to the nearest authorized service facility for examination, repair, or electrical or mechanical adjustment.◇The use of accessory attachments not recommended by the appliance manufacturer may result in fire, electric shock or injury to persons.◇Do not let cord hang over edge of table or counter or touch hot surfaces, including the stove.◇Do not use outdoors or for commercial purposes.◇Do not place Mixer on or near a hot gas or electric burner or in a heated oven.◇Do not use Mixer for other than intended use.◇Do not leave Mixer unattended while it is operating.◇Do not put in water.◇Do not use the device with wet or moist hands◇Do not touch surfaces that may be hot. Use handles or knobs provided◇To protect against electrical shock, do not immerse cord, plug, or the motor housing in water or other liquids. Do not rinse either.◇Where applicable, always attach plug to appliance and check that th e control is “0” before plugging cord into wall outlet. To disconnect, turn the control to “0”, then remove plug from wall outlet.◇This appliance has a polarized plug (one blade is wider than the other). To reduce the risk of electric shock, this electric shock, this plug will fit in a polarized outlet only one way. If the plug does not fit fully in the outlet, reverse the plug. If it still does not fit, contact a qualified electrician. Do not modify the plug in any way.◇Household use only.b) Specific safety requirement for food mixer搅拌器的特殊要求(必须有)◇Avoid contact with moving parts. Keep hands, hair, clothing, as well as spatulas and other utensils away from beaters during operation to reduce the risk of injury to persons and/or damaged to the Mixer.◇Remove beaters from Mixer before washing.SA VE THESE INSTRUCTIONS （至少4.8 mm高）c) User maintenance 使用者的维修要求(必须有)◇Instruction manual shall include instructions and caution statements for cleaning , user-maintenance (such as lubrication or nonlubrication) operations recommended by the manufacturer and shall warn a user that“Any other servicing should be performed by an authorized service representative”(必须有)说明书中应包括用法说明，应建议清洗及使用维护（是否使用润滑油）由制造商来操作及警告说明，并且警告用户任何其它的服务应由指定有代表性的机构来做。
数智化程序维护手册范例
系统维护学习手册1.引言☐编写目的软件维护学习是软件生命周期的最后一个阶段，它处于系统投入生产性运行以后的时期中,因此不属于系统开发过程。
软件维护学习需要的工作量非常大，虽然在不同应用领域维护学习成本差别很大，但是，均说来，大型软件的维护学习成本高达开发成本的四倍左右。
目前国外许多软件开发组织把60%以上的人力用于维护学习已有的软件，而且随着软件数量增多和使用寿命延长，这个百分比还在持续上升。
软件维护学习就是在软件已经交付使用之后，为了改正错误或者满足新的需要而修改软件的过程。
它有如下几种性质的维护学习：●改正性维护学习因为软件测试不可能暴露出一个大型软件系统中所有潜藏的错误，所以在使用期间，用户必然会发现系统错误，并且把他们遇到的问题报告给维护学习人员。
我们把诊断和改正错误的过程称为改正性维护学习。
●适应性维护学习计算机学技术领域的各方面都在迅速进步，需要经常地修改版本。
为了和变化了的环境适当地配合而进行的修改软件的活动称为适应性维护学习。
●完善性维护学习在软件编写完成之后，投入实践，在使用软件的过程中，用户往往提出增加新功能或修改已有的功能的建议，这就需要进行完善性维护学习。
●预防性维护学习为了改进未来的可维护学习性或可靠性，或为了给未来的改进奠定更好的基础而修改软件时，就需要进行预防性维护学习。
维护学习的过程本质上是修改和压缩了的软件定义和开发过程，而且事实上远在提出一项维护学习要求之前，与软件维护学习有关的工作已经开始了。
鉴于以上各点，编写维护学习软件的文档十分重要。
它给软件维护学习人员提供了一份完整，清晰的说明文档，便于其快速有效地进行维护学习工作。
☐开发单位项目的提出者：开发者：用户：使用场所：☐定义和缩写a.信息流图描绘系统的逻辑模型，图中没有任何具体的物理元素，只是描绘信息在系统中流动和处理的情况，它表示了信息和处理过程的意思。
信息流图有四种基本符号：●正方形（或立方体）表示信息的源点或终点。
ETL使用手册
ETL使用手册2007年11月8日ETL使用手册第一章配置文件结构<loaderJob>//根标签<restartCounter/>//在目标数据库中创建数据表,纪录importDefinition标签重新启动的次数,如果存在表明会抛错.<variables>//接收参数定义<variable/></variables><jdbcDefaultParameters>//默认JDBC连接<jdbcSourceParameters><jdbcSourceParameter/></jdbcSourceParameters><jdbcTargetParameters><jdbcTargetParameter/></jdbcTargetParameters></jdbcDefaultParameters><sql>//执行SQL语句<jdbcTargetParameters><jdbcTargetParameter/></jdbcTargetParameters><sqlStmt><include/></sqlStmt></sql><definitionInclude>//定义包含<include/>//包含多个<definitionInclude>标签文件<echo/>//日志开头要显示的信息<copyTable/>//简单表复制<importDefinition>//导入定义<sortColumns>//确保字段数据唯一<sortColumn/></sortColumns><jdbcParameters>//导入任务定义的JDBC连接<jdbcSourceParameters><jdbcSourceParameter/></jdbcSourceParameters><jdbcTargetParameters><jdbcTargetParameter/></jdbcTargetParameters></jdbcParameters><valueColumns>//直接对应转换列<valueColumn/></valueColumns><transformations>//自定义转换规则<transformation>//转换规则<sourceColumns><sourceColumn/></sourceColumns><targetColumns><targetColumn/></targetColumns><javaScript><include/></javaScript></transformation></transformations><variableColumns><variableColumn/>//将变量值赋给目标字段必须属性override="true"<userIDColumn/>//将当前用户赋给目标字段<timeStampColumn/>//将当前时间赋给目标字段</variableColumns><relationColumns><relationColumn/>//导入外键关系（必须存在对应关系）</relationColumns><constantColumns><constantColumn/>//将固定值（常量）赋给目标字段</constantColumns><counterColumns><counterColumn/>//通过计数器表向目标字段自动增量生成数据（例如：自动加1）<subCounterColumn/><subCounterKeyColumn/></subCounterColumn></counterColumns><tables>//定义目标表<table/></tables></importDefinition></definitionInclude></loaderJob>第二章标签说明<loaderJob>ETL配置文件的根标签。
ETL架构设计说明书V04
密级：ETL架构设计说明书XXXXXXXX公司目录1前言 (1)背景 (1)目的 (1)内容提要 (1)读者 (1)2ETL设计的目标和原则 (1)系统目标 (1)数据目标 (1)功能目标 (2)设计原则 (2)3ETL开发流程设计 (3)数据分析 (3)分析方法 (3)分析内容 (3)开发流程 (4)测试流程 (5)上线流程 (6)4DATASTAGE元数据管理 (6)元数据定义 (6)DATASTAGE元数据管理 (7)数据库元数据导入 (8)文件元数据导入 (8)5ETL架构 (9)ETL总体结构 (9)ETL关键任务设计 (11)数据加载 (11)Pre-Load (11)Load (11)Post-Load (12)数据清洗/变换 (12)数据转换 (13)ETL调度控制设计 (13)实现目标 (14)触发动作 (14)检查运行环境 (14)日志记录 (15)系统参数 (15)部署设计 (16)数据源到统一模型层之间 (16)统一模型层到数据集市之间 (16)ETL的备份与恢复 (17)ETL质量控制与错误处理 (17)ETL质量控制的主要手段 (17)拒绝数据库及拒绝处理策略 (18)已入库源数据发生错误的应对策略 (19)ETL主要流程设计 (19)数据抽取过程 (21)数据清洗过程 (21)数据转换过程 (22)数据装载过程 (22)ETL测试设计 (23)ETL功能测试 (23)模块功能 (23)调度功能 (23)数据准确性测试 (24)准确性测试的原则 (24)准确性测试的方法 (24)性能测试 (24)测试方法 (24)调优原则 (24)1前言1.1背景本文主要是为了明确系统中ETL的主要使用环境及使用方法而建，主要定义了在不同的环境中使用ETL的时候应该注意的配置及操作。
1.2目的本文档是为明确XXXX数据仓库的ETL架构设计而编制的，为项目的ETL系统开发后续工作提供指南。
（完整版）大数据库维护工作手册簿
（完整版）⼤数据库维护⼯作⼿册簿数据库维护⼯作⼿册⽂档编号：⽂档名称：编写：审核：批准: 批准⽇期：⽬录1概述 (3)2数据库监控 (3)2.1 数据库监控⼯作内容 (3)2.2 数据库监控⼯作步骤 (3)2.2.1 查看数据库⽇志 (3)2.2.2 检查是否有失效的数据库对象 (4)2.2.3 查看数据库剩余空间 (4)2.2.4 重点表检查 (4)2.2.5 查看数据库是否正常 (4)2.2.6 死锁检查 (5)2.2.7 监控SQL语句的执⾏ (5)2.2.8 操作系统级检查 (5)2.2.9 其他 (5)3数据库维护 (5)3.1 数据库维护⼯作内容 (5)3.2 数据库维护⼯作事项 (5)3.2.1 页⾯修复 (5)3.2.2 数据库对象重建 (6)3.2.3 碎⽚回收（数据重组） (6)3.2.4 删除不⽤的数据 (6)3.2.5 备份恢复 (6)3.2.6 历史数据迁移 (6)3.2.7 定期修改密码 (7)3.2.8 删除掉不必要的⽤户 (7)3.2.9 其他 (7)4数据库管理常⽤SQL脚本 (7)5⽇常维护和问题管理 (16)5.1 ⽬的 (16)5.2 例⾏⼯作建议 (16)5.3 相关填表说明 (16)1概述数据库的⽇常监控是使管理员及时了解系统异常的⼿段。
⼤部分情况下，系统总是正常运⾏的。
只有对正常情况的充分了解，才能通过对⽐正常情况发现异常情况。
对于数据库的⽇常监控要有记录，⽂字记录或者电⼦⽂档保存。
对于数据库异常进⾏分析，提出解决⽅案。
⽇常⼯作包括监控和维护两个部分。
此⽂档中关于数据库的运⾏命令⽰例主要针对于ORACLE数据库，但对于SYBASE数据库同样有参考价值，只要换⽤相对应的语句即可。
数据库监控2数据库监控数据库监控⼯作内容制定和改进监控⽅案，编写监控脚本。
对于数据库进⾏⽇常监测，提交记录。
根据监测结果进⾏分析、预测，提交相应的系统改进建议⽅案。
数据库监控⼯作步骤2.1.1查看数据库⽇志数据库的⽇志上会有⼤量对于管理员有⽤的信息。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
ETL 处理流程包括以下几个方面： 取数据文件流程：取数据文件流程即是 ETL 系统同源系统的接口处理流程， 包括以下几个步骤： 取得源系统当前传送的数据文件文件名列表 校验文件的完整性，根据文件名列表中文件大小和我们实际取得的 文件的文件大小进行比较，可以得到源数据是否完整。若文件名列 表中文件大小和我们实际取得的文件的文件大小相等，表示数据文 件是完整的，若不相等，表示数据文件不完整。将不完整文件转移 到特定目录中，并向监控系统提出报警信息。 校验文件的有效性，根据文件名中所带的任务周期信息判断源系统 产生的数据文件是否是当前的任务周期所需的数据文件。若数据文 件无效，将数据文件转移到特定目录中，并向监控系统提出报警信 息。
ETL 系统同经营分析系统其它子系统的接口界面： ETL 系统同经营分析系统其它子系统的交互是通过数据仓库的基层表形 式完成的。ETL 按照经营分析系统的要求，将数据加载到数据仓库的基 层表，经营分析系统其它子系统根据基层表中的内容形成面向分析使用 的中间表，多维数据库表等等。
1.3. ETL 处理流程
etlrecv.pl:etlrecv.pl 程序是 ETL 系统的取数据模块，它监控是否源系统 有新的控制文件生成，若有则进行文件完整性和有效性检查，若检查失 败，则将源数据文件移入错误目录，若正确，则将控制文件和源数据文 件移入 QUEUE 目录，等待下一步处理。
etlmaster.pl：etlmaster.pl 程序监视 QUEUE 目录，看是否有新的控制文 件，若有，则将控制文件和源数据文件转入 PROCESS 目录中并生成一 个执行 etlslave_nt.pl 的子进程。它作为处理监听进程，是 ETL AUTOMATION 工作框架的一部分。
ETL 维护手册 V0.2.doc
Page 7
控制文件：控制文件是一个文本文件，由源系统生成，作为源系统同 ETL AUTOMATION 之间的接口，源系统使用控制文件通知源系统以生 成了源数据文件，需要 ETL AUTOMATION 进行处理。 控制文件的文件名形如： dir.XXXXXYYYYMMDD, dir.XXXXXXXX.YYYYMMDD,DXXXXXMMDD 内容包括: 源数据文件的文件名 源数据文件的大小 源数据文件的记录数（可选）
ETL 维护手册 V0.2.doc
Page 1
2. ETL 系统概念
ETL 系统是经营分析系统的一个子系统，完成经营分析系统所必须的 ETL 过 程。 ETL 是 extraction,transformation 和 load 的缩写，意思是抽取，转换和加 载。 下面对三个概念分别说明： 抽取：将经营分析所关注的原始的未经转换的源数据从源系统中抽取出来， 按照一定的格式形成数据块，并按照特定的传输协议从源系统传到 ETL 系 统，做为 ETL 系统下一步操作的数据源。 转换：将源系统传来的源数据按照经营分析系统的所规定的正确性，一致 性，无冗余性的要求进行转换。 加载：将数据加载到经营分析系统的数据仓库中。
ETL 总控模块：
ETL 总控模块负责调度取数据模块，多个加载模块，多个转换模块。 它包括以下部分： 任务配置表，它包含了以下信息：
ETL 维护手册 V0.2.doc
Page 5
ETL 过程所须的所有任务标识信息，包括任务标识，任务名 所有任务的任务周期，任务触发的日期和时间段信息 任务之间的依赖关系信息，一个任务是否依赖于其它任务的完 成，一个任务的完成是否应触发其它任务的执行 所有任务对应的执行模块的路径 任务状态表，它包含了当前任务周期内任务执行状态，具体记录了 当前任务周期内哪些任务已执行，执行是否成功等。 总控逻辑：根据任务配置表和任务状态表中信息完成任务的调度和 任务周期的更新。 数据预处理模块： 取数据模块根据源系统传来的数据文件文件名列表完成数据文件的完整 性和有效性校验，若校验不通过，则将错误文件移到特定目录中，并通 过状态日志模块对监控系统提出告警。若校验通过，则将数据文件文件 名和路径提供给下一个总控模块 加载模块： 加载模块将清空数据仓库 ETL 临时表，并将源数据文件加载到数据仓库 ETL 临时表。 转换模块： 转换模块按照经营分析的要求将数据从数据仓库的 ETL 临时表中转换到 数据仓库的基层表中。 控制参数接口模块： 控制参数接口模块是 ETL 管理员同 ETL 系统交互的接口， ETL 管理员 通过控制参数接口模块调整总控模块的任务配置表和查看总控模块中任 务状态表 状态日志模块： 状态日志模块将 ETL 过程产生的各种状态日志信息写入状态日志文件 中，用于监控和查错处理
etlslave_unix.pl or etlslave_nt.pl
execute
/ETL/DATA/complete or /ETL/DATA/fail/error
/ETL/DATA/process
Job Script
它包括以下各部分： ETL AUTOMATION 工作框架：ETL AUTOMATION 工作框架由多个守 护进程构成。它提供了一个开放性的体系结构，允许不同的转换加载逻 辑以 PERL 脚本的形式作为插件加入到整个 ETL AUTOMATION 工作流 程中。
ETL 维护手册 V0.2.doc
Page 6
1.6. ETL 系统实现
ETL 系统将实现为 ETL AUTOMATION 工作框架和处理脚本。
1.7. ETL AUTOMATION 工作框架
ETL AUTOMATION 的工作流程图为：
Control File/Data Files
/ETL/DATA/receive
1.1. ETL 目标
ETL 系统的目标是经过适当的抽取，转换和加载过程，将经营分析系统所关注 的数据从源系统中正确地，一致地，无冗余地载入经营分析系统的数据仓库中。
1.2. ETL 系统边界
ETL 系统边界包括两部分：
ETL 维护手册 V0.2.doc
Page 2
ETL 系统同源系统的接口界面： ETL 系统同源系统的交互是通过文件形式完成的。源系统按照经营分析 系统的要求按照特定的周期以特定的格式生成源数据文件，ETL 系统取 得源系统生成的数据文件进行下一步的处理。
ETL 维护手册 V0.2.doc
Page 3
加载流程：加载流程是将校验通过的正确的数据文件无转换地直接加载到数 据仓库的 ETL 临时表，临时表的结构同于源系统传来的数据文件的结构。
转换流程：转换流程是将 ETL 临时表中的数据按照正确性，一致性，无冗余 性的原则转换到数据仓库的基层表中。 转换原则包括以下各点： 正确性：要求源数据各字段按照确定的转换规则正确地转换到数 据仓库的基层表中，这是转换的最基本的要求。 一致性：要求不同数据源取来的具有相同含义的字段取值按照数 据仓库基层表的数据定义做归一化处理。 无冗余性：由于不同数据源传来的数据中难免有部分数据重复， 所以在转换过程中就要求删除这部分冗余数据，使得加载到数据 仓库的基层表中的数据应是无冗余的。 转换类型包括以下各点： 字段类型转换：由于源数据的字段定义不一定同于数据仓库基层 表字段定义，所以就要求字段类型转换，转换过程不应造成信息 丢失和错误转换。 归一化转换：不同数据源取来的具有相同含义的字段取值按照数 据仓库基层表的数据定义做归一化处理 数据合并：由于数据仓库基层表的实体定义有可能对应到源系统 中多个实体，在这种情况下就要求将源系统中多个实体的数据合 并入一个数据仓库基层表实体中。在合并过程中应注意无冗余性 转换原则。 数据拆分：由于源系统中一个实体有可能对应到数据仓库基层表 的多个实体，在这种情况下就要求将源系统中一个实体的数据拆 分到数据仓库多个基层表中。 转换逻辑组成： 转换逻辑由多个独立的任务组组成 每一个任务组由多个相互依赖的任务组成
etlrcv.pl
/ETL/DATA/fail/bypass /ETL/DATA/fail/error /ETL/DATA/fail/duplicate /ETL/DATA/fail/corrupt /ETL/DATA/fail/unknown etlmaster.pl
fork process
/ETL/DATA/queue
Page 4
ETL 维护手册 V0.2.doc
任务是转换逻辑的最小单位，包含具体的转换逻辑，实现特定 频率，特定时间的数据转换。
1.4. ETL 系统结构
控制参数接口模块
数据预处 源数据 理模块
ETL 总控模块
基层表
状态日志模块
加载 模块
加载 模块
转换 模块
转换 模块
1.5. ETL 功能模块
ETL 维护手册 V0.2.doc
Page 9
3. ETL 数据装载环境
9. 服务器系统名及 IP 定义
系统名：***ETL IP: 127.0.0.1
1.10. 所安装 ETL 的软件及作用
ETL AUTOMATION 的工作框架,包括： PERL 执行环境。 Perl DBI 接口模块，一个类似 ODBC 的接口程序，提供了一组 标 准的函数界面让我们可以使用来对于数据库进行运作。 Perl DBD-ODBC 接口模块,通过 DBD-ODBC 界面呼叫使用 Teradata 所提供的 ODBC 驱动程序来连接 Teradata 的数据库。 Teradata 的 ODBC 驱动程序。 ETL Automation 服务端程序，包括 etlrcv.pl,etlmaster.pl,etlslave_nt.pl,etlagent.pl,etlclean.pl 等。 ETL 前端管理和监控程序 安装 Java 执行环境。 安装 ETL 前端管理程序- ETLAdmin.jar，用户使用此程序完成 ETL 任务，任务组，任务依赖关系的配置。 安装 ETL 前端监控程序 - ETLMonitor.jar，用户使用此程序完成 ETL 任务当前运行状态的监控。