数据库作业调度基础知识

ETL工具软件
• ETL工具的典型代表有:Informatica、 Datastage、微软DTS
ETL和数据仓库
• ETL是数据仓库中的非常重要的一环。它是承前启后的必 要的一步。相对于关系数据库，数据仓库技术没有严格的 数学理论基础，它更面向实际工程应用。所以从工程应用 的角度来考虑，按着物理数据模型的要求加载数据并对数 据进行一些系列处理，处理过程与经验直接相关，同时这 部分的工作直接关系数据仓库中数据的质量，从而影响到 联机分析处理和数据挖掘的结果的质量。 • 数据仓库是一个独立的数据环境，需要通过抽取过程将数 据从联机事务处理环境、外部数据源和脱机的数据存储介 质导入到数据仓库中；在技术上，ETL主要涉及到关联、 转换、增量、调度和监控等几个方面；数据仓库系统中数 据不要求与联机事务处理系统中数据实时同步，所以ETL 可以定时进行。但多个ETL的操作时间、顺序和成败对数 据仓库中信息的有效性至关重要。
作业
• 1.了解什么是ETL？什么是数据仓库？ • 2.了解LOAP与OLTP是什么?区别在哪里？ • 3.了解几个数据库，oracle,db2,sysbase,sql server,my sql,teradata,要求罗列出这些产品的公 司及一般应用范围，每一个产品找到一个入门学 习文档。 • 4.摘要以上数据库的import与export命令的使用方 法，整理为单独文档 • 5.获取unix,linux,aix系统的介绍文档，分析其共同 点与差异
什么是作业调度程序
• 作业调度程序是ETL工作流程的一个调度软 件，负责管理和调度ETL工作的流程顺序 • 嘉讯的总控程序，是用C语言编写的一个调 度程序 • 嘉讯的总控程序相对于产品化得ETL工具， 缺少对于数据处理的部分，仅是在UNIX上 shell作业的调度程序 • 真正的etl处理需要具有独立功能的作业实 现
作业调度程序介绍
什么是ETL
• ETL，Extraction-Transformation-Loading的缩写，中文名 称为数据提取、转换和加载。 • ETL(Extract-Transform-Load的缩写，即数据抽取、转换、 装载的过程)作为BI/DW（Business Intelligence）的核心 和灵魂，能够按照统一的规则集成并提高数据的价值，是 负责完成数据从数据源向目标数据仓库转化的过程，是实 施数据仓库的重要步骤。如果说数据仓库的模型设计是一 座大厦的设计蓝图，数据是砖瓦的话，那么ETL就是建设 大厦的过程。在整个项目中最难部分是用户需求分析和模 型设计，而ETL规则设计和实施则是工作量最大的，约占 整个项目的60%～80%，这是国内外从众多实践中得到的 普遍共识。
调度程序要点
• • • • • 接口类作业(import/export) 数据加工处理类作业(存储过程) 作业配置顺序-依赖与限制 作业的独立性 日志
调度程序与银行管理系统
• 为什么银行管理系统需要ETL？ 数据量大 • 嘉讯调度程序在做些什么？ 调度程序就是在做ETL 具体的说，我们是每天从上游系统获取客 户的资产变动情况，加工成嘉讯管理系Байду номын сангаас 使用的指标值。