数据迁移与整理

主题专家
架构师
数据分析师
开发人员
DBAs
IBM Information Server
发现、建模和管理信息结构与 内容
标准化、合并和纠正信息
组合和重构信息以用于新的用途
同步、虚拟化和移动信息以实现 联机交付
7
数据迁移与整理 讲师 刘春霞
DATAGURU专业数据分析社区
Байду номын сангаас
IBM信息整合解决方案
业务用户 主题专家 架构师
DATAGURU专业数据分析社区
最广泛的数据整合任务拓扑
Type 1: Normal Batch •传统大数据量处理 Type 2: Micro-Batch •定义停止/启动，规律间隔运行，接近于实时需求 Type 3: ELT (or mixed TETLT) •将部分或者全部处理下压到数据库 Type 1: 信息服务- Full Interaction 信息通过web service驱动更新或者获取 Type 2: 信息服务- Information Retrieval •启动服务，无需输入参数，例如获取信息 Type 3: 基于Queue / Always On •数据到达时，监控队列和过程 Type 4: 基于CDC / Always On •从低延时基于日志复制从fCDC 中获取数据作为数据源 Type 5: 触发数据整合任务 通过Web Service启动数据整合/清洗任务 •触发service, 无输入/输出要求
业务驱动信息治理和监管
Information Governance Catalog Blueprint Director Discovery Data Architect Information Services Director Metadata Workbench
10
数据迁移与整理 讲师 刘春霞
数据迁移与整理
DATAGURU专业数据分析社区
数据迁移与整理 讲师 刘春霞
正文
【声明】本视频和幻灯片为炼数成金网络课程的教学资料
，所有资料只能在课程内使用，不得在课程以外范围散
播，违者将可能被追究法律和经济责任。 课程详情访问炼数成金培训网站 http://edu.dataguru.cn
DATAGURU专业数据分析社区

可以定义业务术语并且将其连接到相应的物 理元数据

自动生成DataStage作业并且将复杂的转换
的描述通知开发员
生成历史文档用于审计
自动生成 DataStage作业 灵活的报表功能 和审计
DATAGURU专业数据分析社区
数据迁移与整理 讲师 刘春霞
数据转换和数据迁移： DataStage
提供图形化开发界面，内置上百种控件和 函数，无需开发手工代码
跨信息整合生命周期的统一的元数据管理
8
数据迁移与整理 讲师 刘春霞
DATAGURU专业数据分析社区
InfoSphere Information Server核心功能
InfoSphere Information Server Enterprise Edition
Information Governance Catalog
企业级应用
JDE/PeopleSoft OneWorld Oracle Applications PeopleSoft SAS SAP BW SAP R/3 Siebel Ariba Manugistics I2 Etc…
变化数据IBM CDC
DB2 (on Z, I, P, X series) Oracle SQL Server Sybase Informix IMS VSAM ADABAS IDMS Datacom
数据迁移与整理 讲师 刘春霞
DATAGURU专业数据分析社区
内容
IBM 数据整合平台 Information Server 数据整合及实时数据获取
数据质量 元数据管理
数据迁移与整理 讲师 刘春霞
DATAGURU专业数据分析社区
计算的新纪元:
信息整合&治理 (IIG)比任何时候都重要
扩展应对数据爆炸
屏蔽日益增长的 复杂性
提供快速实施能力
Sources
Consumers
数据迁移与整理 讲师 刘春霞
DATAGURU专业数据分析社区
数据整合和治理平台
将不确定信息转换为有价值的可信赖信息
分析提升利润
降低数据成本
客户保持
风险欺诈识别
高效协作
加速新产品上线
大数据, 数据仓库 及分 析
提升业务价值
数据迁移与整理 讲师 刘春霞
DATAGURU专业数据分析社区
联通性 : 丰富的大数据源接口
• 高速，并行读写HDFS – BigData File Stage Common JDBC Connector
– Apache Derby – IBM BigInsights SQL Drivers
•
•
其他大数据和NoSQL 数据源
– InfoSphere Streams Connector
– ODBC for Hive
– 其他BigData/NoSQL Sources: Hive, Hbase, MongoDB, Cassandra, Apach Avro, Notes, SPSS,Jaql…etc. – Sample: https://www.ibm.com/developerworks/community/files/app?lang=en #/folder/4645e12a-7bdb-40ed-a103-f1160b707758
常规访问
Sequential File Complex Flat File File Set Data Set Named Pipe iWay FTP SFTP Compressed / Encoded Data External Command Call Parallel/wrapped 3rd party apps EMC InfoMover Web logs Email
实时数据
WebSphere MQ Java Messaging Services (JMS) Java XML & XSL-T Json EBXML Web Services (SOAP) Enterprise Java Beans (EJB) EDI FIX SWIFT HIPAA
IBM 连接
Allbase/SQL C-ISAM D-ISAM Datacom/DB DS Mumps Enscribe Essbase FOCUS IDMS/SQL ImageSQL Infoman KSAM M204 MS Analysis Nomad Nucleus RMS S2000 Supra TOTAL TurboImage Unify And many more….
DATAGURU专业数据分析社区
11 数据迁移与整理 讲师 刘春霞
Batch Real time
InfoSphere Data Click
点击两次即可向数据集市加载数据
基于Web的用户体验，允许毫无经验的用户通过简单地点击以批量或者实时的方式移动数据，并具有内置的管理和优化措施
内置管理:
定义和控制数据获取的范围和数据结构
数据迁移与整理 讲师 刘春霞
炼数成金逆向收费式网络课程
Dataguru（炼数成金）是专业数据分析网站，提供教育，媒体，内容，社区，出版，数据分析业 务等服务。我们的课程采用新兴的互联网教育形式，独创地发展了逆向收费式网络培训课程模式 。既继承传统教育重学习氛围，重竞争压力的特点，同时又发挥互联网的威力打破时空限制，把 天南地北志同道合的朋友组织在一起交流学习，使到原先孤立的学习个体组合成有组织的探索力 量。并且把原先动辄成千上万的学习成本，直线下降至百元范围，造福大众。我们的目标是：低 成本传播高价值知识，构架中国第一的网上知识流转阵地。 关于逆向收费式网络的详情，请看我们的培训网站 http://edu.dataguru.cn
高效应用
单一视图
安全与合规
应用集成 和下线
可信赖的信息
InfoSphere
信息整合
数据质量 主数据管理 数据生命 周期管理 隐私&安全
元数据和信息治理策略
不确定数据
数据迁移与整理 讲师 刘春霞
交易 应用
DATAGURU专业数据分析社区
内容 社交 媒体
机器 数据
移动 设备
IBM信息整合解决方案
业务用户
– –
–
开发人员 架构师
优化整合对象的复用性 支持实时数据和批量数据
项目间可以复用控件
InfoSphere DataStage®
通过图形化开发，满足任意数据量和复杂转换的需求，支持批量和近 实时的数据整合流程。
完全的元数据驱动ETL功能，统一的元数据 管理，与Information Server其他部件共 享元数据 提供高可靠的线性可扩展能力 更利于团队协作开发 提供丰富的数据接口组件 ，允许同时整合 种类繁多的数据源
DATAGURU专业数据分析社区
InfoSphere Information Server核心功能
InfoSphere Information Server Enterprise Edition
Information Governance Catalog
敏捷的数据整合
Blueprint Director Discovery Data Architect FastTrack DataStage Change Data Delivery Information Services Director Metadata Workbench
业务驱动信息治理和监管
Information Governance Catalog Blueprint Director Discovery Data Architect Information Services Director Metadata Workbench
9
数据迁移与整理 讲师 刘春霞
InfoSphere Information Server
Data Quality Data Integration
数据质量持续提升
Blueprint Director Discovery Information Analyzer QualityStage Information Services Director Metadata Workbench
数据迁移与整理 讲师 刘春霞
DATAGURU专业数据分析社区
联通性 : 通用互联服务
数据库
DB2 (on Z, I, P or X series) Oracle Informix (IDS and XPS) Ingres Netezza GreenPlum Progress RDB RedBrick SQL/DS SQL Server Sybase (ASE & IQ) Teradata Universe UniData NonStop SQL InfoSphere Federation Server InfoSphere Classic Federation Odbc, Jdbc, And more…..
数据分析师
开发人员
DBAs
IBM Information Server
Information Services Director
为整合信息和访问发布SOA服务
信息治理目录 自动剖析数据关系 分析 & 理解 源数据
异构信息的虚拟化访问
标准化、合并和纠正信息
组合和重构信息以用于新的用途
Metadata Server / Metadata Workbench
敏捷的数据整合
Blueprint Director Discovery Data Architect FastTrack DataStage Change Data Delivery Information Services Director Metadata Workbench
InfoSphere Information Server
Data Quality Data Integration
数据质量持续提升
Blueprint Director Discovery Information Analyzer QualityStage Information Services Director Metadata Workbench
业务灵活性:
数据获取自服务，选择所需数据结构来获取数据
内置管理:
查看和管理环境和依从度
数据迁移与整理 讲师 刘春霞
DATAGURU专业数据分析社区
FastTrack 跟踪从业务需求到应用开发的过程
单一，集中管理的架构跟踪从业务需求到开
发的整个过程
可以输入Excel格式的影射规范文件
定义影射规范以及业务规则和业 务术语