数据迁移与整理

常规访问
Sequential File Complex Flat File File Set Data Set Named Pipe iWay FTP SFTP Compressed / Encoded Data External Command Call Parallel/wrapped 3rd party apps EMC InfoMover Web logs Email
信息整合治理iig比任何时候都重要扩展应对数据爆炸屏蔽日益增长的复杂性提供快速实施能力sourcesconsumers数据迁移与整理讲师dataguru专业数据分析社区可信赖的信息infosphere提升业务价值高效应用单一视图大数据数据仓库及分应用集成和下线安全与合规数据整合和治理平台将不确定信息转换为有价值的可信赖信息移动设备交易内容应用不确定数据数据生命周期管理信息整合元数据和信息治理策略数据质量主数据管理隐私安全分析提升利润降低数据成本客户保持风险欺诈识别加速新产品上线高效协作社交媒体机器数据数据迁移与整理讲师dataguru专业数据分析社区ibm信息整合解决方案发现建模和管理信息结构与内容标准化合并和纠正信息组合和重构信息以用于新的用途同步虚拟化和移动信息以实现联机交付ibminformationserver开发人员主题专家数据分析师业务用户架构师dbas数据迁移与整理讲师dataguru专业数据分析社区ibminformationserver信息治理目录标准化合并和纠正信息组合和重构信息以用于新的用途异构信息的虚拟化访问informationservicesdirectormetadataservermetadataworkbench为整合信息和访问发布soa服务分析理解源数据跨信息整合生命周期的统一的元数据管理开发人员主题专家数据分析师业务用户架构师dbas自动剖析数据关系ibm信息整合解决方案数据迁移与整理讲师infosphereinformationserver核心功能infosphereinformationserverenterpriseedition业务驱动信息治理和监管敏捷的数据整合数据质量持续提升blueprintdirectordataarchitectchangedatadeliveryinformationservicesdirectormetadataworkbenchblueprintdirectorinformationanalyzerinformationservicesdirectormetadataworkbenchinformationgovernancecatalogblueprintdirectordataarchitectinformationservicesdirectormetadataworkbenchinfosphereinformationserve
企业级应用
JDE/PeopleSoft OneWorld Oracle Applications PeopleSoft SAS SAP BW SAP R/3 Siebel Ariba Manugistics I2 Etc…
变化数据IBM CDC
DB2 (on Z, I, P, X series) Oracle SQL Server Sybase Informix IMS VSAM ADABAS IDMS Datacom
业务驱动信息治理和监管
Information Governance Catalog Blueprint Director Discovery Data Architect Information Services Director Metadata Workbench
9
数据迁移与整理 讲师 刘春霞
主题专家
架构师
数据分析师
开发人员
DBAs
IBM Information Server
发现、建模和管理信息结构与 内容
标准化、合并和纠正信息
组合和重构信息以用于新的用途
同步、虚拟化和移动信息以实现 联机交付
7
数据迁移与整理 讲师 刘春霞
DATAGURU专业数据分析社区
IBM信息整合解决方案
业务用户 主题专家 架构师
DATAGURU专业数据分析社区
最广泛的数据整合任务拓扑
Type 1: Normal Batch •传统大数据量处理 Type 2: Micro-Batch •定义停止/启动，规律间隔运行，接近于实时需求 Type 3: ELT (or mixed TETLT) •将部分或者全部处理下压到数据库 Type 1: 信息服务- Full Interaction 信息通过web service驱动更新或者获取 Type 2: 信息服务- Information Retrieval •启动服务，无需输入参数，例如获取信息 Type 3: 基于Queue / Always On •数据到达时，监控队列和过程 Type 4: 基于CDC / Always On •从低延时基于日志复制从fCDC 中获取数据作为数据源 Type 5: 触发数据整合任务 通过Web Service启动数据整合/清洗任务 •触发service, 无输入/输出要求
数据迁移与整理
DATAGURU专业数据分析社区
数据迁移与整理 讲师 刘春霞
正文
【声明】本视频和幻灯片为炼数成金网络课程的教学资料
，所有资料只能在课程内使用，不得在课程以外范围散
播，违者将可能被追究法律和经济责任。 课程详情访问炼数成金培训网站
DATAGURU专业数据分析社区
业务灵活性:
数据获取自服务，选择所需数据结构来获取数据
内置管理:
查看和管理环境和依从度
数据迁移与整理 讲师 刘春霞
DATAGURU专业数据分析社区
FastTrack 跟踪从业务需求到应用开发的过程
单一，集中管理的架构跟踪从业务需求到开
发的整个过程
可以输入Excel格式的影射规范文件
定义影射规范以及业务规则和业 务术语

可以定义业务术语并且将其连接到相应的物 理元数据

自动生成DataStage作业并且将复杂的转换
的描述通知开发员
生成历史文档用于审计
自动生成 DataStage作业 灵活的报表功能 和审计
DATAGURU专业数据分析社区
数据迁移与整理 讲师 刘春霞
数据转换和数据迁移： DataStage
提供图形化开发界面，内置上百种控件和 函数，无需开发手工代码
– –
–
开发人员 架构师
优化整合对象的复用性 支持实时数据和批量数据
项目间可以复用控件
InfoSphere DataStage®
通过图形化开发，满足任意数据量和复杂转换的需求，支持批量和近 实时的数据整合流程。
完全的元数据驱动ETL功能，统一的元数据 管理，与Information Server其他部件共 享元数据 提供高可靠的线性可扩展能力 更利于团队协作开发 提供丰富的数据接口组件 ，允许同时整合 种类繁多的数据源
敏捷的数据整合
Blueprint Director Discovery Data Architect FastTrack DataStage Change Data Delivery Information Services Director Metadata Workbench
InfoSphere Information Server
Data Quality Data Integration
数据质量持续提升
Blueprint Director Discovery Information Analyzer QualityStage Information Services Director Metadata Workbench
数据分析师
开发人员
DBAs
IBM Information Server
Information Services Director
为整合信息和访问发布SOA服务
信息治理目录 自动剖析数据关系 分析 & 理解 源数据
异构信息的虚拟化访问
标准化、合并和纠正信息
组合和重构信息以用于新的用途
Metadata Server / Metadata Workbench
DATAGURU专业数据分析社区
InfoSphere Information Server核心功能
InfoSphere Information Server Enterprise Edition
Information Governance Catalog
敏捷的数据整合
Blueprint Director Discovery Data Architect FastTrack DataStage Change Data Delivery Information Services Director Metadata Workbench
数据迁移与整理 讲师 刘春霞
DATAGURU专业数据分析社区
内容
IBM 数据整合平台 Information Server 数据整合及实时数据获取
数据质量 元数据管理
数据迁移与整理 讲师 刘春霞
DATAGURU专业数据分析社区
计算的新纪元:
信息整合&治理 (IIG)比任何时候都重要
数据迁移与整理 讲师 刘春霞
DATAGURU专业数据分析社区
联通性 : 通用互联服务
数据库
DB2 (on Z, I, P or X series) Oracle Informix (IDS and XPS) Ingres Netezza GreenPlum Progress RDB RedBrick SQL/DS SQL Server Sybase (ASE & IQ) Teradata Universe UniData NonStop SQL InfoSphere Federation Server InfoSphere Classic Federation Odbc, Jdbc, And more…..
数据迁移与整理 讲师 刘春霞
炼数成金逆向收费式网络课程
Dataguru（炼数成金）是专业数据分析网站，提供教育，媒体，内容，社区，出版，数据分析业 务等服务。我们的课程采用新兴的互联网教育形式，独创地发展了逆向收费式网络培训课程模式 。既继承传统教育重学习氛围，重竞争压力的特点，同时又发挥互联网的威力打破时空限制，把 天南地北志同道合的朋友组织在一起交流学习，使到原先孤立的学习个体组合成有组织的探索力 量。并且把原先动辄成千上万的学习成本，直线下降至百元范围，造福大众。我们的目标是：低 成本传播高价值知识，构架中国第一的网上知识流转阵地。 关于逆向收费式网络的详情，请看我们的培训网站
DATAGURU专业数据分析社区
11 数据迁移与整理 讲师 刘春霞
Batch Real time
InfoSphere Data Click
点击两次即可向数据集市加载数据
基于Web的用户体验，允许毫无经验的用户通过简单地点击以批量或者实时的方式移动数据，并具有内置的管理和优化措施
内置管理:
定义和控制数据获取的范围和数据结构
InfoSphere Information Server
Data Quality Data Integration
数据质量持续提升
Blueprint Director Discovery Information Analyzer QualityStage Information Services Director Metadata Workbench
数据迁移与整理 讲师 刘春霞
DATAGURU专业数据分析社区
联通性 : 丰富的大数据源接口
• 高速，并行读写HDFS – BigData File Stage Common JDBC Connector
– Apache Derby – IBM BigInsights SQL Drivers
•
•
其他大数据和NoSQL 数据源
业务驱动信息治理和监管
Information Governance Catalog Blueprint Director Discovery Data Architect Information Services Director Metadata Workbench
10
数据迁移与整理 讲师 刘春霞
高效应用
单一视图
安全与合规
应用集成 和下线
可信赖的信息
InfoSphere
信息整合
数据质量 主数据管理 数据生命 周期管理 隐私&安全
元数据和信息治理策略
不确定数据
数据迁移与整理 讲师 刘春霞
交易 应用
DATAGURU专业数据分析社区
内容 社交 媒体
机器 数据
移动 设备
IBM信息整合解决方案
业务用户
扩展应对数据爆炸
屏蔽日益增长的 复杂性
提供快速实施能力
Sources
Consumers
数据迁移与整理 讲师 刘春霞
DATAGURU专业数据分析社区
数据整合和治理平台
将不确定信息转换为有价值的可信赖信息

分析提升利润
降低数据成本
客户保持
风险欺诈识别
高效协作
加速新产品上线
大数据, 数据仓库 及分 析
提升业务价值
实时数据
WebSphere MQ Java Messaging Services (JMS) Java XML & XSL-T Json EBXML Web Services (SOAP) Enterprise Java Beans (EJB) EDI FIX SWIFT HIPAA
IBM 连接
Allbase/SQL C-ISAM D-ISAM Datacom/DB DS Mumps Enscribe Essbase FOCUS IDMS/SQL ImageSQL Infoman KSAM M204 MS Analysis Nomad Nucleus RMS S2000 Supra TOTAL TurboImage Unify And many more….
– InfoSphere Streams Connector
– ODBC for Hive
– 其他BigData/NoSQL Sources: Hive, Hbase, MongoDB, Cassandra, Apach Avro, Notes, SPSS,Jaql…etc. – Sample: https:///developerworks/community/files/app?lang=en #/folder/4645e12a-7bdb-40ed-a103-f1160b707758
跨信息整合生命周期的统一的元数据管理
8
数据迁移与整理 讲师 刘春霞
DATAGURU专业数据分析社区
InfoSphere Information Server核心功能
InfoSphere Information Server Enterprise Edition
Information Governance Catalog