可信数据复制

事务取消 永远不会放到队列中
事务仍旧进行中， 不执行任何的MQ PUT.
24
InfoSphere software
高性能 – 并行Apply
SOURCE TARGET
SOURCE2 SOURCE1
Apply Capture
Apply Agent
Log
Apply Agent Apply Agent
并行处理事务
目录
数据爆炸 数据复制技术 InfoSphere Replication Server技术 • SQL复制 • Q复制 InfoSphere Replication Server的应用场景 实际案例
8
InfoSphere software
数据库复制技术
将一个数据库中的数据复制到另一个数据库 同构数据库之间 • 相同提供商 • 相同版本 • 相同系统平台 异构数据库之间 • 不同系统平台 (LUW, zOS等) • 不同版本之间 (如DB2 V9.1 -> db2 v9.7) • 不同提供商 (如源Oracle，目标DB2)
2009.04.30
Release / Version
1994
15
1997
1999
2000
2002.10
2004.09
2006.08
2007.10
2009.07
2010.10
Year
InfoSphere software
SQL复制
Capture程序从DB2日志中读取变更的数据 变更数据放入DB2表中 (CD表) Apply程序获取变更并应用到到目标表
• 持续可用和高可用解决方案 • 不修改源表
对等
• 两台或多台服务器之间复制 • 没有主服务器 • 冲突主要依靠时间戳解决
– – 最近更改获胜 IBMQREPVERTIME, IBMQREPVERNODE
• 修改源表,增加两列
23
InfoSphere software
Q复制源端
DB Log
TX1: INSERT S1 TX2: INSERT S2 TX3: DELETE S1 TX1: UPDATE S1 TX1: COMMIT TX3: ROLLBACK
• 目标端的工作队列 – 如果源端停止，不需要重启
Source
SOURCE2 SOURCE1
WebSphere MQ Capture <system down>
DB2 Log
20
InfoSphere software
预订
建立源表和目标表之间的关系 点到点, 1个源表到3个目标表需要3个预订
COPY
COPY
CD1 SOURCE
CD1 SOURCE
CD1 SOURCE
HISTORY
COPY
COPY
数据和并(多:1)
审计
多级分发
多种可能性…不仅仅是单个源和目标
18
InfoSphere software
Q复制
Capture程序从DB2日志中读取变更的数据 MQ将数据传送到运行Apply程序的系统 – no staging Apply从队列中读取数据，并应用到目标表 适合高性能、持续可用等需求
事务在内存之中重建 只有提交的事务会被放到队列中 每一个事务是存在一条独立的MQ消息中
Q Capture内存中的事务
TX1: INSERT S1 TX1: UPDATE S1 TX1: COMMIT TX3: DELETE S1 TX3: ROLLBACK TX2: INSERT S2
当发现COMMIT, 执行MQ PUT
源
SOURCE2 SOURCE1
目标
WebSphere MQ
CCD
Capture
Apply
UCOPY
DB Log
19
InfoSphere software
为什么采用MQ?
利用MQ的优势
• 保证实时传递数据 • SSL和加密的安全选项，数字签名，等
–
提供一个安全的方法在企业和防火墙之间传输数据
许多大公司都使用MQ 一方的失效并不会阻止另一端的进程，如:
可信复制技术保障商业数据分析
刘江红 IBM高级软件工程师 liujhong@cn.ibm.com
1
© 2008 IBM Corporation
InfoSphere software
目录
数据爆炸 数据复制技术 InfoSphere Replication Server技术 • SQL复制 • Q复制 InfoSphere Replication Server的应用场景 实际案例 总结
TARGET N
TARGET 1 TARGET …
捕获
传输
应用
11
InfoSphere software
复制技术一般框架
数据捕获 • 从表获取变更
– Trigger – 对源库影响比较大
• 从日志中获取数据变更 数据传输 • 采用Client-Server • 中间件， 如WebSphere MQ 数据应用 • 串行(简单，但效率低, 性能瓶颈) • 并行(高效，冲突检测难)
– – 在一端的变更可能与另一端的变更不一致。 Q复制具有相应的检测和解决冲突选项
防止变更无限的循环
Primary
Secondary/backup
22
InfoSphere software
两种典型的多向复制
双向
• 两台服务器间复制 • 冲突：指定一端作为赢家
Primary Secondary/backup
27
C:\asnclp REPL > CREATE QSUB USING REPLQMAP ... REPL > CREATE SUBSCRIPTION SET SETNAME ... REPL > CREATE MEMBER IN SETNAME ...
GUI •DB2复制中心 –定义, 操作 –能生成SQL脚本 •Replication Dashboard –基于Web, 监控多个站点 APIs •asnclp: 交互模式或脚本 •Java APIs 操作命令 •Capture 和Apply程序启动任务 • 管理Capture和Apply程序的命 令： asnqccmd 和 asnqacmd 实用工具 •检查表的完整性: asntdiff •显示队列中信息: asnqmfmt •发现警告并发送email: asnmon
• 通过DB2 SQL和DB2 客户端-服务器框架实现
适合大规模的分发和合并
源
SOURCE2 SOURCE1
目标
Capture
CD2
CD1 CD1
CCD HISTORY
Apply
REPLICA UCOPY
DB Log
16
InfoSphere software
注册表和预订
注册表 – 定义SQL复制的源 • 表,列, 前/后映像 • 指定工作台(Staging Table)的内容 预订– 定义SQL复制的目标 • 过滤,转换, 聚集, 时间表, 事务行为 • 多个预订可以使用同一个注册表。
一般场景
应用程序操作数据库，产生数据变化（数据源） 数据变化接着：
– – – 被读取，或者称为“捕获” 数据变化“传输”到另一个数据库（数据目标） 数据最后“应用”到目标表中，或者作为另一个应用程序的输入，等等
如图所示，一个最简单的复制
源
SOURCE1
SOURCE N SOURCE…
目标
17
InfoSphere software
分发&合并
1.
CD1 SOURCE
3.
CD1 MASTER
4.
CD1 SOURCE
ห้องสมุดไป่ตู้
REPLICA COPY COPY COPY
REPLICA
REPLICA
CD1 STAGING CD1 STAGING
数据分发(1:多)
2. 5.
双向分发
COPY
CD1 SOURCE
• 高性能的一个原因 • 消除了多数复制产品的瓶颈 • 高吞吐量和递延
TARGET1 TARGET2 TARGET3
只有检测到依赖才串行
25
InfoSphere software
事件发布
理论上是, 没有Q Apply的Q复制 Q Capture将数据放入WebSphere MQ队列中 MQ将数据传送到需要这些数据的程序
Action time or Action distance
Time
Source: Richard D. Hackathorn, Bolder Technology, Inc.
4
InfoSphere software
数据为中心
商业分析 云计算 • 海量数据存储和检索 数据融合，数据处理成为趋势 • 2012 数据库大会 （4/13~4/15）
– 大数据架构设计、数据库安全、分布式数据库、商业智能、 NoSQL、Hadoop
• 2012-4-16
– 奥巴马政府宣布大数据的研究和发展计划——通过提高我们从大型 复杂的数字数据集中提取知识和观点的能力，承诺帮助加快在科学 与工程中的步伐，加强国家安全，并改变教学研究。
5
InfoSphere software
CD1
单向
• 变更在两个服务器之间单项复制（从源到目标） • 变更可进行过滤和转换
CD1
双向
• 变更在两个服务器之间双向复制 • 利用值进行冲突检测
CD1
CD1
对等(P2P)
• 变更在2或多个服务器之间复制
CD1
• 利用版本进行冲突检测
21
InfoSphere software
多向
从目标端到源端具有和源端到目标端一样的基本进程 每一张表既是源表又是目标表 可能发生冲突
2
InfoSphere software
数据大爆炸 包罗万象的数据
– – 大交易数据 大交互数据
3
InfoSphere software
数据的时效
Business Value
Business event
Value lost
Data ready for analysis
Information delivered Action taken
14
InfoSphere software
IBM DB2复制技术的历史
SQL 复制 (以前的DPropR) 1994年首次发布; Q 复制2004年首次发布; 在全球拥有几千个客户; 和DB2一起集成发布
InfoSphere Replication Server V10.0 InfoSphere Replication Server V9.7 InfoSphere Replication Server v9.5 WebSphere Replication Server V9.1 Websphere II V8.2 (Q Replication) 2009.04.30 DpropR V8.1 & V8.2 ( SQL Replication ) DpropR V5 DpropR V1 DpropR V6 DpropR V7 2004.09.30
12
InfoSphere software
目录
数据爆炸 数据复制技术 InfoSphere Replication Server技术 • SQL复制 • Q复制 InfoSphere Replication Server的应用场景 实际案例
13
InfoSphere software
9
InfoSphere software
复制技术分类
有三种不同的复制技术 • 快照复制 • 归并复制 • 事务复制 按照更新的时间划分 • 同步 • 异步 按照更新位置划分 • 主版本 (Primary Copy) • 任何位置更新 (Update-Anywhere)
10
InfoSphere software
商业分析
6
6
InfoSphere software
数据营销
IBM中国研究院院士、首席技术官王云
• 数据是被动的 • 如何将数据蕴含的商机挖掘出来，进行及时决策
数据营销
• 个性化，有的放矢 • 在合适的时间，将合适的商品，用合适的渠道，卖给合适的人 • 需要倾听数据，分析数据
7
InfoSphere software
–
源
SOURCE2 SOURCE1
如 DataStage
目标
User Application
WebSphere MQ Capture
WBI Event Broker User Application
TGT1
DB Log
DataStage
TGT2 TGT3
26
InfoSphere software
复制管理工具
IBM的复制产品
InfoShpere Replication Server • 擅长于DB2之间, DB2与Oracle的复制 • 与DB2同步更新 • 支持异构的数据库 InfoShphere Change Data Capture (CDC) • 擅长异构数据库，Oracle之间复制 • 独立于DB2 都是异步复制