国产数据库技术架构算法的方法论HotDBP
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
× × × √ × ×
×
√
√
×
×
×
√
√
√
√
√
√
√
×
×
×
×
×
√
×
√
×
×
×
√
√
×
√
√
√
√
√
×
√
×
√
×
×
×
×
×
×
×
√
×
×
×
×
×
√
×
×
×
×
√
√
√
√
√
×
√
√
×
×
×
×
×
√
×
×
×
×
×
√
√Βιβλιοθήκη Baidu
×
×
×
√
×
×
×
×
×
√
×
×
×
×
×
√
×
√
×
×
×
√
√
×
×
×
×
目录
CONTENTS
1
为何需要分布式事务数据库产品
2
分布式事务数据库的架构原理
(data nodes)
Applicatio Applnicantio
MySQL Server
核心算法之二：识别分布式死锁功能谎言的方法，讲述金标委要求的分布式死锁检测 原理、分布式死锁解除原理，及如何测试产品能否做到，做不到会有何危害；
核心算法之三：识别分布式唯一约束功能谎言的方法，讲述金标委要求的分布式主键 值唯一约束原理、分布式唯一索引值唯一约束原理，及如何测试产品能否做到，做不 到会有何危害；
分布式事务数据库行业的基础功能
核心功能名称
分布式事务应用透明 分布式事务读一致 分布式事务写一致 悲观锁 分布式死锁检测 分布式死锁解除
甲骨文Oracle RAC √ √ √ √ √ √
热璞数据库 HotDB √ √ √ √ √ √
时间等动态函数数值全局一致
√
√
分片字段有关的唯一约束 分片字段无关的唯一约束 异构索引精确定位查询范围 全局序列单调递增 分片键按业务需要的自定义
应用透明：等同集中式数据库 SQL语法：除存储过程、自定义函数、
PL/SQL、视图外，全部兼容 数据正确：唯一约束、实时强一致
分布式事务、RC/RR/SR隔离级别 唯一约束：唯一约束值全局唯一 数据副本：副本数据之间做到强一
致
OLTP
分库分表：TDDL为代表
分库：水平拆分、垂直拆分 分表：单库内部拆分为多个表，类似表分区 问题：拆分后不支持分布式事务、跨库JOIN、唯一约束、数据聚合等
全局 DBMS
局部 DBMS
全局外模式
全局外模式
全局外模式
全局概念模式 分片模式 分布模式
模式一 模式二 模式三 模式四
局部概念模式
局部概念模式 局部概念模式
局部内模式
局部内模式
局部内模式
局部 数据库
局部 数据库
局部 数据库
分布式 数据库 增加的
全局自治
Applications (e.g mysql client)
数据库中间件：MyCAT为代表
数据拆分：水平拆分、垂直拆分 表水平拆分：按行的拆分键值来分散存储 问题：拆分设计复杂，拆分后不支持分布式事务、跨库JOIN等
NewSQL：CouchBase为代表
数据拆分：水平拆分 表水平拆分：按照主键或唯一索引，或默认设置的字段值拆分 问题：拆分设计简单，拆分后不支持悲观锁、单调递增序列、吞吐量受限等
Applicatio n
ApAppAlpnicplniapctaliniSotciEaoTtLAioEBCLTE_*NFARAMOppMElincatio WHERE ID=14;
SQL
MySQL Server
(mysqld)
Storage
MySQL SeDrvaetr
(mysaqld )
NDB Cluster
业务数据 1 业务数据 2
... 业务数据 3
业务数据 N
分布式事务数据库 存储节点
Oracle/DB2为多进程模式，MySQL为单进程多线程模式，分布式架构更好支撑海量连接、海量并发、海量吞吐的业务场景。
分布式事务数据库行业的常见“网络术语”
基础功能
数据分片：分片设计要智能算法实 现按业务特征的字段做数据分片
5
跨数据中心级灾备双活功能验证方法论
集中式数据库 vs 分布式事务数据库的技术架构：吞吐量、并发量、水平扩展
业A务P_P1
支业务付_2宝
... 业微务信_3
云业闪务_付4
业A务P_1P
支业务_2宝 付
业微务_3 信
... 云业闪务_4付
应用负载均衡 F5/LVS
高可用 F5/LVS
应用分布式
APP
√
√
√
√
√
×
√
√
√
√
按业务需要的数据分片设计智能优化
√
√
表对象分片键在线变更 表对象分片类型在线变更 SELECT多表关联 UPDATE多表关联 DELETE多表关联 SSL连接加密国标密钥算法 数据库误操作快速恢复 危险SQL拦截 表结构和表索引优化推荐
√
√
√
√
√
√
√
√
√
√
√
√
√
√
√
√
√
√
同城双数据中心灾备/双活一键切换
APP
... APP
APP
F5/LVS
APP
APP
高可用
F5/LVS 应用负载均衡
... APP
APP
应用分布式
集中式数据库瓶颈：吞吐量和存储
集中式数据库
Or据acle/DB2
量
业务数
集中式 转型 分布式
分布式事务数据库
高可用
分布式事务数据库
分布式事务数据库 计算节点
分布式事务数据库水平吞吐能力扩展
检验国产分布式事务数据库技术架构与核心算法 的方法论
技术创新，变革未来
概述
理论常识：教科书上阐述的分布式事务数据库的技术架构，内置隐含数据分片健的优 势与陷阱、内置按需数据分片键的优势与陷阱；
核心算法之一：识别分布式事务功能谎言的方法 ，讲述金标委要求的分布式事务读一 致原理、分布式事务写一致原理，及如何 测试产品能否做到，做不到会有何危害；
核心算法之四：识别跨数据中心级灾备双活功能谎言的方法，讲述分布式事务数据库 行业的容灾双活的种类要求、原理等，及如何测试产品能否做到，做不到会有何危害
。
目录
CONTENTS
1
为何需要分布式事务数据库产品
2
分布式事务数据库的架构原理
3
分布式事务数据库的性能验证方法论
4
分布式事务数据库的功能验证方法论
3
分布式事务数据库的性能验证方法论
4
分布式事务数据库的功能验证方法论
5
跨数据中心级灾备双活功能验证方法论
教科书定义的分布式事务数据库的技术架构及功能特性
分布式数据库：是由一组数据组成的，这组数据分布在计算机网络的不同计算机上，网络中的每个结点具有独立处理能力（称为场 地自治），可以执行局部应用。同时每个结点也能通过网络通讯子系统执行全局应用（称为全局自治）。
√
√
蚂蚁金服 OceanBase
√ √ √ √ × ×
√
√ × × √ √
×
√ √ √ √ √ √ √ √ √
√
阿里云DRDS
√ √ √ √ × ×
中兴 GoldenDB
√ √ √ × × ×
腾讯TDSQL
√ × × √ √ √
百度云XDB
√ × × √ × ×
华为云DDM
√ × × √ × ×
开源MyCAT类
×
√
√
×
×
×
√
√
√
√
√
√
√
×
×
×
×
×
√
×
√
×
×
×
√
√
×
√
√
√
√
√
×
√
×
√
×
×
×
×
×
×
×
√
×
×
×
×
×
√
×
×
×
×
√
√
√
√
√
×
√
√
×
×
×
×
×
√
×
×
×
×
×
√
√Βιβλιοθήκη Baidu
×
×
×
√
×
×
×
×
×
√
×
×
×
×
×
√
×
√
×
×
×
√
√
×
×
×
×
目录
CONTENTS
1
为何需要分布式事务数据库产品
2
分布式事务数据库的架构原理
(data nodes)
Applicatio Applnicantio
MySQL Server
核心算法之二：识别分布式死锁功能谎言的方法，讲述金标委要求的分布式死锁检测 原理、分布式死锁解除原理，及如何测试产品能否做到，做不到会有何危害；
核心算法之三：识别分布式唯一约束功能谎言的方法，讲述金标委要求的分布式主键 值唯一约束原理、分布式唯一索引值唯一约束原理，及如何测试产品能否做到，做不 到会有何危害；
分布式事务数据库行业的基础功能
核心功能名称
分布式事务应用透明 分布式事务读一致 分布式事务写一致 悲观锁 分布式死锁检测 分布式死锁解除
甲骨文Oracle RAC √ √ √ √ √ √
热璞数据库 HotDB √ √ √ √ √ √
时间等动态函数数值全局一致
√
√
分片字段有关的唯一约束 分片字段无关的唯一约束 异构索引精确定位查询范围 全局序列单调递增 分片键按业务需要的自定义
应用透明：等同集中式数据库 SQL语法：除存储过程、自定义函数、
PL/SQL、视图外，全部兼容 数据正确：唯一约束、实时强一致
分布式事务、RC/RR/SR隔离级别 唯一约束：唯一约束值全局唯一 数据副本：副本数据之间做到强一
致
OLTP
分库分表：TDDL为代表
分库：水平拆分、垂直拆分 分表：单库内部拆分为多个表，类似表分区 问题：拆分后不支持分布式事务、跨库JOIN、唯一约束、数据聚合等
全局 DBMS
局部 DBMS
全局外模式
全局外模式
全局外模式
全局概念模式 分片模式 分布模式
模式一 模式二 模式三 模式四
局部概念模式
局部概念模式 局部概念模式
局部内模式
局部内模式
局部内模式
局部 数据库
局部 数据库
局部 数据库
分布式 数据库 增加的
全局自治
Applications (e.g mysql client)
数据库中间件：MyCAT为代表
数据拆分：水平拆分、垂直拆分 表水平拆分：按行的拆分键值来分散存储 问题：拆分设计复杂，拆分后不支持分布式事务、跨库JOIN等
NewSQL：CouchBase为代表
数据拆分：水平拆分 表水平拆分：按照主键或唯一索引，或默认设置的字段值拆分 问题：拆分设计简单，拆分后不支持悲观锁、单调递增序列、吞吐量受限等
Applicatio n
ApAppAlpnicplniapctaliniSotciEaoTtLAioEBCLTE_*NFARAMOppMElincatio WHERE ID=14;
SQL
MySQL Server
(mysqld)
Storage
MySQL SeDrvaetr
(mysaqld )
NDB Cluster
业务数据 1 业务数据 2
... 业务数据 3
业务数据 N
分布式事务数据库 存储节点
Oracle/DB2为多进程模式，MySQL为单进程多线程模式，分布式架构更好支撑海量连接、海量并发、海量吞吐的业务场景。
分布式事务数据库行业的常见“网络术语”
基础功能
数据分片：分片设计要智能算法实 现按业务特征的字段做数据分片
5
跨数据中心级灾备双活功能验证方法论
集中式数据库 vs 分布式事务数据库的技术架构：吞吐量、并发量、水平扩展
业A务P_P1
支业务付_2宝
... 业微务信_3
云业闪务_付4
业A务P_1P
支业务_2宝 付
业微务_3 信
... 云业闪务_4付
应用负载均衡 F5/LVS
高可用 F5/LVS
应用分布式
APP
√
√
√
√
√
×
√
√
√
√
按业务需要的数据分片设计智能优化
√
√
表对象分片键在线变更 表对象分片类型在线变更 SELECT多表关联 UPDATE多表关联 DELETE多表关联 SSL连接加密国标密钥算法 数据库误操作快速恢复 危险SQL拦截 表结构和表索引优化推荐
√
√
√
√
√
√
√
√
√
√
√
√
√
√
√
√
√
√
同城双数据中心灾备/双活一键切换
APP
... APP
APP
F5/LVS
APP
APP
高可用
F5/LVS 应用负载均衡
... APP
APP
应用分布式
集中式数据库瓶颈：吞吐量和存储
集中式数据库
Or据acle/DB2
量
业务数
集中式 转型 分布式
分布式事务数据库
高可用
分布式事务数据库
分布式事务数据库 计算节点
分布式事务数据库水平吞吐能力扩展
检验国产分布式事务数据库技术架构与核心算法 的方法论
技术创新，变革未来
概述
理论常识：教科书上阐述的分布式事务数据库的技术架构，内置隐含数据分片健的优 势与陷阱、内置按需数据分片键的优势与陷阱；
核心算法之一：识别分布式事务功能谎言的方法 ，讲述金标委要求的分布式事务读一 致原理、分布式事务写一致原理，及如何 测试产品能否做到，做不到会有何危害；
核心算法之四：识别跨数据中心级灾备双活功能谎言的方法，讲述分布式事务数据库 行业的容灾双活的种类要求、原理等，及如何测试产品能否做到，做不到会有何危害
。
目录
CONTENTS
1
为何需要分布式事务数据库产品
2
分布式事务数据库的架构原理
3
分布式事务数据库的性能验证方法论
4
分布式事务数据库的功能验证方法论
3
分布式事务数据库的性能验证方法论
4
分布式事务数据库的功能验证方法论
5
跨数据中心级灾备双活功能验证方法论
教科书定义的分布式事务数据库的技术架构及功能特性
分布式数据库：是由一组数据组成的，这组数据分布在计算机网络的不同计算机上，网络中的每个结点具有独立处理能力（称为场 地自治），可以执行局部应用。同时每个结点也能通过网络通讯子系统执行全局应用（称为全局自治）。
√
√
蚂蚁金服 OceanBase
√ √ √ √ × ×
√
√ × × √ √
×
√ √ √ √ √ √ √ √ √
√
阿里云DRDS
√ √ √ √ × ×
中兴 GoldenDB
√ √ √ × × ×
腾讯TDSQL
√ × × √ √ √
百度云XDB
√ × × √ × ×
华为云DDM
√ × × √ × ×
开源MyCAT类