分析型数据库标准发展与产业观察
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
⻔门槛有没有？放在哪？怎么摆？划多高高？
标准编制工作1—基础能力标准
分布式分析型数据库基 础能力评测标准，已正
式成为行业标准 ——YD/T 1213-2016 《大数据 分布式分析型数据库技术要求与测试方 法》
标准参与单位：
中国信息通信研究院 华为技术有限公司 北京百度网讯科技有限公司 腾讯云计算有限公司
2、市场依据：
• 测试结果及数据上报相关部委，成为产业现状评估依据以及未来政策规划依据 • 同步市场调研及投融资机构，为相关产业测算及投融资提供事实依据
3、企业指南：
• 降低企业之间信息差，通过公开标准要求，为企业提供未来研发参考 • 为相关产品部门提供拉动内部资源的参考
标准化的工作—全家福
工作思考：做好什么才能让我们被世界认可
12小时持续时间
CPU密集型
插入
复杂查询负载
复杂查询负载
报表任务
精确查询
CPU达到80%
CPU达到60%
分析型任务
复杂查询
交互式查询
组件 CPU 内存 硬盘
网网卡 交换机
配置
2*英特尔至至强 E5-2620 v3 2.4GHz,15M 缓存
8*16GB RDIMM, 2133 MT/s
10*1.2TB 10K RPM SAS 6Gbps 2.5英寸寸
DB Engines 2019年8月 数据库排名
DB Engines排名方法
相关站点多 搜索多 专业网网站讨论 多 招人人多 职业网网站讨论多 社交网网站讨论多
技术指标？？？
除了技术本身，生态完整性是新产品、新技术发展的关键要素
下一步工作：做好国产数据库的生态支撑
1、技术门槛高 2、缺乏相应国际经验与成熟商用方案 3、转型的路径不明确，标准不统一 4、配套组织及体系不成熟 5、推广发声渠道难以拓展
产品名称
神通数据库管理理系统 GBase 8a MPP Cluster 中移软件分布式混合型并行行行关系型数据库系统软件 易易鲸捷数据库管理理系统[简称：EsgynDB]
HashData数据仓库 百度数据仓库Doris V3.4 数梦工工场大大规模分析型数据库[DThink ADB] SequoiaDB巨杉数据库 星环分布式闪存数据库软件（Transwarp ArgoDB） 国双并行行行数据仓库系统[简称：Gridsum ZETA PDW]
TBase H3C DataEngin源自文库 MPP
GuassDB 200 天河大大数据基础平台
测试类型
基础能力力力 基础能力力力/性能 基础能力力力/性能
基础能力力力 基础能力力力 基础能力力力 基础能力力力 基础能力力力 基础能力力力/性能 基础能力力力/性能 基础能力力力 基础能力力力/性能（大大规模） 基础能力力力（大大规模） 基础能力力力
标准： 新型产品技术要求 原有体系迁移规范 运维服务保障准则
宣传： 政策渠道 产业渠道 国际渠道
试点： 开发行业模型 联合单位试点 推广落地经验
测试： 基础能力 性能水平（金融场景） 服务能力
基于PG 14%
Greemplum，14%基于PostgreSQL。 • 规模的突破：分布式分析数据库正在努力突破扩展性的限制，大
自研 43%
规模部署能力有很大突破。阿里巴巴完成1900节点的委托测试，
华为完成了512节点基础能力的标准测试，华三完成了200节点性
基于 Greenplu
m 43%
能的标准测试。 • 永远的SQL：分布式分析型正在重新回暖，一部分原因是Hadoop
热插拔硬盘
10*1.2TB 10K RPM SAS 12Gbps 2.5英寸寸
热插拔硬盘
单口口万兆网网卡
锐捷RG-S6220-48XS4QXS 万兆交换机
台数 32 32 22
10 32 1
标准落地工作1—基于标准测试产品
公司名称
天津神舟舟通用用数据技术有限公司 天津南大大通用用数据技术股份有限公司
的逐渐衰落和学习成本太大，一部分原因是人们对于SQL的依赖
根深蒂固。
• 等待全能战士：分布式分析型数据库能力目前没有能够完全满足 标准的。
标准落地工作4：推动应用
1、辅助选型：
• 通过委托咨询，直接成为银行行行、交易易所、运营商、政府机构等行行行业机构的选型依据 • 测试标准和结果成为2019央采招标参考
p 混合负载以及SQL测试覆盖30TB数据规模 p 混合负载测试覆盖四种类型负载同时发生
测试环境：
32服务器节点 = 22 * 戴尔 + 10 * 联想
内外两套网 = 千兆外网 + 万兆内网
全时服务
= 7 * 24小时不停机
TPC-DS SQL 混合负载
I/O密集型任务
加载
压力测试
2小时持续时间
稳定性测试
阿里云计算有限公司 电信云计算有限公司 联合网络通讯有限公司 中移（苏州）软件技术有限公司 天津南大通用数据技术有限公司 星环信息科技（上海）有限公司 中兴通讯股份有限公司 15
标准编制工作2—性能衡量标准
p 分布式分析型数据库性能专项认证包括SQL任务、混合 负载、压力测试和稳定性测试四类任务。
中移（苏州）软件技术有限公司 贵州易易鲸捷信息技术有限公司
北北京酷克数据科技有限公司 百度网网讯科技有限公司
杭州数梦工工场科技有限公司 广广州巨杉软件开发有限公司 星环信息科技（上海海）有限公司
北北京国双科技有限公司 腾讯云计算（北北京）有限责任公司
新华三技术有限公司 华为技术有限公司
南威软件股份有限公司
标准落地工作2：识别产品
各大大项测试结果统计
公司 完成总数 功能 运维 兼容性 安全性 容灾性 扩展性
A
47
16
15
3
6
3
4
B
46
16
15
3
5
3
4
C
42
15
13
2
6
3
3
D
39
17
10
2
5
3
2
E
32
16
7
1
4
2
2
真理理：是骡子子是⻔马拉出来溜溜溜溜
标准落地工作3：观察产业
• 开源的恩赐：分析型数据库发展加快，部分原因是Greenplum的 开源，据统计参与评测的14款MPP数据库中43%都是基于
分析型数据库标准发展与产业观察
技术创新 变革未来
标准化的意义1—一种公认的刻度
标准化的意义2—一个合适的门槛
产业点滴
p 分布式分析型数据库国内相关产品已经达到30余款 p 数据库公司、IT服务公司、云公司、大数据公司均推出相关产品 p 研发模式囊括基于开源二次开发、商业收购、自研等形式的产品 p 各产品性能的新闻稿都是“客观存在的某种第一”
标准编制工作1—基础能力标准
分布式分析型数据库基 础能力评测标准，已正
式成为行业标准 ——YD/T 1213-2016 《大数据 分布式分析型数据库技术要求与测试方 法》
标准参与单位：
中国信息通信研究院 华为技术有限公司 北京百度网讯科技有限公司 腾讯云计算有限公司
2、市场依据：
• 测试结果及数据上报相关部委，成为产业现状评估依据以及未来政策规划依据 • 同步市场调研及投融资机构，为相关产业测算及投融资提供事实依据
3、企业指南：
• 降低企业之间信息差，通过公开标准要求，为企业提供未来研发参考 • 为相关产品部门提供拉动内部资源的参考
标准化的工作—全家福
工作思考：做好什么才能让我们被世界认可
12小时持续时间
CPU密集型
插入
复杂查询负载
复杂查询负载
报表任务
精确查询
CPU达到80%
CPU达到60%
分析型任务
复杂查询
交互式查询
组件 CPU 内存 硬盘
网网卡 交换机
配置
2*英特尔至至强 E5-2620 v3 2.4GHz,15M 缓存
8*16GB RDIMM, 2133 MT/s
10*1.2TB 10K RPM SAS 6Gbps 2.5英寸寸
DB Engines 2019年8月 数据库排名
DB Engines排名方法
相关站点多 搜索多 专业网网站讨论 多 招人人多 职业网网站讨论多 社交网网站讨论多
技术指标？？？
除了技术本身，生态完整性是新产品、新技术发展的关键要素
下一步工作：做好国产数据库的生态支撑
1、技术门槛高 2、缺乏相应国际经验与成熟商用方案 3、转型的路径不明确，标准不统一 4、配套组织及体系不成熟 5、推广发声渠道难以拓展
产品名称
神通数据库管理理系统 GBase 8a MPP Cluster 中移软件分布式混合型并行行行关系型数据库系统软件 易易鲸捷数据库管理理系统[简称：EsgynDB]
HashData数据仓库 百度数据仓库Doris V3.4 数梦工工场大大规模分析型数据库[DThink ADB] SequoiaDB巨杉数据库 星环分布式闪存数据库软件（Transwarp ArgoDB） 国双并行行行数据仓库系统[简称：Gridsum ZETA PDW]
TBase H3C DataEngin源自文库 MPP
GuassDB 200 天河大大数据基础平台
测试类型
基础能力力力 基础能力力力/性能 基础能力力力/性能
基础能力力力 基础能力力力 基础能力力力 基础能力力力 基础能力力力 基础能力力力/性能 基础能力力力/性能 基础能力力力 基础能力力力/性能（大大规模） 基础能力力力（大大规模） 基础能力力力
标准： 新型产品技术要求 原有体系迁移规范 运维服务保障准则
宣传： 政策渠道 产业渠道 国际渠道
试点： 开发行业模型 联合单位试点 推广落地经验
测试： 基础能力 性能水平（金融场景） 服务能力
基于PG 14%
Greemplum，14%基于PostgreSQL。 • 规模的突破：分布式分析数据库正在努力突破扩展性的限制，大
自研 43%
规模部署能力有很大突破。阿里巴巴完成1900节点的委托测试，
华为完成了512节点基础能力的标准测试，华三完成了200节点性
基于 Greenplu
m 43%
能的标准测试。 • 永远的SQL：分布式分析型正在重新回暖，一部分原因是Hadoop
热插拔硬盘
10*1.2TB 10K RPM SAS 12Gbps 2.5英寸寸
热插拔硬盘
单口口万兆网网卡
锐捷RG-S6220-48XS4QXS 万兆交换机
台数 32 32 22
10 32 1
标准落地工作1—基于标准测试产品
公司名称
天津神舟舟通用用数据技术有限公司 天津南大大通用用数据技术股份有限公司
的逐渐衰落和学习成本太大，一部分原因是人们对于SQL的依赖
根深蒂固。
• 等待全能战士：分布式分析型数据库能力目前没有能够完全满足 标准的。
标准落地工作4：推动应用
1、辅助选型：
• 通过委托咨询，直接成为银行行行、交易易所、运营商、政府机构等行行行业机构的选型依据 • 测试标准和结果成为2019央采招标参考
p 混合负载以及SQL测试覆盖30TB数据规模 p 混合负载测试覆盖四种类型负载同时发生
测试环境：
32服务器节点 = 22 * 戴尔 + 10 * 联想
内外两套网 = 千兆外网 + 万兆内网
全时服务
= 7 * 24小时不停机
TPC-DS SQL 混合负载
I/O密集型任务
加载
压力测试
2小时持续时间
稳定性测试
阿里云计算有限公司 电信云计算有限公司 联合网络通讯有限公司 中移（苏州）软件技术有限公司 天津南大通用数据技术有限公司 星环信息科技（上海）有限公司 中兴通讯股份有限公司 15
标准编制工作2—性能衡量标准
p 分布式分析型数据库性能专项认证包括SQL任务、混合 负载、压力测试和稳定性测试四类任务。
中移（苏州）软件技术有限公司 贵州易易鲸捷信息技术有限公司
北北京酷克数据科技有限公司 百度网网讯科技有限公司
杭州数梦工工场科技有限公司 广广州巨杉软件开发有限公司 星环信息科技（上海海）有限公司
北北京国双科技有限公司 腾讯云计算（北北京）有限责任公司
新华三技术有限公司 华为技术有限公司
南威软件股份有限公司
标准落地工作2：识别产品
各大大项测试结果统计
公司 完成总数 功能 运维 兼容性 安全性 容灾性 扩展性
A
47
16
15
3
6
3
4
B
46
16
15
3
5
3
4
C
42
15
13
2
6
3
3
D
39
17
10
2
5
3
2
E
32
16
7
1
4
2
2
真理理：是骡子子是⻔马拉出来溜溜溜溜
标准落地工作3：观察产业
• 开源的恩赐：分析型数据库发展加快，部分原因是Greenplum的 开源，据统计参与评测的14款MPP数据库中43%都是基于
分析型数据库标准发展与产业观察
技术创新 变革未来
标准化的意义1—一种公认的刻度
标准化的意义2—一个合适的门槛
产业点滴
p 分布式分析型数据库国内相关产品已经达到30余款 p 数据库公司、IT服务公司、云公司、大数据公司均推出相关产品 p 研发模式囊括基于开源二次开发、商业收购、自研等形式的产品 p 各产品性能的新闻稿都是“客观存在的某种第一”