甲骨文-数据库技术的发展演变与创新
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
– 采用开源数据库代替商用数据库，如Mysql等 – 采用Hadoop+NoSQL代替关系型数据库 – 混合持久化，RDBMS+Nosql+Hadoop？
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal/Restricted/Highly Restricted
电信核心系统一致性和可靠性要求要大于扩展性-CA
电信核心业务——一致性、可靠性优 先 适合按省或集中式部署 数据 对数据库要求高，可通过数据库处理复 杂逻辑 数据强一致性保障 分布式架构——可扩展性优先 数据水平切分，分布式部署
数据库任务简单，不适合承载复杂逻辑
通过中间件和应用程序配合实现最终一致性
标准的访问语言-SQL
成熟的商业化数据库产品，广泛的应用领域与成熟的支持 体系，保障几百万客户在不同平台及版本上的产品能力
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal/Restricted/Highly Restricted
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 14
互联网公司引领大数据新兴技术
定制化应用实现扩展性和可用性 • MapReduce (2004, Google), Hadoop (2005, Yahoo!) – 非关系型数据模型, 键-值对, 针对大规模分布式并行简单计算设计 • Bigtable (2006, Google), HBase – 非关系型数据模型, No SQL, 数据是不能解释的字符串, 无类型列, 二级索引, 触发 器, 高级查询语言, … • Dynamo (2007, Amazon) – 键值对, 非关系型模式, 最终一致性 • Cassandra (2010, Facebook) – 键值对, no SQL
例如移动的大部分数据必须是准确一致的，当一个资源的状态被更改后，所有访问这个资 源的应用都必须马上能够看到这个变化； 反之BASE模式：淘宝上的网店的库存在一段时间里面是不准的，但是这不影响淘宝的业务
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal/Restricted/Highly Restricted 12
传统企业关键业务系统 电信金融企业支付宝 数据强一致性需求
C (Consistency) 数据一致性-所有节点 在同一时间具有相同 的数据
CP Bigtable(Google)/Hbase/Redis(新浪微博) 海量存储需求&面向文档的数据库 采用分布式架构实现CP ，必然面临性能及可用性难题 Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
5
数据库技术的发展历史
• 20世纪60年代，存储数据的多为文件系统及层次数据库，这 个就是前数据库时代-网状及层次数据库阶段 • 1970年，关系数据库之父 Edgar Frank Codd发表了业界第一篇 关于关系数据库理论的论文首次提出了关系模型的概念，简单 明了，易于扩充管理 • 1977年 Software Develop Lab成立，这就是后来的Oracle，数据 库管理系统的诞生带来了计算机信息管理一场巨大的革命 • 1979年在VAX机器上第一个商业关系数据库-Oracle V1 面世， 进入关系数据库时代；同年Teradata成立 • 1983年Oracle公司成立，第一个跨平台的32位RDBMS出现，同 年IBM大机上的DB2面市
数据库云 多租户 内存计算 大数据 JSON
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
今天的数据库市场
Gartner: 操作型数据库管理系统魔力象限- 2013年10月
• Gartner改用数据库管理系统(DBMS) 而不是关系型数据库管理系统 (RDBMS)
Page 11
数据库技术基本模式 – ACID & BASE
• 关系数据库的ACID模型拥有高一致性 + 可用性：C+A
• • • • 原子性(Atomicity). 事务中的所有操作,要么全部成功,要么全部不做. 一致性(Consistency). 在事务开始与结束时,数据库处于一致状态. 隔离性(Isolation). 事务将假定只有它自己在操作数据库，彼此不知晓. 持久性(Durability). 一旦事务完成此操作将不可逆转
• BASE模型-反ACID模型，牺牲高一致性，获得可用性或可靠性 A+P
• 基本可用(Basically Available) 支持分区失败(e.g. sharding碎片划分数据库) • 软状态(Soft state) 状态可以有一段时间不同步，异步 • 最终一致(Eventually consistent)，最终数据是一致的就可以了，而不是时时高一致
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
分布式计算中的CAP-帽子原理
Web服务无法同时满足以下3个属性：数据一致性、可用性和分区容错性
A (Availability) 可用性-保证每个请求不管成功或者失败都有响应 CA Oracle/DB2/MS/MySQL… AP Cassandra(Facebook) Voldemort(LinkIn) SampleDB(Amazon) 互联网企业典型的Web2.0应用 高可扩展性和可用性的分布式计算 最终一致性 P (Partition tolerance) 分区容错性-系统中任何节点 失败不会影响系统的继续运 作
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
关系数据库技术的持续创新
大数据 移动 Internet
云
1993
2003
2013
存储过程 分区 并行查询 非结构化数据支持 对象关系型
资源管理 集群 数据保护 XML
数据库技术的发展，演变与创新
李珈 高级技术咨询总监 甲骨文（中国）软件系统有限公司
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
ቤተ መጻሕፍቲ ባይዱ
演讲人 – 李珈 Joyce Li
• 超过十五年Oracle数据库、数据仓库及企业应用 软件领域相关工作经验，丰富的电信、金融及政 府和制造业行业经验，曾主持设计电信及金融行 业大型关键业务系统及大型数据仓库系统，对关 系型数据库系统、ERP、CRM系统及大数据应用 有深刻理解, 致力于企业信息化战略及IT架构设计 与咨询领域，对于数据库业界软件、硬件一体化 的信息化建设有较多经验。
13
核心业务需要数据强一致性保障（如：缴费业务）
• 用户缴费业务涉及多个系统中的多张表的操作，
客户 1.缴费申请 CRM BOSS
最终一致性模型在处理客户敏感业务过程中会 出现数据不一致，用户状态不确定等问题
4.帐务信息查询
2.用户资料查询和鉴权 3.帐务信息查询 5.返回帐务信息
• 数据水平切分与读写分离不仅容易造成信息不
4
关系型数据库的价值-优雅而简洁
大量数据的持久化存储，比文件系统及层次数据库易于访 问其中部分数据，易管理，安全性好 解决并发访问的问题，多个用户访问及修改一份数据的问 题，关系数据库通过“事务-Transaction”解决多个用户直 接的交互操作，回滚机制 多应用之间数据共享与集成 近乎标准的关系模型，坚实的理论基础，优雅而简洁
– Consistency(一致性), 所有节点数据一致性，更新，所有数据变动都是同步的 – Availability(可用性), 好的响应性能及稳定性 – Partition tolerance(分区容错性) 可靠性，系统中任何节点失败不会影响系统 的继续运作 定理：任何分布式系统设计中只可同时满足上面两个属性，任何横向扩展的策略 都要依赖于数据分区，没法三者兼顾。 – 忠告：架构师不要将精力浪费在如何设计能满足三者的完美分布式系统，而是应 该进行取舍。
– 包含NoSQL厂商
• 传统数据库厂商继续保持领先地位
– Oracle, 包括Oracle Database, TimesTen, BerkeleyDB, Oracle NoSQL Database, MySQL – Microsoft – IBM, 包括DB2, Informix, pureData
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal/Restricted/Highly Restricted
3
时下热点话题
• 关系型数据库的发展趋势：被取代？或 不可替代？ • 部分观点
6.缴费处理请求 7.缴费处理 9.返回缴费结果 10.打印缴费票据 12.缴费业务完成 11.记录缴费受理日志 13.信用控制 14.转入缴费开机流程（见缴费开机流程图） 8.销帐和帐户资金管理
准确或更新较慢，而且带来应用的复杂性和对
应用的耦合度紧密
结论： 在电信核心系统里面关系型数据库 不可替代
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Confidential
2
内容
• 数据库技术的发展历史
• 关系数据库与开源数据库和NoSQL/Hadoop的比较和定位
• 新一代数据库技术的创新与大数据
• 中国移动数据处理平台的关键技术探讨
数据运维简单
大事务、长流程
需要通过复杂的数据运维工具，运维复杂
大事务要解耦成多个异步处理的环节 最终一致性需要客户敏感业务作出一定平衡 和让步 必须进行服务化
业务
强一致性保障客户敏感业务的感知
服务化要求可选
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
数据库技术的发展历史
• 1986年ANSI把SQL作为关系数据库语言的美国标准，同年公布了标准SQL文本。 SQL在1986年成为了正式工业标准 • 2000年之后，随着互联网的发展，数据库技术一直充满活力和不断创新，2009 年NoSQL 峰会，提出Nosql名字，特指不仅仅是SQL，大部分开源的数据库 • 2008年10月Oracle推出数据库一体机，之后随着IBM、EMC、SAP、MS纷纷推出 自己一体化产品，2010年被称为一体化年 • 2013年 7月，面向数据库云服务的Oracle12c推出,DBaaS
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal/Restricted/Highly Restricted
9
分布式计算中著名的CAP-帽子原理
• 互联网IT数据库架构：Eric Brewer, 加州大学伯克利分校的教 授, Inktomi公司的共同创办人以及首席科学家于2000年提出：
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal/Restricted/Highly Restricted
电信核心系统一致性和可靠性要求要大于扩展性-CA
电信核心业务——一致性、可靠性优 先 适合按省或集中式部署 数据 对数据库要求高，可通过数据库处理复 杂逻辑 数据强一致性保障 分布式架构——可扩展性优先 数据水平切分，分布式部署
数据库任务简单，不适合承载复杂逻辑
通过中间件和应用程序配合实现最终一致性
标准的访问语言-SQL
成熟的商业化数据库产品，广泛的应用领域与成熟的支持 体系，保障几百万客户在不同平台及版本上的产品能力
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal/Restricted/Highly Restricted
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 14
互联网公司引领大数据新兴技术
定制化应用实现扩展性和可用性 • MapReduce (2004, Google), Hadoop (2005, Yahoo!) – 非关系型数据模型, 键-值对, 针对大规模分布式并行简单计算设计 • Bigtable (2006, Google), HBase – 非关系型数据模型, No SQL, 数据是不能解释的字符串, 无类型列, 二级索引, 触发 器, 高级查询语言, … • Dynamo (2007, Amazon) – 键值对, 非关系型模式, 最终一致性 • Cassandra (2010, Facebook) – 键值对, no SQL
例如移动的大部分数据必须是准确一致的，当一个资源的状态被更改后，所有访问这个资 源的应用都必须马上能够看到这个变化； 反之BASE模式：淘宝上的网店的库存在一段时间里面是不准的，但是这不影响淘宝的业务
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal/Restricted/Highly Restricted 12
传统企业关键业务系统 电信金融企业支付宝 数据强一致性需求
C (Consistency) 数据一致性-所有节点 在同一时间具有相同 的数据
CP Bigtable(Google)/Hbase/Redis(新浪微博) 海量存储需求&面向文档的数据库 采用分布式架构实现CP ，必然面临性能及可用性难题 Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
5
数据库技术的发展历史
• 20世纪60年代，存储数据的多为文件系统及层次数据库，这 个就是前数据库时代-网状及层次数据库阶段 • 1970年，关系数据库之父 Edgar Frank Codd发表了业界第一篇 关于关系数据库理论的论文首次提出了关系模型的概念，简单 明了，易于扩充管理 • 1977年 Software Develop Lab成立，这就是后来的Oracle，数据 库管理系统的诞生带来了计算机信息管理一场巨大的革命 • 1979年在VAX机器上第一个商业关系数据库-Oracle V1 面世， 进入关系数据库时代；同年Teradata成立 • 1983年Oracle公司成立，第一个跨平台的32位RDBMS出现，同 年IBM大机上的DB2面市
数据库云 多租户 内存计算 大数据 JSON
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
今天的数据库市场
Gartner: 操作型数据库管理系统魔力象限- 2013年10月
• Gartner改用数据库管理系统(DBMS) 而不是关系型数据库管理系统 (RDBMS)
Page 11
数据库技术基本模式 – ACID & BASE
• 关系数据库的ACID模型拥有高一致性 + 可用性：C+A
• • • • 原子性(Atomicity). 事务中的所有操作,要么全部成功,要么全部不做. 一致性(Consistency). 在事务开始与结束时,数据库处于一致状态. 隔离性(Isolation). 事务将假定只有它自己在操作数据库，彼此不知晓. 持久性(Durability). 一旦事务完成此操作将不可逆转
• BASE模型-反ACID模型，牺牲高一致性，获得可用性或可靠性 A+P
• 基本可用(Basically Available) 支持分区失败(e.g. sharding碎片划分数据库) • 软状态(Soft state) 状态可以有一段时间不同步，异步 • 最终一致(Eventually consistent)，最终数据是一致的就可以了，而不是时时高一致
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
分布式计算中的CAP-帽子原理
Web服务无法同时满足以下3个属性：数据一致性、可用性和分区容错性
A (Availability) 可用性-保证每个请求不管成功或者失败都有响应 CA Oracle/DB2/MS/MySQL… AP Cassandra(Facebook) Voldemort(LinkIn) SampleDB(Amazon) 互联网企业典型的Web2.0应用 高可扩展性和可用性的分布式计算 最终一致性 P (Partition tolerance) 分区容错性-系统中任何节点 失败不会影响系统的继续运 作
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
关系数据库技术的持续创新
大数据 移动 Internet
云
1993
2003
2013
存储过程 分区 并行查询 非结构化数据支持 对象关系型
资源管理 集群 数据保护 XML
数据库技术的发展，演变与创新
李珈 高级技术咨询总监 甲骨文（中国）软件系统有限公司
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
ቤተ መጻሕፍቲ ባይዱ
演讲人 – 李珈 Joyce Li
• 超过十五年Oracle数据库、数据仓库及企业应用 软件领域相关工作经验，丰富的电信、金融及政 府和制造业行业经验，曾主持设计电信及金融行 业大型关键业务系统及大型数据仓库系统，对关 系型数据库系统、ERP、CRM系统及大数据应用 有深刻理解, 致力于企业信息化战略及IT架构设计 与咨询领域，对于数据库业界软件、硬件一体化 的信息化建设有较多经验。
13
核心业务需要数据强一致性保障（如：缴费业务）
• 用户缴费业务涉及多个系统中的多张表的操作，
客户 1.缴费申请 CRM BOSS
最终一致性模型在处理客户敏感业务过程中会 出现数据不一致，用户状态不确定等问题
4.帐务信息查询
2.用户资料查询和鉴权 3.帐务信息查询 5.返回帐务信息
• 数据水平切分与读写分离不仅容易造成信息不
4
关系型数据库的价值-优雅而简洁
大量数据的持久化存储，比文件系统及层次数据库易于访 问其中部分数据，易管理，安全性好 解决并发访问的问题，多个用户访问及修改一份数据的问 题，关系数据库通过“事务-Transaction”解决多个用户直 接的交互操作，回滚机制 多应用之间数据共享与集成 近乎标准的关系模型，坚实的理论基础，优雅而简洁
– Consistency(一致性), 所有节点数据一致性，更新，所有数据变动都是同步的 – Availability(可用性), 好的响应性能及稳定性 – Partition tolerance(分区容错性) 可靠性，系统中任何节点失败不会影响系统 的继续运作 定理：任何分布式系统设计中只可同时满足上面两个属性，任何横向扩展的策略 都要依赖于数据分区，没法三者兼顾。 – 忠告：架构师不要将精力浪费在如何设计能满足三者的完美分布式系统，而是应 该进行取舍。
– 包含NoSQL厂商
• 传统数据库厂商继续保持领先地位
– Oracle, 包括Oracle Database, TimesTen, BerkeleyDB, Oracle NoSQL Database, MySQL – Microsoft – IBM, 包括DB2, Informix, pureData
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal/Restricted/Highly Restricted
3
时下热点话题
• 关系型数据库的发展趋势：被取代？或 不可替代？ • 部分观点
6.缴费处理请求 7.缴费处理 9.返回缴费结果 10.打印缴费票据 12.缴费业务完成 11.记录缴费受理日志 13.信用控制 14.转入缴费开机流程（见缴费开机流程图） 8.销帐和帐户资金管理
准确或更新较慢，而且带来应用的复杂性和对
应用的耦合度紧密
结论： 在电信核心系统里面关系型数据库 不可替代
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Confidential
2
内容
• 数据库技术的发展历史
• 关系数据库与开源数据库和NoSQL/Hadoop的比较和定位
• 新一代数据库技术的创新与大数据
• 中国移动数据处理平台的关键技术探讨
数据运维简单
大事务、长流程
需要通过复杂的数据运维工具，运维复杂
大事务要解耦成多个异步处理的环节 最终一致性需要客户敏感业务作出一定平衡 和让步 必须进行服务化
业务
强一致性保障客户敏感业务的感知
服务化要求可选
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
数据库技术的发展历史
• 1986年ANSI把SQL作为关系数据库语言的美国标准，同年公布了标准SQL文本。 SQL在1986年成为了正式工业标准 • 2000年之后，随着互联网的发展，数据库技术一直充满活力和不断创新，2009 年NoSQL 峰会，提出Nosql名字，特指不仅仅是SQL，大部分开源的数据库 • 2008年10月Oracle推出数据库一体机，之后随着IBM、EMC、SAP、MS纷纷推出 自己一体化产品，2010年被称为一体化年 • 2013年 7月，面向数据库云服务的Oracle12c推出,DBaaS
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal/Restricted/Highly Restricted
9
分布式计算中著名的CAP-帽子原理
• 互联网IT数据库架构：Eric Brewer, 加州大学伯克利分校的教 授, Inktomi公司的共同创办人以及首席科学家于2000年提出：