Oracle Exadata服务器性能比较分析
闲聊Oracle一体机Exadata
闲聊Oracle一体机Exadata闲聊与关键字:分布式存储甲骨文在文章开始前先作个声明,本人并非专业技术人员,充其量只能算从业人员和技术爱好者。
本文也不是写给专业技术人员看的技术类文档,只是本人因为工作需要,在学习系统架构的过程中,自己的一些感触和体会,只是想分享给对和其他计算机技术感兴趣的人们,希望大家能一起探讨。
因此本文在谈到技术细节问题时,一定漏洞百出,敬请专业人士指正。
是公司研发的一款数据库一体机,关于的介绍文档,在网上能找到很多,它有很多特性,,,,等等,在本文中不对这些特性作详细说明。
本文探讨的只是在设计这款一体机时,借鉴了的开源实现等分布式计算集群的一些设计理念,使数据库的运行环境突破了传统基于共享存储的架构,创新的使用了基于的智能存储节点的架构,从而极大地提高了数据库在海量数据分析类应用的性能。
一、项目简单介绍:由于本文探讨的是和的相似处,因此先简单介绍下。
是开源软件基金会的一个项目的总称,它包含了,,,,等组件,它是基于和的论文发展起来的开源软件项目,而和是它的核心。
是一个开源的分布式文件系统,和单机文件系统一样,它也使用目录树结构,和单机文件系统不同的是,它的文件系统是跨越整个集群的,下图是它的架构集群是主从架构,它由一台节点和多台节点构成。
节点和节点都是标准的。
节点采用存储的方式,即内置多块大容量硬盘,节点可以多达上千台。
通常用于存储大文件,在中每个文件都被切割为固定大小的数据块,然后被分散存放于多台的硬盘上。
并且每个数据块都会有副本存放于远端机架的上,副本数一般设置为三个。
节点不存放实际的文件,而只存放整个文件系统的目录树等元数据。
当客户端需要访问存储于的某个文件时,首先需要访问节点,以取得文件存放的位置信息哪几台,以及在硬盘上的具体地址,然后根据这些目的地址对各上存放的数据并行地进行访问。
的这种分布式存储架构,主要有几个好处:、当存储空间不够时,只要简单增加节点,而系统自动会把数据块分配到新节点上,而无需人工干预。
Oracle Exadata服务器性能比较分析
节约存储空间,原始10TB,压缩后只 需要1TB; 降低存储成本; 提高数据库性能;
获得数倍的性能提升;
存储索引技术
自动维护的数据索引; 存储在Exadata存储服务器上; 自我学习 - 可以自动判断创建索引的位置; 自动适应应用与数据的变化
大幅度降低数据库维护的工作量; 传统上需要手工创建几百个索引,现 在只需要最少几个索引; 节约存储空间;
• 未来对数据中心的建设考虑
• 绿色计算 • 统一管理 • 统一灾备
目前IT领域的热门话题-云计算/云服务
对用户抽象的、大规 模的、自我管理的基 础设施
廉价的商品化设备
资源动态分配、按需 伸缩,应用服务不依 赖固定的资源
没有系统边界
灵活和易扩展 每次使用付费 面向服务
IT服务的交付和使用模式,指 没有物理或地理限制
最高容量,最低成本
• 速度优化
• 10X 压缩比例 • 因为Exadata卸载查询,更加快速
• 空间优化—针对不经常访问的数据
• 15X到50X压缩比例
Query
更更快快更更简简单单,,BBaacckkuupp,, DDRR,, CCaacchhiinngg,, RReeoorrgg,,
CClloonnee
7x24小时的不间断运行;受故障影响的用 户会自动连接到其他正常的服务器; -易于数据库系统的扩容:
- 成本更低 - 无须停机
- 几乎没有风险
Automatic Storage Management (ASM)
自动存储 管理
Oracle的虚拟存储池技术;
自动实现存储的条带化和冗余配置;
使数据库获得最高的存储访问性能;
• 数据库优化的网络,磁盘,操作系统,服务器 • 数年的调试,严格测试,预置的,无特殊配置问题
Oracle Exadata数据库一体机极致性能和最佳实践
Exadata 采用更高的单路带宽
- InfiniBand提供40Gb/s的带宽,比高端阵列 的光纤通道技术快8倍
Exadata 提供更高的IOPS
- 智能Exadata Smart Flash Cache技术处理更 多的IOPS
• 冗余40Gb/s 交换机 • 统一的服务器和存储网络
• 5.3 TB PCI 闪存 • 跨服务器进行存储镜像
© 2010 Oracle Corporation – Oracle Confidential
CONFIDENTIAL – ORACLE HIGHLY RESTRICTED
6
– 6–
Exadata X2 体系架构
CONFIDENTIAL – ORACLE HIGHLY RESTRICTED
4
前所未有的交钥匙方案:
Sun Oracle Exadata X2数据库机
• 完整的, 预配置的, 严格测 试的系统提供极限性能 • 随付即用的系统 • 高性能、高可用性
© 2010 Oracle Corporation – Oracle Confidential
Copyright © 2009, Oracle Corporation and/or its affiliates
CONFIDENTIAL – ORACLE HIGHLY RESTRICTED
8
– 8–
Exadata数据库一体机创新的技术架构
集中管理平台
三层架构/两层应用 架构
客户端 避免单点故障
智能存储层 1M IOPS/机架
Exadata Cell
Exadata Cell
Oracle 数据库一体机 — Exadata
• Sun Oracle Database Machine
– 预配置,提供高性能 – 平衡的系统 – 无限扩展性能,容量、带宽和处理 能力
• Exadata Storage Server Software 11gR2
• Exadata Storage Server Software 11gR2 • Oracle Database 11gR2
© 2009 Oracle Corporation - Confidential
6
Exadata 产品
Exadata Storage Server & Database Machine • Exadata Storage Server
– 为Oracle 数据库优化的存储产品 – 提供极限 I/O 和 SQL 执行性能 – 软硬件一体化
数据库处理
超高速并发网络
Exadata Cell
InfiniBand 交换网络
Exadata Cell
Exadata Cell
智能存储
基础技术 – 分布式计算
计算密集型处理 • Exadata 智能存储服务器
– 在存储部件中实现数据密集型处理 • 进行表及索引扫描,过滤查询无关数据
数据密集型处理
• 数据库服务器承担计算密集型处理(同传统结构)
– 50 GB/秒
50 40 30
未压缩数据的查询吞 吐量
50
• 与列压缩相结合
21 11.4 7.5 10
20 – 闪存中有超过 50 TB 的数据 10 – 对压缩数据的查询提高 到 500 GB/秒
0
HITACHI
USP V
TERADATA NETEZZA SUN ORACLE
SAP HANA与ORACLE Exadata对比分析
应用与平台越来越紧密
•
应用离不开平台
• • பைடு நூலகம் 应用逻辑下沉 应用持续使用 应用性能提升
•
平台离不开应用
• • • 数据存储方式 硬件环境配置 HA与灾备
技术领先 数据安全保护 平台通用完整 ……
4
SAP HANA
SAP HANA: 高性能分析一体机(HANA)是一个内存数据库,可以存储 和实时分析大量的非聚合事务数据,在决策支持和预测分析方面,做到 前所未有的性能提升。 内存计算引擎是下一代创新,使用缓存敏感的数据结构和算法,利用硬 件创新和SAP软件技术创新。最理想是实时的OLTP和OLAP融为一体, 例如:从事务处理到高性能分析的端到端的解决方案。SAP HANA还可 以作为一个辅助数据库加速分析现有的应用程序。
5
Oracle Exadata
Oracle Exadata 数据库机是一种易于部署的解决方案,内置Oracle数据 库,提供高水平的数据库性能和可用性。
Oracle Exadata 数据库机是由数据库服务器,存储服务器,光纤交换存 储网络和其他组件构成。在联机事务处理(OLTP)、数据仓库(DW) 和混合工作负载方面,提供了优秀的I/O和SQL处理性能。
6
SAP HANA 与 Oracle Exadata 相同点与不同点
二者都是一体机 – 捆绑硬件、软件和服务,并且可以扩展和延伸。 主要有三个因素:硬件、软件和调忧,并一起高度优化
二者都是 最初适用于数据仓库场景
二者对于大数据集或多或少都是线性扩展
SAP HANA Oracle Exadata
今日话题
• • •
应用与平台 SAP HANA vs ORACLE Exadata 比较 HANA是一个平台
oracleexadatax4产品介绍
– 优先恢复关键数据库文件 (11.2.0.4)
▪ 数据库优化的消息传递
– 关键数据库消息的端到端优先级排序 (11.2.0.4),包括日志写入和 RAC
Exadata X4 是第五代数据库云服务器
数据仓储 OLTP 数据库整合 以闪存为中心
数据库即服务
8 版权所有 © 2014,Oracle 和/或其关联公司。保留所有权利。
大容量磁盘容量增加 33% 672 TB,采用 4TB 磁盘 高性能磁盘容量增加 2 倍 200 TB,采用 1.2 TB 磁盘
每台数据 库云服务 器均为全 机架配置
X4-2 计算
数据库内核数增加 50% 192 个内核,采用 12 核 Xeon® CPU 每台服务 数据库服务器本地存储容量增大 2 倍 器 2.4 TB,采用 600GB 磁盘 InfiniBand PCI-3
(12c)
▪ 数据库优化的 PCI 闪存
– 超高速闪存压缩(X3 和 X4): 数百万次 IO/秒
– 自动缓存表扫描 – 文件初始化速度更快
7 版权所有 © 2014,Oracle 和/或其关联公司。保留所有权利。
▪ 数据库优化的 QoS
– 按按多租户可插拔数据库 (12c) 确定 CPU 和 IO 的优先级
独有的软件优化了数据库处理
▪ 将查询分流到存储中
– 将数据密集的查询操作分流至存储 CPU
– 100 GB/秒 SQL 数据吞吐量 – 存储索引数据忽略
▪ 数据库存储压缩
– 混合列压缩将数据库大小缩小至原来 的
1/10,并且提高了分析速度
▪ 数据库优化的 PCI 闪存
– 智能缓存数据库数据 – 每秒 266 万次数据库 IO – 智能闪存日志加快事务处理速度
Oracle数据库双活Extended RAC实现技术对比(EMC VPLEX Metro,Oracle IOE,一体机)
网络心跳和磁盘心跳都走IB网络,带宽达40-56Gbps, 可实现端到端延迟<200ns。
★
IB网络比传统以太网的延时 低很多
理论值:<100km公里 ★ 实际案例:<80KM。超过10KM要借助波分复用设备来延 依托IB设备的扩展RAC能支 伸距离。经实测,80KM网络RTT值在0.45-0.5ms
每个站点均配备统一存储。整个双活中心仅有一套数据库(一个 磁盘组内须创建2个及以上故障组,故障组分别在不同的站点)
双份,数据在所有VPLEX存储上做条带化。由vplex实现数据冗 余,一般不再设置ASM磁盘组冗余级别。 不同站点之间的副本利用vplex metro存储复制技术实现双向复 制,任何站点的写操作将同时发给另一个站点的副本执行,属于 同步模式的复制。(双活解决方案不提供异步模式,该模式用于 传统容灾) (参考实际案例数据:经过VPLEX设备,会比第一种方案的延时 还增加1MS) ORACLE RAC: 1、网络心跳走以太网,要求带宽至少1G,延时在毫秒级; 2、磁盘心跳走裸纤,要求带宽至少10G; VPLEX: 3、存储网络至少需8G链路; 在本方案中RAC的磁盘心跳走VPLEX存储网络,带宽至少要满足 10G 理论值:<100km,网络延迟不超过5ms; 实际案例:oracle官方建议不超过10KM,网络延迟不能超过 1ms;超过该距离性能会随着距离增加呈线性衰减。超过10KM要 借助波分复用设备来延伸距离。
相关技术资料
ORACLE原厂白皮书 \\10.194.50.44\平台运维科\8-其它\平台组台帐\双活技术 \oracle
基于VPLEX Metro的Extended RAC (EMC公司)
读/写---读/写 硬件平台最少配备: 2台EMC VPLEX设备 2台独立存储设备 光纤网络交换设备2台(用于连接VPLEX设备、服务器、存储设 备) 4台Oracle数据库服务器 1台VPLEX Witness仲裁服务器 1台位于第三站点的仲裁服务器(挂载仲裁盘) 网络:以太网路由及交换设备则包括广域网互联设备(10KM以上 使用波分复用设备)、每个站点的核心、汇聚、接入层设备
OracleExadata性能特性解析
The following is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code, or functionality, and should not be relied upon in making purchasing decisions. The development, release, and timing of any features or functionality described for Oracle’s products remains at the sole discretion of Oracle.12<Insert Picture Here>OracleExadata性能特性解析 OracleExadata性能特性解析杨中 Real World Performance Group Server TechnologiesAgenda• Exadata Overview • Exadata Features<Insert Picture Here>4Exadata Overview5Exadata Overview - Hardware ArchitectureDatabase Grid• 8 Dual-processor x64 database servers OR • 2 Eight-processor x64 database servers • 14 High-performance low-cost storage servers• 100 TB High Performance disk, or 336 TB High Capacity diskInfiniBand Network• Redundant 40Gb/s switches • Unified server & storage network• 5.3 TB PCI Flash • Data mirrored across storage servers6Exadata Overview - Storage Server• High-performance storage server built from industry standard components • 12 disks - 600 GB 15000 RPM High Performance SAS or 2TB 7200 RPM High Capacity SATA • 2 Six-Core Intel Xeon Processors (E5640) • Dual ported 40 Gb/sec InfiniBand • 4 x 96 GB Flash Cards • Intelligent Exadata Storage Server Software7Exadata Overview - Performance8Exadata Features9Exadata Features• Exadata Smart Scans – 10X or greater reduction in data sent to database servers • Exadata Storage Indexes – Eliminate unnecessary I/Os • Hybrid Columnar Compression – Efficient compression increases effective storage capacity and increases user data scan bandwidths by a factor of up to 10X • Exadata Smart Flash Cache – Breaks random I/O bottleneck by increasing IOPs by up to 20X – Doubles user data scan bandwidths • I/O Resource Manager (IORM) – Enables storage grid by prioritizing I/Os to ensure predictable performance10Exadata Features –Smart ScanTraditional Database I/O and SQL Processing ModelExadata Features –Smart ScanSmart Scan Offload ProcessingExadata Features –Smart Scan•Smart Scan Predicate Filtering•Smart Scan Column Filtering•Smart Scan Join Processing(Bloom filter)•Offload of SQL functions•Other Exadata Smart Scan Processing: RMAN Incremental Backups, RMAN Restores and tablespace creationExadata Features –Smart Scan •Prerequisites–cell_offload_processing= true (default)–Direct path read•Parallel•SerialExadata Features –Storage IndexesExadata Features –Storage Indexes•1MB disk storage unit•Transparent•7 columns per table can be built•In memory structure•Works with predicates <, <=, =, !=, >=, >, IS NULL, IS NOT NULLExadata Features –Hybrid Columnar Compression•EHCC is not pure columnar, it is hybrid columnar •Multiple Levels of compressionQuery low | Query high | Archive Low | Archive HighOperation Database Servers Storage Servers Compression Always Never Decompression Non-Smart Scan Smart ScanExadata Features –Smart Flash Cache•PCI cards instead of disks avoids slow disk interface •Data persistent over reboots•Integrated database and storage software ensure only frequently used data is cached•skips caching backup dataskips caching mirror copy write dataExadata Features –Smart Flash CacheExadata Features –I/O Resource ManagerThe preceding is intended to outline our generalproduct direction. It is intended for informationpurposes only, and may not be incorporated into any contract. It is not a commitment to deliver anymaterial, code, or functionality, and should not berelied upon in making purchasing decisions.The development, release, and timing of anyfeatures or functionality described for Oracle’sproducts remains at the sole discretion of Oracle.21。
基于OracleExadata的数据库整合及性能优化
基于OracleExadata的数据库整合及性能优化摘要:Oracle Exadata将智能存储软件和标准化硬件相结合,提供了高性能及高稳定性的数据库存储服务。
对其配置及有特色的功能进行了介绍,在使用及深入研究之后,通过对数据库整合及其参数配置性能优化的方式,提高了其整体运行效率。
关键词:Oracle Exadata;数据库整合;性能优化0 引言随着数据库系统规模的增加,传统的系统架构的瓶颈问题越来越突出。
首先在存储层,随着长时间的运行会带来数据分布不均及IO 瓶颈,其次在网络层由于带宽的不足会导致大量数据无法快速传达,最后在服务器层由于接收过多的数据处理,内存优势无法发挥。
具体而言就是传统的存储设备不知道数据库驻留在存储设备上,因此无法提供任何数据库识别I/O 或SQL 处理。
数据库请求行或列时,从存储返回的是数据块而非数据库查询的结果集。
传统的存储不具备数据库智能来识别实际请求的特定行或列。
因此,当数据库查询处理I/O请求时,传统的存储将消耗带宽,返回大量与执行的数据库查询不相关的数据。
1 Oracle Exadata功能及特点1.1 Oracle Exadata功能Oracle Exadata其实是一台带有CPU、内存及操作系统(Oracle Enterprise Linux)的服务器,当数据库需要查询时,Exadata可对数据进行筛选,然后将结果传送到服务器内存,而不是将结果转移到存储系统中,从而大量减少存储系统的读写。
Exadata是一个模块化产品,每一个模块称为存储单元,增加存储单元可以提高这个系统的吞吐量,并称为一种大容量并行的存储网格,增加存储单元可以增加传输管道的数量。
Oracle Exadata智能存储服务器通过在存储部件中实现数据密集处理,并进行表及索引的扫描,与数据过滤无关,从而减轻服务器及带宽的负载,提高工作效率。
1.2 智能扫描Oracle Exadata可进行仅被请求的行返回到数据库服务器的谓词过滤,仅被请求的列返回到数据库服务器的列过滤扫描,采用Bloom 过滤器实施的用于确定某行是否为预期结果的联合扫描。
Oracle Exalogic弹性云服务器介绍
Oracle Enterprise ArchitectureSoftware. Hardware. CompleteOracle Exalogic弹性云服务器介绍赵锡漪提纲 • 新一代支撑系统的业务与技术挑战 • Exalogic产品介绍与技术实践 产品介绍与技术实践 • 案例和总结传统BOSS系统架构的发展 传统BOSS系统架构的发展传统BOSS应用平台部署 传统BOSS应用平台部署按应用建立物理 wls server实例 实例 对应以地区划分 中心策略, 中心策略,每个 中心承担一半地 区的业务。
区的业务。
依靠cluster技术实 依靠 技术实 现均衡、 现均衡、避免单 点故障 考虑按应用差异 化资源配置新一代系统架构设计挑战 新一代系统架构设计挑战--拆分系统->垂直扩展->水平扩展->云化 --拆分系统 垂直扩展- 水平扩展拆分系统SAAS第三方云服务 电子渠道云服务 电子渠道云服务 (终端代理、销售) 终端代理、销售) 开放平台 (编程框架、运行环境) 编程框架、运行环境)PAAS公共服务 (会员、支付、虚拟币、搜索、数据挖掘、营销) 会员、支付、虚拟币、搜索、数据挖掘、营销) 数据存储与访问、数据处理、消息总线、BPM流程 数据存储与访问、数据处理、消息总线、 流程云化基础架构 云化基础架构 (应用多租户部署、资源按需分配、动态扩展、应用模板化) 应用多租户部署、资源按需分配、动态扩展、应用模板化)IAAS非虚拟化资源池数据中心、网络、服务器、存储 数据中心、网络、服务器、•应用 数据库物理 应用/数据库物理 应用 拆分 •OLTP/搜索 分析拆 搜索/分析拆 搜索 分 •表现层 逻辑层拆 表现层/逻辑层拆 表现层 分•定制硬件,升级 定制硬件, 定制硬件 硬件 •修改操作系统内 修改操作系统内 核 •修改应用服务器 修改应用服务器 数据库、 、数据库、应用 组件内核 •使用 使用SSD/Flash 使用•分布式缓存 分布式缓存 •网格技术 网格技术 •Map Reduce技术 技术 •异步通信技术 异步通信技术 •代理、缓存技术 代理、 代理•虚拟化技术 虚拟化技术 •云管理技术 云管理技术 •开放平台 开放平台系统架构云化挑战--实现硬件资源共享和按需供给 --实现硬件资源共享和按需供给应用程序 A 应用程序 B 应用程序 C 应用程序 D 应用程序 E负载平均利用率 <20%• 利用补充性负载峰值 • 提高利用率和效率服务器 A服务器 B服务器 C服务器 D服务器 E虚拟化和集群化实现整合• 降低资本支出和运营支 出 • 加快绿色进程云平台应用程序 A、B、C、D、E 、 、 、 、净负载平均利用率 70%释放的容量被部 署到其他地方服务器 A服务器 B服务器 C服务器 D服务器 E按需动态扩展6电子渠道的挑战网站 WAP 热线 短信 自助终端电子渠道种类 100% 物理渠道 业务承载 70% 业务办理 量占比客户端 邮件全网集中的 电子渠道支撑系统电子渠道支撑系统发展目标 电子渠道运营中心工作定位 管理模式和演进策略100%物理渠道业务承载、70%业务办理量占比 物理渠道业务承载、 物理渠道业务承载 业务办理量占比业务承载、体验优化、 业务承载、体验优化、分析监控集中建设、专业运营;自内向外、 集中建设、专业运营;自内向外、先易后难电子渠道业务活动的支撑--线上互动营销 --线上互动营销线上互动营销活动•传统线上活动,促销,抽奖 •秒沙,团购 •事件营销SEM•SEO •SPOSMMSales + Marketing•Weibo •SNS, Blog广告管理•内部广告 •外部广告电子渠道业务活动的技术实现分析互联网用户 用户浏览 防Abot订单认证 下单 有效订单池 用户登陆校验秒杀订单受理订单处理客户信息支付处理收费处理营销处理安全核查清算处理资金记账订单处理通信前置• 秒杀活动带来 的压力: 的压力: • 无法完成 用户登录 • 无法进入 秒杀商品 验证页面 • 订单状态 丢失 • 有效订单 溢出银行支付清算网电子渠道业务活动支撑的挑战网络 网络带宽压力 CDN Web 服务器 静态内容PV压力 静态内容 压力 动态内容PV压力 动态内容 压力 会员认证 第三方平台接入能力 认证管理 支付平台 订单 数据库处理压力 数据库 订单处理压力客户体验提升挑战• Amazon: 增加 100ms 延迟将导致收入下降 1%; Google: 400 ms 延迟将 导致每用户搜索请求 下降 0.59%; Yahoo!: 400ms 延迟会 导致流量下降 5-9% ; Bing: 2 秒的延迟将导 致收入降低 4.3%/用 户 Shopzilla 将页面载入 时间从 7秒缩减到 2 秒,转化率提升了 712%,页面请求增加 25%,只用一半服务 器就够了•各行业首页显示时间用户体验的影响•••活动和突发事件带来的峰值压力新一代业务平台的系统架构技术选择•定制开发 定制开发HAProxy, 定制开发 , Squid、Nginx 、 •定制开发 定制开发LVS 定制开发 •NoSql框架 支持 框架,支持 框架 Map-Reduce •自开发异步消息 自开发异步消息 系统 •自开发搜索框架 自开发搜索框架 •自建 自建CDN,优化节点 自建 , 负载与链路调度 •多级 多级Cache 多级•修改 修改JVM,汇编 修改 , 重写, 重写,编译级优化 ,修改GC内核 修改 内核•改写 改写MYSQL,增加 改写 , 增量复制、 增量复制、日志系统 •增加针对 增加针对SSD、 、 增加针对 PCIE Flash支持 支持•GFS框架 支持 框架,支持 框架 Map-Reduce •自定义文件系统 自定义文件系统 •自定义分区与备 自定义分区与备 份特性 •提高集群扩展能 提高集群扩展能 力•修改操作系统的文件 修改操作系统的文件 系统、资源管理、 系统、资源管理、网 络内核 •根据服务器硬件定制 根据服务器硬件定制 内核新一代业务平台的系统架构选择考虑 新一代业务平台的系统架构选择考虑--预集成、标准化 --预集成 预集成、工具组件应用框架 应用服务器语言 数据库 操作系统IDC Predictions 2011提纲 • 新一代支撑系统的业务与技术挑战 • Exalogic产品介绍与技术实践 产品介绍与技术实践 • 案例和总结满足所有企业需求的单一平台--性能、可靠性和简单化 --性能 性能、标准化的的平台--适合所有业务处理 --适合所有业务处理为什么选择工程预集成平台? 为什么选择工程预集成平台?--更快、更易使用、更高的整体拥有价值 --更快 更易使用、 更快、ApplicationIntegrated Tuned Optimized IdenticalOSComput e I/O StorageHP Blades HP Networkin g HP Storage1 Engineered SystemUnpack to in hproduction ours162 partsMonths from start to production• “小变大”+灵活资 小变大” 灵活资 源分配提高整体的 CPU利用率,其实是 利用率, 利用率 提高性能 • 资源调配和优化能力 不一样 •ATEA在OS层面调动 资源,而ExaLogic在应 用层面 •ATEA节点之间的 backbone无法和MPP的 比较 • 空间、电力、制冷成 空间、电力、 为小型机集群运维的 巨大消耗开放技术栈(x86刀片 Mainframe架构 开放技术栈(x86刀片) + Mainframe架构 刀片)• 标准化平台- 标准LINUX技术平台 - 标准J2EE C/C++• 分区”Partitions” 分区- 内置设备来对计算节点分组, 优化 资源配置• 虚拟化- Guest OS的VM – OVM3.0 (in 1.1) - Solaris的VM Container (Solaris Zone), 性能最好• WebLogic数据网格 数据网格- 把多个WLS实例资源合并成一个大资 源池, 应用部署可以随意”漂移”Partition A Partition B Partition C• 统一管理 监控/资源调配 统一管理/监控 资源调配 监控与IBM最新P系列服务器对比 IBM最新 最新P• 如果只考虑 如果只考虑CPU处理能力的对比 处理能力的对比 • ¼ Rack = 2台P770 (64 core) • Full Rack = 2台P795 (256 core)Oracle Exalogic 弹性云平台应用网格, 操作系统, 应用网格, 操作系统, 企业管理和硬件集成平台ApplicationsWebLogic ServerCopyright © 2011 Oracle Corporation - Proprietary and ConfidentialEnterprise Manager Enterprise ManagerCoherence TuxedoJRockit and HotSpotExalogic Elastic Cloud SoftwarePerformance and Management Optimizations Linux SolarisExalogic Elastic Cloud X2-2Factory Assembled and Installed Installed on premisesEL X2-2应用系统支持与认证企业级应用支持和优化Oracle ApplicationsCustom Applications on FMW3rd Party ApplicationsOracle Exalogic Elastic CloudCopyright © 2011 Oracle Corporation - Proprietary and ConfidentialOracle Exalogic Elastic Cloud X2-2 X2Integrated Compute, I/O, Networking and Storage集成存储 集成存储服务器 • • • • • 应用共享存 Clustered for HA 40 TB 混合存储 4 TB read cache 72 GB write cacheFlash AcceleratedInfiniBand I/O Fabric and 10GbE/GbE 10GbE/GbE • 40 Gb/sec links Fully • 10 Gigabit Ethernet Redundant connectivity to datacenter 计算节点服务器 点服务 • • • • 30 x86 compute nodes 360 Xeon cores (2.93 GHz) 2.8 TB DRAM 960 GB SSDBalanced for PerformanceEL X2-2Copyright © 2011 Oracle Corporation - Proprietary and ConfidentialExalogic I/O and Network DesignHigh Level ViewExalogic X2-2Ethernet Virtualization on InfiniBandHigh-performance “Virtualized Ethernet” over an InfiniBand I/O Backplane supported by dedicated silicon and the Oracle NetworkCompute NodesData Center Service Network (10GbE)Standard Oracle DatabaseExadata10GbEEthernet/InfiniBand GatewaysStorageApplicationsManagement Switch Data Center Mgmt Network (GbE)GbEInfiniBand I/O Backplane (40 Gbs QDR)Management Network (GbE)Logs Binaries Patches User FilesCopyright © 2011 Oracle Corporation - Proprietary and Confidential环境要求环境组件 空间要求 要求电源要求电源功率 空调功率 风量(前后) 实际尺寸 重量 地板承重1998 mm (高) x 600 mm (宽) x 1200 mm (厚) 门要求:高:2184mm,宽:1220mm,深: 1575mm,倾斜度:<6度 15KVA/24KVA 2组 高压三相电 IEC309-4P5W-IP44(32A,400V, AC,3ph) 最大:10.897千瓦 标准:7.952千瓦 最大:41250千焦/小时 标准:30101千焦/小时 最大:大约1812 CFM 标准:大约1322 CFM 1998 mm (高) x 600 mm (宽) x 1200 mm (厚) 679.481 千克 731.64千克Page 24Exalogic 解决平台扩展性问题一种新的超级计算机小变大, 小变大,组成弹性服务器云• Built for Application Grid Simple to scale Open, standard Easy to use • Lossless switched fabric Quality of Service and security Fault tolerance and failover Extreme ScalabilityEL X2-2Copyright © 2011 Oracle Corporation - Proprietary and Confidential企业应用整合--为整个企业构建单一平台 --为整个企业构建单一平台E-Business POOLA E-Shop C Planning Account PRM BSupplyChain POOLA B Supply Chain COLAP POOL 不同计算资源之Search间的动态划分; 间的动态划分; 不同网络资源的A Data Market CB动态划分; 动态划分; 不同租户之间的 资源的动态调配; 资源的动态调配;Marketing Platform Management关键应用的多租户划分粒度--超强的安全性与细粒度的资源配置 --超强的安全性与细粒度的资源配置Exalogic 解决用户体验问题传统企业应用部署--主要性能瓶颈 --主要性能瓶颈© 2010 Oracle Corporation极限Java性能 极限Java性能The power of the Oracle Exalogic Elastic Cloud Software250 200450(Higher is better)400 350 300 250(Lower latency is Better)Tx/Sec150 100 50 0200 150 100 50UpdateStandard WebLogic ServerInsertDelete0GridLink for ExadataCreateWS PurchaseManageBrowseStandard PlatformExalogic2-3X improvement in Database OLTP60% more Java Operations/sec.Up to 10X faster response time– Run-time connection load balancing – JDBC over SDP– Enhanced buffer – Cluster IPC handling for multiplexing over SDP InfiniBand – Scatter-gather IO – Optimized multi-core schedulerTuxedo Performance on ExalogicThe Power of the Oracle Exalogic vs. standard platformsStandard TCP Standard TCP 10000 9000 50 8000 ExaLogic 60 ExalogicLower is betterRequests/sec7000 6000 5000 4000 3000 2000 1000 0 10 50 10 20millisecond Concurrent users4030080%-400% improvement in Database OLTPJolt/wsUp to 8x faster response timeCopyright © 2011 Oracle Corporation - Proprietary and ConfidentialExalogic的Oracle企业级 Exalogic的Oracle企业级Linux 企业级LinuxRed Hat compatible kernel 197 thousand 4GB/second 89 thousand Unbreakable Enterprise Kernel 1 million 9.5GB/second 273 thousandBenchmark8kb flash cache reads (IOPS) Solid State Disk access Infiniband RDS messages, single card (IOPS) 8 socket database OLTP (transactions per minute)Gain 400% 137% 200%1.8 million 3.2 million 75%InfiniBand 性能优势多达12倍性能提升 多达12倍性能提升• 网络 至关重要 网络IO至关重要 - 影响应用程序性能和规模的第 一要素 • 消除缓存间的数据复制开销 - 从4层到0层 • 使用大数据包减少网络开销 - 64K 替代4K packets • 基于 基于InfiniBand 优化 - 3x 于10 GbE网络环境的吞吐 量 - 基于SDP响应时间减少50%10XExalogic SoftwareTCP/IP Sockets Direct Protocol IPoIBInfiniBand CoreHost Channel Adapter (Driver)Exalogic与ExaData协同工作 Exalogic与ExaData协同工作960 Gb/秒 秒(最大:24 x InfiniBand QDR) 最大: ) • 独到之处:直接 InfiniBand 集成! 独到之处: 集成! • 极限性能、可靠性、安全性 极限性能、可靠性、 • 部署和管理简单中间件 云服务器高达数据库云 服务器3 倍的OLTP 性能Active GridLink for RAC• 资源敏感的负载平衡 • 即时连接故障切换 • RAC 节点的事务亲和性 • 为 InfiniBand SDP 而优化的 SQLnet© 2010 Oracle CorporationExalogic高速存储系统 Exalogic高速存储系统混合存储能力GB/s按照对象访问热度设计存储IOPSExalogic 解决运维管理问题标准化、易于管理 标准化、易于管理Exalogic Elastic 云管理从基础架构到应用平台ApplicationsCustom Web Applications E-Business Suite Fusion Apps SiebelEnterprise ManagerMiddleware PlatformsIntegration: SOA Suite Process: BPM Suite Security: Identity MgmtUser Interaction:WebCenterShared Services Application Grid: WebLogic Suite Database GridGrid ControlExalogic Elastic Cloud InfrastructureOperating Systems VirtualizationExalogic ExadataOpsCenter© 2010 Oracle Corporation完整集成的管理改变传统的应用交付创建应用App • Request software • Build application • Request HW • Request provisioning • Request new HW • Request scale-up • HW locked-up硬件与平台App平台扩容App独立运行/维护Weeks to MonthsWeeks to Months创建应用App • Leverage Platform • Build App自服务获得平台App动态伸缩App应用共享平台• Platform supports further apps • Provision via SelfService • Scale-up via SelfService更敏捷 更可控Minutes Minutes提纲 • 新一代支撑系统的业务与技术挑战 • Exalogic产品介绍与技术实践 产品介绍与技术实践 • 案例和总结海外测试案例Response Time9x response time improvement 5x concurrent users• SpecJ2008 • 2x Improvement in Compiler • 3x Improvement in rge • 2x Average improvement in testsExalogic 中国区测试总结客户 西安未来国际 (已购买) 中国联通北六 ESS 青岛海尔 (已购买) 重庆社保 平台 WLS, MQ, RAC; ½ EL + ½ ED WLS, RAC on EL; ½ EL WLS, ¼ EL + ¼ ED WLS 8.1.6, ½ EL + ½ ED Tuxedo, ¼ EL + ¼ ED 测试结果要点 性能:12x-22x 提高; 云特性:弹性伸缩 性能:吞吐量最高3.7x提高,最高 56x响应时间提升,线性扩展 性能:3x-4x 提高; 云特性:弹性伸缩 性能:7200并发,5秒内响应时间; ½ 配Exalogic + ½ 配Exadata满足 41区县5年内需求 最高100,700TPS航段天查询,超出 客户期望10倍,响应时间超出3.7倍中国航信44中国联通测试 中国联通测试结果 联通测试结果China UniCom ESS systemTPS25000 20000 15000 10000 5000 0 PC Server Exalogic面临主要挑战: 1. 北方六省ESS整合,集中化 电子销售服务系统 2. 全业务分析和查询 3. 系统压力大,管理复杂 测试结果 TPS 提升: • Up to 3.7X higher throughput • Throughput grows lineally when new instance and new node added in the cluster 响应时间 • Up to 56X faster response time 统一端到端云机管理 线性扩展能力Response time0.6 0.5 0.4 PC Server 0.3 0.2 0.1 0 login custInfoQry webService(50K) Exalogic45总结1 高性能 在不需要大规模修改应用的前提下,提高 倍以上提高用户响应时 在不需要大规模修改应用的前提下,提高10倍以上提高用户响应时 间,提高并发支撑能力 在中间业务层交互复杂的场景中表现尤其突出2先进架构支持互联网的先进架构和多种技术, 支持互联网的先进架构和多种技术,支撑互联网各种形态的业务 支持云平台架构,即能满足多个小应用整合到一个平台的要求, 支持云平台架构,即能满足多个小应用整合到一个平台的要求,也 能满足大负荷系统弹性资源调整的要求3可管理性 可管理性通过性能和云化能力,降低服务器数量和密度,减少资源开销和能 通过性能和云化能力,降低服务器数量和密度, 耗,也降低了维护成本开销 一体化的管理能力覆盖从基础架构到应用平台管理的各个方面4兼容性 兼容性支持绝大多数的应用技术,如典型的 应用和C/C++应用 支持绝大多数的应用技术,如典型的J2EE应用和 应用和 应用 支持绝大多数的Linux应用 支持绝大多数的 应用。
深入解读Oracle Exadata技术
深入解读Oracle Exadata技术自从Oracle和HP推出Exadata之后,我就很关注这个产品,之前也写了一篇Oracle database machine介绍它。
去年,Oracle和SUN合并后,推出了Oracle Exadata V2,相比较上一代产品有几个变化:第一,使用SUN的硬件;第二,宣称支持OLTP应用;第三,Oracle 11g R2提供了更多的新特性。
Exadata Smart Flash CacheExadata V2整体架构并没有太多改变,换用了SUN的硬件,除了采用intel最新的nehalemCPU以外,每台storage cell更是配置了384GB的flash,这也是为什么V2可以支持OLTP应用的关键。
Flash cache完全是自动管理,Oracle会根据数据的访问情况,决定哪些数据放在flash cache中。
所有的数据都是先被写到普通磁盘上,再根据访问情况读入flash cache的,所以如果flash card发生故障,数据不会丢失。
当然,Oracle提供了方式,可以让用户手动将表或者索引pin在flash cache中。
在自动管理的方式之外,Oracle还允许用户人工创建flash disks,和普通磁盘一样,这些flash disks通过ASM输出给数据库使用,用户可以把一些访问非常频繁的数据文件放在上面。
这些flash disks不仅仅是cache了,所以ASM会在cell和cell之间做镜像。
如果某块卡发生故障,那么整个storage cell上的flash disks会offline,保证数据不会丢失。
Smart scanSmart scan是Exadata最重要的一个功能,它的作用就是把SQL放在每个cell上去运行,然后每个cell只返回符合条件的数据给数据库,这样就极大的降低了数据库服务器的负载和网络流量,并充分利用了cell的计算资源和IO资源。
Oracle数据库一体机(Exadata)介绍资料
可伸缩性支持增加更多的机架
Copyright © 2010 Oracle Corporation and/or its affiliates
– 7–
Exadata 数据库一体机X2-2满配
提供极限性能
• 8台2CPU(每CPU6核)64位的数据库服务器 • 96 核 (每台服务器12核) • 768 GB内存 (每台服务器96GB) • 对外提供10 GigE(万兆以太网)接口 • 16个10GbE 端口 (每台服务器2个端口 per server) • 14台Exadata存储服务器X2-2 • 高性能600GB SAS磁盘 或者 • 高容量2 TB SAS磁盘 • 3台Sun Datacenter InfiniBand Switch • 36-port Managed QDR (40Gb/s) switch • 1台专门用于管理的Cisco 以太网交换机 • KVM硬件 • 冗余的Power Distributions Units (PDUs)
flash?exadata是最快的?而且可以线形地扩展到更多的机架storagedatabandwidthuncompressedgbsec通用格式disk?存储阵列已经无法提供磁盘的带宽????没有闪存提供的额外带宽没有操作下推没有列压缩没有infiniband通用格式96
<Insert Picture Here>
• 通过提高IOPs20倍来打破随机I/O瓶颈 • 提高用户数据扫描带宽
• Exadata存储索引
• 消除不必要的I/O
• I/O Resource Manager (IORM)
• 按照不同的I/O优先级别使用存储网格, 保证可预知的性能
• 混合列压缩
• 高效的压缩,增加有效的存储空间, 提高用户数据扫描带宽
Oracle数据库云服务器Exadata介绍
Oracle数据库云服务器Exadata介绍杨建鑫Principal Sales Consultant内容•Exadata简介•Exadata技术发展与硬件架构•Exadata技术优势及软件架构•Exadata客户案例Oracle数据库云服务器Exadata运行Oracle数据库的最佳平台适合与下面场景的架构•数据仓库(Data Warehousing)•交易系统(OLTP)•数据库整合Exadata是为所有Oracle数据库应用设计的战略数据库平台Exadata 发展•Exadata Introduced•X2-2 CPU Refresh •40 Gb InfiniBand •PCI Flash Cards•X2-2 CPU Refresh •X2-8 64-core Servers•Sparc SuperCluster •3TB Disks•Smart Flash Cache •Storage Index •Columnar Compression•Smart Scan •InfiniBand Scaleout•Smart Memory Scan •Parallel Memory Affinity •Enterprise Manager 12c•Hardware DB Encryption•Automatic Service Request•Data Mining Offload •Storage Expansion Rack•X2-8 CPU Refresh •2TB DRAM per node•Solaris x86 •Reverse Offload •Smart Flash Logging将Oracle 的最佳实践与快速发展的硬件相结合独特的软件特性Future Optimizations•In-Memory OptimizedCompression•Memory-to-MemoryInfiniBand Messaging •Flash Cache for Writes20082009 2010 2011 2012数以千计的全球成功案例Rapid adoption in all geographies and industriesSpectacular Customer Results“Softbank created a warehouse up to8x faster while reducing costs 50%”—Keiichiro Shimizu, Softbank“Turkcell’s largest 250 TB DB is nowonly 27 TB with Exadata Compression”—Ferhat Sengonul, Turkcell“Performance improved17x with no changes toour application”—Jim Duffy, BNP ParibasExadata Growth“Exadata is the fastest growing product in Oracle’s history”-Oracle CEO, Larry EllisonExadata技术发展与硬件架构Exadata架构完整的系统 : 计算资源, 存储资源, 网络资源•数据库集群–基于Intel芯片架构的数据库服务器–Oracle Linux or Solaris 11–Oracle Database 11g–10 Gig Ethernet (to data center)•存储网格–基于Intel芯片架构存储服务器–504TB裸容量– 5.3TB Flash storage–Exadata Storage Server Software•InfiniBand网络–内部网络互联 ( 40 Gb/sec )Exadata 硬件架构Exadata 智能存储网格•14 x 高性能低成本存储服务器(2U)•高性能, 低成本, 冗余, 线性扩展•100 TB 高性能SAS 磁盘, 或 504 TB 高容量SAS 磁盘 •168 Intel cores in storage •5.3 TB PCI 闪存•跨存储服务器的数据镜像保护•超级性能 &开箱即用满配最大功耗14KW, 平均 9.8KW. 而通常一个高端的SMP 小机(不包含存储和交换机)就需要超过20KW 的功耗数据库网格InfiniBand 网络•冗余 40Gb/s 交换机 •服务器与存储的统一网络• 8台数据库服务器(X2-2)✓96 CPU cores (12 Cores per server,2x Six-CoreIntel X5675 Processors (3.06 GHz)✓768 GB memory (可扩展到912GB )• 或2台数据库服务器(X2-8)✓160 CPU cores (80 Cores per server) ✓4 TB (2 TB per server)Exadata 低功耗Exadata 架构概述Exadata CellInfiniBand 交换网络单节点数据库RAC 数据库Exadata CellExadata Cell智能存储层数据库处理层 超高速并发网络层传统主机+存储的数据库架构的IO瓶颈问题•存储层:1)数据量不断增加,带来的IO瓶颈;2)随着数据长时间运行带来的数据分布不均匀,存在IO热点•网络层:传输带宽不足,无法快速传输大量数据到服务器•服务器层:接收过多数据进行处理,内存优势无法发挥Exadata–数据处理架构的革命打破数据带宽瓶颈•Exadata 提供更多的并发带宽-模块化存储单元CELL,高度并行的存储网格-带宽与容量成正比•Exadata 采用更高的单路带宽-InfiniBand提供40G bits/S的带宽,比高端阵列的光纤通道技术快5+倍•智能的存储、Exadata 传送更少的数据-数据查询过程被下移到智能存储层,传送到服务器中的数据只包括最相关的结果数据,显著的减少了发送到服务器的数据,减轻了服务器CPUs负荷。
达梦与oracle的对比
1、DM7采用多趟扫描、代价估算的优化策略,支持查询计划的HINT功能,可供经验丰富的DBA对特定查询进行优化改进,进一步提高查询的效率和灵活性。
2、DM7提供查询计划的重用,可以减少重复分析操作,有效提升语句的执行效率。DM7采用参数化常量方法,使得常量值不同的查询语句,同样可以重用查询计划。
2、授予用户一定的权限,例如connect,resource等,限制用户操纵数据库的权力。
3、授予用户对数据库实体(如表、表空间、过程等)的存取执行权限,阻止用户访问非授权数据。
4、提供数据库实体存取审计机制,使数据库管理员可以监视数据库中数据的存取情况和系统资源的使用情况。
5、采用视图机制,限制存取基表的行和列集合。
6、SecureFiles 是 Oracle用于在数据库中存储大型对象LOB (例如图像、大型文本对象或包括 XML、医学成像以及地理空间栅格对象在内的高级数据类型)的下一代产品。SecureFiles提供能够完全与文件系统相媲美的卓越性能。此外,它还提供高级功能,例如智能压缩、透明加密以及透明的重复删除。
3、物理数据页大小可选。物理数据页是系统内部数据组织的基本单位。系统的高速磁盘缓冲、I/O等都以数据页为单位进行。DM系统允许用户在建立系统时,可在4K、8K、16K或32K中任选一个值作为页的大小,以达到最优的应用系统性能。
4、代理服务与作业调度。在DM系统中,代理服务是运行在服务器端,调度并执行作业、监视警报的服务。通过它用户可以自动执行部分管理任务,如定期备份、出错通知等,减轻工作负担。必须启动代理服务后,作业与调度才能正常工作。代理服务加载系统定义的所有作业,并根据其调度信息安排其执行时间。当特定的时刻到来时,启动作业,并依次执行作业包含的每个步骤。代理服务不仅监控时间事件,同时也监控服务器内部的警报事件,当服务器在运行中产生某个特定事件时(如执行操作失败),代理服务会检测到这个事件的发生,并触发相应的警报。
OracleExadata技术架构和主要特点
4
EXADATA概述 -为所有的数据管理系统提供超级的性能
架构优势 主要指标 智能存储 OLTP 高可靠 高扩展
• 适用于数据仓库应用的最好的数据库服务器(Best for Data Warehousing)
• 基于10x压缩表的Smart scan • 基于内存数据的并行查询 • 整体上比11.1版本快5倍
Full ቤተ መጻሕፍቲ ባይዱack
Raw Disk1
Raw Flash1
User Data2
(assuming no compression)
SAS SATA
SAS SATA
7.2 TB 24 TB
384 GB 2 TB 7 TB
21 TB 72 TB
1.1 TB 6 TB 21 TB
50 TB 168 TB
2.6 TB 14 TB 50 TB
Exadata Cell
InfiniBand 交换网络
Exadata Cell
Exadata Cell
3
全新的技术架构– Share Nothing与Share Disk的结合
架构优势 主要指标 智能存储 OLTP 高可靠 高扩展
计算密集型处理 数据库服务池
Infiniband高速互 联的数据交换
Ref: /portal/page/myo/ver1/ROOTCORNER/PRACTICESORGANIZATIONS/BUEMEA/DIEMEACT/UK/Sales/Technology%20Solutions%20 and%20Channels/Exadata/References/V1salesspininternalSun_Oracle_Exadata_Technical_Overview.ppt
云计算数据库云服务器-Oracle Exadata
Exadata X2 – 数据库一体机云服务器
硬件和软件 集成设计 卓越性能
smart software
smart hardware
极限性能
Copyright 2011 Oracle Corporation
6
Oracle Exadata 数据库的业务价值
• 为提高速度进行了优化 • 通常压缩比可达10 倍 • 扫描成比例增长 Up To
• 针对不常访问数据的归档模式
• 为减小空间进行了优化 • 通常可达15 倍压缩 • 对某些数据可达50倍压缩
50X
12
Copyright 2011 Oracle Corporation
Flash突破传统磁盘随机I/O的瓶颈
线性系统扩展
动态资源调配
规划视角
一体化云计算
Exadata 新一代绿色数 据库云平台 节能减排
智能存储技术
最佳OLTP性能设 计 最佳数据仓库性 能设计
低能耗、绿色计算:一台满配 Exadata (包含服务器、 网络、存储)总能耗平均仅为9.8KW,相当于传统服务 器+存储+网络能耗的1/3,但计算能力和占地空间却 相当于传统服务器+存储+网络的2-10倍。
其它任务执行, 导致处理
缓慢
Copyright 2011 Oracle Corporation
10
Smart Scan 处理技术,解决数据瓶颈
比较 – Exadata SmartScan 处理技术
SELECT customer_id FROM calls where amount > 200; 返回数据行
OracleExadata技术架构和主要特点
故障修复
根据诊断结果,采取相应的措施修复故障, 如更换硬件、重新配置软件等。
数据恢复
在数据丢失的情况下,根据备份进行数据恢 复,确保业务的连续性。
THANKS FOR WATCHING
感谢您的观看
03 Oracle Exadata数据库 技术
Exadata的数据库架构
硬件架构
Exadata的硬件架构包括数据库服务器、存储服务器和InfiniBand交换机。数据库服务器负责处理数据库查询, 存储服务器提供存储空间,而InfiniBand交换机则提供高速数据传输。
软件架构
Exadata软件架构包括数据库软件、Exadata智能存储软件和Exadata智能加速软件。这些软件协同工作,提供高 性能、高可用性和高扩展性的数据库服务。
Exadata的存储性能优化源自010203
存储I/O优化
Exadata通过智能的I/O调 度和优化技术,减少I/O 等待时间和延迟,提高存 储I/O性能。
存储网络优化
Exadata采用高性能的存 储网络技术,降低网络延 迟和传输瓶颈,提高数据 传输效率。
存储管理优化
Exadata提供高效的存储 管理工具和策略,简化存 储管理流程,降低管理成 本,提高存储资源利用率。
QoS控制
通过流量控制和优先级调度,确保关键业务流量 在网络中的优先传输。
压缩与加密技术
采用数据压缩和加密技术,减少数据传输量,提 高网络安全防护能力。
负载均衡
通过负载均衡技术,将数据流量合理分配到多个 网络路径上,提高网络吞吐量。
05 Oracle Exadata安全技 术
Exadata的安全架构
OracleExada特性简介及应用指南
2012年 8月1 序言 . .............................. 错误 ! 未指定书签。
一Exadata 概括 ....................... 错误 ! 未指定书签。
1 Exadata 简介 ....................... 错误 ! 未指定书签。
2 Exadata 的配置及性能参数 ........... 错误 ! 未指定书签。
二Exadata 特征 ....................... 错误 ! 未指定书签。
1 SmartScan(智能扫描) .............. 错误 ! 未指定书签。
2 StorageIndex (储存索引) ........... 错误 ! 未指定书签。
3 FlashCache(智能闪存) ............. 错误 ! 未指定书签。
4 Compression(压缩) &EHCC(ExadataHybridColumnarCompression )错误! 未指定书签。
5 IORM(IO 资源管理) ................ 错误 ! 未指定书签。
三Exadata 监控 ....................... 错误 ! 未指定书签。
1 Exadata 特征监控常用指标 ........... 错误 ! 未指定书签。
2 怎样查察指标 ....................... 错误 ! 未指定书签。
四怎样应用 Exadata ................... 错误 ! 未指定书签。
1 Exadata 参数调整 ................... 错误 ! 未指定书签。
2 在 Exadata 上开发注意事项 ........... 错误 ! 未指定书签。
3 应用总结 . .......................... 错误 ! 未指定书签。
4 Exadata 整体总结 ................... 错误 ! 未指定书签。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
• 业界唯一能运行所有工作负载的数据库机 • 在多数据库、多应用、多用户环境下提供可预测的响应时间
Exadata保留并集成了Oracle30 年来积累的数据 库技术发展的重要成果和优化经验
为什么快?Exadata革命性的设计---Before/After
Exadata
DB Servers
7x24小时的不间断运行;受故障影响的用 户会自动连接到其他正常的服务器; -易于数据库系统的扩容:
- 成本更低 - 无须停机
- 几乎没有风险
Automatic Storage Management (ASM)
自动存储 管理
Oracle的虚拟存储池技术;
自动实现存储的条带化和冗余配置;
使数据库获得最高的存储访问性能;
请求 InfiniBand
Exadata Storage
高性能理由①
“Smart Scan”: 计算负载部分卸载至并行智
能存储层,并只传输经筛选的有用数据
高性能理由②
“综合列压缩(EHCC)”: 技术获得10x-50x 超
高压缩比,并提高磁盘I/O效率
高性能理由③
“Smart Flash Cache”: 高达5.3TB 的 Flash
数据库云服务器
• 最佳的数据仓库服务器
• 性能提高10-100倍 • 高达10倍的数据压缩 • 数据智能扫描能力 • 内存数据的并行查询
• 最佳的OLTP系统服务器
• 性能平均提高10-20倍 • 业界唯一的在真实用户环境中运行的网格数据库 • 智能闪存缓存提供20倍的磁盘IOPS能力 • 归档数据可达50倍的压缩能力 • 安全、容错的架构
Exadata满足数据中心建设关键需求
• 完整、预配置、经过严格测试的整体方案 • 极限性能,卓越的用户体验 • 高可靠性、扩展性满足业务长期发展 • 绿色数据中心 • 整体系统,易管理
Exadata 架构概述
单节点数据库
数据库处理层
RAC 数据库
超高速并发网络层
智能存储层
Exadata Cell
问题:昨天 的销售业绩 如何?
数据库网格
Select sum(sales) where Date=’24Sept’ …
构建并发 Smart Scan 请求
Exadata 智 能存储层
Smart Scan 在TB 级数据 中扫描匹配请 求的数据
SUM
仅仅返回满足 条件的数据
Exadata 混合列压缩
2004 支持在线添加和卸载磁盘;
降低存储的管理和维护的成本与风险;
与Oracle数据库无缝结合,为Oracle数据库提供 有效防止数据的丢失;
最高的性能保证;
Enterprise
企业管理
Manager(EM) 器
Oracle的远程数据库管理工具; - 基于Web方式 - 图形化界面
2001 - 支持数据库的自动故障诊断 - 支持智能的数据库性能诊断和调优 - 涵盖了所有的数据库管理功能 - 也可用于管理其他硬件和软件
• 数据库优化的网络,磁盘,操作系统,服务器 • 数年的调试,严格测试,预置的,无特殊配置问题
• 等同于经过Oracle专家级大师配置, 30 年的Oracle数据 库经验
端到端优化,没 • 运行现有 OLTP 和 DW 应用
有瓶颈
• 无需 Exadata 认证
在几天内部署完毕 ,而不是数月
• Oracle技术环境:技术, 知识库,人, 合作伙伴 • 磁盘到数据库的服务
数据库网格 • 8 高性能服务器
• 96核或128核 • 576 GB 内存 InfiniBand 网络
• 3 36-port 40Gb/s Infiniband 交换机
• 统一网络- 服务器 & 存储 • 相当于324 FC 端口
存储网格 • 14 高性能存储服务器
• 168 核CPU在存储中 • 100 TB 裸SAS磁盘存储
<Insert Picture Here>
Oracle技术方案建议
Exadata – Oracle 极限性能数据库云服务器
王健 资深咨询顾问 甲骨文(中国)
IT 的转变:从战术向战略发展
着眼现在,放眼未来
最小化成本
IT 作为运营支出
业务 基础架构
整合 虚拟化 能源效率 许可 应用程序/数据现 代化
InfiniBand 交换网络
Exadata Cell
Exadata Cell
Exadata – 数据处理架构的革命 打破数据带宽瓶颈
传统架构 •更大的带宽 传统4-8 Gb/S
•更少的数据传输
Exadata架构 Exadata: 40Gb/S
Exadata –智能扫描 技术
Exadata为什么快10-100x倍?
数据库服 务器11g
- 高可用性 2007 - 高可扩展性
- 易管理性
- 高安全性
经过3年多的客户使用,已经进入技术成熟期;
Partitioning 分区
1998
提高大数据量、高并发业务的数据库的性能; 改善数据的可管理性;
对客户的价值
与全球50%的数据库用户一起,在Oracle数 据库技术构建先进、稳定、可靠的IT平 台;
在不改变硬件配置的情况下,获得几 倍的性能提升; 更好的性价比;
混合列压缩技术 软件 技术
智能闪存技术
具有: - 10倍的普通数据压缩能力 - 最大50倍的归档数据压缩能力
支持以压缩方式传输数据,降低数据IO的压 力; 目前业界唯一的基于闪存的优化技术; 自动识别热点数据,并存储到闪存上; 将大部分的磁盘访问转换为对闪存的访问; 性能因此提升几倍;
或者 336 TB SAS磁盘存储 • 5 TB 闪存 • 涵盖整个存储服务器的数 据镜像
标准化,部署简单;整体架构平衡及优化
• 客户化配置的系统无法达到最佳性能 • 各部件不平衡,错误配置,瓶颈
• Exadata是完全端到端优化配置、调试好,随付即用
• 2位数 GB/秒磁盘到数据库的数据传输 • 磁盘,闪存,控制器,总线,HBA, 网络,CPU等
最大化回报
技术作为竞争武器
Internet 基础架构
伸缩 优化的系统 开放性 性能 加速实施 原有系统转型 大量数据功能
大型业务系统的关键需求
• 多采用集中模式
• 成熟、先进的技术 • 大用户数并发:对数据库服务器及应用服务器的压力 • 大数据量存储管理 • 高性能的数据处理能力 • 强大的数据分析能力 • 高可用性,7x24小时可访问 • 按需扩展,随业务发展而水平扩展 • 数据的交换、存储很高的安全性要求,隐私保护
多种好处
Exadata 存储索引
无需任何DB开销即可透明地降低 I/O负荷
Table
A BCD 1 3 5 5 8 3
索引
• Exadata 存储索引在内存中保存表数据的汇总信息
• 存储列的 MIN 和 MAX 值 • 通常每 MB 磁盘空间建立一个索引项
Min B = 1 • 如果 MIN 和 MAX 值不匹配查询的“where”子句,
消除或降低数据量不断增长对数据库性能 的影响; 提高数据访问效率; 提高数据备份效率;
Real Application Cluster(RAC)
真正应用 集群
-不再担心数据库的单点故障,实现真正的
支持通过增加新主机方式的数据库的横向扩展;
2001
支持透明应用失败切换; 消除数据库主机的单点故障;
降低数据库系统的建设成本和扩容成本
• 未来对数据中心的建设考虑
• 绿色计算 • 统一管理 • 统一灾备
目前ቤተ መጻሕፍቲ ባይዱT领域的热门话题-云计算/云服务
对用户抽象的、大规 模的、自我管理的基 础设施
廉价的商品化设备
资源动态分配、按需 伸缩,应用服务不依 赖固定的资源
没有系统边界
灵活和易扩展 每次使用付费 面向服务
IT服务的交付和使用模式,指 没有物理或地理限制
通过网络以按需、易扩展的方
式获得所需的服务。这种服务
全局服务
可以是IT和软件、互联网相关 的,也可以是任意其他的服
经济性/更绿色
务,它具有超大规模、虚拟化、
可靠安全等特点
用户服务与操作系 统和应用程序体系
结构无关
无需用户长期的承诺 “互联网为中心的计算”
无需安装任何硬件或软件 即可得到服务
Oracle极限性能数据库一体机-Exadata
Cache,随机I/O性能高达1M IOPS
高性能理由④
“Infiniband ”: 提供40Gb/s 端口带宽,聚
合带宽高达880Gb/s , 端口延时(0.1um )小于以 太网的 1/1000
Smart Scan、EHCC、Smart Flash Cache等 是Oracle Exadata 独有的关键性能突破技术
EExxaaddaattaa 是是完完全全优优化化的的、、预预配配置置的的、、严严格格测测试试的的超超级级性性能能数数据据库库平平台台
解解决决传传统统的的系系统统配配置置中中的的II//OO瓶瓶颈颈 利利用用标标准准的的、、工工业业化化组组件件提提供供一一个个低低TTCCOO的的系系统统 严严格格测测试试的的、、预预配配置置的的系系统统提提供供极极限限的的性性能能 存存储储的的自自动动化化管管理理和和操操作作提提供供线线性性扩扩展展的的高高性性能能和和低低运运营营成成本本
直接获得产品中自带的全冗余设计架 构; 不需要担心任何硬件的单点故 障;
Exadata满足数据中心建设关键需求
• 完整、预配置、经过严格测试的整体方案 • 极限性能,卓越的用户体验 • 高可靠性、扩展性满足业务长期发展 • 绿色数据中心 • 整体系统,易管理