Exadata“让性能飞”

© 2010 Oracle Corporation – Oracle Confidential
– 5–
5
数据库云系统时代的来临
数据库系统正在发生巨大的变化
小型服务器
大型服务器
数据库云系统
© 2010 Oracle Corporation – Proprietary and Confidential – Do Not Distribute
Oracle Production E-Business Suite Tables
52
Size Reduction Factor by Table
50 45 40 35 30 25 20 15 10 5 0
OLTP 压缩(avg=3.3) Query 压缩 (avg=14.6) Archive 压缩 (avg=22.6)
Half Rack
4 (48 cores) 7 (84 disks) 50 TB 168 TB 2.6 TB 22.5 75 12.5GB/sec 37.5 750,000 1
Full Rack
8 (96 cores) 14 (168 disks 100 TB 336 TB 5.3 TB 45 150 25GB/sec 75 150,000 1
Oracle is the First Flash Optimized Database
16
Sun Oracle Exadata 标准配置
X2-2 Full Rack
X2-2 Half Rack X2-2 Quarter Rack X2-8 Full Rack
17
Exadata Database Machine
2-8 Full Racks
16-64 28-112 200 – 800 TB 672 – 2,688 TB
User Data (SAS ＨＰ) User Data (SAS HC) I/O Throughput (disks) I/O Throughput (flash) I/O per Second (IOPS) Racks
DB主机确定表 的存储分区
DB主机筛选1 TB数据 ，得到1000行客户要求 的数据，计算并返回给 客户端
发起I/Os请求
I/Os 执行: 返回 1 TB 数据
（I/O、内存和CPU）， 严重影响其它任务执行 ，处理缓慢。
14
SmartScan处理技术
SELECT customer_name FROM calls WHERE amount > 200; 返回数据行
内置的容灾技术
Maximum Availability Architecture
Real Application Clusters Active Data Guard
ASM Fast Recovery Area 屏蔽 - 服务器故障 - 存储系统故障 - 网络故障 - 整个场所故障 Secure Backup
Problem Power failure Switch failure Ethernet port/link failure Disk failure Database Server failure Storage Server failure Database Machine Solution Redundant PDUs in the rack and redundant power supplies for all servers Redundant Infiniband switches; dual-ported bonded HCA’s in all servers for redundancy 4 Ethernet ports in database servers; Can be bonded for protection Oracle Automatic Storage Management: all disks are mirrored Oracle Real Application Clusters protects from n-1 server failures Oracle Automatic Storage Management: all disks are mirrored across storage servers
6
Sun Oracle Exadata 构成
数据库服务器网格 • 2~8台高性能企业服务器 • 每个服务器包括12个高性能处理 器内核 InfiniBand交换机 • 40 Gb/sec容错交换网络
Exadata 存储服务器网格 • 3~14台高性能企业存储服务器 • 21~336TB SAS磁盘存储 • 1~5TB+ 闪存(flash storage) • 存储端执行查询过滤
配置详情
Component
Database Servers Storage Servers Total Disk Capacity (SAS HP) Total Disk Capacity (SAS HC)
Flash Cache Capacity
Quarter Rack
2 (24 cores) 3 (36 disks) 21 TB 72 TB 1.1 TB 9.25 31.5 5.4GB/sec 16 375,000 1
– 7–
7
传统架构的瓶颈之一
传统的存储系统已经成为数据库处理的瓶颈 - 存储系统到数据库的带宽有限 - 存储阵列内部瓶颈 - SAN系统瓶颈 - 因为物理磁盘的速度导致随机I/O瓶颈 数据带宽严重地限制了数据仓库的性能 随机I/O的瓶颈限制了OLTP应用的性能
8
如何解决数据带宽问题
•解决数据带宽问题的两种方式 •更多更快速的数据通道 •减少通道中的数据流量
Exadata“让性能飞”
议程
平台特点 升级扩容 高可用性 平台应用
2
挥之不去、还在重复的噩梦
•Volume Mgr •File System OS/Cluster 安装调试
•Volume Mgr •File System OS/Cluster 安装调试
•服务器选型 •Sizing •高可用设计 •集群实现 能 调 优 测 试 •SAN 设计 •SAN兼容性 •布线、安装 •存储系统选型 •Sizing •兼容性 •Layout /RAID 实现 性 成 集
至 少 个 月 6
Patch
Patch
/
Patch
Patch
Patch
存储软件
存储软件
3
最昂贵的组件 = 最好的平台？
＋
＋
＝
4
前所未有的交钥匙方案：
Sun Oracle Exadata 数据库一体机
• 完整的, 预配置的, 严 格测试的系统提供极限 性能 • 随付即用的系统 • 高性能、高可用性
WAN
支持实时远程备份端的查询 认为错误的纠正 - Database, table, row, transaction level 在线索引和数据表的重构 在线 patching 和 upgrades
Exadata V2:数据仓库的最佳平台
•分布处理 •大量、高带宽I/O; •高速连接 •Smart Flash Cache •SmartScan •存储索引 •混合型列压缩 •......
1000浪费在传输 大量无关数据上
15
Exadata Flash闪存
提供随机I/O的超级性能
New
• 数据库一体机提供总计 5 TB 的闪存 • 每智能存储服务器配置4块高速闪存卡 • Smart Flash Cache缓存热数据，但 • 不是采用简单的LRU算法,库逻辑感知 • 基于数据库数据使用逻辑，知道那 些数据应该缓存,那些不应该缓存 • 允许基于应用表进行指定优化，如提 示高优先级驻留于缓存
12
Exadata 存储索引
无需任何DB开销即可透明地降低 I/O负荷
Table
A B C D 1 3 5 5 8 3
索引
Min B = 1 Max B =5 Min B = 3 Max B =8
Exadata 存储索引在内存中保存表数据 的汇总信息 - 存储列的 MIN 和 MAX 值 - 通常每 MB 磁盘空间建立一个索引项 如果 MIN 和 MAX 值不匹配查询的 “where”子句，则不访问磁盘 I/O 完全地自动化和透明，不需要开发者创 建及管理
56 – 224 TB 200 – 800 TB 42 - 168 GB/sec 100 - 400 GB/sec 2M – 8M 2-8
18
RAC可使计算资源在线升级
• 计算负载在 集群中均匀 分布 • 随负载加 重，可动态 升级集群， 添加计算节 点
19
ASM可使存储资源在线升级
• 存储资源可随时加入 • ASM将数据进行重新分布 • 应用保持在线状态
9
混合型列压缩技术
数据按列来组织和压缩 -提供了极大的压缩比 为数据库应用提供性能优化的 “Query” 压缩模式 -通常能提供10倍的压缩比 -由于Exadata的卸载能力,其性能 更好 为不经常访问的数据提供空间优化的 “Archival ”压缩模式 -典型压缩比是15到 50倍
10
混合型列压缩技术的现实压缩能力
Select * from Table where B<2 — 仅第一组记录匹配
13
传统扫描处理技术
SELECT customer_name FROM calls WHERE amount > 200; 返回数据行
基于传统存储技术，全 部的数据库智能存在于 数据库主机。 来源于存储的数据大部 分被数据库主机所丢弃 。 大量的废弃数据占用了 宝贵的数据库主机资源
24
优势技术协作带来性能的成倍提升
10 TB用户数据需要 10 TB的IO
通过压缩技术降至1TB
分区表技术将数据量缩减至 100GB
亚秒级响应
内存索引将目标数据继续 缩减至10GB 部分数据可以flash上直 接命中
Data is 10x Smaller, Scans are 2000x faster
20
先进的架构带来7x24的高可用性
Enterprise Reliability
• 冗余与容错 • 一切皆有冗余 • Grid DB (RAC) • Grid Storage • Network • 任何部件的故障皆能容忍 • 跨存储服务器的数据镜像
Oracle Database Machine: High Availability
43 29 11 16 19 19 19 20 21
10
10
10
混合型列压缩比率 • Query = 14.6X • Archive = 22.6X • 压缩比率基于应用和数据变化
11
压缩技术端到端的实现
Oracle 采用端到端的压缩技术 数据在整个工作流中始终保 持压缩状态 更快的响应时间 比较未压缩数据，压缩数据 并未更多消耗CPU资源 其他单点解决方案 仅仅在硬盘，或磁带，或网 络部分实现单点压缩 数据在工作流中需要被解压 缩和重新压缩 低压缩比例且带来性能下降 端到端的压缩 存储– less disk 读取 – faster I/O 闪存 – less I/O 处理 – less CPU 发送 – faster Infiniband 缓存 – less I/O 处理 – less CPU 复制 Faster, cheaper test, dev, DR 备份 Faster, lower cost
• 预装软件 • Oracle • Oracle • Oracle • Oracle
Database Enterprise 11gR2 RAC Option Partitioning Option Exadata Storage Server Software
© 2010 Oracle Corporation – Oracle Confidential
仅所需列 （customer_name） 与 行（amount>200）从存 储返回 筛检数据所需CPU资源被 cells承载 数据库服务器可以将资 源集中使用在更关键的
准备 SmartScan并 送达至Cells
将所有cells返回的数据 进行合并
SmartScan在 目标表中筛选 出所需的行与 列