Oracle Exadata一体机解决方案

Oracle Confidential
Exadata I/O 资源管理器
How to configure I/O Resource Manager?
Customer Service Warehouse
Sales Warehouse
Finance Warehouse
Allocation: 30%
Allocation: 60% Allocation: 10%
Oracle Exadata一体机解决方案
秦轶
高级咨询顾问
© 2011 Oracle Corporation
议题
• 企业信息化集中建设目标和挑战 • 如何突破传统IT基础架构瓶颈 • 极限性能数据库一体机Exadata • Exadata成功案例 • 专题讨论
© 2011 Oracle Corporation
•
• •
业务更多、更复杂，数据集中、统一、规范化的管 理整合数据资源，形成数据资产，提高企业核心竞 争力，是企业一个共同的趋势
© 2011 Oracle Corporation
企业面临的风险和挑战
• 风险
– 业务风险——如何与企业的业务需求紧密结合，从业务运营和公司管 理角度对应用需求和建设路线进行规划。 – 成本投入——面对金融危机的影响，如何有效的控制成本投入，最小 化总体拥有成本。 – 实施风险——长期的系统工程，数据量大、复杂度高、周期长，实施 难度大。
© 2010 Oracle Corporation
Exadata I/O 资源优化结果
What happens if the Customer Service database is temporarily idle?
Allocation: 30% Actual: 75%
Allocation: 10% Actual: 25%
Exadata Storage
Resource plan specifies how unused bandwidth is reallocated Goal is to keep disks fully utilized
© 2011 Oracle Corporation
Query
多种好处
17
Exadata – 降低存储成本
Exadata V2 10x Compression
Systems with Equal User Data
Netezza TwinFin 2x to 4x Compression All with Largest Disks, Best Compression
IT企业信息化建设需要完整实时、集中的数据中心平 台 • 对于长期发展的企业而言，面临更加激烈的国际、国内竞争 如何提高企业信息系统的运行和管理效率，成为企业的 战略性目标 以客户为中心，为客户提供个性化的服务，提 高客户满意度,提高市场占有率和客户忠诚度 及时、全面、准确地掌握企业的运作信息，科学决 策，降低经营成本，在降低成本的同时扩展市场
19
Exadata 混合列压缩技术
Compression Unit
• 混合列压缩表的存储 – 支持DML – 常用的批量数据加载操作的压缩
10x to 15x Reduction
• 工作原理 – Oracle提出了 CU 的概念compress unit – 基于列的存储方式
© 2011 Oracle Corporation
© 2011 Oracle Corporation
Exadata 混合列压缩
最高容量，最低成本
• 速度优化 – 10X 压缩比例 – 因为Exadata卸载查询，更加快速
• 空间优化—针对不经常访问的优化空间 的归档方式 – 15X到50X压缩比例
更快更简单， Backup, DR, Caching, Reorg, Clone
传统存储阵列 • 大型数据库希望以100%的速度扫描几十、甚至几千个磁盘 • 磁盘和服务器之间的通道限制了10x或者更多的带宽 • 结果是数据库越大，运行速度越慢
© 2011 Oracle Corporation
企业数据量飞速增长
数据库大小每两年增长三倍 响应时间无法忍受！！！
1998 – 1 TB; 2001 – 10 TB; 2003 – 30 TB; 2005 – 100 TB; 2007 – 300TB; 2009 – 900 TB; 2011 – 2.7 PB
© 2011 Oracle Corporation
议题
• IT企业信息化建设目标和挑战 • 如何突破传统IT架构瓶颈 • 极限性能数据库一体机Exadata • Exadata成功案例 • 专题讨论
© 2011 Oracle Corporation
传统的服务器及存储设备技术架构的挑战
网络交换机
光纤存储交换机
EMC VMAX 3x Oracle Compression
Teradata 258wk.baidu.com 1.3x Compression
© 2010 Oracle Corporation
18
Exadata – 卸载查询
效益倍增
10 TB of user data Normally 10 TB of IO
1 TB with 10x compression
20
Exadata 混合列压缩比较
1000
Uncompressed
1000
Uncompressed
100
Pure Columnar Cliff
OLTP Compress
500 500
OLTP
50
Hybrid & Pure Column
Table Size
0 0
Hybrid Pure Column
Scan Time
• 挑战
– 海量数据下的性能、稳定性、可扩展性——数据量在TB甚至几十TB以 上，并且会快速扩展，需要高性能和可扩展的技术支撑平台 – 系统的复杂度与开放性——支持多种不同的数据源，对分析类和操作 类混合负载的支持，与多个业务系统对接，双向数据交互的支持。 – 数据集中管理——数据大集中以后，如何保证各个业务系统的高可靠、 高性能。
© 2011 Oracle Corporation
Exadata应用广泛
业界唯一能运行所有工作负载的数据库机
• 最佳数据仓库平台
– 智能扫描 – 内存数据的并行查询
• 最佳OLTP业务系统数据库平台
– 智能闪存缓存 – 50倍的压缩能力 – 安全、容错的架构
• 最佳整合平台
– 业界唯一能运行所有工作负载的数据库机 – 在多数据库、多应用、多用户环境下提供可预测的响应 时间
© 2011 Oracle Corporation
DB Servers
10TB 读 10TB 发送 DB CPUs 过滤
秒级!
小时级!
传统存储
15
Exadata – 数据处理架构的革命
打破数据带宽瓶颈
传统架构
•更多的带宽 传统4-8 Gb/S
Exadata架构 Exadata: 40Gb/S
•更少的数据传输
Exadata 智能存储网格
最具扩展性的数据处理
• 数据密集处理运行在 Exadata 存储网格
– 从磁盘上像数据流一样过滤行和列 (112 Intel Cores) – 大规模的存储去除了瓶颈
• 举例: 在Y月卖出多少产品 X
10TB 读 Exadata 过滤 100GB 传送 Exadata Storage
– – – – – – B-Tree, Bitmap Indexes, Text indexes 物化视图（Materialized Views） Exadata Server and Cells including offload 分区（Partitioning） 并行查询（Parallel Query）, PDML, PDDL Schema Evolution support, online, metadata-only add/drop columns – Data Guard Physical Standby Support
0
Row Lookup Time
© 2011 Oracle Corporation
21
压缩单元 compress unit
• 逻辑结构跨越多个数据库快 • 数据装载期间数据按列的方式组织 • 每个列单独压缩 • 数据装载期间数据按列的方式组织 • 访问某一行，总是在一个CU内
Logical Compression Unit
© 2010 Oracle Corporation
12
Exadata关键特性满足需求
• 极限性能，卓越的用户体验
• 高可靠性、扩展性满足业务长期发展
• 绿色数据中心
• 整体系统，易管理
© 2011 Oracle Corporation
Exadata – Smart Scan 处理技术
Exadata为什么快10-100x倍?
Finance Database
Tactical Queries Queue
I/O Resource Manager
R O T O
Outstanding I/O Requests
Finance
Database
T
BBBB
Batch Queries Queue
Exadata Storage Cell
资源管理器用户接口
问题：昨天 的销售业绩 如何？
数据库网格
Select sum(sales) where Date=’24Sept’ …
Exadata 智 能存储层
构建并发 Smart Scan 请求 Smart Scan 在TB 级数据 中扫描匹配请 求的数据
SUM
仅仅返回满足 条件的数据
© 2009 Oracle – Proprietary and Confidential 14
Exadata Storage
Configure an IORM Resource Plan, setting allocations for each database Resource allocation is equivalent to disk utilization
Exadata I/O 资源管理器
结合上述所说的问题和需求
更合理的弹性计算，更灵活的系统延伸； 资源可以共享，也更容易部署； 结构更为简明，性能更加快速； 管理更加轻松，系统更加稳定； 系统更加绿色环保，总拥有成本大大降低 客户满意度大大提高
建设成本大大降低
© 2011 Oracle Corporation
议题
• IT企业信息化建设目标和挑战 • 如何突破传统IT架构瓶颈 • 极限性能数据库一体机Exadata • Exadata成功案例 • 专题讨论
What happens if the Customer Service database is temporarily idle?
Customer Service Warehouse Sales Warehouse Finance Warehouse
Allocation: 60% Actual: 0%
100 GB with partition pruning
Seconds On Exadata 50 GB with Storage Indexes Scan 50GB in Flash 10 GB returned after Exadata Filtering
Data is 10x Smaller, Scan is 2000x faster
© 2011 Oracle Corporation
显然这个架构存在如下问题
各系统性能如何保障？
各系统的延伸性如何解决？
各系统的资源如何共享？
各系统的管理复杂度如何降低？
各系统能不能快速部署？
机房空间，电源，冷却系统等影响总拥有成本
客户满意度如何提高？
© 2011 Oracle Corporation
Exadata I/O 资源管理器
1. Pick a database
Sales Database
2. Pick a Consumer Group
OLTP Queue
3. Issue the head I/O request
Resource Plans
Sales Database
OO
RRR
Reports Queue
BLOCK HEADER
CU HEADER
BLOCK HEADER
BLOCK HEADER
BLOCK HEADER
C3
C4
C7
C6
C1 C2
C5 C8
C8
© 2011 Oracle Corporation
22
Exadata 混合列压缩
Business as Usual • Fully supported with…