甲骨文数据库一体机Exadata X3详解
OracleExada特性简介及应用指南
2012年8月1 前言............................... 错误!未指定书签。
一Exadata概述....................... 错误!未指定书签。
1Exadata简介....................... 错误!未指定书签。
2Exadata的配置及性能参数 ........... 错误!未指定书签。
二Exadata特性....................... 错误!未指定书签。
1SmartScan(智能扫描).............. 错误!未指定书签。
2StorageIndex(存储索引)........... 错误!未指定书签。
3FlashCache(智能闪存)............. 错误!未指定书签。
4Compression(压缩)&EHCC(ExadataHybridColumnarCompression)错误!未指定书签。
5IORM(IO资源管理) ................ 错误!未指定书签。
三Exadata监控....................... 错误!未指定书签。
1Exadata特性监控常用指标 ........... 错误!未指定书签。
2如何查看指标....................... 错误!未指定书签。
四如何应用Exadata................... 错误!未指定书签。
1Exadata参数调整................... 错误!未指定书签。
2在Exadata上开发注意事项........... 错误!未指定书签。
3应用总结........................... 错误!未指定书签。
4Exadata总体总结................... 错误!未指定书签。
1前言1.1本文背景前期东软-甲骨文公司组织了一次针对社保系统的Exadata联合应用测试,本文内容是本次Exadata测试的经验总结,其中包含了与Oracle技术人员交流经验应用、Oracle相关技术文档应用及个人测试经验总结。
Exadata产品介绍
信贷 ODS
核心
ERP
报表、风险……
标准化,易于部署
• 所有的数据库一体机都是相同的
• • • • • 开箱既用的 经过测试的 支持优异的 没有独特的配置问题 与Oracle工程部使用的配置相同
• 可以运行现有的OLTP和数据仓库应用
• 继承了30多年的Oracle数据库能力
• 无需Exadata认证 部署只需几天, 而无需数月
2台 8Core * 8CPU (128核)
2台 1T内存(2T内存) X2-2: 8台 6Core * 2CPU (96核) 8台 96G内存(768G内存)
1 Cisco 以太网交换机 (48口,10Gb/s)
3 InfiniBand 交换机(满 半) 1 (1/4) (36口, 40Gb/s)
InfiniBand线缆照片
数据库一体机的完整家族
支持 OLTP、数据仓库和大集中等不同工作负载
Oracle Exadata X2-2 Oracle Exadata X2-8
• ¼配、半配、满配和多机架
• 满配和多机架
Exadata X2&X8 满配
14台存储服务器
存储: 高性能:100T 高容量:336T Flash: 14台 * 378G (5.3T) CPU: 14台 6Core * 2CPU (168核) 内存: 14台 * 24G (336G内存) X2-8: 数据库服务器
I/O 吞吐 (磁盘)
25GB/sec
I/O 吞吐(flash)
磁盘 IOPS Flash IOPS 数据加载
75GB/sec
50,000 1,500,000 12TB/小时
新–Exadata数据库一体机X2-8满配
闲聊Oracle一体机Exadata
闲聊Oracle一体机Exadata闲聊与关键字:分布式存储甲骨文在文章开始前先作个声明,本人并非专业技术人员,充其量只能算从业人员和技术爱好者。
本文也不是写给专业技术人员看的技术类文档,只是本人因为工作需要,在学习系统架构的过程中,自己的一些感触和体会,只是想分享给对和其他计算机技术感兴趣的人们,希望大家能一起探讨。
因此本文在谈到技术细节问题时,一定漏洞百出,敬请专业人士指正。
是公司研发的一款数据库一体机,关于的介绍文档,在网上能找到很多,它有很多特性,,,,等等,在本文中不对这些特性作详细说明。
本文探讨的只是在设计这款一体机时,借鉴了的开源实现等分布式计算集群的一些设计理念,使数据库的运行环境突破了传统基于共享存储的架构,创新的使用了基于的智能存储节点的架构,从而极大地提高了数据库在海量数据分析类应用的性能。
一、项目简单介绍:由于本文探讨的是和的相似处,因此先简单介绍下。
是开源软件基金会的一个项目的总称,它包含了,,,,等组件,它是基于和的论文发展起来的开源软件项目,而和是它的核心。
是一个开源的分布式文件系统,和单机文件系统一样,它也使用目录树结构,和单机文件系统不同的是,它的文件系统是跨越整个集群的,下图是它的架构集群是主从架构,它由一台节点和多台节点构成。
节点和节点都是标准的。
节点采用存储的方式,即内置多块大容量硬盘,节点可以多达上千台。
通常用于存储大文件,在中每个文件都被切割为固定大小的数据块,然后被分散存放于多台的硬盘上。
并且每个数据块都会有副本存放于远端机架的上,副本数一般设置为三个。
节点不存放实际的文件,而只存放整个文件系统的目录树等元数据。
当客户端需要访问存储于的某个文件时,首先需要访问节点,以取得文件存放的位置信息哪几台,以及在硬盘上的具体地址,然后根据这些目的地址对各上存放的数据并行地进行访问。
的这种分布式存储架构,主要有几个好处:、当存储空间不够时,只要简单增加节点,而系统自动会把数据块分配到新节点上,而无需人工干预。
Exadata 技术深入剖析-架构和内部机制
10 版权所有 © 2013,Oracle 和/或其关联公司。保留所有权利。
X3-8 数据库服务器(Sun Server X2-8)
• 8 个十核 Intel® Xeon® 2.4GHz E7-8870 CPU • 2 TB (128 x 16GB) • 4 个双端口 10GbE PCIe 端口 • 4 个双端口 InfiniBand QDR (40 Gb/s) Express 模块 • 8 个 2.5” 300GB 磁盘驱动器 • 磁盘控制器 HBA (有 512 MB BBWC) • 冗余电源、冗余风扇 • ILOM
18
版权所有 © 2013,Oracle 和/或其关联公司。保留所有权利。
硬件平台能力演进
V1 V2 X2
X3
2008
2009
2010
2012
存储 (TB) 168 闪存 (TB) 0
336 5.3 64 576 24
504 5.3
504 22.4 128 2048 400 400
3X
4X 2X
8X 50X
• 每个连接80Gb/s的带宽(单向40Gb/s) • 零拷贝零损失数据报协议(ZDP RDSv3)
• 和SAN类似的效率 (Zero copy, buffer reservation) • Linux 开源,低CPU开销(传输3GB/s,CPU开销仅2%)
12
版权所有 © 2013,Oracle 和/或其关联公司。保留所有权利。
可扩展的智能存储服务器 • 2-插槽存储服务器,Exadata存储软件 • 每个机架高达500TB磁盘容量 • 每个机架56个PCI闪存卡 InfiniBand 网络 • 统一的内部互联网络(40Gb/sec)
Exadata数据库一体机介绍
Raw Disk1
X2-8
X2-2
X2-2
X2-2
Full Rack Full Rack Half Rack Quarter Rack
High Perf Disk 100 TB 100 TB 50 TB
21 TB
High Cap Disk 336 TB 336 TB 168 TB
72 TB
Raw Flash1
3 - Actual space available for the database computed after triple mirroring (ASM high redundancy). Capacity calculated using normal space terminology of 1 TB = 1024 * 1024 * 1024 * 1024 bytes.
Exadata 数据库一体机介绍
沈建明 资深销售顾问 Oracle中国,系统事业部
Oracle为什么推出Exadata 数据库一体机
<Insert Picture Here>
2
电信运营商现有IT系统面临的挑战
• 计费、帐务、客服、网管等事务型(OLTP)系统 – 业务分散,服务器数量众多,占地多,能耗大 – 处理能力不平衡,计算资源没有得到充分利用 – 系统优化过程复杂,难度大 – 故障处理周期长,影响系统的服务能力
•File System
•服务器选型
6
集成 / 测试 性能调优
OS/Cluster 安装调试
Patch
部署多套系统呢? OS/Cluster 安装调试
•Sizing •高可用设计
Patch
•集群实现
至 少
Exadata___数据库云一体机__
© 2010 Oracle Corporation – Proprietary and Confidential
18
跨越长距离零数据丢失
Data Guard DR 最佳之处
• 可以足够远以避免区域灾难 • 可以足够近以实现零数据丢失
100 miles
200 miles
300+ miles
Data Guard: 同步日志传送
EMC Symatrix DMX-4 400 15krpm HDD
1/2配
Half Rack
带宽:25GB/s IOPS:500,000 @8K
2x HP Super-dome HP XP24000 400 15krpm HDD
– 11 – 11
128 * 1.6GHz CPU
Exadata数据库一体机
FY11
中国人寿 ¼ Rack 青岛社保 ¼ Rack 辽宁联通 ¼ Rack 辽宁移动 ¼ Rack (经分应用) 北京移动 ½ Rack (网管集中) 新疆电信 ¼ Rack 湖南电信 ½ Rack (经分应用) HK TDC - Trade Development Council( 香港贸易发展局) ¼ Rack • TW NCCC - National Credit Card Center (联合信用卡中心) ¼ Rack
• 共享的中间件、数据库服务 • 弹性伸缩、高可用 • 极限性能 • 丰富的功能 • 强大的开发环境 • 快速部署
Cloud Management
• 全面的生命周期管 理
• 从应用到磁盘的全 面管理
• 自服务 • 基于策略的资源管 理
• 可度量可计费
Infrastructure as a Service
dataX3.0安装使用手册
DataX3.0使用手册目录一、dataX概述 (3)1 dataX作用 (3)2 DataX3.0框架设计 (3)3 DataX3.0插件体系 (3)二、dataX安装 (4)1 创建用户组及用户 (4)2 环境变量配置 (5)3 安装python (5)三、dataX使用 (5)1 生成配置文件模板 (5)2 配置定时任务 (8)3 常见问题及处理 (8)四、dataX插件开发及安装 (9)1. Reader插件开发 (9)2. Writter插件开发 (10)3. 插件部署 (11)五、使用技巧 (12)一、dataX概述1dataX作用DataX 是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。
为了解决异构数据源同步问题,DataX将复杂的网状的同步链路变成了星型数据链路,DataX作为中间传输载体负责连接各种数据源。
当需要接入一个新的数据源的时候,只需要将此数据源对接到DataX,便能跟已有的数据源做到无缝数据同步。
2DataX3.0框架设计DataX本身作为离线数据同步框架,采用Framework + plugin架构构建。
将数据源读取和写入抽象成为Reader/Writer插件,纳入到整个同步框架中。
Reader:Reader为数据采集模块,负责采集数据源的数据,将数据发送给Framework。
Writer:Writer 为数据写入模块,负责不断向Framework取数据,并将数据写入到目的端。
Framework:Framework用于连接reader和writer,作为两者的数据传输通道,并处理缓冲,流控,并发,数据转换等核心技术问题。
3DataX3.0插件体系类型数据源Reader(读) Writer(写)RDBMS 关系型数据库MySQL √√Oracle √√二、dataX安装1创建用户组及用户2环境变量配置3安装python三、dataX使用1生成配置文件模板命令:bin/python datax.py -r {YOUR_READER} -w {YOUR_WRITER}案例1:mysqlreader-> mysqlwriterto run the job.{"job": {"content": [{"reader": {"name": "mysqlreader","parameter": {"column": [],"connection": [{"jdbcUrl": [],"table": []}],"password": "","username": "","where": ""}},"writer": {"name": "mysqlwriter","parameter": {"column": [],"connection": [{"jdbcUrl": "","table": []}],"password": "","preSql": [],"session": [],"username": "","writeMode": ""}}}],"setting": {"speed": {"channel": ""}}}mysqlreader2mysqlwriter_full[ry_osm.order_detail_form].json案例2:jsonfilereader-> hbasewriterdatax@hmaster-hdfs:~/datax3/datax/bin$ python datax.py -r jsonfilereader -w hbasewriterDataX (DATAX-OPENSOURCE-1.0), From Alibaba !Copyright (C) 2010-2015, Alibaba Group. All Rights Reserved.Please refer to the jsonfilereader document:https:///alibaba/DataX/blob/master/jsonfilereader/doc/jsonfilereader.mdPlease refer to the hbasewriter document:https:///alibaba/DataX/blob/master/hbasewriter/doc/hbasewriter.mdPlease save the following configuration as a json file and usepython {DATAX_HOME}/bin/datax.py {JSON_FILE_NAME}.jsonto run the job.{"job": {"content": [{"reader": {"name": "jsonfilereader","parameter": {"column": [],"compress": "zip","encoding": "","path": []}},"writer": {"name": "hbase11xwriter","parameter": {"column": [],"encoding": "","hbaseConfig": {"hbase.cluster.distributed": "","hbase.rootdir": "","hbase.zookeeper.quorum": ""jsonfile2hbase[ry_log.terminal_log].json2配置定时任务3常见问题及处理3.1/bin/sh: 1: java: not found原因:/home/datax/datax3/datax/bin/ datax.py未取到JAVA_HOME环境变量值四、dataX插件开发及安装1.Reader插件开发public class JsonFileReader extends Reader{public static class Job extends Reader.Job {@Overridepublic void init() {// TODO Auto-generated method stub}@Overridepublic void destroy() {// TODO Auto-generated method stub}@Overridepublic List<Configuration> split(int adviceNumber) {// TODO Auto-generated method stubreturn null;}}public static class Task extends Reader.Task{@Overridepublic void init() {// TODO Auto-generated method stub2.Writter插件开发3.插件部署●libs 插件依赖第三方JAR包文件●plugin.json 插件说明文件●plugin_job_template.json 插件配置模板文件Name:插件名称Class:jsonfilereader.jar文件中全路径Description:功能描述五、使用技巧青山埋白骨,绿水吊忠魂。
Oracle 数据库一体机 — Exadata
• Sun Oracle Database Machine
– 预配置,提供高性能 – 平衡的系统 – 无限扩展性能,容量、带宽和处理 能力
• Exadata Storage Server Software 11gR2
• Exadata Storage Server Software 11gR2 • Oracle Database 11gR2
© 2009 Oracle Corporation - Confidential
6
Exadata 产品
Exadata Storage Server & Database Machine • Exadata Storage Server
– 为Oracle 数据库优化的存储产品 – 提供极限 I/O 和 SQL 执行性能 – 软硬件一体化
数据库处理
超高速并发网络
Exadata Cell
InfiniBand 交换网络
Exadata Cell
Exadata Cell
智能存储
基础技术 – 分布式计算
计算密集型处理 • Exadata 智能存储服务器
– 在存储部件中实现数据密集型处理 • 进行表及索引扫描,过滤查询无关数据
数据密集型处理
• 数据库服务器承担计算密集型处理(同传统结构)
– 50 GB/秒
50 40 30
未压缩数据的查询吞 吐量
50
• 与列压缩相结合
21 11.4 7.5 10
20 – 闪存中有超过 50 TB 的数据 10 – 对压缩数据的查询提高 到 500 GB/秒
0
HITACHI
USP V
TERADATA NETEZZA SUN ORACLE
Exadata_X3之八分之一配
独特的软件整合
• Smart Scan • InfiniBand Scaleout
• Smart Flash Cache • Storage Index • Columnar Compression
2008
2
2009
2010
Confidential – Oracle Restricted
2011
2012
6
Copyright © 2012, Oracle and/or its affiliates. All rights reserved.
Confidential – Oracle Restricted
CPU处理能力对比
单台设备 设备/组件 核数
Sun Server X3-2 (Intel Xeon E5-2690 2.9GHz)
一台 满配Exadata 一台1/2配Exadata 对比结果 一台1/4配Exadata 一台1/8配Exadata
X3 X3 X3 X3
相当于 相当于 相当于 相当于
4台 2台 1台 1台
P780(64c/台) P780(64c/台) P780(64c/台) P750 (32c/台)
All SPECINT2006 Rates Results Published by SPEC : /cpu2006/results/rint2006.html
Exadata X3-2 Sun Server X3-2L(Intel Xeon E5-2630L 2.0GHz) Full Rack 满配 Half Rack 半配 Quarter Rack 1/4配 Eighth Rack 1/8配
SPECint SPECint SPECint SPECint SPECint 核数 核数 核数 核数 2006 2006 2006 2006 2006
数据库一体机
数据库一体机简介:Oracle数据库一体机有一个重要的特点,即子容量(sub-capacity)定价系统。
也就是说,用户在使用该产品时,只需要对用到的核心数量来购买软件许可证,而不用一次性购买24个核的许可证。
随着业务需求增长,用户可以再购买更多的许可证。
因此可以肯定的是,Oracle数据库一体机是持续性投资的产品。
子容量定价的方式并不是甲骨文第一个提出的,IBM的大型机(Mainframe)已经使用这一方式超过10年了。
Oracle数据库一体机的处理器核心数量是24,这表示用户可以根据自己的选择从双核一直扩展到24核。
据TechTarget记者了解到,目前甲骨文只允许用户缩减一次核心数,也就是说用户可以Scale-up 多次到24核,但智能Scale-down一次。
再明显不过,甲骨文不希望看到用户钻授权策略的空子,根据自己的需求频繁地变更授权核心数。
Oracle数据库一体机首批客户实施案例:电话记录软件公司CallSource正在考虑升级自己的服务器硬件,以满足关键的生产应用需求。
最终该公司选择了Oracle最新的数据库一体机(Database Appliance),但是其选型的过程并不是那么简单。
CallSource公司的总部位于美国加州Westlake Village,他们之前的系统是运行在Dell服务器上,因此在进行升级的时候,他们首先考虑的还是购买新的Dell 服务器、存储设备以及网络交换机。
据CallSource公司的CTO Jason Scinocca 透露,更换这些硬件的成本加在一起需要25万美元,而公司的预算不能满足。
Scinocca开始寻找新的方案,甲骨文的增值经销商Cloud Creek Systems将最新的Oracle数据库一体机介绍给Scinocca,使用这款产品只需要5万美元就能够达到相同的性能。
Scinocca表示:“一个服务器就能够抵过20万美元的价值,这一点是非常具有诱惑力的。
Oracle Exadata特性简介及应用指南
月 8年2012.1 前言 (3)一Exadata 概述 (4)1Exadata简介 (4)2Exadata的配置及性能参数 (4)二Exadata特性 (5)1Smart Scan(智能扫描) (5)2Storage Index(存储索引) (14)3Flash Cache(智能闪存) (24)4Compression(压缩) & EHCC(Exadata Hybrid Columnar Compression) 285IORM(IO资源管理) (34)三Exadata监控 (37)1Exadata特性监控常用指标 (37)2如何查看指标 (38)四如何应用Exadata (38)1Exadata参数调整 (38)2在Exadata上开发注意事项 (38)413 ................................................... 应用总结42........................................... 总体总结4. Exadata前言1本文背景1.1前期东软-甲骨文公司组织了一次针对社保系统的Exadata联合应用测试,本文内容是本次Exadata测试的经验总结,其中包含了与Oracle技术人员交流经验应用、Oracle相关技术文档应用及个人测试经验总结。
本文简介1.2本文是关于ORACLE Exadata的一些特性介绍和应用Exadata的一些指南;本文不会涉及太多传统ORACLE DataBase已经具有的而非Exadata专有的一些特性介绍。
通过本文,读者可以了解ORACLE推出 Exadata的目的和初衷,简单了解Exadata 架构体系,了解Exdata的一些设计思路,了解其特性及其原理;了解Exadata 的适合应用场景,不适合应用场景,以及在Exadata下开发的一些注意事项(尤其是做Exadata项目主要设计、开发人员一定要了解Exadata,不要把它完全当作传统ORACLE数据库)。
Oracle数据库一体机(Exadata)介绍资料
可伸缩性支持增加更多的机架
Copyright © 2010 Oracle Corporation and/or its affiliates
– 7–
Exadata 数据库一体机X2-2满配
提供极限性能
• 8台2CPU(每CPU6核)64位的数据库服务器 • 96 核 (每台服务器12核) • 768 GB内存 (每台服务器96GB) • 对外提供10 GigE(万兆以太网)接口 • 16个10GbE 端口 (每台服务器2个端口 per server) • 14台Exadata存储服务器X2-2 • 高性能600GB SAS磁盘 或者 • 高容量2 TB SAS磁盘 • 3台Sun Datacenter InfiniBand Switch • 36-port Managed QDR (40Gb/s) switch • 1台专门用于管理的Cisco 以太网交换机 • KVM硬件 • 冗余的Power Distributions Units (PDUs)
flash?exadata是最快的?而且可以线形地扩展到更多的机架storagedatabandwidthuncompressedgbsec通用格式disk?存储阵列已经无法提供磁盘的带宽????没有闪存提供的额外带宽没有操作下推没有列压缩没有infiniband通用格式96
<Insert Picture Here>
• 通过提高IOPs20倍来打破随机I/O瓶颈 • 提高用户数据扫描带宽
• Exadata存储索引
• 消除不必要的I/O
• I/O Resource Manager (IORM)
• 按照不同的I/O优先级别使用存储网格, 保证可预知的性能
• 混合列压缩
• 高效的压缩,增加有效的存储空间, 提高用户数据扫描带宽
Oracle数据库云服务器Exadata介绍
Oracle数据库云服务器Exadata介绍杨建鑫Principal Sales Consultant内容•Exadata简介•Exadata技术发展与硬件架构•Exadata技术优势及软件架构•Exadata客户案例Oracle数据库云服务器Exadata运行Oracle数据库的最佳平台适合与下面场景的架构•数据仓库(Data Warehousing)•交易系统(OLTP)•数据库整合Exadata是为所有Oracle数据库应用设计的战略数据库平台Exadata 发展•Exadata Introduced•X2-2 CPU Refresh •40 Gb InfiniBand •PCI Flash Cards•X2-2 CPU Refresh •X2-8 64-core Servers•Sparc SuperCluster •3TB Disks•Smart Flash Cache •Storage Index •Columnar Compression•Smart Scan •InfiniBand Scaleout•Smart Memory Scan •Parallel Memory Affinity •Enterprise Manager 12c•Hardware DB Encryption•Automatic Service Request•Data Mining Offload •Storage Expansion Rack•X2-8 CPU Refresh •2TB DRAM per node•Solaris x86 •Reverse Offload •Smart Flash Logging将Oracle 的最佳实践与快速发展的硬件相结合独特的软件特性Future Optimizations•In-Memory OptimizedCompression•Memory-to-MemoryInfiniBand Messaging •Flash Cache for Writes20082009 2010 2011 2012数以千计的全球成功案例Rapid adoption in all geographies and industriesSpectacular Customer Results“Softbank created a warehouse up to8x faster while reducing costs 50%”—Keiichiro Shimizu, Softbank“Turkcell’s largest 250 TB DB is nowonly 27 TB with Exadata Compression”—Ferhat Sengonul, Turkcell“Performance improved17x with no changes toour application”—Jim Duffy, BNP ParibasExadata Growth“Exadata is the fastest growing product in Oracle’s history”-Oracle CEO, Larry EllisonExadata技术发展与硬件架构Exadata架构完整的系统 : 计算资源, 存储资源, 网络资源•数据库集群–基于Intel芯片架构的数据库服务器–Oracle Linux or Solaris 11–Oracle Database 11g–10 Gig Ethernet (to data center)•存储网格–基于Intel芯片架构存储服务器–504TB裸容量– 5.3TB Flash storage–Exadata Storage Server Software•InfiniBand网络–内部网络互联 ( 40 Gb/sec )Exadata 硬件架构Exadata 智能存储网格•14 x 高性能低成本存储服务器(2U)•高性能, 低成本, 冗余, 线性扩展•100 TB 高性能SAS 磁盘, 或 504 TB 高容量SAS 磁盘 •168 Intel cores in storage •5.3 TB PCI 闪存•跨存储服务器的数据镜像保护•超级性能 &开箱即用满配最大功耗14KW, 平均 9.8KW. 而通常一个高端的SMP 小机(不包含存储和交换机)就需要超过20KW 的功耗数据库网格InfiniBand 网络•冗余 40Gb/s 交换机 •服务器与存储的统一网络• 8台数据库服务器(X2-2)✓96 CPU cores (12 Cores per server,2x Six-CoreIntel X5675 Processors (3.06 GHz)✓768 GB memory (可扩展到912GB )• 或2台数据库服务器(X2-8)✓160 CPU cores (80 Cores per server) ✓4 TB (2 TB per server)Exadata 低功耗Exadata 架构概述Exadata CellInfiniBand 交换网络单节点数据库RAC 数据库Exadata CellExadata Cell智能存储层数据库处理层 超高速并发网络层传统主机+存储的数据库架构的IO瓶颈问题•存储层:1)数据量不断增加,带来的IO瓶颈;2)随着数据长时间运行带来的数据分布不均匀,存在IO热点•网络层:传输带宽不足,无法快速传输大量数据到服务器•服务器层:接收过多数据进行处理,内存优势无法发挥Exadata–数据处理架构的革命打破数据带宽瓶颈•Exadata 提供更多的并发带宽-模块化存储单元CELL,高度并行的存储网格-带宽与容量成正比•Exadata 采用更高的单路带宽-InfiniBand提供40G bits/S的带宽,比高端阵列的光纤通道技术快5+倍•智能的存储、Exadata 传送更少的数据-数据查询过程被下移到智能存储层,传送到服务器中的数据只包括最相关的结果数据,显著的减少了发送到服务器的数据,减轻了服务器CPUs负荷。
2 - Exadata X3 Overview_cn - Lichao -20130325
• Exadata拥有更多信道
• 存储单元(Cell)可以组成大规模并行存 储网格 • 带宽随容量可以扩展
• Exadata拥有更宽信道
• InfiniBand 互连传输数据比 Fibre Channel 快10x。InfiniBand提供 40Gbits/S的带宽,比高端阵列的光纤通 道技术快6-10倍
Power7
Xeon Prev
Xeon Prev
Xeon Prev
SPECint
SPECint rate/chip
TPC-C
• 最新Intel Xeon SandyBridge芯片 • 更低成本,更低软件License ,更低能耗
Exadata X3 存储服务器
• 2 Six-Core Intel Xeon Processors • 一块双口 40 Gb/s InfiniBand HBA • 4 x 400 GB Flash Cards
Quarter Rack
Half Rack
Full Rack
Exadata数据库一体机-线性扩展
无需增加额外网络设备线形扩展至8机柜
© 2010 Oracle Corporation
Exadata存储扩展柜
在线扩展存储容量
Quarter Rack Multi Rack Full Rack
8+ Racks
可伸缩性支持增加更多的机架
数据库一体机的完整家族
Oracle Exadata X3-2
支持 OLTP、数据仓库和大集中等不同工作负载
Oracle Exadata X3-8
• 1/8配、1/4配、半配、满配和多机架
• 满配和多机架
Exadata数据库一体机-线性扩展
数据库一体机(Exadata)日常运维手册
Exadata日常运维目录一、日常操作 (4)配置查看 (4)详细查看硬件配置和状态 (5)检查当前电源功耗 (6)检查功耗的历史记录 (7)告警设置 (9)二、健康检查 (11)系统状态查看 (11)各传感器工作状态 (11)设置组件的指示灯亮和快闪 (13)检查系统硬件日志 (14)三、Infiniband交换机 (16)查看IB硬件信息 (16)查看IB硬件配置和状态 (18)查看ILOM的网络会话超时的设置 (19)查看ILOM的网络设置 (20)查看系统SNMP管理的设置 (21)检查IB链路状态 (22)查看IB网络拓扑状态 (23)诊断IB链路没有错误 (26)查看IB网络连线 (34)查看IB健康状态 (35)四、PDU (35)监控PDU状态 (35)使用Metering Unit’s LCD Screen监控PDU (35)使用Web界面监控PDU (36)PDU故障处理 (38)五、Cisco交换机 (38)监控Cisco交换机状态 (38)Cisco故障处理 (38)六、日常运维及故障处理 (39)Powering Off Oracle Exadata Rack (39)启停Exadata Database Server (39)启停Exadata Storage Server (40)监控服务器周边温度 (41)DB节点磁盘状态检查 (42)CELL节点磁盘故障 (43)CELL节点Flash卡故障 (55)七、常用诊断工具 (58)Exachk or HealthCheck (58)Diagnostics Collection Tool: sundiag.sh (59)RDA(Remote Diagnostic Agent) (60)ADRCI (61)八、Exadata最佳实践 (61)Optimize ASM Diskgroup Balance (61)Optimize Scan Rates (62)Ensure auto extend size will allocate space on all disks in the diskgroup63备份 (Tape-Based) (63)备份 (Disk-Based) (66)恢复 (68)Verify DW/BI Instance Database Initialization Parameters (69)Check for ASM notification of corruption (70)Choose the ASM redundancy type based on your desired protection level and capacity demands (71)一、日常操作由于Database Server 与Storage Cell 为同平台产品,ILOM 版本相同,所以ILOM 管理操作基本相同,下述内容及图例将以Storage Cell 为例。
【甲骨文】Oracle Exadata数据库云平台解决方案
•服务器选型 •Sizing
Patch
Patch
•高可用设计 •集群实现
•SAN 设计 •SAN兼容性 •布线、安装 •存储系统选型 •Sizing •兼容性 •Layout /RAID 实现
Patch
集 性成 能 调 优测 试 /
至 少 个 月
6
Patch
Patch
存储软件
存储软件
数据中心不断发展
中间件 数据库 系统管理 服务器 存储备份
网络安全
网络安全
网络安全
网络安全
网络安全
网络安全
系统维护 系统集成 系统建设
系统维护 系统集成 系统建设
系统维护 系统集成 系统建设
系统维护 系统集成 系统建设
系统维护 系统集成 系统建设
系统维护 系统集成 系统建设
系统采购
系统设计
系统采购
系统设计
系统采购
系统设计
DB1
DB2
DB3
DB4
DB5
DB1
DB2
DB3
DB4
DB5
磁盘 1 磁盘 2 磁盘 3 磁盘 4 磁盘 5
磁盘 1 磁盘 2 磁盘 3 磁盘 4 磁盘 5
Exadata内部数据的分布 - 性能和可靠性
架构优势 资源虚拟化 SLA 海量数据处理 OLTP
高可靠 高扩展
数据的充分保障性能和可靠性
Integration: SOA Suite Process Mgmt: BPM Suite Security: Identity Mgmt
User Interaction:
Cloud Management
Application Performance Mgmt Lifecycle Management Configuration Management Application Quality Mgmt
Exadata X3加量不加价
Exadata X3加量不加价作者:暂无来源:《计算机世界》 2013年第2期与上一代相比,甲骨文升级版Exadata X3 让用户的总体拥有成本更低,性能也得到进一步提升。
本报记者陈巍巍随着云计算的深入推进,如今企业在部署IT 基础设施或云平台方面有了更高性价比的选择,但是,另一个问题也随即而来,如何简化数据中心配置和管理的复杂性、如何有效支撑IT 系统的运行以提供良好的性能等,成为企业IT 部门必须面对的又一大难题。
系统集成之难为应对系统集成的难题,集成系统应运而生。
IDC 在其对亚太区ICT 市场的十大预测中指出,到2015 年,65% 部署在私有云环境中的服务器将是一体机。
2008 年,甲骨文公司推出首款软硬件集成设计的系统—— Exadata 数据库云服务器。
该机融合了预配置的服务器、网络、存储和软件,既是能为数据仓库和在线事务处理(OLTP) 应用程序提供超强性能的数据库服务器,也是可整合到网格或私有云上的理想平台。
在2012 甲骨文全球大会上,甲骨文公司再次推出了新一代Exadata——Exadata X3 Database In-Memory Machine。
“以Exadata 为代表的Oracle 集成系统,采用了硬件、软件集成使应用软件完全透明,由于将硬件、软件高度集成,最大限度减少了移动配件的使用,使其能够更快部署,从而降低了管理复杂性及操作风险性。
此外,此次推出的新版Exadata X3 与上一代Exadata X2 相比,客户的总体拥有成本将更低,而性能也将得到进一步提升。
”甲骨文公司大中华区技术战略部总经理刘松说,Oracle 一体机不只是一款独立的产品,而是一种标准化架构和平台,可通过预配置和优化,处理多重工作负载。
“ 从2008 年推出第一款Exadata 系统,甲骨文便致力于Exadata 的升级和增强,使其逐步从以磁盘为中心发展到以闪存为中心,实现了使所有I/O 都发生于闪存之中。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
甲骨文数据库一体机Exadata X3详解相关专题:创业新闻时间:2013-01-03 09:18Exadata是甲骨文在业界最早推出的集成系统,并在甲骨文各大一体机中拥有最大的销售额和最广的大型用户群。
Larry Ellison在OOW 2012上宣布的第四代数据库一体机产品Exadata X3,不仅在硬件、软件等多个层面都进行了大幅升级,还首次针对推出了1/8配置的产品,以满足中型用户的需求。
一体机/集成系统通过标准化的架构集成了服务器、存储、网络、软件等配置减化了数据中心基础设施部署和运维管理的复杂性,成为企业级用户在云计算和大数据时代最受关注的产品之一。
IDC在其对亚太区ICT市场的十大预测中指出,到 2015 年,65%部署在私有云环境中的服务器将成为一体机用户通过一体机架构可通过预配置和优化处理多重工作负载、减少部署时间并增加不动产的投资回报。
目前一体机市场已经形成了供应商百花齐放的局面,甲骨文、IBM、Teradata、EMC以及与微软合作的惠普、戴尔都推出了一体机产品。
而甲骨文是一体机市场的最早倡导者,该公司已经推出了Exadata数据库一体机、Exalogic中间件一体机、Exalytics商务智能一体机、大数据一体机、SuperCluster一体机、ODA (数据库机)等六个系列的集成系统,其中Exadata是该公司最早推出的一体机,并在甲骨文各大集成系统中拥有最大的销售额和最广的大型用户群。
Larry Ellison在2012甲骨文全球大会(OOW2012)上宣布推出的Exadata X3是该公司Exadata最新的第四代产品,不仅在硬件、软件等多个层面都进行了大幅升级,还首次针对推出了1/8配置的产品,便于在中型用户得到更好的市场认可。
图注:甲骨文全球大会(OOW2012)上展出的Exadata X3(蒋湘辉摄)甲骨文自从在收购Sun以来,硬件系统的收入一直呈不断下滑的态势,但甲骨文的Exadata等一体机产品却获得了大幅增长,并提升了甲骨文的整体利润率。
在2012年12月公布的甲骨文第二财季(截止2012年11月底)报告中,甲骨文CEO Larry Ellison公开表示,“到2013年结束,像Exadata和SPARC SuperCluster 这样的产品,不但能提高我们硬件业务的利润率,还将推动我们硬件业务的增长。
”这意味着甲骨文整体硬件系统业务的业务有望在2013财年在Exadata等一体机带动下首次实现增长。
Exadata定位在数据库负载的所有平台在甲骨文目前推出的六大系列一体机中,Exadata的定位是“面向所有数据库工作负载的战略平台”。
根据甲骨文Exadata的订户报告,Exadata的工作负载正从早期大多数用户的数据仓库应用向更多的OLTP应用演进。
在Exadata最早的第一代产品,80%的工作负载都用于数据仓库,20%的负载用于在线事务处理(OLTP)。
而在甲骨文2013财年第一季度,Exadata的数据仓库负载已经降至 45%,OLTP应用负载已经上升到55%。
甲骨文公司大中华区技术战略部总经理刘松在接受ZDNet采访时表示,随着Exadata性能的日益强大,Exadata已经成为面向所有数据库工作负载的战略平台,融合了预配置的服务器、网络、存储和软件的Exadata可以为数据仓库和OLTP应用程序提供高性能数据库服务器,并成为整合到网格或私有云上的理想平台。
四代Exadata演进趋势甲骨文公司早在2008年就业界率先推出了首款软硬件集成设计的系统――Oracle Exadata数据库云服务器,在第一代ExadataV1产品中,采用了与惠普硬件合作的方式。
随着甲骨文在2009年成功收购Sun,该公司在第二代ExadataV2版本就中断了和惠普的合作,全面采用了Sun的服务器和存储等硬件架构,并配备了40Gb的InfiniBand和PCI闪存卡。
2010年甲骨文推出的ExadataX2有X2-2和X-8两个版本,增加了硬件数据库加密的功能。
2011年甲骨文为X2增加了存储扩展机架,每个节点的内存增加到2TB。
在2012年10月甲骨文CEO Larry Ellison亲自发布了第四代Exadata X3产品,由于大幅增加了内存和闪存等性能,还将其称为“内存数据库机(DatabaseIn-Memory Machine)。
Exadata X3和X2性能对比Exadata X3延续采用了Exadata X2的可扩展的服务器和存储、InfiniBand网络、智能存储、PCI闪存、智能内存高速缓存和混合列式压缩等技术。
根据甲骨文提供的X3和X2的对比数据:X3的闪存容量提升4倍,响应速度提升高达40%,实现了100GB/秒的数据扫描速率。
采用混合列式压缩功能后,数百TB的用户数据可全部放在闪存之内进行管理。
通过更新的OracleExadata智能闪存高速缓存(Exadata Smart Flash Cache)软件,数据库写入速度提高20倍。
ExadataX3-2将10 Gb以太网连接扩展至数据中心,每机架提供40个10 Gb 网络端口,用于连接用户和转移数据。
此外,在节能方面,ExadataX功耗和冷却需求降低高达30%。
亚毫秒级延迟可容纳数百万用户的交互式OLTP,亚秒级数据分析可提供实时决策,即时报告。
ExadataX3可以为薪酬管理、供应规划、现场库存、定价、路线规划、分类账会计等工作提供支持,使并行作业速度提高10倍。
Exadata X3可根据数据冷热自动存储刘松介绍,甲骨文每台ExadataX3-2机架拥有26TB的动态随机存取存储(DRAM)和闪存容量,使数据库压缩效率可提升10倍,而存储成本降低10倍。
此外,ExadataX3采用了大量存储层次,可自动将所有活动数据转移到闪存和随机存储器中,同时将活动性较低的数据保留在低成本磁盘上,从而以最低成本实现最高性能。
“Exadata X3-2能自动把热数据放在2~4TB的内存中,温数据则放入22TB 的PCI闪存中,而冷数据则存储在500TB的硬盘中。
”图注:Exadata的硬盘、闪存和内存的输出速度对比Exadata X3的CPU和操作系统甲骨文目前推出的六大一体机中,除了SuperCluster采用Sun的SPARC的T系列CPU外,其它包括Exadata在内的五大一体机都采用了英特尔的服务器芯片。
其中Exadata X3的CPU从X2的六核英特尔至强5675升级到八核的2690。
在操作系统方面,甲骨文Exadata X3-2有两个选择――Oracle Linux或Solaris 11,目前在X3-8型号上只支持Oracle Linux。
Exadata中的数据库软件和运维管理软件虽然LarryEllison在OOW2012上发布了Oracle 12c云数据库,但该数据库在2013年上半年才会正式上市,所以ExadataX3依然采用了和X2版本一样的Oracle11g企业版数据库。
在运维管理软件方面,用户通过OEM管理工具就可以对Exadata上的数据库进行统一的监控与管理。
而通过甲骨文的Oracle Enterprise Manager 12c(OEM 12c)可以实现对Exadata X3的硬件、软件、系统、数据库和配置的统一监控。
新推八分之一配定位中型用户甲骨文为满足不同行业、不同规模企业的部署需求,ExadataX3在上一代X2的全机架、半机架、1/4机架三种配置之外还新增了1/8机架,可以使客户可根据所部署数据库的大小及I/O要求进行选用。
新推出的1/8机架为较小的工作负载、测试、开发和灾难恢复系统提供了经济实惠的入门级选择。
ExadataX3的1/8配和采用了和1/4配相同的硬件,但采用了软件禁用的方式使用户只能使用到1/8配的标准性能,这样方便用户可以更方便的直接升级到1/4配置。
在报价方面,1/8配置的软件授权报价是1/4配置的50%,而硬件报价则为X3 1/4配置的60%。
Exadata可无缝升级扩展并多代共存ExadataX3可实现客户端的无缝升级和扩展,例如单台数据库云服务器可兼容不同时期的服务器;数据库和集群可横跨多代硬件;以及新软件同样可以在现有的硬件上顺畅运行。
客户若采用Exadata X3-2最新的入门级1/8机架,也可在处理需求增大时,以在线方式实现平稳升级。
刘松透露,第二代Exadata V2的1/4配和第三代X2 半配的用户使用老的机架就可以升级到最新版的Exadata X3。
中国用户已达100多家Oracle Exadata的客户遍及电信、高科技、零售和食品等领域,在全球范围内的各行各业中广泛部署。
金融、电信等行业的很多客户已将Oracle Exadata作为其数据中心的标准平台,包括法国巴黎银行、澳大利亚联邦银行以及日本软银等。
图注:甲骨文2013财年一季度Exadata用户行业分布图据刘松透露,目前OracleExadata在中国已经有100多家用户,在金融服务、保险、电信及制造业等众多行业领域一直保持着强劲势头。
华夏银行、中国人民人寿保险股份有限公司、深圳市人社局、青岛市人社局、乌鲁木齐市人社局、本溪市人社局、新疆电信、广东移动、辽宁移动、福建移动、神华集团、东风汽车、海尔集团、中冶赛迪重庆信息技术有限公司、上海研发公共服务平台、中远集装箱运输有限公司、内蒙古电网、启融普惠(北京)科技有限公司、香港房屋署等政府和企业用户都已经成功部署试用了Exadata。
“总之,作为面向Oracle云平台的关键组件,ExadataX3是企业构建私有云的理想基础架构,以高性能、高可靠性和高安全性,为企业向云平台的迈进提供了强而有力的支撑。
”总之,甲骨文的Exadata数据库一体机推动了,已经在国内外拥有大量用户,而在内存、闪存、软件和系统等多个层面进行了大幅升级的第四代内存数据库一体机产品Exadata X3必将进一步推动企业级用户对集成系统的需求。