存储技术基础

读性能
高
随机写性能 高
RAID 1
镜像 有 复制 有 低 低
RAID 3
专用奇偶位条 带 有 同位
有
高
最低
RAID 5 RAID 1+0
分布奇偶位条 带
有
同位
镜像数组条带
有 复制
有
有
高
一般
低
一般
连续写性能 高
低
低
低
一般
最小硬盘数 2块 可用容量 N * 单块
2块
(N /2) * 单块 硬盘容量
3块
3块
提升磁盘I/O速率
RAID
数据容错
17
RAID的数据组织方式
分块：将一个分区分成多个大小相等的、地址相邻的块，这些
块称为分块。它是组成条带的元素。
条带：同一磁盘阵列中的多个磁盘驱动器上的相同“位置”
（或者说是相同编号）的分块。
驱动器1
D6 D3 D0
磁盘上的数 据分块
驱动器2
D7 D4 D1
磁盘上的数 据分块
驱动器3 D5 D3 P0
28
RAID 5小结
优点 缺点
高读取速率，中等写速率 提供一定程度的数据安全
RAID组里单块硬盘的故障，会导致其他硬盘读写
性能大幅度下降
最小硬盘数 3块硬盘
29
RAID 6的工作原理
RAID6需要计算出两个校验数据P和Q，当有两个数据丢失时，根据P和Q 恢复出丢失的数据。校验数据P和Q是由以下公式计算得来的：
－P=D0⊕ D1 ⊕ D2 …… －Q=(α ⊗D0)⊕(β⊗D1)⊕(γ ⊗D2)……
驱动器
P1 1 D3 D6 D9 Q5
驱动器
Q2 1 P2 D7 D10 D12
驱动器
D30 Q2 P3 D11 D13
驱动器
D4 1 D4 Q3 P4 D14
驱动器
D5 2 D5 D8 Q4 P5
条带0 条带1 条带2 条带3 条带4
SAN是独立出一个数据存储网络，网络内部的数据传输率很快，但操作系统仍停留在服务 器端，用户不直接访问SAN的网络；SAN关注磁盘、磁带以及联接它们的可靠的基础结构 ；
10
NAS (Network Attached Storage)
数据流
数据流
LAN
文件服务器
应用服务器
NAS存储设备
NAS本身装有独立的OS，通过网络协议可以实现完全跨平台共享，支持WinNT、 Linux、Unix等系统共享同一存储分区；NAS可以实现集中数据管理；一般集成本地 备份软件，可以实现无服务器备份功能；NAS系统的前期投入相对较高。
最小硬盘数 2块（1块也可以）
21
RAID 1的工作原理
镜像结构的阵列
逻辑磁盘 D2 D1 D0
D0,D1,D2经过镜像器
驱动器1 D2 D1 D0
驱动器2 D2 D1 D0
22
RAID 1小结
提供了很高的数据安全性和可用性
优点
100％的数据冗余 设计、使用简单
不作校验计算，CPU占用资源少
FC或IP(GE)
缓存(Cache)
CPU
CPU
后端总线
磁盘 阵列外置UPS
外置UPS保护
FC或IP(GE)
缓存(Cache) Cache电池
CPU
CPU
后端总线
cache电池保护
FC或IP(GE)
缓存(Cache)
CPU
CPU
后端总线
阵列内置UPS
内置UPS保护
16
RAID
RAID（Redundant Array of Independent Disks）：独 立冗余磁盘组。其基本思想就是把多个相对便宜的硬盘组合 起来，成为一个硬盘阵列组，使性能达到甚至超过一个价格 昂贵、容量巨大的硬盘。
最小硬盘数 4块硬盘
25
RAID 3的工作原理
带奇偶校验码的并行阵列
驱动器1 D6 D3 D0
D0,D1,D2,D3,D4,D5,D6,D7,D8
驱动器2 D7 D4 D1
驱动器3 D8 D5 D2
校验码生成
校验驱动器 P3 P2 P1
26
RAID 3小结
优点 缺点
数据分布式存储在连续的硬盘上，具有较高的读速 率，适合大文件连续读操作的应用
NAS内每个应用服务器通过网络共享协议（如：NFS、CIFS）使用同一个文件管 理系统；NAS关注应用、用户和文件以及它们共享的数据；磁盘I/O会占用业务网络 带宽。
11
存储网络的三种形态比较
DAS 传输类型 SCSI、SAS、IP、FC
NAS IP
数据类型 典型应用
数据块 任何
文件 文件服务器
优点 缺点
D0,D1,D2,D3,D4,D5
驱动器1
D6
D4
D2
D0
各磁盘上 的数据块
驱动器2
D5 D3 D1
各磁盘上 的数据块
条带2 条带1 条带0
20
RAID 0小结
优点
极高的读写效率 速度快，由于不存在校验，所以不占用CPU资源 部署简单
缺点
无冗余，通常和其他RAID级别混合使用 不适合用于关键数据环境
——Wikipedia
4
存储产品的发展史
Tape 1920’s
HDD 1956
IBM推出第一款HDD
DAS 1970’s FC SAN
1980’s
数据脱离Server，存储单独发展 数据的集中管理需求，SAN出现
NAS 1993
IPSAN 2001
非结构化数据的增长需求，NetApp推出第一款NAS
(N -1) * 单块硬 (N -1) * 单块
盘容量
硬盘容量
4块
(N /2) * 单块 硬盘容量
32
HotSpare---热备盘
所谓热备份是在建立RAID磁盘阵列系统的时候，将其中一磁盘指 定为热备磁盘，此热备磁盘在平常并不操作，当阵列中某一磁盘发 生故障时，热备磁盘便取代故障磁盘，并自动将故障磁盘的数据重 构在热备磁盘上。 热备盘分为：全局热备盘和局部热备盘
全局热备盘：针对整个磁盘阵列，对阵列中所有RAID组起作用。 局部热备盘：只针对某一RAID组起作用。
因为反应快速，加上快取内存减少了磁盘的存取，所以数据重构很 快即可完成，对系统的性能影响不大。 对于要求不停机的大型数据处理中心或控制中心而言，热备份更是 一项重要的功能，因为可避免晚间或无人守护时发生磁盘故障所引 起的种种不便。
缺点
空间利用率只有50% 相对于单个硬盘，无法提高写性能
最小硬盘数 2块硬盘
23
RAID组合－RAID 1+0
RAID 10是将镜像和条带进行组合的RAID级别，先进行RAID 1镜像然后再做RAID 0。RAID 10也是一种应用比较广泛的 RAID级别。
读取数据
D0,D1,D2,D3,D4,D5
驱动器3
D8 D5ห้องสมุดไป่ตู้D2
磁盘上的数 据分块
条带2(strip) 条带1(strip) 条带0(strip)
18
RAID级别分类
RAID0 RAID1 RAID3 RAID5 RAID6 RAID10 ……
19
RAID 0的工作原理
无差错控制的条带化阵列
逻辑磁盘 D0 D5 D4 D3 D2 D1 D0
Inspur group
存储技术基础介绍
浪潮信息技术推进部
2
目录
存储是什么？
存储的基础知识
存储设备的高级功能
3
存储是什么？
把钱或物等积存起来。
——《清会典事例·户部·库藏》
数据以某种格式记录在数字化后再以利 用电、磁或光学等方式的媒体加以存放。
备份基础知识 容灾基础知识
备份的基本概念 备份策略介绍 备份类型介绍
容灾的基本概念 容灾的国家标准 容灾的常用技术
37
快照与克隆
Snapshot/Clone (/dictionary) A fully usable copy of a defined collection of data that contains an image of the data as it appeared at the point in time at which the copy was initiated. A snapshot may be either a duplicate or a replicate of the data it represents.
9
SAN (Storage Area Network)
LAN
数据流
存储设备
应用服务器
SAN
文件服务器
数据流
存储设备 存储设备
高可用性，高性能的专用存储网络，用于安全的连接服务器和存储设备并具备灵活性和可 扩展性；SAN对于数据库环境、数据备份和恢复存在巨大的优势；SAN是一种非常安全的， 快速传输、存储、保护、共享和恢复数据的方法。
RIAD1
财务、金融系统
RAID3
视频监控等需要高吞吐量的 场合
RAID5
OLTP、数据库系统
RAID6
对数据安全性要求很高的场 合
35
目录
存储是什么？
存储的基础知识
存储设备的高级功能
36
存储设备的高级功能
存储设备常用 软件
快照软件 存储自动分层 多路径冗余 自动精简配置 重复数据删除
磁盘镜像器
磁盘镜像器
D4
D4
D2
D2
D0
D0
物理磁盘1 物理磁盘2
磁盘故障
D5
D5
D3
D3
D1
D1
物理磁盘3 物理磁盘4
磁盘故障
24
RAID 1+0小结
高读取速率
优点 缺点
高写速率，较校验RAID而言，写开销最小 至多可以容许N个硬盘同时损坏（2N个硬盘组 成的RAID10数组）
只有1/2的硬盘利用率
控制器
硬盘 设备
Page 13
14
存储的双控制器
HBA
HBA
主机
光纤信道 光纤信道
SCSI Chip
Controller1
连到以太网
SCSI Chip
Controller2
两个独立的控制器，具有自动故障切换 功能，可防止一个控制器或者一条光纤 链路故障
15
存储缓存保护技术
三种常见控制器Cache保护设计
相比NAS成本较高 安装和升级比NAS 复杂
12
目前市场上存储设备的硬件组成
•BBU
•电源
•风扇 •硬盘
•Cache Title
•控制器
13
存储设备的控制器组成
RAID控制器+磁盘通道+监控设备
主机 通道
Memory
FLash
磁盘 通道
控制器 总线
X
CPU O 总
Bus
R线
Master
RAID控制 器
按主机接口的类型分
iScsi：如AS500N2、AS510N、 AS500N6
FC：AS500G、AS500H、AS510H、 AS1100H
6
目录
存储是什么？
存储的基础知识
存储设备的高级功能
7
存储的架构分类
DAS ( Direct Attached Storage)直接挂接存储 SAN ( Storage Area Network )存储区域网络（包括FC SAN、IP SAN） NAS ( Network Attached Storage )网络挂接存储
33
Raid阵列重构过程
D0,D1,D2,D3,D4,D5
驱动器1
D4 D2 D0
驱动器2 D5 D3 D1
校验驱动器 P3 P2 P1
热备盘驱动器 D4 D2 D0
34
RAID级别的选择
成本
RAID级别
应用场合
RAID0 视频生成与编辑、图像编辑
RAID0
RAID6
性能
RAID5（3）
可靠性
RAID10 RAID1
8
DAS (Direct Attached Storage)
LAN
文件服务器
应用服务器
数据库服务器
数据流 存储设备
数据流 存储设备
数据流 存储设备
存储设备（RAID系统、磁带机和磁带库、光盘库）直接连接到服务器； 传统的、最常见的连接方式，容易理解、规划和实施； 没有独立操作系统，不能提供跨平台的文件共享，各平台下数据需分别存储； 各DAS系统之间没有连接，数据只能分散管理；备份软件不能离开服务器 支持；DAS的前期投资比较少；
磁盘与服务器分离，便 于统一管理
连接距离短 扩展性受主机接口数量 的限制
不占用应用服务器资源 广泛支持操作系统 扩展较容易 即插即用，安装简单方便
不适合存储量大的块级应用 数据备份及恢复占用网络带 宽
SAN
IP、FC、 Infiniband
数据块
数据库、虚拟化应 用
高扩展性 高可用性 数据集中，易管理
如果有一个硬盘损坏，数据的有效性没有影响
校验盘是整个硬盘数组系统的瓶颈 有数据盘故障时，每次读操作时都需要进行校验计
算，读性能大幅度下降
最小硬盘数 3块硬盘
27
RAID 5的工作原理
分布式奇偶校验码的独立磁盘结构
D0,D1,D2,D3,D4,D5
驱动器1 P2 D2 D0
驱动器2 D4 P1 D1
IP技术的成熟，低成本IPSAN出现
存储产品的发展历程就是数据保存、应用发展的过程
5
常见存储设备的分类
按控制器数量分
JBOD：AS300J、AS500J、FF4G16
单控制器存储：AS500N2、AS500N6、 AS510N
双控制器存储：AS500G、AS500H、 AS510H、AS1100H、AS8000
30
RAID 6小结
优点 缺点
可以同时允许两块硬盘失效
磁盘利用率比RAID5更低 校验计算复杂，对控制器性能消耗很大，增加系
统负载
出现硬盘失效时，RAID重建时对系统性能影响
更大，并且重建时间长
最小硬盘数 4块硬盘
31
常用RAID比较
RAID级别 RAID 0
别名
条带
容错性
无
冗余类型
无
热备盘选项 无