视频存储基础知识培训

www.h3c.com
磁盘阵列
• 磁盘阵列包括两大主要部件：控制 器和磁盘柜 控制器 • 控制器是磁盘阵列的“大脑”，主 要部件为处理器和缓存，最先主要 实现简单IO操作、RAID管理功能， 随着技术发展，能够提供各种各样 磁盘柜 的数据管理功能，如快照、镜像、 复制等 • 磁盘柜包含了多块的磁盘，本身既 没有处理器，也没有缓存，RAID 及数据管理功能通过控制器实现
SCSI-3 Ultra320
Ultra SCSI 20/40MB/s Ultra2 SCSI 40/80MB/s Ultra160SCSI 160MB/s SAS 300MB/s per port
SCSI
320/MB/s
并行
SATA Serial ATA 150MB/s SATA II Serial ATA II 300MB/s
300GB 250GB
100GB
146GB 73GB 73GB
146GB
时间点 1998
www.h3c.com
2008
硬盘接口发展趋势
FC-AL 100MB/S per Port FC-AL 200MB/S per Port FC-AL 400MB/S per Port
SCSI-2
Synchronous FastWide SCSI SCSI 10/20MB/s 5MB/s
A B C D E F G H
A C E G
www.h3c.com
A C E G
B D F H
B D F H
RAID组合级别 —— RAID 50
定义：
RAID 50是将RAID5和RAID 0进行两级组合的RAID级别，最低一级是
RAID 5，第二级为RAID 0
A0 B0 D0 E0 A1 C0 D1
CPU CPU
Write-through 透写
后端总线
后端总线
磁盘
www.h3c.com
控制器的缓存保护技术
三种常见控制器Cache保护设计
FC或IP(GE) FC或IP(GE) FC或IP(GE) 缓存(Cache) CPU 后端总线 CPU
缓存(Cache)
CPU 后端总线 CPU 缓存(Cache) Cache电池 CPU 磁盘 后端总线 阵列外置UPS CPU
www.h3c.com
视频监控系统的图像数据存储－DAS
外挂磁盘柜
2/4/8/12/16 路视音频输入
监控客户端
监控客户端
监控客户端
监控客户端
PC式DVR
www.h3c.com
视频监控系统的图像数据存储－DAS
磁盘柜/DAS 磁盘柜/DAS
监控客户端 视频服务器 视频服务器 实时视频数据流
控制器缓存镜像
1、主机数据写入缓存； 2、缓存数据进行异或运 算，产生校验数据；
3、将校验数据添加到缓 存；
前端总线
系统缓存 读缓存 写缓存 CPU CPU
前端总线
系统缓存 读缓存 写缓存 CPU CPU
后端总线
后端总线
www.h3c.com
控制器缓存镜像
1、主机数据写入缓存； 2、缓存数据进行异或运 算，产生校验数据；
F0
B1 C1 ……
异或运算
A0 A1 P02 A2
B0 P01 B1 B2 硬盘1
P00
D0 异或运算
C0 C1 P03
硬盘2
D1
P12 D2 硬盘3
E0 P11 E1 E2 硬盘4
P10
F0
F1 P13 硬盘5
硬盘0
www.h3c.com
学习目标
1 硬盘技术 2 RAID技术 3 磁盘阵列 4 视频监控系统的图像数据存储
多控制器阵列：如IX5000 按对外接口
SCSI阵列
FC阵列
iSCSI阵列 ……
www.h3c.com
控制器缓存工作模式
主机写入 数据流 反馈 写OK
前端总线
主机写入 数据流
反馈 写OK
前端总线
Write-back 回写
系统缓存 读缓存 写缓存
CPU CPU
系统缓存 读缓存 写缓存
www.h3c.com
存储主要架构
• 存储系统的分类如下：
封闭系统的存储 封闭系统主要指大型机
内置存储 开放系统的存储 外置存储
如：DVR的存储方式 直接附加存储（DAS） 网络附加存储（NAS） 基于iSCSI协议的IP SAN 存储区域网络（SAN） 基于FC协议的FC SAN
开放系统指基于包括Windows、UNIX、Linux等操作系统
A B C
数据
D E F G H
……
A E I
www.h3c.com
B
C
D
F
J
G
K
H
L
RAID级别 —— RAID 1
RAID 1 定义： RAID 1又称镜像（Mirror），数据同时一致写到主硬盘和镜像硬盘
数据
A B C D E
……
A B C D E
www.h3c.com
=
A B C D E
RAID级别 —— RAID 3
www.h3c.com
RAID、逻辑卷的形成过程
RAID
物理磁盘
www.h3c.com
RAID、逻辑卷的形成过程
LUN1 LUN2 LUN3
逻辑卷
分割 RAID
物理磁盘
www.h3c.com
RAID级别 —— RAID 0
定义：
RAID0即没有容错设计的条带硬盘阵列（Striped Disk Array without Fault Tolerance），以条带形式将RAID组的数据均匀分布在各个硬盘 中
•桌面级IDE硬盘，可靠性差 •单块硬盘压力大，故障率高 •无RAID冗余技术，硬盘损坏后数据丢 失不可恢复 •系统本身自带硬盘存储容量小，扩展 性差 •散热差，长期运行风险大
两 大 弊 端
非专业 不可靠
数据分散， 无法集中管理
•系统维护困难，成本高 •难以实现视频图像的集中检索和查阅 •无法防止监守自盗，内外串通作案
1,200,000
1,400,000
1,400,000
1,400,000
www.h3c.com
学习目标
1 硬盘技术 2 RAID技术 3 磁盘阵列 4 视频监控系统的图像数据存储
www.h3c.com
RAID出现原因
RAID
可靠性
性能
• CPU运算速度飞速提高， 数据读写速度不应该 成为计算机系统处理 的瓶颈
串行
www.h3c.com
硬盘各类接口间的对比
ATA
SATA
SCSI
SAS
FC
转速（RPM）
7,200
7,200
15,000
15,000
15,000
缓存（兆）
8/16
8/16
8/16
8/16
8/16
串行/并行
并行
串行
并行
串行
串行
硬盘主流容量（GB）
250
750
300
300
300
MTBF
600,000
www.h3c.com
接口
硬盘的主要指标（一）
容量：指硬盘能存储的数据量大小，以字节为基本单位 面在内的单个盘片的总容量 转速：即主轴马达转动速度，单位为RPM（Round Per Minute)，即每分钟 盘片转动圈数
常用指标 常用指标
单碟容量：硬盘都是由一个或几个盘片组成的，单碟容量就是指包括正反两
缓存：是硬盘控制器上的一块内存芯片，具有极快的存取速度，它是硬盘内 部盘片和外部接口之间的缓冲器
www.h3c.com
硬盘的主要指标（二）
平均访问时间：硬盘磁头找到目标数据所需的平均时间 平均寻道时间：磁头寻找目标数据所在磁道所需的平均时间 平均潜伏时间：当磁头移动到数据所在的磁道后，等待指定的数据扇区 转动到磁头下方的时间 数据传输率： 内部数据传输率：数据从盘片表面传输到硬盘的缓存的速率 外部数据传输率：数据从硬盘的缓存读出到外部总线的速率 MTBF：Mean Time Between Failure，平均无故障时间
阵列内置UPS
外置UPS保护整机
www.h3c.com
电池保护Cache
内置UPS保护控制器
控制器缓存镜像
1、主机数据写入缓存； 2、缓存数据进行异或运 算，产生校验数据；
前端总线
系统缓存 读缓存 写缓存 CPU CPU
前端总线
系统缓存 读缓存 写缓存 CPU CPU
后端总线
后端总线
www.h3c.com
OK
3、将校验数据添加到缓 存；
4、将缓存数据复制到目 标控制器； 5、目标控制器处理完数 据和校验数据返回消息； 6、源控制器返回主机消 息，操作完毕。
前端总线
系统缓存 读缓存 写缓存 CPU CPU
前端总线
系统缓存 读缓存 写缓存 CPU CPU
后端总线
后端总线
www.h3c.com
学习目标
1 硬盘技术 2 RAID技术 3 磁盘阵列 4 视频监控系统的图像数据存储
磁盘电缆
www.h3c.com
常见磁盘阵列
常见的磁盘阵列组成部分： 控制器和磁盘柜分离
+
控制器
磁盘扩展柜(JBOD) 控制器和磁盘柜一体
=
磁盘阵列
+
控制器模块
www.h3c.com
=
磁盘柜
磁盘阵列
常见磁盘阵列分类
按控制器数量 JBOD：无控制器，通常用于 扩展柜或者与主机端RAID结合 使用 双控制器阵列：如IX5000s
www.h3c.com
视频监控系统的图像数据存储－内置存储
内置存储－DVR视频数据的存储结构：
目前所有嵌入式DVR和绝大部分PC式DVR采用的存储架构由于成本原因，多使 用IDE硬盘和E－IDE硬盘总线（BUS）完成硬盘控制和扩展功能。DVR根据硬盘
地址顺序规划逻辑盘符。图像数据根据盘符顺序，依次写入硬盘。
RAID级别 —— RAID 5
定义： RAID 5与RAID 3机制类似，但校验数据均匀分布在各数据硬盘上， RAID成员硬盘上同时保存数据和校验信息，数据块和对应的校验信息保 存在不同硬盘上。RAID 5是最常用的RAID方式之一
数据
A0 B0 C0 D0 A1 B1 C1 E1 A2 B2 D2
定义：
RAID 3即带有校验的并行数据传输阵列（Paralleled transfer with parity），数据条带化分布在数据盘中，同时使用专用校验硬盘存放校 验数据
A B C D
……
异或运算
A0
A1
B1 C1 D1
数据盘
A2
B2 C2 D2
PA PB PC PD
校验盘
B0
C0
D0
www.h3c.com
视频存储基础知识培训
H3C存储产品部 许志峰
2007－11－27
学习目标
1 硬盘技术 2 RAID技术 3 磁盘阵列 4 视频监控系统的图像数据存储
www.h3c.com
Hale Waihona Puke Baidu 硬盘结构
主轴马达 (Spindle Motor) 磁头
盘片 (Media)
磁头停放区 (Parking Zone)
传动部件
基座(Base Plate)
常用指 标
www.h3c.com
硬盘类型及接口
硬盘类型
ATA/IDE SCSI FC SATA SAS
接口视图
SC
www.h3c.com
LC
硬盘发展历史及趋势
容 量
1000GB
SATA硬盘
1000GB
750GB
750GB
SAS硬盘
500GB
SCSI硬盘 FC硬盘
500GB 400GB
300GB
300GB 146GB 73GB 300GB
……
异或运算
校验信息Px分布式存储
www.h3c.com
A0 A1 A2 A3 P4
B0 B1 B2 P3 B4
C0 C1 P2 C3 C4
D0 P1 D2 D3 D4
P0 E1 E2 E3 E4
RAID组合级别 —— RAID 10
定义：
RAID 10是将镜像和条带进行两级组合的RAID级别，第一级是RAID1 镜像对，第二级为RAID 0。RAID10也是一种应用比较广泛的RAID级 别。
• 信息时代，数据对企 业和个人的重要性越 来越大，数据存储安 全更需要保障
容量
• 计算机发展初期，大 容量硬盘价格非常高， 而需要存储的数据量 越来越大 www.h3c.com
RAID定义
RAID （Redundant Array of Independent Disks）即独立磁盘冗余阵 列，RAID技术将多个单独的物理硬盘以不同的方式组合成一个逻辑硬盘， 从而提高了硬盘的读写性能和数据安全性。根据不同的组合方式可以分 为不同的RAID级别
RAID 0 数据条带化，无校验
RAID 1
RAID 3
数据镜像，无校验
数据条带化读写，校验信息存放于专用硬盘
RAID 5
RAID 10 RAID 50
数据条带化，校验信息分布式存放
RAID 0和RAID 1的结合，同时提供数据条带化和镜像 先做RAID 5，后做RAID 0，能有效提高RAID 5的性能
视频存储数据 流
DVR硬盘录像机
E－IDE 1
E－IDE 2
DVR的主控电路板 3
Master主 盘
E－IDE 3
E－IDE 4
1
Master主 盘
5
Master主 盘
7
Master主 盘
2
4
6
8
Slave 从盘
www.h3c.com
Slave 从盘
Slave 从盘
Slave 从盘
采用内置存储(DVR)的问题