信息存储与管理

Page 6
磁盘驱动器的性能 磁盘服务时间 寻道时间 + 旋转延迟 + 数据传输速率
IO并发系数 IOPS 磁盘服务时间 外部数据传输时间
磁盘服务时间 寻道时间 旋转延迟内部数据传输时间
Page 7
寻道时间
读写头在盘面上移动（沿着盘面半径方向）进行定位的时 间，也就是移动驱动臂将读写头移动到正确的磁道上所需 要的时间。平均寻道时间为3—15ms
Page 30
FC协议栈
定义了应用程序接口和高层协议（ULP）映射到底层 FC-4高层协议 FC协议层的方式。本层的协议包括：SCSI、HIPPI组 帧协议、企业存储连接（ESCON）、ATM、IP等
FC-3未实现
FC-2传输层
包含有效载荷、源和目的地址、链路控制信息 提供光纤通道编址、结构和数据组织形式（帧、序列和交换） 定义fabric服务、服务类、流量控制以及路由等
协 议 栈
FC
第六章
信息存储与管理的介绍
口 名全 端 称球 唯 一 址 寻 FC FC
拓 扑
Page 28
SAN组件
节点端口：全双工传输模式 光纤
MMF：500m以内传输 SMF：10km
线缆
铜缆：用于短距离的后端连接 集线器： 节点共享带宽
SAN
互联 设备
交换机： 比集线器强大，节点有专用信道
Page 12
数据访问方式
块级别访问（Block-level Access）是磁盘访问的基本机制。 数据通过指定逻辑块地址进行磁盘存储和数据查询。 文件级别的访问（File-level Access）是块级别访问的一个 抽象。通过指定文件名和路径来访问数据。它通过底层进 行块级别访问，对上则为应用程序屏蔽了逻辑块编址 （LBA）的复杂性。 对象级别访问（Object-level Access）是数据访问向智能化 发展迈出的第一步。这里的对象是访问和存储数据的基本 单位。数据通过分类的方式来组织和管理，并通过唯一的 对象标识符加以区别
内存 外存
存储 设备
RAM ROM 硬盘、软盘、磁带（磁性介质） CD-ROMDVD-ROM（光学介质）
Page 3
物理磁盘的结构
磁盘以N级、S 级表示0、1 不同于数据流 以高低电平表 示0、1
磁头悬浮
Page 4
物理磁盘的结构
ห้องสมุดไป่ตู้
磁道：一组同心圆环， 一个盘面可容 纳几千个磁道。
扇区：存储系统中可单 独被寻址的最小 单位， 容量为512k。
E端口
F端口
fabric端口，用于连接N端口，不能用于FC-AL中
FL端口
fabric端口，可用于FC-AL，连接FC-AL环上的NL接口 通用端口，可用作E端口和F端口
G端口
Page 32
FC地址－端口接入fabric时分配
2 2 3 2 2 2 1 1 1 1 1 1 1 1 1 1 9 8 7 6 5 4 3 2 1 0 1 0 9 8 7 6 5 4 3 2 1 0
信息存储与管理
储主 设机 备、 连 接 、 存
别块 访级 问别 和 文 件 级
第二章
存储系统环境
磁 盘 部 件
设存 备储 介 质 和
逻 辑 块 寻 址
Page 2
存储系统环境的组成
存储系统环境由主机、连接、存储设备三部分组成。
连接
物理部件：总线、接口、电缆、光纤等 逻辑部件（协议）：PCI、 IDE/ATA、 SCSI
Page 8
旋转延迟
盘片旋转，定位读写头下方的数据（扇区）所消耗 的时间
转速5400r/min的磁盘，平均旋转延迟约5.5ms 转速15000r/min的磁盘。平均旋转延迟约2.0ms
Page 9
数据传输速率
Data Transfer Rate，指每个单位时间内磁 盘能够传输到主机总线适配器（HBA）的平 均数据量 ATA的传输速率：133MB/s
Page 36
NAS组件
NFS UNIX IP
NAS头
网络接口 NFS CIFS NAS设备OS 存储接口
CIFS Windows
存储阵列 NAS组件
Page 37
NAS文件共享协议 NFS：基于UNIX，使用与机器无关的模型来描述用户数据使用 远程过程调用（RPC）实现通信。支持以下操作：查找文件和 目录；打开、读取、写入和关闭文件；修改文件属性；修改文 件链接和目录。目前使用的NFS版本：NFSv2、NFSv3、 NFSv4。 CIFS：基于Windows，文件名用unicode字符集进行编码。确保 数据完整性的措施： 1、使用文件锁和记录锁，来避免用户覆盖另一个用户正在写的 文件或记录； 2、运行在TCP上； 3、支持容错，可自动恢复连接，重新打开中断之前已经打开的 文件。
带独立磁盘和分布式校验的分带阵列
带独立磁盘和双重分布式校验的分带阵列 以上RAID级别的组合，如RAID10、RAID01
Page 18
前 端 命 令 队 列 跃缓 存 镜 像 （逻 辑 和 跳 ）设 备 编 号 LUN
第四章
智能存储系统
蔽 屏 LUN
系高 统端 存 储
统中 档 存 储 系
Page 19
组成部分
智能 存储 系统
前端 缓存 后端 物理磁盘
前端命令队列算法： FIFO：命令队列的默认算法，性能最差 寻道时间优化：重新安排命令的执行顺序 访问时间优化：综合考虑寻道时间和旋转延迟以达到最佳性 能
Page 20
缓存数据保护
缓存管理： 最近最少访问算法（LRU）：假设：如果一个页面很久未被访问，那么 以后也不会被访问，于是释放它。 最近访问算法（MRU）：假设如果一个页面已经被访问过，那么在之后 一段时间可能不会再被访问，于是释放此页面。
域ID
N端口FC地址
分区ID
端口ID
2 2 3 2
2 2 1 1 1 1 1 1 1 1 1 1 9 8 7 6 5 4 3 2 1 0 1 0 9 8 7 6 5 4 3 2 1 0
环ID
ＮＬ端口 公共环
AL-PA ID
2 2 3 2
2 2 1 1 1 1 1 1 1 1 1 1 9 8 7 6 1 0 9 8 7 6 5 4 3 2 1 0
数据传输
Page 10
公式分析
寻道时间：ms级 旋转延迟：ms级 外部数据传输：ns级
要提高IOPS，需在 寻道时间上下功夫
Page 11
如何提高IOPS
传统的磁盘写操作：先将一张磁盘写满，然后写下 一张。 RAID 0 的思路：肉夹馍法。将一串磁盘看作整体， 先将最外层的扇区填满数据，然后磁头往里推进。 就像肉夹馍，先将最外层肉剐下来，接着往里剐。 减少磁头移动的次数，从而减少寻道时间。
Page 26
SCSI指令模型
CDB结构
比特 字节
7
6
5
4
3
2
1
0
操作码
0 1 n-1
分组码，确定指令指定 指令码，确定SCSI指令，如READ、 WRITE 参数的长度（字节数） 指令指定参数 厂商指定 保留 NAC A 已废 弃 链接 字段
控制码
n
Page 27
合存 储 整 分 区 FC 结光 构纤 通 道 （ ） FC
Page 24
SCSI
SCSI：小型计算机系统接口。
SCSI的演化 SCSI和IDE的比较： SCSI占用CPU很小， 性价比很低，适合 多任务、传输大量 数据的场合 IDE占用CPU 很大， 性价比高，适合普 通用户
Page 25
SCSI通信模型
SCSI通信模型： 应用层（SAL）：包含了客户端和服务器的应用程 序，通过SCSI应用程序协议发起和处理SCSI的 I/O操作。 传输协议层（STPL）：包含发起方和目标方进行通 信的服务和协 议。 互联层：实现发起方和目标方之间的数据传输功能。 互联层也被称作服务交互子系统，包含服务、信 号机制和互联数据传输等。
缓存镜像：每次写入缓存的数据都被保存在互相独立的内存条的不同位 臵上 缓存跳跃：停电时，将缓存中的数据暂存到某固定磁盘，而不是将数据 存到难以计数的目标磁盘，在有限时间内保存所有数据。等恢复供电 后再将数据写入目标磁盘
Page 21
逻辑设备编号
Logical Unit Number（LUN）： 作用：提高物理磁盘利用率。 举例：如果没有LUN，一个只需要200G的主机可能被分配一个1T的物理 磁盘；而使用了LUN后，只有一个200G的逻辑磁盘会分配给主机， 物理磁盘上另外800G可以分配给其他主机。 就像揉面团，将所有物理磁盘揉成一团，主机需要多少空间，就从面团 里摘出多少面给它。将摘出的小面团用LUN编号。
Page 5
磁盘定位
CHS编号：早期的磁盘利用物理地址，包含了柱面（Cylinder）、
磁头（Head）、扇区（Secor）的编号，在磁盘上进行定位。以扇区为寻 址单位
LBA（逻辑块寻址）：使用线性地址访问逻辑块的数据，简化寻址过程。
逻辑块：将几个扇区组合成 整体并编号 作用
操作系统掌握LBA， 磁盘控制器负责将LBA转化为CHS
定义了传输协议，包括串行编码和 FC-1传输协议 解码规则：将8位字符编码成10位 字符，然后传输到目的地
FC-0物理接口
定义了物理接口、媒介（电气/光学）和原始比特的传输规则 指定线缆、连接器等参数
Page 31
FC端口
N端口 节点端口 节点端口，支持仲裁环拓扑 扩展端口用于交换机之间的连接
NL端口
Page 13
硬 件 和 软 件 RAID
偶分 校条 验、 数 据 镜 像 、 奇 价
第三章
数据保护：RAID
热 备 用
的 写 代
RAID
Page 14
RAID的实现
软件RAID：在操作系统层次上实 现对RAID阵列的管理 优点：成本低，实现简单 缺点：带来额外的CPU开销 无法支持所有的RAID级别 存在兼容性问题
享远 程 文 件 共
帧
Page 35
NAS设备 通用服务器可运行任何应用程序 NAS设备只用于提供文件服务 NAS的优点： 支持全面信息存取 提高效率：将通用服务器从文件服务操作中解放出来 增强灵活性：兼容Unix和Windows系统 集中式存储：降低客户工作站的数据冗余 管理简单化：提供一个集中化的控制平台，使文件管理更高效 可扩展性：兼容不同的商业应用类型 高可用性：提供高效的备份和恢复选项 安全性：工业标准安全模式
控制器： 比交换机强大
存储阵列
SAN管理软件
Page 29
FC连接 最简单，两个设 备直接相连，与 SAN一样
点对点：
FC互联方案
设备连到一个 FC仲裁环 （FC-AL）： 共享的环，争 用信道 fabric是一个虚拟空间， fabric 可通过交换机网络构建， （FC-SW）： 作用是在源和目标之间 进行帧的路由转发
Page 16
一个典型的RAID0系统
Page 17
RAID级别比较
级别 RAID0 RAID1 RAID2 RAID3 RAID4 简要描述 无容错性的分带阵列 磁盘镜像 条带深度为1bit，已淘汰 带专用校验磁盘的并行访问阵列 带独立磁盘和专用校验磁盘的分带阵列
RAID5
RAID6 嵌套的
硬件RAID：通过集成在主机或存 储阵列上的专用硬件控制器 （Controller）来实现（如右图）
Page 15
分条
一个RAID集由一组磁盘构。我们将磁盘上一块由若干地址连续的磁盘块 构成的、大小固定的区域定义为条带（Strip）。位于RAID集所有磁 盘上相同位臵的条带构成了分条（Stripe） 条带深度（Stripe depth）：描述了构成条带的磁盘块数目。 分条尺寸：是条带深度与硬盘数量的乘积（剐下来的肉馅总量） 分条宽度：一个分条所包含的数据条带的数目，其值与硬盘数量相等
5 4 3 2 1 0
未使用
ＮＬ端口 私有环
AL-PA ID
Page 33
FCSAN的演化
孤立SAN FC-AL
互联SAN FC交换Fabric
企业SAN FC交换Fabric
Page 34
备
设
第七章
网络连接存储
议 连 接 和 协 NAS 性 性 能 和 可 用 NAS
NAS
和 Jumbo
MTU
LUN屏蔽：一种数据访问控制，针对数据安全性而设。做饺子的面团不 能拿去做包子，财务部的数据不能被销售部获得。
Page 22
第五章
直连存储和SCSI介绍
Page 23
DAS
直连存储（DAS）是一种存储器直连到服务器的架构.。 优点：前期投资少、配臵简单、容易部署 缺点：不易扩展 DAS使用的协议：IDE/ATA、SATA、SAS、SCSI、FC等磁盘驱动接口 IDE/ATA：IDE部分定义了连接到主板上的控制器的规范，用于与连接的 设备进行通讯；ATA部分规定了连接存储设备到主板的接口。常见的 有40针、34针。 SATA：IDE/ATA的串行版本，目标是取代并行ATA技术 SCSI：指并行SCSI SAS：串行连接SCSI FC:Fibre Channel,网状通道。一台只有最基本功能的8端口FC交换器起 价就要30万元，使用者也必须具备FC协议相关知识才能有效管理