磁盘阵列的组成

协议转换模块： 协议转换模块：
完成从SCSI命令到对应的 命令到对应的EIDE命 完成从 命令到对应的 命 令的转换。如读写命令。 令的转换。如读写命令。
网络磁盘阵列简介
在传统的服务器系统中， 在传统的服务器系统中 ， 当客户机需下 载服务器上的文件时， 载服务器上的文件时 ， 由客户机向服务器 发出请求。响应后，通过文件系统和I/O系 发出请求。响应后，通过文件系统和 系 统 ， 调用设备驱动程序对磁盘驱动器进行 读操作。读得的数据经由原路进入客户机， 读操作 。 读得的数据经由原路进入客户机 ， 此次服务便告结束。这种服务器/客户机工 此次服务便告结束。这种服务器 客户机工 作模式，存在两个显著的缺点： 作模式，存在两个显著的缺点：
读命令的执行过程 阵列处理读命令过程为： 阵列处理读命令过程为：
接收命令→ 命令分解→ 读盘→ 接收命令→ 命令分解→ 读盘→数据组 数据输入→状态、消息输入→ →数据输入→状态、消息输入→ 完成 等待下一命令到达） （等待下一命令到达）
写命令的执行过程 阵列处理写命令过程为： 阵列处理写命令过程为：
图1：硬件结构图 ：
图2：软件关系图 ：
启动
初始化模块
容错功能模块
消息、数据 流向
命令 分解数据分块 重组
I/O调度模块 调度模块
Cache-Buffer 管理模块
应用层
从通道控制模块
主通道控制模块
驱动层
软件模块功能说明
阵列参数设置、初始化模块： 阵列参数设置、初始化模块：
提供一个浏览、 提供一个浏览、配置阵列参数的人机交 互接口， 互接口，根据用户的配置设置对阵列控 制软件中的相关参数进行初始化， 制软件中的相关参数进行初始化，这些 参数包括阵列级别、数据分块大小、 参数包括阵列级别、数据分块大小、校 验存放策略、阵列中的串数及盘数等， 验存放策略、阵列中的串数及盘数等， 它们是阵列有效容量计算、 它们是阵列有效容量计算、逻辑地址与 物理地址相互转换的依据。 物理地址相互转换的依据。
该模块提供了三种可供用户根据实际 应用的数据请求特点进行选择的Buffer 应用的数据请求特点进行选择的Buffer 策略，即写回策略（Write-back）、 ）、写 策略，即写回策略（Write-back）、写 直达策略（Write-through）、 ）、自适应的 直达策略（Write-through）、自适应的 顺序预取策略。Cache-Buffer管理模块 顺序预取策略。Cache-Buffer管理模块 的主要目的是减少实际的磁盘I/O次数， I/O次数 的主要目的是减少实际的磁盘I/O次数， 达到快速响应用户的数据请求， 达到快速响应用户的数据请求，从软件 上最大限度地提供磁盘阵列的性能。 上最大限度地提供磁盘阵列的性能。
接收命令→ 接收数据→ 接收命令→ 接收数据→ 命令分解数据分 状态、消息输入→ 块→写磁盘 →状态、消息输入→ 完成 等待下一命令到达） （等待下一命令到达）
从通道控制模块（Target）： 从通道控制模块（Target）： 控制阵列中的从通道适配器完成 主机和阵列的消息、命令、 主机和阵列的消息、命令、数据的 交互；将来自主机的I/O I/O命令按顺序 交互；将来自主机的I/O命令按顺序 进行排队以等待命令分解模块和其 他模块处理。 他模块处理。
Linux软阵列的数据流程 软阵列的数据流程
文件系统 缓冲区层
阵列驱动层
设备驱动层
硬件设备
流程： 流程：
(1)文件系统会调用具体的文件读写过 (1)文件系统会调用具体的文件读写过 程,将偏移量和文件的起始位置转换为 具体文件系统中的数据块, 具体文件系统中的数据块,同时将这些 信息传递给下面的缓冲区层. 信息传递给下面的缓冲区层.
课后作业
阅读linux下MD代码， 阅读linux下MD代码，弄清 linux 代码 RAID0， RAID0，1的工作流程
硬阵列的组成
1.专用的电路板 ： 磁盘阵列卡，盒式磁盘阵 专用的电路板 磁盘阵列卡，
列控制器 （易于嵌入服务器内形成一个整体 ）
2.通用板卡集成式磁盘阵列：更新速度快， 通用板卡集成式磁盘阵列 更新速度快，
I/O调度模块： I/O调度模块： 调度模块 依次扫描各子命令队列， 依次扫描各子命令队列，对这些 子命令经过Cache Buffer管理模块 Cache子命令经过Cache-Buffer管理模块 过滤后， 过滤后，将需要磁盘操作的子命令 按优先级分组， 按优先级分组，然后按优先级从高 到低逐组分派给各主通道控制模块 并行地完成磁盘操作请求。 并行地完成磁盘操作请求。该模块 是整个阵列控制程序的控制核心， 是整个阵列控制程序的控制核心， 其他模块几乎都要和它发生交互。 其他模块几乎都要和它发生交互。
命令分解，数据分块重组模块： 命令分解，数据分块重组模块： 根据设定的阵列参数， 根据设定的阵列参数，从从通道 控制模块生成的命令队列里取出的 I/O命令按一定的规则分解为独立磁 I/O命令按一定的规则分解为独立磁 盘上的子命令， 盘上的子命令，同时将读写数据进 行分块重组。 行分块重组。
Cache-Buffer管理模块： Cache-Buffer管理模块： 管理模块
RAID5重构和重建 重构和重建
校验块
接口异构的磁盘阵列原理
接口异构：指在结构上磁盘阵列控制
器与主机的接口和阵列中磁盘驱动 器的接口不是同一种接口， 器的接口不是同一种接口，称为异 构接口。 构接口。如SCSI-EIDE、USB-SCSI、 、 、 USB-EIDE、FC-SCSI等。 、 等
例：SCSI-EIDE阵列 SCSI-EIDE阵列
PC主板 PC主板 (EPROM) 阵列控制软件 阵列Cache 阵列
SCSI总线 总线
CPU
NCR53 C8XX EIDE适配器 适配器
……
连接 主机
EIDE适配器 适配器
0
EIDE /ATA 总线
m-1 -
EIDE /ATA 总线
说明： ≤ 说明：m≤2
m
2m-1 -
软件： 软件：
在普通SCSI阵列软件基础上再 阵列软件基础上再 在普通 增加命令模拟模块 命令模拟模块和 增加命令模拟模块和协议转换模 块
命令模拟模块： 命令模拟模块：
完成与主机的启动配置通信， 完成与主机的启动配置通信，使 主机能够识别阵列， 主机能够识别阵列，读取正确的阵 列参数，完成IDE协议不能对应的 列参数，完成 协议不能对应的 SCSI命令。该模块负责完成的SCSI 命令。该模块负责完成的 命令 命令包括:Inquiry、Test Unit Ready、 命令包括 、 、 Verify、Read Capacity、Mode 、 、 Sense等。 等
主通道控制模块(串控制器）： 主通道控制模块(串控制器）： 调度、 调度、控制阵列中的串控制器完 成磁盘I/O操作， I/O操作 成磁盘I/O操作，并且负责向上层模 块报告I/O完成情况和磁盘状态。 I/O完成情况和磁盘状态 块报告I/O完成情况和磁盘状态。
容错功能模块： 容错功能模块：
包括数据重构（Reconstruct） 包括数据重构（Reconstruct）和磁盘 数据的重建（Rebuild）修复。 数据的重建（Rebuild）修复。前者是指 在阵列运行于有容错功能的级别下单盘 失效时阵列降级运行， 失效时阵列降级运行，利用冗余的校验 信息重新生成失效盘上的数据以响应主 机的I/O请求； I/O请求 机的I/O请求；后者指的是在有盘失效的 情况下， 情况下，当系统检测到有新的磁盘被换 上时， 上时，系统在后台将失效盘上的数据恢 复到新盘上。 复到新盘上。
(2)缓冲区层根据数据块的逻辑设备名 (2)缓冲区层根据数据块的逻辑设备名 和块号,使用bio结构体对它进行包装 bio结构体对它进行包装, 和块号,使用bio结构体对它进行包装,形 成一个请求(request). 成一个请求(request).同时使用 submitbio将请求挂在该设备( submitbio将请求挂在该设备(blk_devs) 的请求队列上,等待设备进行读写工作. 的请求队列上,等待设备进行读写工作. (3)如果读写的设备不是MD设备 如果读写的设备不是MD设备, (3)如果读写的设备不是MD设备,则转 5.( 中磁盘阵列以MD设备来标识） MD设备来标识 向5.(Linux 中磁盘阵列以MD设备来标识）
一是命令和数据都要经过同一I/O路 一是命令和数据都要经过同一 路 当有多个用户请求时， 径。当有多个用户请求时，容易造成 阻塞， 阻塞，即使单个用户也延长了服务等 待时间； 待时间； 二是在数据读取和传输过程中， 二是在数据读取和传输过程中 ， 即 使采取DMA方式，也需经历多次存储 方式， 使采取 方式 转发， 增加了系统开销， 转发 ， 增加了系统开销 ， 降低了数传 率。
传统服务器系统示意图
瓶颈
以 太 网
工 作 站
服 务 器 磁 带 库 SCSI通 道
工 作 站 服 务 器 磁 盘 阵 列
工 作 站
服 务 器
磁 盘 阵 列
网络磁盘阵列设备示意图
外 设 通 道
网络通道
网络磁盘阵列说明: 网络磁盘阵列说明
网络磁盘阵列和与之相连的服务器 构成网络磁盘阵列系统； 构成网络磁盘阵列系统； 系统的连接方式与传统的服务器－ 系统的连接方式与传统的服务器－ 存储设备连接方式不同， 存储设备连接方式不同，它在磁盘阵 列端增加网络通道直接入网， 列端增加网络通道直接入网，即磁盘 阵列具有异构双通道——外设通道与 阵列具有异构双通道 外设通道与 网络通道。 网络通道。
磁盘阵列的组成
参考书： 参考书：
《海量信息存储》 海量信息存储》
（第三章、第四章） 第三章、第四章）
磁盘阵列的分类
1.软阵列 ： 阵列部分的处理功能由主机 软阵列
（服务器）完成； 服务器）完成；