存储技术
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
在一个SCSI设备里，用LUN可以进一步划分多个设备。 在8-bit的SCSI设备中，一个SCSI ID下，可划分7个LUN (0 – 6)。 在16-bit的SCSI设备中，一个SCSI ID下，可划分15个LUN (0 – 14)。
SCSI常识
单端SCSI接口(Single-ended):在单一导线上传输SCSI 信号
SCSI标准接口
IDC50 Female HPDB68 Male
IDC50 Male
HD68
CN50 Male VHDCI male
CN50 Female
VHDCI female
HPDB50 Male
HD50 Female
SCSI产品应用
Storage Protocols
SCSI-3 Architectural Model
RAID的工作方式：
RAID-0：磁盘划分 RAID-1：磁盘镜像
RAID-2：具有ECC校验码的数据位交错
RAID-3：具有奇偶校验码的数据位交错 RAID-4：具有奇偶校验码的数据扇区交错 RAID-5：具有奇偶校验码的数据块交错 RAID-50：具有两个盘奇偶校验码的数据块交错
RAID-1 ：Mirroring （磁盘镜像）
InfiniBand 概 述
Infiniband （无限带宽）---- 交换结构的I/O技术
InfiniBand贸易协会（InfiniBand Trade Association，IBTA）发布了 以该协会名称命名的I/O 规范的1.0版本。这个拥有200多名组员的组 织包括所有业界的主要系统、 半导体和外设制造商。
目
硬盘常识 SCSI常识
录
RAID技术 光纤通道概述
iSCSI概述 SAS技术 Infiniband概述
硬盘常识——硬盘技术指标
• 寻道时间(Seek time):指硬盘磁头移动到数据所在磁道 而所用的时间(ms) 平均寻道时间:磁头移动到正中间的磁道需要的时间 • 潜伏期(Latency) 指当磁头移动到数据所在的磁道后，等待所要的数据 块继续转动(半圈或多些、少些)到磁头下的时间(ms)。平均潜伏期 (Average latency)就是盘片转半圈的时间。 • 道至道时间(Single track seek) 指磁头从一个磁道转移至另一磁道的 时间(ms)。 • 全程访问时间(Max full seek) 指磁头开始移动直到最后找到所需要的 数据块所用的全部时间(ms)。 • 平均访问时间(Average access) 指磁头找到指定数据的平均时间(ms)。 通常是平均寻道时间和平均潜伏时间之和。现在不少硬盘广告之中所说 的平均访问时间大部分都是用平均寻道时间所代替的。 • 最大内部数据传输率(Internal data transfer rate)，也叫持续数据 传输率(sustained transfer rate)，单位为Mb/s。指磁头至硬盘缓存 间的最大数据传输率，一般取决于硬盘的盘片转速和盘片线密度(指同 一磁道上的数据容量)。
SCSI常识
• SCSI ID
在同一条SCSI链上的每个SCSI设备必须有唯一的SCSI ID，设备 个数也有限制。 8-bit SCSI 有 ８个ID号，（０－７） 16-bit SCSI 有１６个ID号，（０－１５） 32-bit SCSI 有３２个ID号，（０－３１）
•
LUN (Logical Unit Number)
光纤接线器 (Hubs)
• 一个Hub有8-16个接口。
• • • • • 接口可以是铜介质或光介质的GBIC’s。 可用软件进行管理，符合SNMP和MIB标准。 支持FC_AL。 自动建环、自动隔绝口。 分区(Zoning)功能。
专用桥 & 路由器 (Bridges & Routers)
FC-SCSI 路由器/桥(Router / Bridge): • 可以把SCSI设备接入FC交换网或仲裁环。 • 1 FC to 2 SCSI 或 2 FC to 4 SCSI。 • 可用软件进行管理，符合SNMP和MIB标准。 • 最新特点：可支持Extended Copy Data Movement。
iSCSI 概 述
ITEF(Internet工程任务小组)考虑的两种在IP网络上传输存储数据的方法: (1)存储隧道技术:将光纤通道控制码和数据转换为从一个光纤存 储区域网(SAN)向另一个光纤SAN传送的IP包. (2)IP存储(即iSCSI):在IP栈的一个层面上传送本机SCSI.使得 在LAN或WAN中的任何位置传输和存储SCSI命令和数据.
光纤通道的设备组成
• 导线 (Cable)
• 主机卡和接口 (Host Bus Adapters / Interfaces) • 集线器 (Fibre Channel Hubs)
• 交换机 (Fibre Channel Switches)
• 专用桥 / 路由器 (Bridges / Routers)
光纤通道端口 (Fibre Channel Ports)
N_Port(Node-Port) 节点端口 只能进行点到点的连接，可被连接到另一个N_Port或交换机端口上。
NL_Port(NodeLoop-Port) 可连仲裁环的节点端口 具有扩展功能的N_Port，可被接到光纤仲裁环上，许多产品具有N_Port和 NL_Port自适应功能。
硬盘接口常识
• • • • • 硬盘接口: SCSI、FC类和IDE类 SCSI类: 并行SCSI、IEEE1394和SSA、SAS（3GB/S 10K 15K） FC类： 1GBFC、2GBFC IDE类: 并行IDE和串行IDE、SATA SCSI硬盘和FC硬盘的比较
A) 在大多数情况下，硬盘的数据传输速度限制因素还是内部数据传输速 度，即数据在驱动器磁头和盘片间传输有多快。所以只要能保证接口的突发 传输速率比内部传输速率高，采用哪种接口并不重要了，在大多数情况下, 两种接口可以获得相同的吞吐量。 B)SCSI能利用多个硬盘串接，有效的工作。 C)在多用户应用中，利用一特定进程来处理，SCSI可以高效地处理同时 发出的数据请求。对单用户系统，SCSI接口在进程处理上的开销可能会降 低驱动器性能。 D)硬盘厂商总是先推出SCSI接口速度更快的驱动器，再推出速度相同的 FC 接口的驱动器。
工作过程 RAID-1控制器将数据完全相同的写在两组硬盘上。 优点 数据可靠性大大提高。 缺点 冗余信息占用存储空间太大，读写速度没有改善。 应用 对数据可靠性要求极高的环境， 如小型文件服务器。
RAID-5： Striping & Dedicated Parity（块交错）
工作过程 RAID-5控制器将数据以块(block)为单位分别同时存储在若干组 硬盘上， 相应的奇偶校验块也按固定的算法分散存储在相应的硬盘上。 优点 -存储的可靠性增高； -读写速度加快； -可用存储空间增大； -每个硬盘访问的频 率相同。 应用 对数据数据容量、读写速度及可靠性均有较高要求的环境，如数据库服 务器、文件服务器、网页服务器、电子邮件服务器等。
InfiniBand标准有效地解决了PCI等传统I/O结构产生的通信传输瓶颈。 该标准采用点到点的交换结构提高了容错性能和扩展性，用硬件来实 现10Gbps的数据传输、采用虚通道方式实现QoS，通过采用循环冗 余检测来保证信号的完整性。
使用InfiniBand系统时，不再将I/O永远当做是服务器的一部分，特别 是，不再认为I/O局限于机箱的内部。远程存储、网络以及服务器之 间的连接可以通过一条由InfiniBand交换机和链路组成的集中的、统 一的光纤连接起来实现。
RAID 技术
什么是RAID？
RAID的基本概念
Redundant Arrays of Inexpensive(Independent) Disks 将小容量、廉价（独立）的磁盘组合在一起，构成大容量的磁盘阵列， 可飞速提高磁盘存取速度，并通过数据冗余提高数据存储的安全性。 初出论文：
David A.Patterson,et al.,”A Case for Redundant Arrays of Inexpensive Disks” in Int. Conf. On Management of Data (SIGMOD), June 1988, pp109-116
Leabharlann Baidu
12m 30m
DB9 or HSSDC
主机卡和接口 (HBA / Interfaces)
GBIC’s
• 多种总线：PCI, HSC, Sbus。
GLM(Giga-Bit Link Module)
• 半双工 / 全双工 (Half/Full Duplex) • 支持：点对点、光交换、仲裁环，提供光通道各种服务。 • 支持GBIC (Giga-Bit Interface Converter)接口(1GB、2GB、4GB） • 符合 SNMP 和 MIB(Management Information Base)标准。 • 支持铜介质和光介质。 • 支持操作系统。
One External Cable SAS x4
Host Bus Adapters
2400 MB/sec/ cable With full duplex
SAS Backplane
Point-to-Point
Full Duplex, 600MB/sec/drive
SCSI技术的发展历程
Serial Attached SCSI (SAS) Performance Roadmap by SCSI Trade Association dated January 2004
用户 或应用软件
操作系统
软件或接口卡
命令或数据封装 加iSCSI报头
磁盘驱动器
执行初始计算 机或应用所请 求的功能
IP解包/脱密
存储主机 控制器
IP封装/加密
TCP/IP网络层
iSCSI 系统优点与缺点
iSCSI优点: 1. 以以太网和Internet为基础. 2. 简单的管理和部署. 3. 专业网络人才= iSCSI人才.
F_Port(Fabric-Port) 光纤交换机端口 能用点到点的方式与N_Port相连。 FL_Port(FabricLoop-Port) 可连仲裁环的光纤交换机端口 具有扩展功能的F_Port，能与仲裁环相连，被接入仲裁环上的设备能访问 与交换机相连的设备。 E_Port(Expansion-Port) 扩展端口 用于光纤交换机与光纤交换机相连的端口。 G_Port(Generic-Port) 通用端口 根据与之相连的不同接口，交换机可自动设置成E_Port、FL_Port、F_Port.
iSCSI概念:
Internet SCSI协议. 可服务于块级(Block level)数据传递. 通过IP网络传递SCSI数据块(包括SCSI命令,SCSI数据包等). 由Cisco,IBM最先提出,随后有Intel,Adaptec,Brocade等加入.
iSCSI 系统功能描述
保存或读取 数据的请求 一条或多条 SCSI命令
导线(Cables)
光纤导线(Fiber Optic) 铜质导线(Copper)
Multi-mode 62.5um Multi-mode 50um Single-mode 9um Connector Type
300m 500m 10km Dual SC
Twin-ax Copper Equalized Twin-ax Copper Connector Type
差分SCSI接口(Differencial):由一组导线传输SCSI 信号
低压差分（LVD）-- 采用3.3v电压，更稳定更快，主流的SCSI-3接口 高压差分（HVD）-- 采用5v电压，长距离下很稳定，SCSI-3已不采用
不能将单端和高压差分设备混合在单个SCSI总线上，其结果将 会是灾难性的（设备会烧毁）。
iSCSI缺点:
1. 目前,成熟的iSCSI产品不多. 2. IP带宽限制. 3. 不适合大容量高速块级数据存取.
SAS连接结构
持续数据吞吐率 Point-to-point架构设计给每个设备提供了专用的数据路径，消除了共享 带宽方式带来的性能瓶颈 SAS全双工模式下传输速率达1200 MB/s to 2400 MB/s
SCSI常识
单端SCSI接口(Single-ended):在单一导线上传输SCSI 信号
SCSI标准接口
IDC50 Female HPDB68 Male
IDC50 Male
HD68
CN50 Male VHDCI male
CN50 Female
VHDCI female
HPDB50 Male
HD50 Female
SCSI产品应用
Storage Protocols
SCSI-3 Architectural Model
RAID的工作方式：
RAID-0：磁盘划分 RAID-1：磁盘镜像
RAID-2：具有ECC校验码的数据位交错
RAID-3：具有奇偶校验码的数据位交错 RAID-4：具有奇偶校验码的数据扇区交错 RAID-5：具有奇偶校验码的数据块交错 RAID-50：具有两个盘奇偶校验码的数据块交错
RAID-1 ：Mirroring （磁盘镜像）
InfiniBand 概 述
Infiniband （无限带宽）---- 交换结构的I/O技术
InfiniBand贸易协会（InfiniBand Trade Association，IBTA）发布了 以该协会名称命名的I/O 规范的1.0版本。这个拥有200多名组员的组 织包括所有业界的主要系统、 半导体和外设制造商。
目
硬盘常识 SCSI常识
录
RAID技术 光纤通道概述
iSCSI概述 SAS技术 Infiniband概述
硬盘常识——硬盘技术指标
• 寻道时间(Seek time):指硬盘磁头移动到数据所在磁道 而所用的时间(ms) 平均寻道时间:磁头移动到正中间的磁道需要的时间 • 潜伏期(Latency) 指当磁头移动到数据所在的磁道后，等待所要的数据 块继续转动(半圈或多些、少些)到磁头下的时间(ms)。平均潜伏期 (Average latency)就是盘片转半圈的时间。 • 道至道时间(Single track seek) 指磁头从一个磁道转移至另一磁道的 时间(ms)。 • 全程访问时间(Max full seek) 指磁头开始移动直到最后找到所需要的 数据块所用的全部时间(ms)。 • 平均访问时间(Average access) 指磁头找到指定数据的平均时间(ms)。 通常是平均寻道时间和平均潜伏时间之和。现在不少硬盘广告之中所说 的平均访问时间大部分都是用平均寻道时间所代替的。 • 最大内部数据传输率(Internal data transfer rate)，也叫持续数据 传输率(sustained transfer rate)，单位为Mb/s。指磁头至硬盘缓存 间的最大数据传输率，一般取决于硬盘的盘片转速和盘片线密度(指同 一磁道上的数据容量)。
SCSI常识
• SCSI ID
在同一条SCSI链上的每个SCSI设备必须有唯一的SCSI ID，设备 个数也有限制。 8-bit SCSI 有 ８个ID号，（０－７） 16-bit SCSI 有１６个ID号，（０－１５） 32-bit SCSI 有３２个ID号，（０－３１）
•
LUN (Logical Unit Number)
光纤接线器 (Hubs)
• 一个Hub有8-16个接口。
• • • • • 接口可以是铜介质或光介质的GBIC’s。 可用软件进行管理，符合SNMP和MIB标准。 支持FC_AL。 自动建环、自动隔绝口。 分区(Zoning)功能。
专用桥 & 路由器 (Bridges & Routers)
FC-SCSI 路由器/桥(Router / Bridge): • 可以把SCSI设备接入FC交换网或仲裁环。 • 1 FC to 2 SCSI 或 2 FC to 4 SCSI。 • 可用软件进行管理，符合SNMP和MIB标准。 • 最新特点：可支持Extended Copy Data Movement。
iSCSI 概 述
ITEF(Internet工程任务小组)考虑的两种在IP网络上传输存储数据的方法: (1)存储隧道技术:将光纤通道控制码和数据转换为从一个光纤存 储区域网(SAN)向另一个光纤SAN传送的IP包. (2)IP存储(即iSCSI):在IP栈的一个层面上传送本机SCSI.使得 在LAN或WAN中的任何位置传输和存储SCSI命令和数据.
光纤通道的设备组成
• 导线 (Cable)
• 主机卡和接口 (Host Bus Adapters / Interfaces) • 集线器 (Fibre Channel Hubs)
• 交换机 (Fibre Channel Switches)
• 专用桥 / 路由器 (Bridges / Routers)
光纤通道端口 (Fibre Channel Ports)
N_Port(Node-Port) 节点端口 只能进行点到点的连接，可被连接到另一个N_Port或交换机端口上。
NL_Port(NodeLoop-Port) 可连仲裁环的节点端口 具有扩展功能的N_Port，可被接到光纤仲裁环上，许多产品具有N_Port和 NL_Port自适应功能。
硬盘接口常识
• • • • • 硬盘接口: SCSI、FC类和IDE类 SCSI类: 并行SCSI、IEEE1394和SSA、SAS（3GB/S 10K 15K） FC类： 1GBFC、2GBFC IDE类: 并行IDE和串行IDE、SATA SCSI硬盘和FC硬盘的比较
A) 在大多数情况下，硬盘的数据传输速度限制因素还是内部数据传输速 度，即数据在驱动器磁头和盘片间传输有多快。所以只要能保证接口的突发 传输速率比内部传输速率高，采用哪种接口并不重要了，在大多数情况下, 两种接口可以获得相同的吞吐量。 B)SCSI能利用多个硬盘串接，有效的工作。 C)在多用户应用中，利用一特定进程来处理，SCSI可以高效地处理同时 发出的数据请求。对单用户系统，SCSI接口在进程处理上的开销可能会降 低驱动器性能。 D)硬盘厂商总是先推出SCSI接口速度更快的驱动器，再推出速度相同的 FC 接口的驱动器。
工作过程 RAID-1控制器将数据完全相同的写在两组硬盘上。 优点 数据可靠性大大提高。 缺点 冗余信息占用存储空间太大，读写速度没有改善。 应用 对数据可靠性要求极高的环境， 如小型文件服务器。
RAID-5： Striping & Dedicated Parity（块交错）
工作过程 RAID-5控制器将数据以块(block)为单位分别同时存储在若干组 硬盘上， 相应的奇偶校验块也按固定的算法分散存储在相应的硬盘上。 优点 -存储的可靠性增高； -读写速度加快； -可用存储空间增大； -每个硬盘访问的频 率相同。 应用 对数据数据容量、读写速度及可靠性均有较高要求的环境，如数据库服 务器、文件服务器、网页服务器、电子邮件服务器等。
InfiniBand标准有效地解决了PCI等传统I/O结构产生的通信传输瓶颈。 该标准采用点到点的交换结构提高了容错性能和扩展性，用硬件来实 现10Gbps的数据传输、采用虚通道方式实现QoS，通过采用循环冗 余检测来保证信号的完整性。
使用InfiniBand系统时，不再将I/O永远当做是服务器的一部分，特别 是，不再认为I/O局限于机箱的内部。远程存储、网络以及服务器之 间的连接可以通过一条由InfiniBand交换机和链路组成的集中的、统 一的光纤连接起来实现。
RAID 技术
什么是RAID？
RAID的基本概念
Redundant Arrays of Inexpensive(Independent) Disks 将小容量、廉价（独立）的磁盘组合在一起，构成大容量的磁盘阵列， 可飞速提高磁盘存取速度，并通过数据冗余提高数据存储的安全性。 初出论文：
David A.Patterson,et al.,”A Case for Redundant Arrays of Inexpensive Disks” in Int. Conf. On Management of Data (SIGMOD), June 1988, pp109-116
Leabharlann Baidu
12m 30m
DB9 or HSSDC
主机卡和接口 (HBA / Interfaces)
GBIC’s
• 多种总线：PCI, HSC, Sbus。
GLM(Giga-Bit Link Module)
• 半双工 / 全双工 (Half/Full Duplex) • 支持：点对点、光交换、仲裁环，提供光通道各种服务。 • 支持GBIC (Giga-Bit Interface Converter)接口(1GB、2GB、4GB） • 符合 SNMP 和 MIB(Management Information Base)标准。 • 支持铜介质和光介质。 • 支持操作系统。
One External Cable SAS x4
Host Bus Adapters
2400 MB/sec/ cable With full duplex
SAS Backplane
Point-to-Point
Full Duplex, 600MB/sec/drive
SCSI技术的发展历程
Serial Attached SCSI (SAS) Performance Roadmap by SCSI Trade Association dated January 2004
用户 或应用软件
操作系统
软件或接口卡
命令或数据封装 加iSCSI报头
磁盘驱动器
执行初始计算 机或应用所请 求的功能
IP解包/脱密
存储主机 控制器
IP封装/加密
TCP/IP网络层
iSCSI 系统优点与缺点
iSCSI优点: 1. 以以太网和Internet为基础. 2. 简单的管理和部署. 3. 专业网络人才= iSCSI人才.
F_Port(Fabric-Port) 光纤交换机端口 能用点到点的方式与N_Port相连。 FL_Port(FabricLoop-Port) 可连仲裁环的光纤交换机端口 具有扩展功能的F_Port，能与仲裁环相连，被接入仲裁环上的设备能访问 与交换机相连的设备。 E_Port(Expansion-Port) 扩展端口 用于光纤交换机与光纤交换机相连的端口。 G_Port(Generic-Port) 通用端口 根据与之相连的不同接口，交换机可自动设置成E_Port、FL_Port、F_Port.
iSCSI概念:
Internet SCSI协议. 可服务于块级(Block level)数据传递. 通过IP网络传递SCSI数据块(包括SCSI命令,SCSI数据包等). 由Cisco,IBM最先提出,随后有Intel,Adaptec,Brocade等加入.
iSCSI 系统功能描述
保存或读取 数据的请求 一条或多条 SCSI命令
导线(Cables)
光纤导线(Fiber Optic) 铜质导线(Copper)
Multi-mode 62.5um Multi-mode 50um Single-mode 9um Connector Type
300m 500m 10km Dual SC
Twin-ax Copper Equalized Twin-ax Copper Connector Type
差分SCSI接口(Differencial):由一组导线传输SCSI 信号
低压差分（LVD）-- 采用3.3v电压，更稳定更快，主流的SCSI-3接口 高压差分（HVD）-- 采用5v电压，长距离下很稳定，SCSI-3已不采用
不能将单端和高压差分设备混合在单个SCSI总线上，其结果将 会是灾难性的（设备会烧毁）。
iSCSI缺点:
1. 目前,成熟的iSCSI产品不多. 2. IP带宽限制. 3. 不适合大容量高速块级数据存取.
SAS连接结构
持续数据吞吐率 Point-to-point架构设计给每个设备提供了专用的数据路径，消除了共享 带宽方式带来的性能瓶颈 SAS全双工模式下传输速率达1200 MB/s to 2400 MB/s