EMC 信息存储与管理(要点总结)

• 网络互联存储（Network-attached Storage，NAS）专用于文件服务类应 用的存储设备。通过现有的通信网络（LAN）连接，并未不同客户提供文 件访问
• IP 存储区域网（IPSAN）是 SAN 和 NAS 的继承。提供了在局域网和广域网 上的块级别传输
数据中心基础设施（包括：计算机、存储系统、网络设备、专用备用电源、环境 控制设备）
CLARiiON 存储阵列（用模块化的组件构造，不存在单点故障，第一个
支持闪存驱动的中档存储系统，闪存驱动器具有 30 倍的 IOPS 能力）
CLARiiON CX4 体系结构：关键模块-存储处理器模块（SPE）、磁盘阵
列模块（DAE）
该体系结构支持全冗余和热交换组件。 CLARiiON 的组成部分包括：
Cபைடு நூலகம்apter 4 智能存储系统
智能存储系统组成部分：前端、缓存、后端和物理磁盘
前端
前端提供了存储系统与主机之间的接口，它由两部分组成：前端端口和前端控制 器。前端端口使得主机能够连接到智能存在系统。每一个前端端口都拥有 相应传输协议的处理逻辑，包括 SCSI，iSCSI
前端命令队列：对收到的命令的执行顺序进行决策，以减少不必要的驱动器磁头 移动，改善磁盘性能 常见算法
• 直连存储（Direct-attached Storage，DAS）存储设备直接连接到服务器 （组）。
• 存储区域网（Storage Area Network，SAN）专用的、高性能的光纤通道 网络，用来完成服务器和存储设备之间块级别的通信。存储设备被分区并 指定给不同服务器，从而被分别访问。主要为文件服务类应用提供存储服 务
与全局内存之间的数据传输。 • 全局内存：系统中最重要的部分。所有读写操作都要通过全局内存进行 • XCM：XCM 是服务处理器和系统中其他处理节点进行通信的代理 • Symmetrix Enginuity：EMC Symmetrix 的操作环境
第二部分 存储网络技术和虚拟化
Chapter 5 直连存储和 SCSI 直连存储（DAS）是一种存储器直接连接到服务器的架构。应用程序使用块级的 存取协议从 DAS 访问数据。SCSI-DAS 中使用最典型的协议
• Navisphere Analyzer：性能分析工具 • Navisphere Agent：主机端工具，建立到系统管理的连接以进行 CLI 访问
Symmetrix 存储阵列（最受信任的平台，Direct Matrix 架构，容错设计）
Direct Matrix 架构，其组成：
• 前端：主机通过通道主控器上的前端端口连接 Symmetrix。 • 后端：后端磁盘主控器负责管理到磁盘驱动器的接口，并负责磁盘驱动器
Summarized by NIRVANA 新浪微博:Win 都是 XP
EMC 版 信息存储与管理
chaojixupeng@gmail.com
第一部分 存储系统
Chapter 1 信息存储与管理的介绍 信息存储
数据增长因素
• 数据处理能力的上升 • 数字存储成本的低成本 • 可负担的和更快的通讯技术
RAID 阵列的组成：物理阵列、逻辑阵列、RAID 控制器、RAID 集
RAID 级别
分条（Striping）
• 条带（Stripe）：磁盘上一块由若干地址连续的磁盘块构成的、大小固定 的区域
• 条带尺寸：构成条带的磁盘块数目 • 分条尺寸：条带尺寸与 RAID 集中硬盘数量的乘积。
数据镜像（将同一数据存储在两块不同的硬盘上，从而产生两个副本，用于保护 数据）
其实现：
• 分类 • 实现 • 管理 • 组织
其优点：
• 更高的资源利用率 • 简化的管理 • 更广泛的选择 • 维护约定 • 更低的总拥有成本（TCO）
Chapter 2 存储系统环境
存储环境的组成（主机、连接、存储设备）
主机（物理部件、逻辑部件）
物理部件：
• CPU • 存储设备 • I/O 设备
核心部件: • 应用 • 数据库 • 服务器和操作系统 • 网络 • 存储阵列
数据中心部件的关键需求 • 可用性 • 安全性 • 可扩展性 • 性能 • 数据完整性 • 容量 • 可管理性
管理存储基础设施 • 监控 • 报告 • 供应
信息管理中的挑战
• 数字世界的爆炸 • 书信息依赖的上升 • 信息价值的改变
可划分和合成磁盘空间。基本部件：物理卷、卷组、逻辑卷 • 文件系统（File System）：通过使用目录把大量文件的分层组织结构。
常见文件系统：FAT32、NTFS、UFS • 应用：提供计算机操作逻辑的计算机程序。数据访问：块级别访问、文件
级别访问
应用程序的需求和磁盘的性能 入手点：
• 分析最高负载时产生的 I/O 数量 • 记录下应用程序 I/O 大小或是块大小
• 高端存储系统：用活动-活动式阵列实现，意味着主机可以利用任何可用 的路径去访问他的 LUN。为大型企业集中管理数据设计，配备了大量的控 制器和缓存内存。
• 中档存储系统：活动-被动式阵列实现，主机要访问一个 LUN，只能通过 到该 LUn 的控制器的路径进行访问。（低成本下的最优解决方案）
概念实践：EMC CLARiiON（活动-活动式） 和 Symmetrix（活动-被动式）
连接（主机与外围设备的互连。物理部件、逻辑部件） 连接的物理部件（总线（分为系统总线和 I/O 总线）、端口、电缆）
串行：比特位在单个通道中按顺序进行传输 并行：比特位同时在多个通路中进行传输 连接的逻辑部件（协议）
• PCI：规定了 PCI 扩展卡与 CPU 如何交换信息 • IDE/ATA：磁盘最常用的借口协议 • SCSI ：最初用于并行借口，现在功能更多。 磁盘驱动部件 核心部件：盘片、主轴、读写头、驱动臂、控制器
奇偶校验（既能为分条 RAID 提供数据保护，又能避免镜像所需开销的方法）： 往分条中增加一个硬盘来储存校验值。通过
数学方法构造的校验值能够重建丢失的数据。计算采 用位异或操作
RAID 0 数据是分带存储在 RAID 集的各个硬盘上的，因此利用了全部的存储空间 RAID 1（通过数据镜像来提升容错性）
信息生命周期：随着时间变化而发生的“信息价值的改变”
信息生命周期管理（Information Lifecycle Management，ILM）：一种主动的 策略，允许一个 IT 组织根据预先定义的商业策略来高效地管理数据的整个生命 周期，并通过优化存储基础设施来实现最大的投资回报。 其特征：
• 以业务为中心 • 集中式管理 • 基于策略的 • 异构的：一个 ILM 策略应该把所有类型的存储平台和操作系统都考虑进来 • 优化的
嵌套 RAID（许多数据中心对 RAID 阵列的数据冗余和性能都有需求）
RAID 3（通过存储分带提供高性能，并利用奇偶校验提升容错性）RAID 4（与 RAID 3 类似，支持独立访问）
RAID 5（磁盘上的存储带是可以单独存取的，校验值分布存储在所有磁盘上） RAID 6（与 RAID 5 类似）
RAID 对磁盘性能的影响
写代价：对于急于镜像和校验的 RAID 系统，每个写操作都会对磁盘产生额外的 I/O 开销。
热备用（RAID 阵列中用于临时替代 RAID 集中故障硬盘的备用硬盘）
数据恢复方法 • 如采用校验 RAID，则按照 RAID 集中的校验值和幸存硬盘上的数据重建数 据。 • 如采用镜像 RAID，则从存活镜像上复制数据 • 新硬盘代替旧硬盘
• 闲置刷清 • 高水位刷清 • 强制刷清
缓存数据保护 缓存是易失性存储器，保护方法：
• 缓存镜像：每次写入缓存的数据都被保存在互相独立的内存条的不同位置 上。
• 缓存跳跃：缓存随时面对着因为电源故障而丢失数据的风险。
后端（提供了缓存和物理磁盘之间的接口，控制缓存与物理磁盘之间的数据传输。 两部分组成：后端端口和后端控制器）
带有缓存的写操作：一个 I/O 被写入缓存并得到响应比直接写入磁盘所用的时间 要少得多，还可以合并优化。
• 回写缓存：数据被存入缓存，主机立即响应。 • 直接写操作：数据被存入缓存并立即写到磁盘中，然后响应主机。
缓存实现（专用缓存，全局缓存）
缓存管理（为了能够在系统中总是保留一部分页面以及可以在需要时被释放的页 面）
DAS 类型：
• 内置 DAS：存储设备通过串行或并行总线连接主机 • 外置 DAS：服务器直接连接到外部存储设备
DAS 优缺点： {1}DAS 相对于存储网络需要较低的前期投资。配置简单并且部署容易，需要设 置和操作的硬件和软件也更少 {2}DAS 不易扩展。有限的端口，有限的带宽。无法优化资源使用。
• 先进先出算法（默认） • 寻道时间优化 • 访问时间优化
高速缓存（半导体存储器，为了减少完成主机 I/O 请求所需时间，数据被暂存在 缓存中）
缓存的最小分配单位是页或槽，缓存页的大小是由 I/O 的大小决定的。缓存由数 据存储（保存数据）和标签 RAM（记录数据的磁盘中位置）两部分组成。
带有缓存的读操作：每当主机发出一个读请求，前端控制器会通过标签 RAM 来查 询请求的数据有没有保存在缓存中。如果在缓存中找到请求的数据，称为一次读 命中。 读性能可以用命中率来衡量。
• 智能存储处理器（SP） • CLARiiON 消息接口（CMI） • 备用电源（SPS） • 链路控制卡（LCC） • RLARE 操作环境
管理 CLARiiON：命令行界面（Naviseccli）、图形用户界面（Navisphere）
Navisphere 套件：
• Navisphere Manager：配置 CLARiiOn，基于 Web 的界面
物理磁盘（永久的保存数据），智能存储允许 SCSI 或光纤通道驱动器和 IDE/ATA 驱动器混合使用 逻辑设备编号（LUN）：物理驱动器或一组 RAID 保护的驱动器可以被分成若干个 逻辑卷，逻辑卷用 LUN 统一寻址 LUN 屏蔽：一种数据访问控制，决定一个主机可以访问哪些 LUN。
智能存储阵列（高端存储阵列，中档存储阵列）
Chapter 3 数据保护：RAID
RAID 是一种将多块磁盘形成一个有机整体，使之能够在硬盘故障时提供数据保 护的技术。
RAID 的实现
• 软件实现：性能上占用 CPU 开销，功能上不支持所有 RAID 级别，需考虑 兼容性
• 硬件实现：硬件 RAID（专用硬件控制器实现）、控制卡 RAID（控制卡和 PCI 总线交互）、外部 RAID 控制器（基于阵列，通过协议）
• 队列：用于存放等待 I/O 控制器处理的 I/O 请求 • 磁盘 I/O 控制器：依次处理队列中的 I/O 请求
两定律：
• Little 定律：N=a×R • 利用率定律：U=a×Ns
主机的逻辑部件：
• 操作系统（OS） • 设备驱动（Device Driver） • 卷管理器（LVM）：运行在物理机器上管理逻辑与物理存储设备的软件。
有价值的数据：地震、生产数据、客户数据、医疗数据
数据类型
• 结构化数据：按行和列这种严格的格式组织。数据库存储系统存储 • 非结构化数据：不是按行列存储。如便签、商业名片、数字格式名片
信息：从数据中提取出来的知识
存储：目的是在进一步处理时可以进行访问
存储技术特点和架构发展
存储技术突出点：
• 冗余磁盘阵列（redundant array of independent disk，RAID）在 DAS、 SAN 等存储架构中都有使用
磁盘驱动器接口
• 最近最少访问算法（Least Recently Used，LRU）：连续地监视数据访问， 识别出长时间没有被访问的页面。
• 最近访问算法（Most Recently Used，MRU）：最近被使用的页面将被释 放或标记为可重用。
缓存写入数据时，存储系统必须将脏页面刷清以保证或标记为可重用。刷清模式 如下
磁盘驱动器的性能（寻道时间、旋转延迟、数据传输速率）
•
寻道时间：读写头在盘面上移动进行定位的时间。（全程时间、平均时间、 相邻磁道时间）
• 旋转延迟：盘片旋转以定位读写头下方的数据所用的时间 • 数据传输速率：每个单位时间磁盘能够传输到 HBA（主机总线配置器）的
平均数据量
影响磁盘性能的基本准则 将磁盘看成两部分：