集群存储技术与产品v4

TJ集群存储系统
数据
network
性能瓶颈 聚合带宽
network
存储系统
存储服务器
15
性能：线性增长
 聚合带宽随着存储集群规模扩大而线性增长
─ 规模扩大I/O通道线性增加 ─ 规模扩大I/O控制器线性增加
 充分发挥所有存储硬件的空间资源与性能
16
可靠性：跨节点文件数据冗余技术
 实现机制
– 将每个数据段跨物理存储服务器冗余
突破性能瓶颈
超越容量极限
TJ集群存储系统
2010年01月
目录
1
TJ集群存储系统关键技术
2
竞争对比
3
解决方案及应用案例介绍
2
1、TJ集群存储 系统关键技术
传统存储技术的特点
TJ集群存储系统关键技术和优势
3
存储发展趋势1
文件大小
60 GB
300MB
50MB 10MB xMB 5KB 25KB 4MB
与SAN+SAN FS对比（续）
SAN + SAN FS
共享性能 FC SAN设备本身不支持共享，需要共享文件系统 支持，如StorNext，或EMC自己的MPFS，但这次文 件系统都不是集群设计，性能普遍很低，支持客 户端数量也很有限。硬件上，单个LUN被共享访问 时性能会急剧下降。 仅有Symmtrix DMX3/4支持在线扩展Raid阵列，其 余产品扩容需要停机，重新规划空间分配；容量 越大，性能越低 硬件HA备份设计；数据Raid5数据保护；Raid组 内两块硬盘损坏，或者单台存储设备失效，会造 成数据丢失 磁盘损坏，数据重构时间漫长，一般要5个小时以 上 SAN设备本身只提供基本存储空间，共享、镜像、 安全都需要另购EMC或第三方软件，要实现一个完 整的存储解决方案，需要一个“系统集成”的过程 1、厂家私有光纤协议，需要专人学习、负责维护 2、厂家专用磁盘，价格十分昂贵；3、增加客户 端需要收费昂贵 高
存储集群
12
技术理念：数据和元数据分离
 元数据管理方式
– 元数据操作占文件系统总操作数的60% – 元数据与数据分开独立存储管理 – 由专门的元数据服务器管理所有的元数据内容 – 减少元数据操作与数据读写操作之间的互相干扰 • 元数据操作粒度小 • 数据读写操作粒度大 应用节点
数据通道
存储集群
13
31
广电非编媒资
 特点 跨平台共享, 使用集群文件系统进行全局文件管理，多工作站点以及部门间 可充分共享素材 通过带外虚拟技术和数据直接读取技术带来高聚合带宽， 性能具有良好的平 稳性， 1台存储服务器节点即可满足20个50Mbps码流 无缝对系统的容量和性能进行升级，从而支持更多的非线编工作站和码流；升 级过程无需停机，不需要进行数据迁移
 成本高，TCO更高
据Gartner权威统计，每TB的存储后期维护管理成本，等于初期购置成本的4倍！
解决方案-TJ集群存储
 TJ集群存储解决方案核心为一套并行文件系统软件，通过安装在服 务器上来为用户提供一个文件共享空间  突破传统存储系统的思路，面向海量数据、高并发访问的应用环境  采用集群化技术构建全局统一的大规模文件共享存储系统
TJ集群存储
基于高效的并行存储技术，系统聚合带宽随 着存储规模扩大而线性增长；单个数据对象 可以被多个客户端访问保持性能不变。
扩展性
动态无缝的扩展，扩展之后性能得到提高， 容量越大，性能越高 硬件系统集群化；数据冗余度可调；可以允 许多块磁盘同时损坏，甚至单台存储设备失 效也不会影响数据的完整性 在线系统快速重构和数据恢复，速度是SAN 的数倍，对性能几乎没有影响 系统提供存储、共享、自修复、负载均衡、 安全、镜像等完整的功能，无需另购软件 通用的TCP/IP协议，任何网络维护人员都能 承担维护任务；系统自恢复，接近零维护； 维护升级成本低 低
TJ集群存储
基于高效的并行存储技术，聚合带宽随 着存储集群规模扩大而线性增长. 硬件系统集群化；数据冗余度可调；可 以允许多块磁盘同时损坏，甚至单台存 储设备失效也不会影响数据的完整性 一单个数据对象可以同时被多个NAS访问 可无限的扩展,动态无缝的扩展，扩展之 后性能得到提高.容量越大，性能越高 单目录千万以上 在线系统快速重构和数据恢复，速度是 SAN的数倍，对性能几乎没有影响 系统自恢复，接近零维护；维护升级成 本低；可进行用户定制开发 低
可靠性
并发 扩展性 文件规模 故障恢复时间 维护升级费用 总体拥有成本
与业内主要竞争对手的参数对比
参数 性能 最大以太网通道 SAN EMC Celerra NSX Symmetrix DMX4 NSX: 4x 普通NAS, 约1.6GB/s DMX4：16GB/s NSX： 4x 普通NAS DMX4：128 ESCOM，FC， GigE, or FICON 未公布 NSX up to 16TB NSX < 100,000 NSX < 20 million NAS NetApp 6080 Up to 3GB/s 52 TJ集群存储 (S6000) 100GB/s or higher 5GB/s Cluster with no limits 60 < 300,000 Up to 16TB < 100,000 < 20 million 1,500,000 500,000 单卷容量 单目录文件数量 最大文件数量 500TB 1000万以上 百亿 15亿 单套系统容量 NSX：192TB DMX4：2.4PB 1.2PB 64PB 500TB
IOPSHale Waihona Puke Baidu
备注: TJ集群存储的参数红色的数据为系统设计数据，蓝色数值为实际案例中的数据(比较早的系统实测数据)
3、解决方案 及应用案例
30
石油高性能计算
 特点 – 上百台计算服务器并发访问，读写带宽要求非常高； – 地震资料文件非常大； – 要求系统性能和容量同步增加，不中断业务扩容； – 提供高效、稳定的数据读写性能支持，提供99.999%的系统可靠性。
元数据通道
元数据集群
技术理念：集群技术
 元数据集群
– 文件系统的整个名字空间按照元数据服务器的个数进行均分 – 可靠性：元数据服务器两两配对，互相备份 – 效率：支持海量文件高速查询
• 单个目录下可高效存放上千万个文件或子目录 • 提供高效文件查询操作，支持海量文件（实际案例中单套TJ集群存储容纳了15亿 文件）
高性能集群计算节点
TJ集群存储解决方案
高性能集群计算节点
…
… TJ集群存储优势： 1.构建灵活 2.容量和性能可扩展 3.较低TCO 4.无缝兼容应用 …
元数据集群 存储节点集群
高速IP网络
SAN FS Client
VS
高速IP网络
FC网络
以太网络
…
MDC
RAID 子系统
实际对比结果
分别运行4个节点24个线程和8节点64个线程，单位：MB
33
TJ集群存储与IBM GPFS性能比较
34
TJ集群存储与IBM GPFS比较
• TJ集群存储与IBM GPFS相比较，并发写性能 高约30%，并发读性能高约10%。 • 而且GPFS实测过程中，当正做并发读写的时 候，在客户端无法对GPFS挂载目录进行ls（查 看目录中的文件）操作，即GPFS在有负载的 情况下无法查看其中的数据，这样使得系统在 有任务时，就无法取出存储在GPFS中的结果 数据。这种现象说明GPFS的元数据处理能力 很低，在有大量文件的情况下会导致系统无法 提供服务。
17
跨服务器文件数据冗余技术
应用服务器集群
文件A
A3副本A4 A2 A1 A4副本 A3 A2副本 A1副本
…
恢复
A2副本
交换机
设置全局策 略消除单点 故障
A1副本
存储服务器集群 恢复
动态删除 18
扩展性：卓越的平滑扩展能力
 动态在线增加存储设备
– 允许动态增加单块磁盘 – 允许动态增加存储服务器
– 单点管理、监控 – 内置全自动管理机制，减少管理员的参与 – 中英文界面切换
21
兼容性：支持异构环境共享
 无需对应用系统打内核补丁
TJ集群存储 LeoFS协议
标准IP网络
 提供类似于本地磁盘的盘 符，兼容原有的应用
TJ集群存储系统
应用服务器
22
2、竞争对比
与SAN+SAN FS对比
SAN解决方案
EMPTY 平衡
 当系统在线和生产时，自动平衡系 统将内容引入新的存储节点。
FULL EMPTY 平衡
EMPTY FULL 平衡
EMPTY FULL 平衡
 不需要人工干涉，不需要重新配 置，不需要服务器或客户安装点或 应用程序变更。
EMPTY FULL 平衡
20
简易管理：单点配置管理
 简易的远程管理监控
E-mail
文档
数据库
照片
音乐
视频
地图
研究数 据
传统数据类型
非结构化数据
非结构化数据爆炸性增长，数据量GB级到TB、甚至PB级的转变
存储发展趋势2
Â计算技术的变迁
集群计算技术发展迅速，存储资源需要在集群内共享
存储发展趋势3
Â协议的开放化趋势
开放式的协议越来越流行
存储发展趋势4
Â存储介质变化的挑战
– – – – 解决性能瓶颈问题 提高扩展能力 消除单点故障 采用通用硬件构建，控制整体成本
10
TJ集群存储系统架构图
存储节点： 存储用户的实际数据，系统的存储资源提供者
元数据节点： 管理文件系统的元数据
系统架构：工作流程
应用节点
获取文件相关信息 访问请求
…
数据读写 元数据集群 1. 文件访问请求 2. 文件访问应答 3. 文件读写访问
单磁盘容量迅速增大
存储控制器成为性能瓶颈 磁盘容量变大，Raid重建时间长 第二块磁盘失效几率增加
磁盘容量小，价格昂贵，数据可靠 性采用 Raid5来保证不失为良策
Raid遭遇了性能和可靠性方面的挑战
存储发展趋势5
 性能瓶颈及负载的不平衡：
据IBM发布的数据，由于 LUN之间不共享，加上Raid 开销，系统实际空间利用 率不到30%!
可靠性
故障恢复时间 完备性
维护升级费用
总体拥有成本
与NAS对比
NAS方案
应用 服务器
TJ集群存储方案
应用 服务器
高速IP网络
VS
高速IP网络
…
元数据节点集群 存储节点集群
集群NAS设备
与NAS对比（续）
NAS
带宽 NAS设备数据出口少,容易成为性能瓶径. 硬件HA备份设计；数据Raid6数据保护；Raid 组内两块以上硬盘损坏，或者单台存储设备失 效，会造成数据丢失 双Active集群文件服务器,一个数据对象同时只 有一台FS服务器能够访问 不支持在线扩展，扩展能力有限；扩展到一定 程度后会造成性能的降低.容量越大，性能越低 单目录百万级文件，超过百万目录出现异常 系统重构需要中断业务，Raid重建影响性能， 时间很长 厂家专用磁盘，价格十分昂贵；技术支持由代 理商完成，不能提供用户环境调优和定制开发 较高
32
互联网视频存储解决方案
  现有存储方案-NAS – 容量扩展需要业务停机切换，过程复 杂，限制用户每天上传视频的容量 – 原计划高清视频点播由于存储系统性 能和容量限制，难以上线 – 管理员进行24×7小时的监控管理
现有的TJ集群存储存储方案 – 放开了互联网用户的上传容量限 制，视频爆炸性增长 – 高清视频快速上线，吸引大量用户 – 无停机的存储容量扩展，容量已达 600TB
 实现策略
– 允许在一套系统中为不同应用的数据设置不同的冗余度 – 允许冗余度可以动态在线设置 – 系统内置自动故障探测机制，可动态探测故障，并自动启动数据的恢复流程
 特点
– 全系统规模快速数据恢复 – 真实数据恢复，恢复速度是RAID的5倍 – 恢复过程中无须管理员参与，完全自动进行 – 恢复流程在后台完成，极大降低对前端应用服务器的影响
 特点
– 用户在使用的过程中随时都可以进行扩容操作 – 扩容过程无需中断应用的正常使用，新增容量即插即用 – 为规划未来存储空间提供了极大的便利 – 节省了用户的一次性投资规模，真正做到按需扩容
19
扩展性：动态在线扩容和容量均衡
 自动平衡：自动跨节点数据平衡
减少成本以及减少复杂性和规模存储风险
 存储集群
– 文件被切片后被分布式的存储在存储节点集群中 – 可靠性：数据集群范围的冗余保护 – 效率：提供高并发数据访问
• 提供GB/s的聚合吞吐量（实际案例中单套TJ集群存储系统提供了高达5GB/s的带宽） • 性能随着存储集群的扩大而增加
14
性能：高效数据读写聚合
NAS Storage
应用节点
我也没 法帮你
我扛不 住了！
瓶颈
控制器
控制器
控制器
LUN1
LUN2
LUNn
存储资源与计算资源难以灵活调度 热点数据、硬件利用率低下的问题
存储发展趋势6
 扩展性差
系统扩展需要规划容量分配、负载分配、定义命名空间、数据迁移，还需要停机 （极少数最高端设备除外），准备失败预案…
 架构复杂
热数据，冷数据，在线存储，近线存储，离线备份，生命周期管理，容灾……