DCS3700高性能计算存储解决方案
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
工作站
6
DCS3700借助GPFS构建模块化横向扩展HPC存储 池
至2PB，读写带宽高达134GB/s
GPFS – IBM 的高度可扩展和高性能文件管理系统，单文件系统可扩展
将 GPFS 集群文件系统软件与 高密度高性能的DCS3700 相结合，能够
创建出高度可扩展的高密度文件存储系统。
灵活架构提供”构建模块/building-blocks"配置 DCS3700+GPFS
一个构建模块 配置 2 台 GPFS x3650 服务 器 3 DCS3700 容量： 原始 可用 流速度： 写入 读取 IOP 速度（4K 传输） 写入 读取 7 360TB 262TB 多至 4.8 GB/s 多至 5.5 GB/s 3,600 IOP/s 6,000 IOP/s 两个构建模块 4 台 GPFS x3650 服务 器 6 DCS3700 720TB 524TB 多至 9.6 GB/s 多至 11.0 GB/s 7,200 IOP/s 12,000 IOP/s
选择DCS3700的理由
► ►
高性能，高性价比，易维护 高密度盘柜。在4U的空间内放置60块磁 盘。比普通存储节省1/2到2/3的机房空 间。
IBM Corporation
9
2014-11-3
采用GPFS与DCS3700构建HPC存储池的优势
超高性能
高带宽输出, DCS3700单台可支持4000MB/s，GPFS 可支持134GB/s读写带宽 可动态近线性向上增长 在4U单一系统中提供高达180 TB的裸容量
统一构建横向可扩展高性能HPC存储池
5
IBM GPFS与DCS3700 HPC存储池解决方案
管理网络 计算网路 IB/万兆
管理节点 (高可用性）
4 or 8Gb/s SAN
DCS3700后端统一SAN存储池
IO节点 GPFS文件系统
SAN网络
DCS3700
管 理 网 络
计算节点
计算网络
IB/万兆网 用户局域网
方案构成一：IBM GPFS并行文件系统
何谓并行文件系统
– 支持并行I/O操作
– 数据物理上分布在多个存储上
– 提供单一的名称空间视图，实 现文件访问的位置独立性 – 向应用提供数据访问接口 – 减少磁盘接口和网络带宽造成 的瓶颈，优化I/O资源的使用
GPFS并行文件系统的优势
► ► ►
高可用性。无单点，多访问路径 高的不匹配日益突出
► 构建一个按需扩展的高性能计算后端存储不能仅仅依赖于硬件
高性能与大容量支持
► 尽量减少非计算工作消耗的时间，如数据写入与读取时间 ► 某些行业如生物，能源的高性能计算应用会产生数十TB至数百TB级别数据，
节能
► 减少机房空间占地 ► 长期保存数据考虑引入绿色的磁带，低功耗大容量，减少磁盘转轴 ► 能耗管理和优化技术
3
常见的高性能计算中心 – 分散独立的存储系统
计算 集群2
计算 集群1 I/O节点
计算 集群4
I/O节点
I/O节点
磁盘系统
磁盘系统
磁盘系统
通常都是以项目为单位进行建设
4
理想的高性能计算统一存储池
计算 节点 集群
计算 节点 集群
计算 节点 集群
存储系统 - 统一路径 - 并行读写 - 模块扩展 - 集成管理
IBM China Platform Storage Solution
IBM DCS3700 高性能计算存储解决方案
© 2011 IBM Corporation
高性能解决方案构成
目标市场 工业部门 -- 汽车，航空航天与国防，化工和石油，电子，金融服务，政府，科研院 所，高等教育和生命科学领域的高性能计算/科技计算和分析工作负载。 服务器+存储设备 HPC 整体方案
– 丰富的信息管理功能，如ILM等 – 海量的容量和性能扩展能力 – 安装、配置管理简单
8
2014-11-3
IBM Corporation
方案构成二：DCS3700高性能高密度存储
DCS3700
– 高密度磁盘柜，单柜60块磁盘
– 单台最多三个柜子，180块磁盘 合540TB裸容量。
– 支持6Gb SAS和8Gb FC接口 – 支持RAID 0/1/3/5/6/10保护
+
交换机
集群软件
+
应用软件
=
OS:Linux/Windo ws Blade HS22
xCAT
GPFS C/Fortran Loadlevler/LSF
高性能计算系统后端存储现状与挑战
随着多核处理器的发展，建造一个具备较大计算能力的高性能计算系统已经变
成一件比较容易的事情
但是，存储系统的基础元件：磁盘--仍然没有本质的改变，其性能和计算能力
高容量密度
动态伸缩
GPFS提供统一命名空间 可不中断业务的添加IO服务器节点与后端DCS3700
高可靠性
高可靠性GPFS设计、DCS3700存储设计
可管理维护
提供统一管理工具对HPC存储池进行管理
10
10
谢谢！
11
2011
6
DCS3700借助GPFS构建模块化横向扩展HPC存储 池
至2PB，读写带宽高达134GB/s
GPFS – IBM 的高度可扩展和高性能文件管理系统，单文件系统可扩展
将 GPFS 集群文件系统软件与 高密度高性能的DCS3700 相结合，能够
创建出高度可扩展的高密度文件存储系统。
灵活架构提供”构建模块/building-blocks"配置 DCS3700+GPFS
一个构建模块 配置 2 台 GPFS x3650 服务 器 3 DCS3700 容量： 原始 可用 流速度： 写入 读取 IOP 速度（4K 传输） 写入 读取 7 360TB 262TB 多至 4.8 GB/s 多至 5.5 GB/s 3,600 IOP/s 6,000 IOP/s 两个构建模块 4 台 GPFS x3650 服务 器 6 DCS3700 720TB 524TB 多至 9.6 GB/s 多至 11.0 GB/s 7,200 IOP/s 12,000 IOP/s
选择DCS3700的理由
► ►
高性能，高性价比，易维护 高密度盘柜。在4U的空间内放置60块磁 盘。比普通存储节省1/2到2/3的机房空 间。
IBM Corporation
9
2014-11-3
采用GPFS与DCS3700构建HPC存储池的优势
超高性能
高带宽输出, DCS3700单台可支持4000MB/s，GPFS 可支持134GB/s读写带宽 可动态近线性向上增长 在4U单一系统中提供高达180 TB的裸容量
统一构建横向可扩展高性能HPC存储池
5
IBM GPFS与DCS3700 HPC存储池解决方案
管理网络 计算网路 IB/万兆
管理节点 (高可用性）
4 or 8Gb/s SAN
DCS3700后端统一SAN存储池
IO节点 GPFS文件系统
SAN网络
DCS3700
管 理 网 络
计算节点
计算网络
IB/万兆网 用户局域网
方案构成一：IBM GPFS并行文件系统
何谓并行文件系统
– 支持并行I/O操作
– 数据物理上分布在多个存储上
– 提供单一的名称空间视图，实 现文件访问的位置独立性 – 向应用提供数据访问接口 – 减少磁盘接口和网络带宽造成 的瓶颈，优化I/O资源的使用
GPFS并行文件系统的优势
► ► ►
高可用性。无单点，多访问路径 高的不匹配日益突出
► 构建一个按需扩展的高性能计算后端存储不能仅仅依赖于硬件
高性能与大容量支持
► 尽量减少非计算工作消耗的时间，如数据写入与读取时间 ► 某些行业如生物，能源的高性能计算应用会产生数十TB至数百TB级别数据，
节能
► 减少机房空间占地 ► 长期保存数据考虑引入绿色的磁带，低功耗大容量，减少磁盘转轴 ► 能耗管理和优化技术
3
常见的高性能计算中心 – 分散独立的存储系统
计算 集群2
计算 集群1 I/O节点
计算 集群4
I/O节点
I/O节点
磁盘系统
磁盘系统
磁盘系统
通常都是以项目为单位进行建设
4
理想的高性能计算统一存储池
计算 节点 集群
计算 节点 集群
计算 节点 集群
存储系统 - 统一路径 - 并行读写 - 模块扩展 - 集成管理
IBM China Platform Storage Solution
IBM DCS3700 高性能计算存储解决方案
© 2011 IBM Corporation
高性能解决方案构成
目标市场 工业部门 -- 汽车，航空航天与国防，化工和石油，电子，金融服务，政府，科研院 所，高等教育和生命科学领域的高性能计算/科技计算和分析工作负载。 服务器+存储设备 HPC 整体方案
– 丰富的信息管理功能，如ILM等 – 海量的容量和性能扩展能力 – 安装、配置管理简单
8
2014-11-3
IBM Corporation
方案构成二：DCS3700高性能高密度存储
DCS3700
– 高密度磁盘柜，单柜60块磁盘
– 单台最多三个柜子，180块磁盘 合540TB裸容量。
– 支持6Gb SAS和8Gb FC接口 – 支持RAID 0/1/3/5/6/10保护
+
交换机
集群软件
+
应用软件
=
OS:Linux/Windo ws Blade HS22
xCAT
GPFS C/Fortran Loadlevler/LSF
高性能计算系统后端存储现状与挑战
随着多核处理器的发展，建造一个具备较大计算能力的高性能计算系统已经变
成一件比较容易的事情
但是，存储系统的基础元件：磁盘--仍然没有本质的改变，其性能和计算能力
高容量密度
动态伸缩
GPFS提供统一命名空间 可不中断业务的添加IO服务器节点与后端DCS3700
高可靠性
高可靠性GPFS设计、DCS3700存储设计
可管理维护
提供统一管理工具对HPC存储池进行管理
10
10
谢谢！
11
2011