MSPE-全闪存产品介绍V1.5
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
基本单元 ✓1个UPS ✓2个控制器 ✓1个磁盘框
9
关于全闪存阵列的不同设计思路（IBM）
关键字： 特殊设计的硬件， 追求极致性能，如4模块>200万4K随机IOPS 低于<200μs的延迟 基本没有高级特性 借助SVC等实现高级特性
10
全闪存阵列的不同设计思路（华为）
关键字： 采用传统双控存储硬件 不横向扩展、只纵向扩展 宣传最大IOPS 60万，延迟0.5毫秒 功能特性丰富
4.16ms+9ms
固态硬盘的随机读写性能是传统磁盘的数百倍，延迟只有传统磁盘的一百至数百分之一！
4
闪存性能举例
45万IOPS
1536块传统硬盘
过去需要1536块硬盘完成的任务，在今天的全闪存上只需要20块硬盘！
5
闪存的显著缺点 – 擦写寿命与写放大
擦写寿命：
SLC：典型擦写寿命10万次 MLC：典型擦写寿命1万次 eMLC：典型擦写1.5~3万次 注：当然根据制程不同，又略有区别
……………
瓶颈
纵向继续扩展
SSD架构
前端总线 CPU CPU
后端总线
前端总线 CPU CPU
后端总线
传统SAS架构： 采用24Gb SAS2.0或4Gb FC连续； 每个硬盘柜2条链路上行，2条链路向后端纵 向扩展；
48Gb SAS3.0
X8 硬盘柜
SAS SAS SAS SAS SAS SAS SAS SAS SAS SAS
11
宏杉全闪存阵列的设计思路
闪存的性能完全不同，因此，
全闪存阵列
需要完全不同的硬件架构！
闪存特性完全不同，因此，
全闪存阵列
需要完全不同的软件处理方式！
12
ຫໍສະໝຸດ Baidu
硬件架构优化 横向扩展设计 引擎处理能力设计 硬盘通道设计 软件架构优化 全局磨损平衡
写入优化 性能与功能的平衡
MS7000AF横向扩展硬件架构
……………
不纵向扩展
宏杉SSD架构： 采用48Gb SAS3.0连接； 每个硬盘柜8条链路上行，不纵向扩展； 每个硬盘柜25盘，每6个SSD独享2条48Gb SAS3.0通道
全新设计的硬盘通道，确保吞吐性能，是传统存储的4倍以上
15
全局磨损平衡
基于Cell的RAID3.0 AF技术 16
全局磨损平衡：
DWPD(Disk Write Per Day) (全盘磁盘写/每天)
7
基于闪存的三种阵列
传统阵列：常见形态
传统阵列+少量SSD盘，SSD盘用作二级缓存，提升性能。二级缓存以读居多。
混合阵列：常见形态
闪存+机械硬盘混合的阵列，闪存、机械硬盘都用于存放数据。数据可在闪存及机械硬
盘之间进行迁移。 全闪存阵列：未来的方向
SSD SSD SSD SSD SSD
SSD SSD SSD SSD SSD
SSD SSD SSD SSD SSD
SSD SSD SSD SSD SSD
14
硬盘通道设计
传统SAS架构
前端总线 CPU CPU
后端总线
前端总线 CPU CPU
后端总线
24Gb SAS2.0/4Gb FC
瓶颈
X2
硬盘柜
SAS SAS SAS SAS SAS SAS SAS SAS SAS SAS
只采用闪存用作存储介质的阵列。
闪存的性能完全不同，
全闪存阵列需要完全不同的硬件架构！
闪存的特性完全不同，
全闪存阵列需要完全不同的软件处理方式！
8
关于全闪存阵列的不同设计思路（EMC）
关键字： 横向扩展节点（不是最强的） 0.5ms的延迟（不是最强的） 采用XDP与重删，提高利用率 采用eMLC降低成本 注重性能与功能的平衡
13
横向扩展：通过控制矩阵，可横向扩展至
8个控制引擎（PCIE3.0或40Gb/100Gb低 延迟以太网）；
纵向扩展：多个独立的384Gb通道扩展6个硬
盘框（SAS3.0）；
单引擎处理能力
主机通道
10核 20线程
10核 20线程
1.5TB高速缓存
10核 20线程
10核 20线程
硬盘通道
SSD SSD SSD SSD SSD
写入放大：
SSD是以1 page（如4K）写入，而擦除则是 以block（128*4K）为最小单位。 当发生数据更改时，需要先擦除，而擦除 block就需要将其中有效的page移动并写入到 其他位置，于是就发生了写放大问题。
6
闪存的典型寿命举例
SATA接口的耐磨度和最大容量：
➢ Intel 3710：10DWPD，Max 1.2TB 高可靠领域：10*1.2=12TB/天 ➢ Intel 3610：3DWPD，Max 1.6TB 典型的全闪存阵列配盘 ➢ Intel 3510：0.3DWPD，Max 1.6TB 传统阵列中的二级读缓存 ➢ 三星SM863： 3.6DWPD，Max 1.92TB ➢ 三星PM863： 0.8DWPD，Max 3.84TB
CRAID3.0将硬盘分块并 打散到所有硬盘，实现全 局硬盘磨损平衡；
写入优化
重写软件代码，减少数据回读，满条带刷盘， RAID5写入放大控制在1.6倍左右；
同等业务条件下，采用RAID10可以更有效减少 回读，提升IO效率。
实际测试 MS7000AF配置1个SSU配置25块盘
➢4组6块盘RAID10/1块全局热备盘
控制矩阵（8引擎扩展）
主机通道
10核 20线程
10核 20线程
1.5TB高速缓存
10核 20线程
10核 20线程
硬盘通道
SSD SSD SSD SSD SSD
SSD SSD SSD SSD SSD
SSD SSD SSD SSD SSD
SSD SSD SSD SSD SSD
SSD SSD SSD SSD SSD
专业存储领域领导品牌
全闪存阵列的设计与实测
1
目录 1 全闪存阵列设计 2 典型应用场景与实测案例
2
什么是闪存？
磁存储方式、机械臂
电存储方式、芯片
闪存的出现：去除在线存储系统内唯一的机械部件
3
闪存的显著优点 – 性能高
固态硬盘 Intel
DC S3610 400GB
SAS15K 希捷
ST300MP0005
SAS10K 希捷
ST1200MM0088
SAS7.2K 希捷
ST4000NM0033
4K随机IOPS 顺序读MB/s
平均延迟
8.4w(读) 2.5w(写)
550(读) 400(写)
55μs(R) 66μs(W)
~180
~155
~76
160~233
108~215
175
2ms+3.5ms
2.9ms+3.5ms
性能
➢延时低于1ms，混合IOPs（70%读+30%写， 8KB全随机）30万（1个SSU）
9
关于全闪存阵列的不同设计思路（IBM）
关键字： 特殊设计的硬件， 追求极致性能，如4模块>200万4K随机IOPS 低于<200μs的延迟 基本没有高级特性 借助SVC等实现高级特性
10
全闪存阵列的不同设计思路（华为）
关键字： 采用传统双控存储硬件 不横向扩展、只纵向扩展 宣传最大IOPS 60万，延迟0.5毫秒 功能特性丰富
4.16ms+9ms
固态硬盘的随机读写性能是传统磁盘的数百倍，延迟只有传统磁盘的一百至数百分之一！
4
闪存性能举例
45万IOPS
1536块传统硬盘
过去需要1536块硬盘完成的任务，在今天的全闪存上只需要20块硬盘！
5
闪存的显著缺点 – 擦写寿命与写放大
擦写寿命：
SLC：典型擦写寿命10万次 MLC：典型擦写寿命1万次 eMLC：典型擦写1.5~3万次 注：当然根据制程不同，又略有区别
……………
瓶颈
纵向继续扩展
SSD架构
前端总线 CPU CPU
后端总线
前端总线 CPU CPU
后端总线
传统SAS架构： 采用24Gb SAS2.0或4Gb FC连续； 每个硬盘柜2条链路上行，2条链路向后端纵 向扩展；
48Gb SAS3.0
X8 硬盘柜
SAS SAS SAS SAS SAS SAS SAS SAS SAS SAS
11
宏杉全闪存阵列的设计思路
闪存的性能完全不同，因此，
全闪存阵列
需要完全不同的硬件架构！
闪存特性完全不同，因此，
全闪存阵列
需要完全不同的软件处理方式！
12
ຫໍສະໝຸດ Baidu
硬件架构优化 横向扩展设计 引擎处理能力设计 硬盘通道设计 软件架构优化 全局磨损平衡
写入优化 性能与功能的平衡
MS7000AF横向扩展硬件架构
……………
不纵向扩展
宏杉SSD架构： 采用48Gb SAS3.0连接； 每个硬盘柜8条链路上行，不纵向扩展； 每个硬盘柜25盘，每6个SSD独享2条48Gb SAS3.0通道
全新设计的硬盘通道，确保吞吐性能，是传统存储的4倍以上
15
全局磨损平衡
基于Cell的RAID3.0 AF技术 16
全局磨损平衡：
DWPD(Disk Write Per Day) (全盘磁盘写/每天)
7
基于闪存的三种阵列
传统阵列：常见形态
传统阵列+少量SSD盘，SSD盘用作二级缓存，提升性能。二级缓存以读居多。
混合阵列：常见形态
闪存+机械硬盘混合的阵列，闪存、机械硬盘都用于存放数据。数据可在闪存及机械硬
盘之间进行迁移。 全闪存阵列：未来的方向
SSD SSD SSD SSD SSD
SSD SSD SSD SSD SSD
SSD SSD SSD SSD SSD
SSD SSD SSD SSD SSD
14
硬盘通道设计
传统SAS架构
前端总线 CPU CPU
后端总线
前端总线 CPU CPU
后端总线
24Gb SAS2.0/4Gb FC
瓶颈
X2
硬盘柜
SAS SAS SAS SAS SAS SAS SAS SAS SAS SAS
只采用闪存用作存储介质的阵列。
闪存的性能完全不同，
全闪存阵列需要完全不同的硬件架构！
闪存的特性完全不同，
全闪存阵列需要完全不同的软件处理方式！
8
关于全闪存阵列的不同设计思路（EMC）
关键字： 横向扩展节点（不是最强的） 0.5ms的延迟（不是最强的） 采用XDP与重删，提高利用率 采用eMLC降低成本 注重性能与功能的平衡
13
横向扩展：通过控制矩阵，可横向扩展至
8个控制引擎（PCIE3.0或40Gb/100Gb低 延迟以太网）；
纵向扩展：多个独立的384Gb通道扩展6个硬
盘框（SAS3.0）；
单引擎处理能力
主机通道
10核 20线程
10核 20线程
1.5TB高速缓存
10核 20线程
10核 20线程
硬盘通道
SSD SSD SSD SSD SSD
写入放大：
SSD是以1 page（如4K）写入，而擦除则是 以block（128*4K）为最小单位。 当发生数据更改时，需要先擦除，而擦除 block就需要将其中有效的page移动并写入到 其他位置，于是就发生了写放大问题。
6
闪存的典型寿命举例
SATA接口的耐磨度和最大容量：
➢ Intel 3710：10DWPD，Max 1.2TB 高可靠领域：10*1.2=12TB/天 ➢ Intel 3610：3DWPD，Max 1.6TB 典型的全闪存阵列配盘 ➢ Intel 3510：0.3DWPD，Max 1.6TB 传统阵列中的二级读缓存 ➢ 三星SM863： 3.6DWPD，Max 1.92TB ➢ 三星PM863： 0.8DWPD，Max 3.84TB
CRAID3.0将硬盘分块并 打散到所有硬盘，实现全 局硬盘磨损平衡；
写入优化
重写软件代码，减少数据回读，满条带刷盘， RAID5写入放大控制在1.6倍左右；
同等业务条件下，采用RAID10可以更有效减少 回读，提升IO效率。
实际测试 MS7000AF配置1个SSU配置25块盘
➢4组6块盘RAID10/1块全局热备盘
控制矩阵（8引擎扩展）
主机通道
10核 20线程
10核 20线程
1.5TB高速缓存
10核 20线程
10核 20线程
硬盘通道
SSD SSD SSD SSD SSD
SSD SSD SSD SSD SSD
SSD SSD SSD SSD SSD
SSD SSD SSD SSD SSD
SSD SSD SSD SSD SSD
专业存储领域领导品牌
全闪存阵列的设计与实测
1
目录 1 全闪存阵列设计 2 典型应用场景与实测案例
2
什么是闪存？
磁存储方式、机械臂
电存储方式、芯片
闪存的出现：去除在线存储系统内唯一的机械部件
3
闪存的显著优点 – 性能高
固态硬盘 Intel
DC S3610 400GB
SAS15K 希捷
ST300MP0005
SAS10K 希捷
ST1200MM0088
SAS7.2K 希捷
ST4000NM0033
4K随机IOPS 顺序读MB/s
平均延迟
8.4w(读) 2.5w(写)
550(读) 400(写)
55μs(R) 66μs(W)
~180
~155
~76
160~233
108~215
175
2ms+3.5ms
2.9ms+3.5ms
性能
➢延时低于1ms，混合IOPs（70%读+30%写， 8KB全随机）30万（1个SSU）