宏杉科技CRAID2.0技术介绍
宏杉科技监控存储技术汇报
(广域监控) •面向共享灾备
7
1
宏杉公司介绍
2
监控的挑战与宏杉存储革新
3
宏杉数据存储概要
视频监控发展趋势
政府：部委-省-地市-县多级联网（平安城 市、警务督察、应急指挥） 大企业：大型央企全国联网（中石化、烟 草总局） 普教联网、电力/税务营业厅广域联网监控
联网
前端采集设备：模拟摄像 机->高清IPC
Intel Jasper处理器 双控制器 最大288GB缓存 最大1016块硬盘 CRAID 0/1/10/5/6 4个主机接口插槽
MS5020/5040
MS2500
低端存储
MS1000
单控制器 最大16GB缓存 最大266块硬盘 CRAID 0/1/10/5/6 支持4个GE 低功耗
快照 MS5000 MS3000 MS1000
复制
镜像
自主可控
高性能硬件架构，高/中/低 端三大系列
IDSM存储中间件
•面向云计算 •面向物联网流媒体应用
IDSM:Intelligent Data Service Management， 智能数据服务管理
ODSP:Open Data Storage Platform，开放式数据存储 平台
监控存储
64KB-1MB，单数据流 的块大小固定 7*24小时均衡访问 数据循环写
说明
稳定的压力 持续的压力 稳定的压力
数据突发
读写比例 读写热点 数据容错度
有数据突发
读居多，数据库读比 例70%，写比例30% 2/8原则，20%的数据 承载80%的访问 数据块不允许丢失
稳定的流量
写居多，写比例95%， 读比例5% 均衡原则，硬盘访问的 机会均等 少量数据块丢失，不会 造成图像不可用
RAID2.0技术优势
目标CKG
有数据的CK 无数据的CK
SmartMotion（2/3）
一个CKG的数据迁移过程
原CKG
改变映射关系
目标CKG
新盘上的CK
原CKG
释放此三个CK
目标CKG
均衡后 原盘1
原盘2
原盘3
新盘
有数据的CK 无数据的CK
SmartMotion（3/3）
存储池中该TIER中所有存储有数据的CKG都均衡完成后，各盘空间利用率变得均匀。
SmartTier SmartThin
SmartMotion SmartVirtualization
虚拟存储资源池
SmartMotion（1/3）
SmartMotion：智能数据迁移，指通过分析业务情况，将数据均衡分布到同类存储介质， 维持容量和性能动态均衡。
原盘1
原盘2
原盘3
新盘
均衡前
原CKG
传统RAID
RAID 2.0+
弹性高效-空间动态分布
RAID 2.0+技术可以实现数据和业务负荷自动均匀分布到存储池所有的物理磁盘上的功能， 借助于Smart系列效率提升套件，存储系统能自动根据业务所需的性能、容量、冷热数据 等需要在后台进行智能调配，灵活地适应企业业务的快速变化。
未分配 但可见
RAID 2.0技术优势
内容提要
RAID 2.0技术优势
RAID 2.0+技术优势
RAID 2.0+通过两层虚拟化管理模式，克服了传统RAID的一些固有缺点，大大提升了存储系统的可 靠性和资源管理的效率。
技术优势 安全可靠
弹性高效
具体体现 自动负载均衡，降低了存储系统整体故障率； 快速精简重构，降低了双盘失效率和数据丢失的风险；
宏杉CRAID3.0技术白皮书-20170401
MacroSAN CRAID3.0 技术白皮书杭州宏杉科技股份有限公司1.概述RAID（Redundant Array of Independent Disks，独立磁盘冗余阵列）技术于1988年美国加州大学伯克利分校的D.A.Patterson 教授等首次在论文“A Case of Redundant Array of Inexpensive Disks”中提出，其基本原理是由多个独立的高性能硬盘驱动器组成的硬盘系统，从而提供比单个硬盘更高的存储性能和数据冗余的技术。
作为一种成熟、可靠的硬盘系统数据保护标准，RAID技术自诞生以来一直作为存储系统的基础技术而存在，但是近年整个社会信息化水平不断提高，数据呈现出爆炸式增长趋势，数据取代计算成为信息计算的中心。
这促使人们对数据愈加重视，不断追求海量存储容量、高性能、高安全性、高可用性、可扩展性、可管理性等等，因此传统RAID 逐渐暴露出越来越多的问题。
为了满足数据增长的需求，硬盘设备制造商不断地提升技术来增加硬盘单位存储密度，如今，高容量硬盘企业和消费市场已经非常普遍。
那么当这些高容量硬盘出现硬盘故障而需要进行数据重构时，传统RAID会有哪些缺点？硬盘故障导致数据丢失时，RAID组通过异或算法，通过校验数据和其他数据盘数据得到丢失的数据的过程为数据重构。
在这里以7.2K RPM 4TB硬盘为例，在传统的RAID5（8D+1P）中，其重构时间在40个小时左右（无流量压力情况下）。
重构的进程会占用系统的资源，导致应用系统整体性能下降，而当用户为了保证应用的及时响应来降低重构的优先级时，重构的时间还将进一步延长。
此外，在漫长的数据重构过程中，繁重的读写操作可能引起RAID组中其他硬盘也出现故障或错误，导致故障概率大幅提升，极大地增加数据丢失的风险。
另一方面，传统RAID受限于硬盘数量，在数据容量剧增的年代无法满足企业对资源统一灵活调配的需求，同时数据重构时影响数据的读写性能，那么怎么来提供数据的读写性能呢？针对传统RAID的以上问题，宏杉科技提出了全新的CRAID技术。
宏杉科技双活存储解决方案介绍
MacroSAN 双活存储解决方案介绍杭州宏杉科技有限公司1. 解决方案概述在信息社会里，数据的重要性已经毋容置疑，作为数据载体的存储阵列，其可靠性更是备受关注。
尤其在一些关键应用中，不仅需要单台存储阵列自身保持高可靠性，往往还需要二台存储阵列组成高可靠的系统。
一旦其中一台存储阵列发生故障，另一台可以无缝接管业务。
这种两台存储都处于运行状态，互为冗余，可相互接管的应用模式一般称之为双活存储。
由于技术上的限制，传统的双活存储方案无法由存储阵列自身直接实现，更多的是通过在服务器上增加卷镜像软件，或者通过增加额外的存储虚拟化引擎来实现。
通过服务器上的卷镜像软件实现的双活存储，实施复杂，对应用业务影响大，而且软件购买成本较高。
通过存储虚拟化引擎实现的双活存储，虽然实施难度有一定降低，但存储虚拟化引擎自身会成为性能、可靠性的瓶颈，而且存在兼容性的限制，初次购买和维护成本也不低。
宏杉科技的对称双活存储（Symmetrical Dual Active Storage，简称SDAS）是一项专门针对双活存储方案的创新技术。
通过宏杉科技对称双活存储技术，可以不需要引入任何第三方软硬件，直接通过两台同档次的MS系列存储阵列实现两台存储的双活工作，互为冗余。
当其中一台存储发生故障时，可由另一台存储实时接管业务，实现RPO、RTO为0。
这是一种简单、高效的新型双活存储技术。
宏杉科技的SDAS技术，不仅支持近距离的双活存储系统，而且支持上百公里甚至更远的远距离双活数据中心。
近距离的双活存储可以采用更加高效的光纤交叉直连的方式进行组网部署，远距离的双活数据中心采用交换机连接方式，再配以仲裁者机制进行组网部署。
宏杉科技的SDAS两套存储之间的链路不仅可以支持10GE以太网，而且在业界率先支持40GE以太网技术。
40GE具有目前以太网应用领域中的最高的传输带宽，可以大大降低同步数据传输时延。
目前宏杉科技的MS3000、MS5500、MS7000存储产品都已经支持对称双活存储技术。
宏杉科技双活存储解决方案
宏杉科技双活存储解决方案随着互联网时代的到来，数据处理和存储需求越来越大。
在以前的存储体系中，单节点存储容量有限，可能只能满足小型企业的需求，对于大型企业来说，单纯增加存储节点无法满足高可用性和可靠性的需求。
因此，宏杉科技在存储领域提出了一个双活存储解决方案，以实现数据存储和处理的高可靠性和高可用性。
双活存储方案的原理宏杉科技双活存储解决方案主要通过将存储节点按照主从方式分为两个节点，两个节点可以同时写入和读取数据。
当其中一个节点故障时，另外一个节点可以直接接替工作，从而实现数据的高可靠性和高可用性。
具体来说，双活存储节点的原理如下：•主节点和从节点都有自己的数据存储系统，当主节点故障时，从节点可以启动并接管主节点的工作，保证数据不会丢失。
•主节点和从节点会定时互相检测心跳，以确保它们之间的连接正常。
•主节点和从节点在写入数据时，都会将数据写入到自己的存储系统中，并且同时将数据同步到另一个节点的存储系统中，从而保证数据一致性。
•系统管理员可以对主节点和从节点进行配置，以保证主节点的工作优先级高于从节点的工作优先级。
双活存储方案的优点相比于传统的单节点存储体系，宏杉科技双活存储方案有以下的优点：•高可用性：由于双活存储方案中存在两个节点，因此当其中一个节点故障时，另一个节点可以立即接替工作，保证业务的连续性和一致性。
•高可靠性：双活存储方案中，两个节点之间会定时进行心跳检测，保证节点之间的网络连接正常。
同时，数据写入和同步的过程中，保证数据的完整性和一致性，使得数据得到了更好的保护。
•高扩展性：在宏杉科技双活存储方案中，管理员可以根据实际需求增加更多的存储节点，来满足企业数据增长的需求。
同时，双活存储方案可以轻松的实现业务迁移和环境扩展。
双活存储方案的应用场景由于宏杉科技双活存储方案具有高可用性、高可靠性和高扩展性的特点，在以下场景中得到了广泛的应用：•电子商务：在电子商务中，订单和交易信息的处理需要高可用性和高可靠性，以确保业务的连续性和数据的安全性。
RAID2.0
1、在RADI2.0+中，把硬盘域内每个硬盘切分为固定64MB的块（CK）,硬盘域内同种类型的硬盘被划分为一个个的Disk Group（DG），从同一个DG上随机选择多个硬盘，每个硬盘选取CK按照RAID算法组成Chunk Group（CKG）,CKG被划分为固定大小的Extent, Thick LUN以Extent为单位映射到LUN, Grain在Extent的基础上进行更细粒度的划分,Thin LUN以Grain 为单位映射到LUN。
（1）Disk Domain（磁盘域），一个硬盘域上可以创建多个存储池（Storage Pool）一个硬盘域的硬盘可以选择SSD、SAS、NL-SAS中的一种或者多种，不同硬盘域之间是完全隔离的，包括故障域、性能和存储资源等。
（2）Storage Pool（存储池）& Tier，一个存储池基于指定的一个硬盘域创建，可以从该硬盘域上动态的分配Chunk（CK）资源，并按照每个存储层级（Tier）的“RAID策略”组成Chunk Group（CKG）向应用提供具有RAID保护的存储资源（3）Disk Group（DG），由硬盘域内相同类型的多个硬盘组成的集合，硬盘类型包括SSD、SAS和NL-SAS三种。
（4）LD（逻辑磁盘），是被存储系统所管理的硬盘，和物理硬盘一一对应。
（5）Chunk（CK），是存储池内的硬盘空间切分成若干固定大小的物理空间，每块物理空间的大小为64MB，是组成RAID的基本单位。
（6）Chunk Group（CKG），是由来自于同一个DG内不同硬盘的CK按照RAID算法组成的逻辑存储单元，是存储池从硬盘域上分配资源的最小单位。
（7）Extent，是在CKG基础上划分的固定大小的逻辑存储空间，大小可调，是热点数据统计和迁移的最小单元（数据迁移粒度），也是存储池中申请空间、释放空间的最小单位。
（8）Grain，在Thin LUN模式下，Extent按照固定大小被进一步划分为更细粒度的块，这些块称之为Grain,Thin LUN以Grain为粒度进行空间分配，Grain内的LBA是连续的。
宏杉科技IDDC与CRAID技术
MacroSAN IDDC与CRAID技术杭州宏杉科技有限公司1. 典型案例某用户配置了16块1TB磁盘做RAID5，承载其在线关键业务。
运行3年后，磁盘开始陆续损坏，发现其重建过程漫长。
在其业务未中断的情况下，完成一次重建所需时间长达5天，这种情况还不是最糟的。
更糟的是，在某次重建过程中，重建进程完成到60%时，重建过程被异常中止，RAID 组fail，整个数据卷损坏，数据丢失。
经检查发现，在重建过程中，该RAID组中的另一块磁盘发生了读错误，导致磁盘failed，被RAID组踢出。
通过这个案例我们可以看出几个问题：1、磁盘属于消耗品，发生老化后，会产生潜在故障盘或假象故障盘；2、故障盘或假象故障盘都将导致RAID组重建；3、大容量磁盘RAID重建时间过长，重建过程风险巨大；4、潜在故障盘将导致RAID重建失败；什么是假象故障磁盘简单的说，假象故障磁盘就是在使用中发生错误告警，但返厂后经检查发现该磁盘没有任何物理损坏，检测为正常的磁盘。
为什么会有假象故障磁盘通常是与设备运行环境有关的，比如磁盘受到外力导致的振动达到一定程度，就会造成磁盘工作失灵，这种失灵往往在消除振动后可以恢复。
●磁头在盘面的水平方面振动，会导致磁头与磁道偏离，磁头与目标磁道位置偏离过大，超过了伺服机构能响应的允许值，此时磁头根本无法定位，造成工作失灵；●磁头在与盘面垂直方向的振动，导致磁盘盘面与磁头距离的变化，磁头和盘片的间隙过大，造成磁头感应到的信号电压不足，磁盘无法读／写；什么是潜在故障磁盘简单的说，潜在故障磁盘就是已经存在损坏扇区，但在设备运行状态中却显示为正常的磁盘。
为什么会有潜在故障磁盘由于磁盘本身属于易耗品，存储设备长期在线运行后，根据业务类型及机房环境不同，磁盘会出现不同程度的老化。
这些老化磁盘中可能会存在不同程度的损坏扇区，而损坏扇区在没有IO读写触发的条件下，通常不会被存储设备感知。
这种未被感知，但又存在一定损坏扇区的磁盘，就是潜在故障磁盘。
MacroSAN MS3000产品介绍
MacroSAN MS3000产品介绍杭州宏杉科技有限公司1. 产品概述MacroSAN MS3000是宏杉科技推出的新一代中端存储产品，其融入了大量先进设计理念和架构技术，为中小型数据中心提供安全可靠、资源弹性部署的存储平台。
在硬件架构上，MS3000采用了包括大容量缓存扩展、PCI-E 2.0、SAS 2.0、SSD 等先进技术，构建高性能的存储平台。
在资源管理上，MS3000采用基于Cell 的虚拟化技术，通过创新的ICMT 管理机制，实现资源的弹性部署。
在可靠性上，MS3000采用双控全冗余模块化设计、可支持四控多活配置，提供丰富的数据保护特性，此外通过创新的CRAID 技术和IDDC 磁盘诊断安全机制，将磁盘故障导致的宕机时间和机率减少80%。
MS3000基于开放式数据存储平台（ODSP ），能够通过接口开放、规格功能定制、行业特性开发移植等方式，将存储系统真正与用户业务系统无缝融合。
按照产品配置的不同，MS3000可分为MS3100、MS3300。
2. 产品特点（一）高性能体系架构在架构设计上，MS3000采用大量业界先进技术，包括大容量缓存扩展、PCI-E 2.0、SAS 2.0、SSD 等，构建高性能的存储平台。
（1）高带宽总线技术PCI-E 2.0技术：在每个控制器的内部，MS3000采用了16个PCI-E 2.0通道。
单个PCI-E2.03.5英寸磁盘扩展柜 2.5英寸磁盘扩展柜 MS3000存储控制器MS3000整机视图通道的带宽为5.0Gb/s，16个PCI-E2.0通道的总带宽达到80Gbps。
MS3000采用多条PCI-E 2.0总线连接前端主机通道、后端磁盘通道及缓存镜像通道，保障整个系统端到端的性能匹配。
SAS 2.0技术：SAS技术近几年在带宽、稳定性、兼容性、效率等方面都已超越FC技术，已经成为存储阵列主流架构。
而SAS 2.0技术的成熟商用，使得SAS的领先优势更为明显。
RAID2.0详解
Volume
Storage
LUN
server
client
RAID 2.0+体系结构架构
存储池（SP）
硬盘域（DD） LUN
Grain 卷（Volume）
Extent
Grain Extent
Zone
CKG CK
Zone
CKG CK
LD SSD
LD SAS
Grain
Extent
Zone
CKG CK
LD SATA/NL -SAS
存储层级层级名称磁盘类型性能价格应用tier0高性能层ssd性能和价格较高适合存放访问频率很高的数据tier1性能层sas性能较高价格适中适合存放访问频率中等的数据tier2容量层nlsassata性能较低价格最低且单盘容量大适合存放大容辑对象存储池?存储池
CKG
Ex tent Ex tent Ex tent Ex tent Ex tent
Grain Grain Grain Grain Grain
LUN （Thin）
软件逻辑对象-Extent与Grain的区别
Grain是更细粒度的Extent。以Extent为基本单位构成的LUN称为传统非精简LUN，以Grain为基本单 位构成的LUN称为精简LUN。
THANKS
逻辑块大小是固定为64MB或256MB。
软件逻辑对象-逻辑块组
逻辑块组：Chunk Group，简称CKG，是指在同一个磁盘组内的不同磁盘划分出来的逻辑 块按照RAID算法组成的逻辑存储单元。
逻辑块组可视为以多个CK为成员盘组成的一个RAID组，是存储池从硬盘域上分配资源的 最小单位。
RAID级别 RAID 1 RAID 10 RAID 3 RAID 5 RAID 50 RAID 6
存储专栏：一句话说清RAID2.0
存储专栏：⼀句话说清RAID2.0今天，西⽠哥来谈谈⾼端存储的⼀股势⼒，RAID 2.0，最近被华为HVS搞得风⽣⽔起，神奇的让⼈摸不着头脑。
我还是从⼀个⾼端存储的江湖说起吧。
据说很久很久以前（别扔臭鸡蛋，讲故事都是这样的…）,L国王有个美丽的D公主(代表数据库DB)，特别喜欢吃西⽠果盘(代表主机看到的LUN)，饭量惊⼈，⼀次可以吃2个。
D公主吃⽔果有⼀个懒习惯，就如泰国⼈⼀样，⽔果都是切成⼩块（Extend）后拼成果盘（LUN)，⽤⽛签吃。
D公主还有⼀个⼩脾⽓，这个果盘如果有⼀⼩块是坏的，就整个果盘扔掉(代表数据丢失)。
L国王特别宠爱D公主，找了EMC/IBM/HDS来做长⼯，专门负责做果盘。
⽠地和宫殿有⼀段距离，他们每天都摘3个西⽠，2个⽤来吃，1个⽤来备份，万⼀那个⽠坏了就补上（代表RAID 5）。
就这样，他们每天⾟苦在宫殿和⽠地奔波，碰到坏⽠还得回去⽠地拿备⽠（重构），⾮常⾟苦。
D公主⼀天天长⼤了，饭量也越来越⼤，⽠也越来越⼤。
但问题来了，每次碰到坏⽠，他们去搬备⽠需要10个⼩时，因为西⽠太沉了，路上⾛不快。
D公主后来受不来了，让L国王把他们撤了，换成了3PAR和HW，3PAR和HW⽐较聪明，他们想，为什么我到宫殿再切⽠呢，我可以每个⽠切成20⼤块（Chunk），找20个⼈搬到宫殿后再切⼩块（Extend）后拼成果盘(LUN)不就可以了吗？到宫殿后如果发现⽠坏了，派⼈回来拿1⼩块换上不就可以了吗？这样需要搬的⽠只有原来的1/20，⽠轻了，路上可以跑，因此就算⽠坏了，半⼩时也就换回来了。
D公主很满意，⽇⼦相安⽆事，直到有⼀天HW加班病倒了，⽽3PAR正好和HP谈恋爱请假了，⽆奈找了个年轻⼈叫XIV做临时监⼯，这家伙⽐较浪费，每次都挑4个⽠，在⽠地全部切成⼩块（Extend)，找⼀群⼩孩直接送给宫殿。
对于D公主当然好了，但每次也只能吃⼀半，另外⼀半就倒掉了，很是可惜。
后来XIV由于长得漂亮，被IBM包养，这是后话。
RAID2.0详解
存储层级 Tier0 Tier1 Tier2
层级名称 高性能层
性能层 容量层
磁盘类型
性能、价格、应用
SSD SAS NL-SAS/SATA
性能和价格较高，适合存放访问频率很高的数据 性能较高，价格适中，适合存放访问频率中等的数据
软件逻辑对象-磁盘组
磁盘组：Disk Group，简称DG，指硬盘域中相同类型磁盘的集合。 一个磁盘组中只包含一种类型的磁盘，主要作用是故障隔离，由存储系统自动完成配置。
SSD
SAS
硬盘 类型
NL-SAS
软件逻辑对象-Chunk
Chunk：简称CK，即逻辑块，是磁盘组中物理磁盘按固定大小切分成的物理空间，它是组 成RAID的基本单位。
传统RAID技术的局限性：
重构时间过长，增加了数据丢失的风险； 无法实现对存储资源统一灵活调配； 一个LUN的读写只能在一个磁盘组进行，如果后面新加入性能较高的介质，其性能也无法得以充分 利用； 以磁盘为单位的数据管理无法有效地保障数据访问性能和存储空间利用率。
RAID 1.5技术（1/2）
RAID 1.5技术，即LUN虚拟化技术，是在传统RAID基础之上将RAID组切分成更细粒度的逻辑 空间，再经过组合构建出主机可访问的逻辑存储单元。
LD SAS
Grain
Extent
Zone
CKG CK
LD SATA/NL -SAS
软件逻辑对象-逻辑磁盘
逻辑磁盘：Logical Drive，简称LD，是被存储系统所管理的磁盘，和物理磁盘相对应。
LD0
LD1
LD2
逻辑磁盘 （LBA寻址）
宏杉科技存储技术交流
在大型企业
在大企业、中央直属企业、军工企业等广泛 部署，包括航天科工集团、中国资源卫星应 用中心、广东银联、成都光明光电、用友集 团、沪东重机、富力地产、云南烟草、红云 红河烟草、云天化集团、韶钢集团、陕西延 长石油、普光油气田等。
9
持续技术创新
ODSP
✓ CRAID2.0 ✓ HotCache ✓ SDAS（Sym Dual
➢ 基于ODSP平台下的MS7000高端多控制器技术， 可靠性更高。
MS3000
镜像 生产卷 数据中心B
18
灾备解决方案
一对一模式
主站点
备站点
两地三中心模式
站点A
站点B
站点C
多对一模式
WAN
站点1
中心 站点
… 站点2
站点n
云灾备服务运营
IDSM智能数据管理平台
19
大数据解决方案
MC系列
高性能计算集群存储
Active System）
✓ MPR（Multi Point
Replication）
✓ ......
产品
✓ 双交换矩阵：MS7000高端存储 ✓ 高端架构中端化：MS5000/3000四控 ✓ 大数据存储：MP系列/MC系列 ✓ ……
解决 方案
✓ 双活数据中心 ✓ 两地三中心 ✓ 多点/云灾备 ✓ ……
6
在电力能源
同时入围国家电网信息化技术支持项目、 调度支持项目系统采购，累计部署48台中 端存储 ，包括江苏电力、浙江电力、黑龙 江电力、吉林电力、福建电力、北京电力、 天津电力、中国电科院等单位。
7
在卫生医疗
在各级医院、卫生机构广泛部署，包括数十家三 甲医院，如北京朝阳医院、郑州人民医院、郑州 颐和医院、河南职工医院、洛阳妇幼医院、山大 二院、石家庄中医院、吉大口腔医院、北大深圳 医院、昆明军区总医院、云南第二人民医院、暨 南大学附属第一医院、武警广东省总队医院等。
_CRAID技术 介绍
市场与技术 服务40%
研发51%
公司研发人员超过51%，在杭 州、深圳设有研发中心
在全国各省/自治区/直辖市设有营销服务 分支机构，三级专业技术服务团队更贴 近用户需求。
2
持续增长和不断创新
单位:万元
20000 15000 10000
5000 0
2011
2012
2013
• 持续技术创新，发布业界领先 的高端存储MS7000，升级支持 CRAID2.0特性，发明对称双活 数据中心技术、推出分布式云 存储等业界领先解决方案。
CRAID技术介绍
宏杉科技（深圳办） 王田华
宏杉科技简介
杭州宏杉科技有限公司（MacroSAN Technologies Co.,Ltd.）成立于 2010年5月，总部位于杭州，是具有自主知识产权，掌握业界存储最新核心技
术，从事全系列存储产品的研发、生产、销售、服务的高科技企业。
其他2%
供应链管理 与生产7%
数据盘1
数据盘2 数据盘3
CRAID5
热备盘
CRAID优化重建
仅重建被LUN使用的Cell，未使用的Cell丌重建，如下图，仅重建Cell1、2、3、 4，Cell5、6丌需重建；
重建调度时，优先重建存在介质错误的Cell，然后再使用拷贝的方式重建其他 Cell，以尽可能的避免该Cell所处的其它磁盘发生故障导致的Cell损坏。
区别于传统RAID先踢盘再重建的方式，CRAID的快速重建可只重建错误磁盘上的损坏数据块，未发生错误的区域直接使用拷贝方式将数据块 复制到热备盘，重建完成后，再将错误磁盘转移至IDDC磁盘诊断中心处理，该方式可明显降低重建过程对RAID组性能造成的影响。
传统RAID组重建时，最消耗性能和时间的原因是需要调用所有磁盘进行异戒校验。快速重建由于将全盘校验改成了按Cell校验+磁盘复制， 其校验任务只有传统全盘重建的几百分一戒千分之一，校验时间几乎可以忽略丌记，而磁盘复制的速度可以达到磁盘读写的最大值。以1TB的 SATA磁盘为例，在15块盘的RAID中，全盘重建时间约30小时，而快速重建的时间差最快可以达到6小时。
RAID2.0技术优势
系统自动完成 Extent
用户设置
Dom
LUN
CKG
Extent Grain
弹性高效-LUN灵活组织
传统RAID技术受到磁盘数的限制，性能相对较差且难以扩展。
RAID2.0+技术支持由几十甚至上百块磁盘组成一个大的存储资源池。LUN不再受限于RAID组磁盘数 量，单个LUN上的数据可以分布到相同类型或不同类型的磁盘上，性能和容量上都得到了大幅提升。
SmartTier SmartThin
SmartMotion SmartVirtualization
虚拟存储资源池
SmartMotion（1/3）
SmartMotion：智能数据迁移，指通过分析业务情况，将数据均衡分布到同类存储介质， 维持容量和性能动态均衡。
原盘1
原盘2
原盘3
新盘
均衡前
原CKG
目标CKG
有数据的CK 无数据的CK
SmartMotion（2/3）
一个CKG的数据迁移过程
原CKG
改变映射关系
目标CKG
新盘上的CK
原CKG
释放此三个CK
目标CKG
均衡后 原盘1
原盘2
原盘3
新盘
有数据的CK 无数据的CK
SmartMotion（3/3）
存储池中该TIER中所有存储有数据的CKG都均衡完成后，各盘空间利用率变得均匀。
传统RAID
RAID 2.0+
弹性高效-空间动态分布
RAID 2.0+技术可以实现数据和业务负荷自动均匀分布到存储池所有的物理磁盘上的功能， 借助于Smart系列效率提升套件，存储系统能自动根据业务所需的性能、容量、冷热数据 等需要在后台进行智能调配，灵活地适应企业业务的快速变化。
(完整版)RAID2.0
1、在RADI2.0+中，把硬盘域内每个硬盘切分为固定64MB的块（CK）,硬盘域内同种类型的硬盘被划分为一个个的Disk Group（DG），从同一个DG上随机选择多个硬盘，每个硬盘选取CK按照RAID算法组成Chunk Group（CKG）,CKG被划分为固定大小的Extent, Thick LUN以Extent为单位映射到LUN, Grain在Extent的基础上进行更细粒度的划分,Thin LUN以Grain 为单位映射到LUN。
（1）Disk Domain（磁盘域），一个硬盘域上可以创建多个存储池（Storage Pool）一个硬盘域的硬盘可以选择SSD、SAS、NL-SAS中的一种或者多种，不同硬盘域之间是完全隔离的，包括故障域、性能和存储资源等。
（2）Storage Pool（存储池）& Tier，一个存储池基于指定的一个硬盘域创建，可以从该硬盘域上动态的分配Chunk（CK）资源，并按照每个存储层级（Tier）的“RAID策略”组成Chunk Group（CKG）向应用提供具有RAID保护的存储资源（3）Disk Group（DG），由硬盘域内相同类型的多个硬盘组成的集合，硬盘类型包括SSD、SAS和NL-SAS三种。
（4）LD（逻辑磁盘），是被存储系统所管理的硬盘，和物理硬盘一一对应。
（5）Chunk（CK），是存储池内的硬盘空间切分成若干固定大小的物理空间，每块物理空间的大小为64MB，是组成RAID的基本单位。
（6）Chunk Group（CKG），是由来自于同一个DG内不同硬盘的CK按照RAID算法组成的逻辑存储单元，是存储池从硬盘域上分配资源的最小单位。
（7）Extent，是在CKG基础上划分的固定大小的逻辑存储空间，大小可调，是热点数据统计和迁移的最小单元（数据迁移粒度），也是存储池中申请空间、释放空间的最小单位。
（8）Grain，在Thin LUN模式下，Extent按照固定大小被进一步划分为更细粒度的块，这些块称之为Grain,Thin LUN以Grain为粒度进行空间分配，Grain内的LBA是连续的。
RAID 2.0+
什么是RAID 2.0+？随着各行业数字化进程的推进，数据逐渐成为企业单位的运营核心，而企业级存储是一个复杂的系统，数量最多且最脆弱的组件就是硬盘。
在传统RAID技术环境中，存储系统一般会有多个RAID组，每个RAID组中包含多块硬盘。
由于每个RAID组的业务繁忙程度不同，导致硬盘的工作负载不均衡，热点盘的故障率会增高。
甚至可能会出现多个硬盘故障，造成存储系统性能下降、业务中断。
传统RAID组的重构，应用系统整体性能下降，漫长重构时间、数据丢失风险剧增。
在传统RAID技术环境中，硬盘发生故障后，系统会启动热备盘，根据RAID策略进行数据重构。
当更换故障硬盘后，需要将热备盘中的数据拷贝到新的硬盘中；此过程需要较长的时间，导致坏盘数据恢复速度慢。
以7.2K RPM 4TB硬盘为例，在传统的RAID 5（8D+1P）中，其重构时间在40个小时左右，可靠性风险很大。
在这种大背景下，华为公司在传统RAID技术的基础上创新开发出了RAID 2.0+的新技术，它可以克服传统RAID的缺点，使存储系统实现：负载均衡、性能提升、以及快速的数据恢复。
●∙数据在存储池中硬盘上的自动均衡分布，避免了硬盘的冷热不均，从而降低了存储系统整体的故障率。
●∙数据在存储池中硬盘上的自动均衡分布，更多的硬盘参与了读写请求，从而大大提高系统整体的读写速度。
●∙在硬盘出现故障的情况，存储池内所有来源硬盘参与重构，从而实现快速重构，RAID 2.0+的重构速度是传统RAID的20倍！你需要了解的RAID 2.0+主要概念：●∙∙硬盘域：由存储阵列中多个硬盘组成，硬盘可选择SSD（高性能层）、SAS（性能层）或者NL-SAS（容量层）中的一种或者多种。
●∙∙Chunk（CK）：硬盘空间会被划分成若干小块的物理空间；CK的大小为64M。
●∙∙存储池：由来自一种或者多种存储介质上的多个CKG组成。
●∙∙Chunk Group（CKG）：在存储池中，CK按照RAID策略组合成CKG。
宏杉存储平台ODSP升级 存储更安全高效
宏杉存储平台ODSP升级存储更安全高效
无
【期刊名称】《网络安全和信息化》
【年(卷),期】2018(0)7
【摘要】宏杉科技开放数据存储平台（ODSP）进行了全新升级，带来了大量的
新特性。
其中安全、效率方面的诸多特性给用户带来了更好的数据体验。
IDDC2．0技术实现了磁盘预检测中心、磁盘诊断中心、智能磁盘预警中心三大功能。
其中，智能磁盘预警中心引入AI技术，通过筛查指纹、复位指纹、慢盘指纹、寿命指纹对隐患盘进行预警排查，把隐患硬盘消灭在萌芽中。
【总页数】1页(P21-21)
【作者】无
【作者单位】不详
【正文语种】中文
【中图分类】TP333
【相关文献】
1.省级数字信息资源存储平台升级与管理 [J], 郑崇民;方延风
2.打造高效可靠存储平台 [J], 刘洋;
3."存"好才能用好--浪潮存储助力北航网络中心构建高效存储平台 [J],
4."存"好才能用好--浪潮存储助力北航网络中心构建高效存储平台 [J], 朱薇薇
5.青云企业核心存储平台全新升级 [J], ;
因版权原因，仅展示原文概要，查看原文内容请购买。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
MacroSAN CRAID技术
一、应用背景
近年来，单块磁盘的容量呈倍数增长的趋势，从过去几百GB到现在主流的3TB、4TB，再到更高的6TB磁盘。
据统计，存储系统故障90%以上是磁盘引起，而磁盘中88%是由于逻辑故障引起，12%是磁盘完全物理故障。
大容量磁盘在带来较高的性价比的同时，也使得磁盘数据的安全问题愈加突显，在这其中最突出的就是磁盘重建和多磁盘同时出现故障问题。
（原图需修改）
1、磁盘重建：传统RAID方式，一块磁盘出现问题，热备盘会进行替换，然后进行数据重建。
以最常用RAID5组为例，一块2TB磁盘在没有数据写入情况下，重建需要20个小时，在有数据写入的情况下，数据重建时间可能需要一周。
在数据重建期间，不仅存储设备性能和可靠性会大幅度下降，这个RAID5组中只要再出现一块磁盘损坏，整个RAID5组的数据都会丢失。
2、多磁盘同时物理故障：传统RAID方式，RAID5/6的磁盘利用率较高，但数据丢失风险较大，RAID5只允许坏1块磁盘，RAID6只允许同时坏2块磁盘；相对之下，RAID1/10等安全性较高，但空间使用率只有一半，并且同为镜像的两块磁盘一旦同时出现物理故障，数据同样丢失。
如何解决磁盘所引起的众多问题，是当前存储行业和客户最关注的点之一。
二、RAID革新技术－CRAID
CRAID1.0技术是在传统技术上的革新，将磁盘细分为数千甚至数万个小单元进行单独管理（也即是Cell）。
在每个单元内发生的故障和问题，采用单元替换、屏蔽故障单元方式进行处理，避免对整个磁盘进行数据重建。
即便在特殊情况下，被迫将进行全盘数据重建时，CRAID1.0技术也会将健康单元数据提前克隆到新磁盘中，只对个别真正故障单元数据进行校验计算重建，很大程度提高故障磁盘的重建时间，极大地避免多块磁盘连续发生故障导致的数据丢失。
CRAID2.0技术是在CRAID1.0技术基础上，打破了传统RAID技术瓶颈，采用全新算法和三重数据校验机制，在保证数据安全、磁盘空间使用率和性能的前提下，可允许同一个磁盘组中任意三块磁盘出现整盘物理故障，数据不丢失，在更换新磁盘后，可实现三块盘同时进行重建。
（原图需修改）
三、CRAID应用
1．创新的CRAID技术，提供更可靠的数据安全机制和提高整机性能
CRAID技术综合传统RAID技术优势，以Cell为单位进行磁盘空间优化和健康状态维护，在数据安全、整机性能和空间利用率方面都有了明显提高，主要体验下如下几点：
允许任意三块盘故障：CRAID2.0技术在成熟的CRAID1.0技术基础上，不再拘泥于传统，采用
全新的算法和三重数据校验机制，提供更高的数据安全机制，允许在同一个磁盘组中任意三块磁盘出现整盘物理故障，数据不丢失，业务不中断，继续为前端应用提供支持。
在更换三块新磁盘后，支持并行重建。
空间利用率高：CRAID2.0采用N+M模式，用户可自由选择校验盘数量，保证数据安全性，同时提高了磁盘组空间利用率。
而不是传统RAID1/10等，浪费大量空间，还无法保证任意两块或三块磁盘全盘物理故障的数据安全。
即使RAID5/6保证了空间利用率，但无法提供非常可靠的数据安全机制。
快速重建：只重建磁盘上的损坏数据块，未发生错误的区域直接使用拷贝方式将数据块复制到热备盘，重建完成后，再将错误磁盘转移至IDDC磁盘诊断中心处理，相比于传统RAID机制，可明显降低重建过程对RAID组性能造成的影响。
局部重建：不采用热备盘顶替，只对原盘发生变化的部分进行重建，适用于磁盘未损坏，但发生过闪断或人为误操作造成的短暂磁盘失效，如磁盘在短时间内被拔出又插回，可重建5分钟内磁盘不在位时所变化的数据，重建时间短，相比于传统RAID机制，极大降低RAID组性能受影响程度。
优化重建：仅重建被LUN使用的Cell，未使用的Cell不重建。
重建调度时，优先重建存在介质错误的Cell，然后再使用拷贝的方式重建其他Cell，以尽可能的避免该Cell所处的其它磁盘发生故障导致的Cell损坏。
支持多重重建，可同时重建多个故障磁盘，提高重建总体效率。
2．基于Cell的同步优化，提高同步效率
按LUN同步：只需同步选中的LUN中的Cell即可完成同步，余下的Cell可在创建其它LUN时再做同步。
该方法可大幅缩短同步时间，对于随机读写要求高，又急需使用的环境，该方法较为有效。
快速同步（全零同步）：校验RAID组在初始同步时会计算每个条带的校验值，做过校验的条带会大大提高小数据的随机写的性能, 采用所有数据块写0的方式进行同步，相比常规同步方式，可提高同步速度约50%，但需同步完成后才可用。
适用于随机写要求较高，又不急需使用的环境。
不同步：根据用户的业务类型，也可以选择不做同步，RAID立即可用，在写入时再进行数据同步。
对于大文件的顺序写基本不受影响，随机写性能低于同步之后的性能。
适用于随机读写操IO少，但又急需使用的环境。
在线同步（校验同步）：RAID立即可用，后台进行数据同步，同步完成前，对性能影响较大，同步完成后，随机写较快。
适用于随机写性能会逐步增长的业务环境。
四、用户价值
1、CRAID2.0技术，同一个RAID组内允许任意三块磁盘同时故障数据不丢失，同时可容忍所有磁盘发生介质错误数据不丢失，大大提高了数据安全，RAID失效率降低80%。
2、磁盘重建时间仅为传统重建时间的15-20%，并可保障三块磁盘短时间同时不在位的数据安全。
3、优化的同步技术，可大幅缩短同步时间，提高同步效率并提升RAID组性能。