OceanStor存储系统技术架构介绍
OceanStor Dorado全闪存存储系统介绍
USB口(预留) 2个SAS级联口/控
电源模块 1+1冗余 转换效率高达94% 支持100~240V交流,-48V/-60直流
板载Smart IO(16G/8G FC、10GE、FCoE)
管理口和双活仲裁口复用,节省一个双活仲裁GE卡接口槽位
华为OceanStor
Dorado全闪存存储系统介绍
技术创新,变革未来
目
录
1 2 3 4
产品概述与定位
产品亮点介绍
订购指南
成功案例
企业存储全面闪存化
全面闪存化
全闪存 new 混合闪存
OceanStor Dorado
极致性能&高OPEX节省的 SAN闪存
OceanStor F V5
支持SAN/NAS一体化, 高规格的融合全闪存存储
Dorado6000 V3
2/4/8*/16* 512GB/1TB/2TB 56
基本 规格
支持存储协议 前端接口类型 后端接口类型 最大SSD盘数(双控) SSD盘类型 效率提升软件
软件 特性
数据保护软件 主机软件 存储管理软件
*如有*标注需求,请联络华为销售
Dorado6000 产品形态
BBU模块 2+1冗余(剩余位置用BBU假模块填充) 支持直流/交流电源掉电保护
接口模块 16个接口模块,接口模块支持热插拔 接口类型丰富:12Gb SAS、Smart IO(16G/8G FC、10GE、FCoE)、 56Gb IB、8Gb FC、10GE电口 Scale-Out PCIe接口模块只能放置在A3、B3槽位。
OceanStor融合存储系统产品方案介绍
… 服务器
向云架构转型
服务器 网络 存储
云化IT系统
服务器 网络 存储 服务器 网络 存储
服务器
网络 存储
网络
存储
业务部署复杂:烟囱模式建设,新业务上线慢 数据交互困难:业务类型多样,数据难以互通共享 运维成本高 :设备类型多,计算和存储资源利用率低
开放:屏蔽IT系统硬件差异,多类型业务轻松部署 共享:计算和存储资源池化,根据不同业务需求 灵活分配,数据可自由流动 简单:多厂商设备统一管理
高端存储产品
细分高端市场竞争力
S5800T 192G
S6800T 192G/384G
5800 V3 128G/256G
中高端,128-256G缓存成为 中高端的标志, S5800T/S6800T V2 竞争力强劲
S5600T 24G/48G S5800T 96G
5600 V3 64G/128G
增加5600 V3/5800 V3将提升全面 中高端的覆盖和竞争力,5600 V3 必要时可以下探到中端完善 S5800T V2的竞争力
宽通道
业界最新的16G FC,12G SAS,PCIE 3.0
虚拟化整合
块级虚拟化、异构、计算虚 拟化支持 7
规格竞争力
容量大、缓存高、接口数多
OceanStor V3系列存储系统规格
产品名称 5300 V3
2U盘控一体 500 8
5500 V3
2U盘控一体 750 8★ 48GB / 96GB/128GB
5600 V3
3U独立机头 1000 8★
5800 V3
3U独立机头 1250 8★
6800V3
6U独立机头 3200 8★
硬件规格 控制框形态 支持磁盘数 最大控制器数
华为OceanStor保险行业的存储架构设计实践
华为 OceanStor 保险行业的存储架构设计实践目录华为 OceanStor 保险行业的存储架构设计实践 (1)1 引言 (4)1.1 背景 (4)1.2 编写目的 (4)1.3 面向读者 (5)2 华为OceanStor技术与产品 (5)2.1 OceanStor F V5 产品介绍 (5)2.2 OceanStor UltraPath 多路径软件 (6)3 存储架构设计方案 (6)3.1 存储架构建设原则 (6)3.2 存储建设目标 (7)3.3 存储项目设备命名规范 (7)3.3.1 存储设备命名规范 (7)3.3.2 SAN网络设备命名规范 (8)3.3.3 SAN网络配置命名规范 (8)4 存储SAN网络设计 (9)4.1 SAN网络设计原则 (9)4.2 华为Oceanstor 18500与SAN交换机连线原则 (10)4.3 华为OceanStor 18500逻辑设计原则 (11)4.4 Host设计原则 (16)4.4.1 AIX主机设计原则 (17)4.4.2 VIOS主机设计原则 (17)4.4.3 VMware主机设计原则 (17)4.4.4 Windows主机设计原则 (18)4.4.5 HPUX主机设计原则 (19)4.5 参考案例 (19)5 存储配置 (20)5.1 硬盘域 (20)5.2 存储池 (21)5.3多租户 (22)5.4 LUN (23)5.5 映射视图 (24)6 总结 (25)【导读】本文介绍了国内某大型保险企业由于业务访问量的增长,对存储的稳定性、扩展性、兼容性、高性能等要求提高,在此背景下,基于华为 OceanStor 系列存储系统的存储架构设计和组网方式以及一些常用的规范标准。
希望可以为同行们提供实践参考,提升运维效率,最大限度的提高存储利用率,获取最高投资回报率。
1 引言1.1 背景以目前我公司保险企业IT架构来说,为配合日益增长的业务访问量带来的存储压力,优化应用对应的存储架构,需要更换现有的高端生产存储,除了可以满足日常的业务需求以外,还可以支撑每年的双十一、双十二带来的业务高峰,可以承载3.5GB/s以上的带宽流量和30000IOPS以上的并发请求。
OceanStor混合闪存存储系统介绍
云计算
稳定性和性能的诉求永无止境
社交
移动
大数据
金融
运营商
心稳定性和性能 需持续提升以适应未来云架构
44 ZB预计2020年数据量
目 录
企业对IT系统的关键诉求
OceanStor V5,全新一代混合闪存系统
应用实践
1
23
华为OceanStor V5,全新一代融合闪存存储
CORE
协议解析
I/O读写
数据刷盘
专用
CORE
数据交换通道
Cache
Cache自适应算法智能识别workload业务特征,提供与匹配的Cache 预取、淘汰机制,Cache命中率提升100%,确保业 务快速处理
IO智能调度数据读写I/O永远第一优先级响应,其他I/O等数 据读写I/O完成后再重新启动,保障数据读写I/O 时延最低
多数据中心的融合
多数据中心的融合,伴随数据中心平滑演进
DC
双活DC1
3DC
DC
DC1
DC2
DC
业务不动,保护级别平滑升级
64:1集中灾备DC DC1
DC2
DC
DC
DC
…
多数据中心的融合
多数据中心融合,为用户提供多种级别的业务连续性保障从双活平滑升级到3DC,提供两地三中心最高级别的业务连续性从复制平滑升级到3DC,提供数据三重保险,保证数据永不丢失从3DC平滑升级到到多个DC,提供数据集中容灾与保障
HyperMetro多数据中心融合免网关一体化双活双活平滑升级到3DC
9
业界最全的闪存产品
5PB
15PB
45PB
25PB 35PB
0
All Flash Arrays
OceanStor9000存储系统技术白皮书
OceanStor 9000 V5华为OceanStor 9000 V5 横向扩展文件存储,采用全对称分布式架构,以其卓越性能、大规模横向扩展能力和超大单一文件系统为用户提供非结构化数据共享资源存储,能够应用于广电媒体、卫星测绘、基因测序、能源勘探、科研教育、视频监控、归档备份等多种业务应用及存储资源共享领域。
全对称分布式架构并行读写,性能领先⏹高性能的读写访问:单节点带宽最高可达2.8 GB/s,单盘性能业界领先⏹网络加速:支持10GE、25GE、40GE等多种组网形态,支持RDMA模式传输及TOE卸载,提高系统传输性能⏹线性增长:系统性能随节点增加线性增长,最高可达700GB/s带宽容量性能线性扩展,规模最大的单一文件系统⏹单一文件系统:140PB级存储容量,降低系统管理和维护的复杂度,并消除多个命名空间带来的数据孤岛⏹超强扩展:3节点到288节点的平滑扩展,容量、性能随节点增加而线性增长⏹数据均匀分布:Share-nothing全对称分布式架构,系统的数据和元数据均匀分布在各个节点上,消除单独的元数据节点访问瓶颈⏹超高利用率:高可靠性的同时,硬盘利用率最高可达95%开放融合,承载多种应用⏹多种接口:支持NFS,CIFS,NDMP,FTP,HDFS等多种接口,一个系统承载多业务应用,实现数据的全生命周期管理⏹多种节点类型:支持多种节点类型,支持不同应用承载⏹管理融合:实现对IT设备统一管理,提供分析报表,简化管理复杂度,提升运营效率全方位可视化,简化资源管理⏹可靠性灵活配置:支持基于目录的冗余配比策略,提供不同的数据保护级别⏹自动统计和分析:自动化的性能统计及分析,辅助合理利用资源⏹自动部署:软件平台自动化部署和配置,“一键式”快速扩容,单节点扩容60秒之内完成⏹权限管理:提供针对IP地址或用户/用户组的访问权限控制,创建安全、隔离的存储池Info系列软件,智能存储管理InfoEqualizer,客户端连接负载均衡⏹跨节点的客户端连接负载均衡,自动平衡容量和性能,优化集群资源⏹智能统一管理,支持节点故障切换(failover)和故障恢复(failback)⏹基于DNS域名的负载均衡技术,支持多种负载均衡策略配置InfoTier,动态分级存储⏹不同节点间动态分级存储,热点数据智能迁移,让不同性价比的存储发挥最大效益,降低TCO⏹支持多种数据迁移策略和优先级设置,无缝适应业务需求及变更InfoAllocator,空间配额管理⏹在目录、用户、用户组的级别对存储进行精简资源调配,满足不同客户所需⏹支持配额项的多层嵌套关系管理,为客户提供易用,弹性灵活的空间访问InfoProtector,高可靠数据保护⏹应用Erasure Code专利技术实现N+M数据保护–InfoProtector,业界最高水平的数据可靠性和可用性保护机制,可支持4个节点同时故障的数据保护⏹系统能够自动重构,多节点并行重构数据,重构速度高达2TB/小时InfoStamper,快照功能⏹目录级别快照,快速数据恢复⏹支持手动快照、定时快照(以天/周/月为粒度)InfoLocker,WORM功能⏹保护数据免遭意外、恶意更改和删除⏹支持设置WORM时钟,设置保护期InfoReplicator,异步远程复制⏹减少系统恢复时间,应用于灾难恢复,数据备份或远距离数据迁移⏹支持不同目录1:N复制,N:1复制InfoRevive视频监控图像修复功能硬盘故障损坏不影响视频流畅度,只对实际丢失数据进行空置处理技术规格。
OceanStor 2600存储系统平台介绍
传统存储
HDD存储系统
SSD存储系统
OceanStor V3
HDD
SSD
为大容量低成本选择传统磁盘存储?还是 为高性能选择全固态存储?难以抉择!
HDD池 SSD池
集成传统存储和全固态存储双重优势,性能与容 量需求一套即可满足
最简单的管理平台
移动管理 数据恢复管理 第三方集成
端到端可视化管理 一套界面,所有管理 一分钟上手,三分钟熟练
两步完成容量扩展,15秒 五步完成基本配置,40秒
存储配置时间减少50%
目录
1
企业IT系统的趋势与挑战
2
面向云架构的融合存储系统
3
成功案例
为国家审计署“金审工程”保驾护航
客户痛点
把分布在全国各处的18个特派办的数据集中 进行异地灾备
助力湖南地税税务改革
客户痛点
30个复杂的业务系统并存,并需要进行异地保护
数据增长快,希望能满足未来五年业务增长需要
解决方案
采用同城容灾方案保障客户业务数据安全 华为高端存储具备7PB容量扩展能力,满足客户
长期规划 华为高端存储业界性能第一,轻松承载用户30个
业务系统
优化国家电网D5000智能调度系统
客户痛点
保障电网安全稳定、正常运行和对电力用户安全可 靠供电
保证SCADA系统数据的高效、安全和稳定
解决方案
华为企业统一存储以100,000 IOPS性能,很好的支 撑网调、省调数据库的应用需求
通过SSD加速的方式平滑增强性能,保护现有投资
OceanStor V3系列存储助力企业进入云时代
各业务司局的业务数据主要为结构化数据, 要求可靠性高,性能好
OceanStor 2000系列存储产品方案介绍
OceanStor5000F系列全闪存存储技术白皮书
OceanStor5000F系列全闪存存储技术白皮书华为OceanStor 5000F 系列全闪存存储系统技术白皮书华为OceanStor 5000F V5 系列全闪存存储系统技术白皮书目录目录1摘要 (1)2简介 (2)2.1产品系列 (2)2.2客户价值 (3)3系统架构 (5)3.1硬件架构 (5)3.1.1多控Scale-out. (5)3.1.2硬件全冗余 (6)3.1.3门卫式数据加密(国内适用) (7)3.1.4SED 数据加密(国外适用) (7)3.1.5华为自研SSD (8)3.2软件架构 (8)3.2.1块级虚拟化 (9)3.2.2SAN/NAS 一体化 (12)3.2.3负载均衡 (12)3.2.4数据缓存 (13)3.2.5端到端数据完整性保护 (14)3.2.6丰富软件特性 (14)3.2.7面向闪存的系统优化 (14)4精简高效Smart 特性系列 (19)4.1异构虚拟化(SmartVirtualiztaion) (19)4.2数据迁移(SmartMigration) (20)4.3数据重删压缩(SmartDedupe&SmartCompression) (22) 4.4智能精简配置(SmartThin) (25)4.5智能服务质量控制(SmartQoS) (25)4.6智能缓存分区(SmartPartition) (27)4.7多租户(SmartMulti-Tenant) (29)4.8智能配额(SmartQuota) (30)4.9智能数据迅移(SmartMotion) (31)5数据保护Hyper 特性系列 (32)5.1快照(HyperSnap) (32)华为OceanStor 5000F V5 系列全闪存存储系统技术白皮书目录5.1.1LUN 快照(HyperSnap For Block) (32) 5.1.2FS 快照(HyperSnap For File) (33)5.2克隆(HyperClone) (35)5.2.1LUN 克隆(HyperClone For Block) (35)5.2.2FS 克隆(HyperClone For File) (37)5.3远程复制(HyperReplication) (38)5.3.1LUN 同步远程复制(HyperReplication/S For Block) (39) 5.3.2LUN 异步远程复制(HyperReplication/A For Block) (41) 5.3.3FS 异步远程复制(HyperReplication/A For File) (42) 5.4阵列双活(HyperMetro) (44)5.4.1阵列双活(HyperMetro For Block) (44)5.4.2阵列双活(HyperMetro For File) (46)5.5一体化备份(HyperVault) (48)5.6LUN 拷贝(HyperCopy) (48)5.7卷镜像(HyperMirror) (50)5.8WORM(HyperLock) (52)5.9两地三中心(3DC) (54)6最佳实践 (56)A 附录 (57)A.1更多参考信息 (57)A.2如何反馈意见 (57)A.3缩略语表 (58)技术白皮书 1 摘要1摘要华为OceanStor 5000F V5系列全闪存存储系统(以下简称OceanStor F V5中端存储系统)是面向企业级应用的新一代统一存储产品。
OceanStor5500V3存储设备简介
USB口 每控提供1个USB口
(预留)
串口 配置网口 管理网口
接口模块 每控提供2个接口模块槽位 接口模块支持热插拔 接口类型丰富:16G b FC、12Gb SAS、GE、10GE TOE、
10GE FCoE、8Gb FC
THANKS
OceanStor 5500 V3 存储设备简介
内容提要
OceanStor 5300 V3/5500 V3前视图 OceanStor 5300 V3/5500 V3后视图
OceanStor 5300 V3/5500 V3 产品形态
体系架构 采用最新的盘古硬件平台 5300 V3/5500 V3:盘控一体(2U盘控一体) Active-Active 冗余双控制器
5300 V3/5600 V3 控制框组件
5300 V3/5500 V3前视图介绍(1)
1
保险箱盘标识
2Leabharlann 硬盘模块拉手3硬盘模块卡扣
4
整机标签
5
控制框ID显示器
6
电源指示灯/电源开关按
钮
5300 V3/5500 V3前视图介绍(2)
1
硬盘模块
2
保险箱盘标识
3
整机标签
4
控制框ID显示器
5
电源指示灯/电源开关按 6
5300 V3/5500 V3 硬件系统架构
A控接口模块
控制模块A
disk0 disk1
12V
电源/BBU/风扇模块 0
……
Service channel
业
B控接口模块
务 子
系
统
控制模块B
硬
盘
子
系
disk23 disk24
华为 OceanStor V3融合存储NAS介绍
HyperReplication
远程复制
5
HyperLock
文件系统WORM
HyperVault
一体化备份
V3文件系统原理-一体化统一存储软件架构
OR
NAS File Service (CIFS/NFS) File Semantics System Control Object SAN Block Service (FC/iSCSI) LUN Semantics Volume Cache
备份端存储中的副本进行恢复
12
NAS防病毒
•防病毒是一种保护用户数据安全的技术,可以实时监控、防范病毒、扫 描病毒并清除病毒,维护用户计算机资源的安全。
使用外置防病毒服务器; 主要用于SMB协议;
两种扫描触发方式:
(1)定时扫描:可通过管理界面或CLI设 置病毒扫描任务及执行时间( OnDemandScanning)
NFS
网络文件系统
NDMP
网络数据管理协议
SmartThin
自动精简配置
SmartQos
智能服务质量控制
SmartPartition
智能缓存分区
SmartCache
智能SSD缓存
SmartDedupe
智能数据重删
SmartCompression
智能压缩
SmartQuota
配额管理
HyperSnap
快照功能
4. NDMP 2-Way组网: 带库通过FC/iSCSI与 阵列直连,数据无需 通过LAN网络,性能 更高
1. 本地快照:支持 更多的快照和更好 的性能
工作NAS
磁带库
5. NDMP 3-Way组网: 多台NAS可以共享磁带库, 但数据需要通过备份服务 器,占用LAN网络带宽
OceanStor全闪存存储系统技术白皮书
华为OceanStor 5300F, 5500F, 5600F, 5800F, 6800F, 18000F V5 全闪存存储系统技术白皮书目录1闪存的演进及挑战 (1)1.1SSD 的产生与优势 (1)1.2SSD 的架构与现状 (2)1.3当前SSD 在企业级存储阵列使用中存在的问题 (3)1.3.1针对HDD 设计的存储阵列软件无法发挥SSD 的性能优势 (3)1.3.2针对HDD 设计的存储阵列软件无法保证SSD 的可靠性 (5)1.4 华为对SSD 在存储产品中应用的构想 (6)2华为OceanStor F V5 全闪存存储系统 (7)3OceanStor F V5 全闪存存储技术原理 (8)3.1华为在闪存领域的技术储备 (8)3.2面对未来全闪存数据中心的存储架构设计 (9)3.2.1华为SSD (9)3.2.2全新的Smartmatix2.0 架构 (10)3.2.2.1SAS 3.0 后端全互连 (10)3.2.2.2缓存持续镜像 (11)3.2.34S 弹性扩展 (12)3.2.4华为针对SSD 优化的RAID2.0 技术 (13)3.2.4.1数据动态负载均衡 (14)3.2.4.2快速精简重构,改善双盘失效率 (15)3.3 深度优化的全闪存阵列 (15)3.3.1 优化IO 流程降低存储阵列的处理时延 (15)3.4针对闪存架构的增值业务优化 (20)3.4.1服务质量分级(QoS) (20)3.4.2虚拟机优化,提升华为全闪存存储效率 (21)4OceanStor F V5 丰富的企业级特性 (23)5平滑的迁移到OceanStor F V5 全闪存阵列 (24)5.1老存储性能优化迁移(SmartMigration) (24)5.1.1LUN 迁移 (24)5.2异构迁移 (26)5.2.1存储异构虚拟化 (26)5.2.2从异构存储在线迁移到华为OceanStor F V5 全闪存存储系统 (27)6缩略语表 (29)1 闪存的演进及挑战1.1 SSD 的产生与优势计算、网络、存储是现代IT 系统的基本组成单元。
华为OceanStor 9000 Data Sheet(详版)
华为技术有限公司
OceanStor 9000
华为OceanStor 9000是面向大数据的存储系统,采用全 对称分布式架构,以其业界领先的卓越性能、大规模横 向扩展能力和超大单一文件系统为用户提供非结构化数 据和结构化共享资源存储,能够应用于广电媒体、卫星 测绘、基因测序、能源勘探、科研教育、视频监控等多 种大数据业务应用及存储资源共享领域的需求。
载,提高系统传输性能 ■■内 部 高 速 互 联 : 系 统 组 网 冗 余 , 全 I P 互 联 , 支 持 1 0 G E
Ethernet、GE Ethernet或Infiniband网络互联 ■■全局缓存:最大可支持55TB全局缓存,提高数据访问命
中率
容量性能线性扩展,规模最大的单一文件系统 ■■单一文件系统:容量高达60PB,降低系统管理和维护的
不构成任何要约或承诺。华为可能不经通知修改上述信息,恕不另行通知。
复杂度,并消除多个命名空间带来的数据孤岛 ■■超强扩展:3节点到288节点的平滑扩展,容量、性能随
节点增加而线性增长
■■数据均匀分布:Share-nothing全对称分布式架构,系统的 数据和元数据均匀分布在各个节点上,消除单独的元数 据节点访问瓶颈
■■超 高 利 用 率 : 高 可 靠 性 的 同 时 , 硬 盘 利 用 率 最 高 可 达 95%
系统管理
物理特性 电源 尺寸 (高×宽×深) 节点重量 典型功耗 工作环境温度 工作湿度
节点 机柜
Insight node
全对称分布式架构 3~32节点 2×Intel E5系列 标配96GB,可扩展至192GB 支持2.5寸600GB SAS硬盘 标配25×2.5" 600GB SAS或无硬盘 1GE Ethernet 或10GE Ethernet 10GE Ethernet 非结构化和半结构化数据分析场景
OceanStor Dorado全闪存储系统技术白皮书-D
华为OceanStor Dorado 全闪存存储系统技术白皮书华为OceanStor Dorado V3 全闪存存储系统品技术白皮书(中国区企业版本) 目录目录1摘要 (1)2简介 (2)2.1产品系列 (2)2.2客户价值 (3)3系统架构 (5)3.1相关概念 (5)3.1.1控制框 (5)3.1.2控制器 (6)3.1.3硬盘框 (7)3.1.4硬盘域 (7)3.1.5存储池 (9)3.1.6RAID 技术 (10)3.2硬件架构 (14)3.2.1设备形态 (15)3.2.2自研HSSD (16)3.2.2.1盘内磨损均衡 (17)3.2.2.2坏块管理 (17)3.2.2.3数据冗余保护 (17)3.2.2.3.1后台巡检 (18)3.2.2.3.2支持SAS 和NVMe 协议 (18)3.2.3自研芯片 (19)3.2.4硬件扩展能力 (20)3.2.5硬件架构特征 (24)3.3软件架构 (24)3.3.1FlashLink (26)3.3.1.1冷热数据分流 (27)3.3.1.2端到端IO 优先级 (27)3.3.1.3ROW 满分条写 (28)3.3.1.4全局垃圾回收 (29)3.3.1.5全局磨损均衡/反磨损均衡 (29)3.3.2读缓存 (31)3.3.3IO 流程 (31)3.3.3.1写流程 (31)3.3.3.2读流程 (33)3.3.4丰富软件特性 (34)3.3.5软件架构特征 (35)4精简高效Smart 系列特性 (36)4.1在线重删(SmartDedupe) (36)4.2在线压缩(SmartCompression) (37)4.3智能精简配置(SmartThin) (39)4.4智能服务质量控制(SmartQoS) (39)4.5异构虚拟化(SmartVirtualization) (41)4.6智能数据迁移(SmartMigration) (42)4.7多租户(SmartMulti-Tenant for File) (44)4.8智能配额(SmartQuota for File) (46)5数据保护Hyper 特性 (48)5.1快照(HyperSnap) (48)5.1.1LUN 快照(HyperSnap For Block) (48)5.1.2FS 快照(HyperSnap For File) (51)5.2HyperCDP (52)5.3HyperCopy (54)5.4克隆(HyperClone) (57)5.4.1LUN 克隆(HyperClone For Block) (57)5.4.2FS 克隆(HyperClone For File) (59)5.5远程复制(HyperReplication) (61)5.5.1LUN 同步远程复制(HyperReplication/S For Block) (61)5.5.2LUN 异步远程复制(HyperReplication/A For Block) (64)5.5.3FS 异步远程复制(HyperReplication/A For File) (66)5.6阵列双活(HyperMetro) (68)5.6.1LUN 双活(HyperMetro For Block) (68)5.6.2FS 双活(HyperMetro For File) (69)5.7两地三中心(3DC) (72)5.8一体化备份(HyperVault for File) (72)5.9WORM(HyperLock for File) (73)6云灾备Cloud 特性 (76)6.1云复制(CloudReplication) (76)6.2云备份(CloudBackup) (77)7系统安全和数据加密 (80)7.1系统数据加密(Data Encryption) (80)7.2基于角色的访问控制管理 (81)8系统管理及兼容性 (82)8.1系统管理 (82)8.1.1Device Manager (82)8.1.2CLI (82)8.1.3Call Home 服务 (82)8.1.4Restful API (83)8.1.5SNMP (83)8.1.6SMI-S (83)8.1.7配套工具 (83)8.2生态集成及兼容性 (83)8.2.1VVol(Virtual Volumes) (83)8.2.2OpenStack 集成 (84)8.2.3虚拟机环境插件 (84)8.2.4主机兼容性 (84)9最佳实践 (85)10更多参考信息 (86)11如何反馈意见 (87)12缩略语 (88)1 摘要华为公司OceanStor Dorado V3 是面向企业关键业务打造的全闪存存储系统,采用专为闪存设计的FlashLink® 技术,实现0.5ms 稳定低时延;免网关双活技术,为客户提供端到端双活数据中心解决方案,并可平滑升级到两地三中心容灾方案,实现方案级99.9999%的可靠性;在线重删和压缩技术,提供更多的客户可用容量,减少TCO。
OceanStor6800高端混合闪存存储技术白皮书
华为OceanStor 6800 V5 高端混合闪存存储系统技术白皮书华为技术有限公司目录1摘要 (1)2简介 (2)2.1产品系列 (2)2.2客户价值 (3)3系统架构 (5)3.1硬件架构 (5)3.1.1后端全互连 (5)3.1.2硬件全冗余 (7)3.1.3门卫式数据加密(国内适用) (8)3.1.4SED 数据加密(国外适用) (8)3.2软件架构 (9)3.2.1块级虚拟化 (10)3.2.2SAN/NAS 一体化 (13)3.2.3负载均衡 (13)3.2.4数据缓存 (14)3.2.5端到端数据完整性保护 (15)3.2.6丰富软件特性 (15)3.2.7面向闪存的系统优化 (15)4精简高效Smart 特性系列 (17)4.1异构虚拟化(SmartVirtualiztaion) (17)4.2数据迁移(SmartMigration) (19)4.3数据重删压缩(SmartDedupe&SmartCompression) (20)4.4智能数据分级(SmartTier) (23)4.4.1块数据分级(SmartTier for Block) (23)4.4.2文件数据分级(SmartTier for File) (24)4.5智能精简配置(SmartThin) (25)4.6智能服务质量控制(SmartQoS) (25)4.7智能缓存分区(SmartPartition) (27)4.8SSD 智能缓存(SmartCache) (29)4.9LUN 销毁(SmartErase) (29)4.10多租户(SmartMulti-Tenant) (30)4.11智能配额(SmartQuota) (31)4.12智能数据迅移(SmartMotion) (32)5数据保护Hyper 特性系列 (33)5.1快照(HyperSnap) (33)5.1.1LUN 快照(HyperSnap For Block) (33)5.1.2FS 快照(HyperSnap For File) (34)5.2克隆(HyperClone) (36)5.2.1LUN 克隆(HyperClone For Block) (36)5.2.2FS 克隆(HyperClone For File) (38)5.3远程复制(HyperReplication) (39)5.3.1LUN 同步远程复制(HyperReplication/S For Block) (40)5.3.2LUN 异步远程复制(HyperReplication/A For Block) (42)5.3.3FS 异步远程复制(HyperReplication/A For File) (43)5.4阵列双活(HyperMetro) (45)5.4.1阵列双活(HyperMetro For Block) (45)5.4.2阵列双活(HyperMetro For File) (47)5.5一体化备份(HyperVault) (49)5.6LUN 拷贝(HyperCopy) (49)5.7卷镜像(HyperMirror) (51)5.8WORM(HyperLock) (53)5.9两地三中心(3DC) (55)6最佳实践 (57)A 附录 (58)A.1更多参考信息 (58)A.2如何反馈意见 (58)A.3缩略语表 (59)1摘要华为OceanStor 6800 V5高端混合闪存存储系统(以下简称OceanStor 6800 V5高端存储系统)是面向企业级应用的新一代统一存储产品。
OceanStor 9000存储产品方案介绍
①主机E向Node C的客户端发出数据读请求
②Node C的客户端向分布式锁服务器申请 分条资源读锁
LOCK
CPU
CPU
3.返回数据在Node A缓存中
CPU Memory storage
Node C
③系统检查所读数据的缓存是否在全局缓存 中以及缓存在哪个节点上,左图显示该文件 分条资源在Node A节点上的缓存中 ④ Node C从Node A节点上的全局缓存中 获数据并返回(如果不在全局缓存中,则直 接从各个节点上读取该分条数据的所有条带 数据后构造出分条数据后再返回)
Social Network
Business Intelligence
传统NAS
NFS CIFS FTP
HDFS API OceanStor 9000
S3
Swift
keystone
全分布式架构,高可靠数据保护
N+1~N+4的数据保护,
最大允许4块硬盘/节点故障
磁盘利用率最高达95%
+1
+3
+2
P36
C72
4U,3.5寸盘,36盘位 面向高清编辑,新闻制作,高端HPC
4U,3.5寸盘,72盘位 面向近线存储,视频监控
OceanStor 9000整体视图一
P25
前视图 后视图 2U 25盘(2.5寸数据盘)设备 标配:双路Intel IvyBridge CPU,48G内存, 2GB NVDIMM, 1*400GB SSD+24*900GB/1.2TB SAS盘
• 无需人工干预,无需更改配置
• 负载过程对应用透明
node
192.168.0.20 192.168.0.21
Oceanstor-V3融合存储IP-Scale-out特性介绍
证了低的CPU占用。
page6
IP Scale-out特点
• scale-out旨在实现一种硬盘的容量可以按需扩展的网络存储架构。如 果当给定的节点硬盘容量达到存储上限时,可以通过添加新的节点 以扩展系统容量,新增的节点和原有节点通过交换技术相连,以用 户视角来看,整个存储系统仍然是一个单一的系统。同时,scale-out 技术依靠多个控制器之间进行负载平衡及容错处理等功能来提高系 统的处理能力和可靠度。
扩展更多的控制器来满足用户数据增长的需求。
page5
IP Scale-out特点
通过IP Scale-out方式进行扩容有以下特点: • 每个通信平面为两条互为冗余的通道。 • 支持组件与通道冗余,确保各组件与通道独立完成故障检测、修复和隔
离,确保系统稳定运行。 • 采用IP互联可以为以后集群的扩展预留空间,更适合将来的集群弹性扩
page28
谢谢
page29
page15
系统组网-3U设备槽位分布
page16
系统组网-3U-直连
page17
目录
1.IPScale一out特性介绍 2.IPScale一out的组网 3.IPScale一out技术原理介绍 4.安装部署
page18
RDMA是什么?
RDMA一RemoteDirectMemoryAccess
page25
部署
采用TOOLKIT工具向 导式引导进行集群部 署。
page26
总结
1.IPScale一out特性介绍 2.IPScale一out的组网 3.IPScale一out技术原理介绍 4.安装部署
华为OceanStor存储系统体系架构介绍
华为OceanStor存储系统体系架构介绍华为OceanStor存储系统体系架构介绍⽬录第1章OceanStor系列存储简介 (1)1.1产品定位 (1)1.2 产品特点 (1)第2章OceanStor存储硬件架构 (2)2.1引擎 (2)2.1.1控制器 (2)2.1.2风扇模块 (2)2.1.3 BBU模块 (3)2.1.4电源模块 (3)2.1.5管理模块 (3)2.1.6接⼝模块 (3)2.2硬盘框 (4)2.2.1风扇模块 (4)2.2.2电源模块 (4)2.2.3级联模块 (4)2.2.4硬盘模块 (4)2.3数据交换机 (5)2.4 SVP (5)2.5设备线缆 (5)2.5.1电源线 (5)2.5.2接电线 (5)2.5.3⽹线 (5)2.5.4串⼝线 (6)2.5.5 mini SAS线缆 (6)2.5.6光纤 (6)2.5.7 AOC线缆 (6)第1章OceanStor系列存储简介1.1产品定位OceanStor OCEANSTOR85T/OCEANSTOR 18800企业级存储系统(以下简称OCEANSTOR系列存储系统)是华为技术有限公司(以下简称华为)根据存储产品应⽤现状和存储技术未来发展趋势,针对企业⼤中型数据中⼼,推出的新⼀代(虚拟化、混合云、精简IT和低碳等)存储系统,聚焦于⼤中型企业核⼼业务(企业级数据中⼼、虚拟数据中⼼以及云数据中⼼等),能够满⾜⼤中型数据中⼼对海量数据存储、⾼速数据存取、⾼可⽤性、⾼利⽤率、绿⾊环保和易于使⽤等需求。
OCEANSTOR系列存储系统秉承灵活、可扩展的设计理念,采⽤创新的Smart MatrixArchitecture,该架构采⽤多引擎(每个引擎包括两个控制器)的横向扩展体系,可为企业数据中⼼提供⼀⾄⼋个系统机柜和最多两个硬盘柜,⽆缝配合企业数据中⼼⾼度整合、⾼效率和可扩展的特点,能够满⾜数据中⼼⼤型数据库OLTP/OLAP(OnlineTransaction Processing/Online Analytical Processing)、⾼性能计算、数字媒体、因特⽹运营、集中存储、备份、容灾和数据迁移等不同业务应⽤的需求。
OceanStor融合存储架构介绍
计算层与网络层率先实现了云化业务1业务2源自业务3…服务器
计算层云化
服务器
服务器
网络层云化
服务器
屏蔽服务器差异,业务部署简单快捷 计算能力可按不同业务要求灵活分配 网络层实现标准化,组网成本显著降低 统一管理平台,灵活调度计算资源
存储
存储
存储
存储
计算层与网络层资源按需供给,存储层却没有跟上步伐
5
存储层如何应对云化趋势
5600/5800 V3
6800 V3
统一软件/硬件/管理平台
真正的软件定义 让业务化繁为简
15
端到端的“高速公路”
速度最快
主机接口
16Gb FC
速度最快
内部总线
PCI-E 3.0
速度最快
硬盘接口
12Gb SAS
带宽提升100%
从容满足视频存储和大文件处理等需求
16
业界独有的智能卡
Smart IO接口卡
数据库和文件共享业务同样高效
SSD与HDD的最佳融合——性能与容量按需供给
传统存储
HDD存储系统
SSD存储系统
OceanStor V3
HDD
SSD
为大容量低成本选择传统磁盘存储?还是 为高性能选择全固态存储?难以抉择!
11
HDD池 SSD池
集成传统存储和全固态存储双重优势,性能与容 量需求一套即可满足
实现全闪存深度优化,充分发挥SSD优势,提
供毫秒级稳定业务响应
主存与备份的创新融合——数据保护按需供给
传统存储
OceanStor V3
服务器 备份软件
主存储
备份存储
备份服务器+备份软件+备份存储 昂贵的成本,复杂的组网
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
华为OceanStor 18800存储系统
技术架构介绍
目录
第1章OceanStor系列存储简介 (1)
1.1产品定位 (1)
1.2 产品特点 (1)
第2章OceanStor存储硬件架构 (2)
2.1引擎 (2)
2.1.1控制器 (2)
2.1.2风扇模块 (2)
2.1.3 BBU模块 (3)
2.1.4电源模块 (3)
2.1.5管理模块 (3)
2.1.6接口模块 (3)
2.2硬盘框 (4)
2.2.1风扇模块 (4)
2.2.2电源模块 (4)
2.2.3级联模块 (4)
2.2.4硬盘模块 (4)
2.3数据交换机 (5)
2.4 SVP (5)
2.5设备线缆 (5)
2.5.1电源线 (5)
2.5.2接电线 (5)
2.5.3网线 (5)
2.5.4串口线 (6)
2.5.5 mini SAS线缆 (6)
2.5.6光纤 (6)
2.5.7 AOC线缆 (6)
第1章OceanStor系列存储简介
1.1产品定位
OceanStor OCEANSTOR85T/OCEANSTOR 18800企业级存储系统(以下简称OCEANSTOR系列存储系统)是华为技术有限公司(以下简称华为)根据存储产品应用现状和存储技术未来发展趋势,针对企业大中型数据中心,推出的新一代(虚拟化、混合云、精简IT和低碳等)存储系统,聚焦于大中型企业核心业务(企业级数据中心、虚拟数据中心以及云数据中心等),能够满足大中型数据中心对海量数据存储、高速数据存取、高可用性、高利用率、绿色环保和易于使用等需求。
OCEANSTOR系列存储系统秉承灵活、可扩展的设计理念,采用创新的Smart Matrix
Architecture,该架构采用多引擎(每个引擎包括两个控制器)的横向扩展体系,可为企业数据中心提供一至八个系统机柜和最多两个硬盘柜,无缝配合企业数据中心高度整合、高效率和可扩展的特点,能够满足数据中心大型数据库OLTP/OLAP(OnlineTransaction Processing/Online Analytical Processing)、高性能计算、数字媒体、因特网运营、集中存储、备份、容灾和数据迁移等不同业务应用的需求。
1.2 产品特点
OCEANSTOR系列存储系统具有高规格的硬件结构,结合多种高级数据应用和数据保护技术,使存储系统具有高性能、高可扩展性、高可靠性和高可用性等特点,满足大中型数据中心对存储系统的各种需求。
第2章OceanStor存储硬件架构
OceanStor系列存储系统是华为针对企业大中型数据中心专门研制的存储解决方案,它由系统柜和硬盘柜组成,其中系统柜包括硬盘框、KVM(Keyboard, Video, and Mouse)、SVP(service processor)、引擎以及数据交换机等,硬盘柜包括8个4U硬盘框。
2.1引擎
OceanStor系列存储系统的引擎是每个系统柜的核心部件,统一采用4U的外形设计,主要包括系统插框、控制器模块、BBU(Backup Battery Unit)模块、风扇模块、电源模块、多种主机接口模块。
每个引擎配置2个控制器,每个控制器由CPU、物理内存、主机接口和级联接口组成。
引擎之间通过数据交换机连接,当其中某个引擎出现故障时,可提供透明的故障切换,自动实现业务负载均衡,确保了业务的连续性。
引擎的部件包括控制器、风扇模块、BBU模块、电源模块、管理模块、8Gb FC接口模块、1Gb iSCSI接口模块、10Gb iSCSI接口模块、10Gb FCoE接口模块、5Gb PCIe接口模块以及6Gb SAS级联模块。
2.1.1控制器
控制器是引擎中的核心部件,主要负责处理存储业务、接收用户的配置管理命令并保存配置信息、接入硬盘和保存关键信息到保险箱硬盘。
2.1.2风扇模块
每个引擎配置3个风扇模块,主要为引擎提供散热功能,保证存储系统正常运行。
风扇模块支持在线热插拔功能。
风扇模块支持16级线性调速,能够根据系统温度信息,综合判断风扇转速,进行智能风速调节。
2.1.3 BBU模块
每个引擎配置4个BBU模块。
当外部供电失效时,为存储系统提供后备电源支持,保证存储系统业务数据的安全性。
BBU模块在系统电源输出正常时处于备份状态,当外部电源断开时,BBU模块能够继续给系统供电。
BBU模块支持失效隔离,当BBU模块出故障时不会影响系统的正常运行。
2.1.4电源模块
电源模块为交流电源模块,可以支持引擎在最大功耗模式下正常运行。
2.1.5管理模块
每个引擎配置2个管理模块,每个控制器1个,主要为存储系统提供管理接口。
管理模块为存储系统提供管理接口,主要包括管理网口0、管理网口1和串口。
管理模块将系统配置数据、告警信息以及日志信息保存到保险箱盘上。
2.1.6接口模块
8Gb FC接口模块提供4个传输速率为8 Gbit/s的FC端口,是应用服务器与存储系统之间的业务接口,用于接收应用服务器发出的数据读写与交换命令。
当连接的设备传输速率低于FC端口速率时,FC端口将自动适应传输速率,以保证数据传输通道的连通性和数据传输速率的一致性。
1Gb iSCSI接口模块提供4个传输速率为1 Gbit/s的iSCSI端口,是应用服务器与存储系统之间的业务接口,用于接收应用服务器发出的数据读写与交换命令。
10Gb iSCSI接口模块提供4个传输速率为10 Gbit/s的iSCSI端口,是应用服务器与存储系统之间的业务接口,用于接收应用服务器发出的数据读写与交换指令。
10Gb FCoE接口模块提供4个传输速率为10 Gbit/s的FCoE端口,是应用服务器与存储系统之间的业务接口,用于接收应用服务器发出的数据读写指令。
5Gb PCIe接口模块提供2个传输速率为5 Gbit/s的PCIe接口,是引擎与数据交换机之间的业务接口,用于引擎之间交换控制流和数据流信息。
6Gb SAS级联模块提供了2个传输速率为4 ×6 Gbit/s的mini SAS级联端口,用于级联引擎和硬盘框。
引擎的SAS级联模块通过mini SAS电缆与存储系统的后端硬盘框连接。
当连接的设备传输速率低于级联端口速率时,级联端口将自动适应传输速率,以保证数据传输通道的连通性和数据传输速率的一致性。
2.2硬盘框
OCEANSTOR系列存储系统包括2U SAS和4U SAS两种规格的硬盘框,它们是硬盘柜的核心部件。
2U和4U 硬盘框由系统插框、电源模块、风扇模块、级联模块以及硬盘模块组成,是存储空间的载体。
硬盘框的部件包括风扇模块、电源模块、级联模块以及硬盘模块。
2.2.1风扇模块
风扇模块为系统提供散热功能,支持在线热插拔。
风扇模块支持16级智能调速,能够根据系统温度信息,综合判断风扇转速,进行智能风速调节。
2.2.2电源模块
电源模块为交流电源模块,可以支持硬盘框在最大功耗模式下正常运行。
2.2.3级联模块
级联模块用于实现硬盘框与引擎或硬盘框与硬盘框的通信,每个级联模块提供1个级联端口“PRI”和1个级联端口“EXP”。
2.2.4硬盘模块
硬盘模块为存储系统提供存储容量,实现对业务数据的存储和系统保险箱的
作用。
2.3数据交换机
数据交换机具有高带宽、低延迟的特点,是各个引擎之间相互连接和通信、实现控制器间控制信息流和业务数据流交换的关键设备。
在OCEANSTOR系列存储系统中,数据交换机由SVP统一管理。
仅在系统柜1上配置了两个数据交换机,两者采用Active-Active的工作模式,提高了系统的I/O性能。
2.4 SVP
SVP与KVM配套使用,是OCEANSTOR系列存储系统管理、配置、维护等的核心部件。
其上安装了OCEANSTOR系列存储系统所需的维护、管理等工具,可以在本地或远程轻松完成全套的管理、配置、鉴权等一系列工作。
2.5设备线缆
存储系统使用的设备线缆包括电源线、接地线和信号线缆。
2.5.1电源线
电源线是PDU(Power Distribution Unit)电源线缆。
电源线为机柜内的设备供电,一端连接到引擎或硬盘框的电源接口,另一端连接到PDU。
2.5.2接电线
接地线用于将存储设备接地,可以提高操作存储系统时的安全性。
2.5.3网线
存储系统中连接1Gb iSCSI端口和连接管理网口时需要使用网线。
2.5.4串口线
串口线缆用来连接引擎串口到维护终端。
串口线缆一端为RJ-45接口,用于连接到引擎串口;另一端为DB-9接口,用于连接到维护终端端口。
2.5.5 mini SAS线缆
存储系统中连接级联端口需要使用mini SAS线缆。
2.5.6光纤
存储系统中连接8Gb FC端口、10Gb iSCSI端口或10Gb FCoE端口需要使用光纤。
2.5.7 AOC线缆
AOC(Active Optical Cable)线缆用来连接存储系统引擎控制器的PCIe接口至数据交换机。
AOC线缆一端连接到存储系统引擎控制器的PCIe端口,另一端连接至数据交换机。