华为OceanStor 9000技术主打胶片 201606

InfoEqualizer(负载均衡) InfoLocker(WORM) InfoScanner(防病毒)
数据处理层
管
多租户
Https传输加密
理
系 统
InfoMigrator(数据迁移)
分布式存储资源池
硬件节点层
www.huawei.com ▪ Huawei Confidential ▪ 10
P系列节点
EMC Isilon
带宽
OceanStor 9000
单位OPS
EMC Isilon
NetApp
Avere
Huawei
http://www.spec.org/sfs2008/results/sfs2008.html
OPS 每秒可响应的并发请求数
www.huawei.com ▪ Huawei Confidential ▪ 13
结构化数据 20% 80%
年增长率 60% 40% 20% 0%
32%
63%
终端用户每天产生数十TB日志数据
80% 非结构化数据
结构化数据 非结构化数据
海量数据增长：集中储存/集中计 算已经无法处理巨大的数据量
数据种类和来源多样化，需要及时 有效分析
数据价值密度低，需要对大量的不相 关信息进行复杂深度分析，深挖价值
对象 接口
应用服务器
IB交换机
OceanStor 9000

前后端网络隔离 对象存储、NAS存储可以在一套系统配置 同一节点NAS接口、S3接口和Swift接口三选一 对象存储和NAS存储增值特性各自独立
吞吐能力

www.huawei.com ▪ Huawei Confidential ▪ 12
www.huawei.com ▪ Huawei Confidential ▪ 7
目录
www.huawei.com ▪ Huawei Confidential ▪ 8
OceanStor 9000 Scale-out NAS存储系统
卓越性能
• 400GB/s吞吐能力，InfoTurbo加速单客 户端带宽到2.5GB/s
Volume
Variety
Velocity
Value
www.huawei.com ▪ Huawei Confidential ▪ 4
传统技术面临海量数据扩展的困境
业务1
业务2 服务器 网络
业务3
… 服务器
云化IT系统
服务器 网络 存储 服务器 网络 存储
服务器 网络
服务器 网络 …
服务器 网络
网络
业界最大的扩展能力
C系列节点
灵活开放的接口协议，适配多业务场景
多种访问接口

NFS
CIFS
FTP
S3
传统接口：NFS、CIFS、FTP、S3/Swift HDFS: 无缝对接Hadoop，高效率存储+高效率分析

Swift HTTP HDFS
RESTful API

开放的架构
通用硬件 广泛的接口定义，几乎适用所有半结构化，非结构化 数据处理
业界最高的存储性能
线性增长，可预测，可获得
带宽
500 400 300 200 100 0
性能领先友商3倍+
5,500,000
OPS
5,030,264
400GB/s
4,500,000 3,500,000
200GB/s
2,500,000 1,500,000 500,000
1,512,784 1,112,705 1,592,334
2018年10月31日星期三
HUAWEI TECHNOLOGIES CO., LTD.
目录
www.huawei.com ▪ Huawei Confidential ▪ 2
数字时代的变革
1960s 大型机
1980s 个人电脑
1990s 互联网
2000s 移动互联网
2010s 大数据
2.8 ZB
• 2012年全球数据总量达到2.8ZB；
与Hadoop生 态系统对接
精准营销
商业推广
应用层
对象存储
Swift/S3 Https
文件存储
FTP NFS CIFS
备份、归档
NDMP HDFS
HDFS
数据分析
对象存储服务
重删 InfoTier(动态分级) InfoStamper(快照）
InfoRevive（视频图像修复）
NAS存储服务
InfoAllocator(配额) InfoReplicator(远程复制) InfoTurbo(性能加速)
灵活扩展
•支持3~288个节点灵活扩展，单一文件系统 高达100PB
开放融合
OceanStor 9000 •配置All-IP架构，标准X86，支持多协议和 多数据类型
Biblioteka Baidu
www.huawei.com ▪ Huawei Confidential ▪ 9
OceanStor 9000存储系统架构
网盘 资源池 媒体娱乐 视频监控 HPC 备份、归档软件
存储
存储
存储
存储
存储
容量扩展和信息孤岛的问 题带来管理池化的需求
并行运算、云计算带来 的性能扩展问题
扩容、维护工程的复杂 性带来的管理问题
烟囱式 vs. 横向扩展
www.huawei.com ▪ Huawei Confidential ▪ 5
海量数据全生命周期管理的挑战
性能
数据按照热、温、冷分级管理，带 来数据割裂，自动化程度低，数据 迁移代价高，时效性差，管理复杂
www.huawei.com ▪ Huawei Confidential ▪ 11
软硬件及组网介绍
管理终端
多种节点类型组合，性能、容量与成本完美平衡
管理交换
P25/P36/P12/C36/C72节点 机
每TB成本
高性能存储节点
P25
P12 P36 C36 C72
P系列
NAS 接口
10GE交换机、
大容量归档节点 C系列
成本
数据处理中需要高性能系统的 支撑，而性能的提升往往带来 成本的压力
www.huawei.com ▪ Huawei Confidential ▪ 6
多种数据类型统一存储的挑战
对象
文件 对象
or 文件
文件接口 对象接口
统一存储资源池
对于不同数据类型的数据的处理需要采用分离式系统， 购置多套设备，分散管理 基于NAS协议封装的对象存储，受限于文件系统，性能 受影响
数据来源 IDC
875 亿部
• 2.8 ZB = 875亿部 32GB的平板电脑。
• 2020年，将达到40ZB！
海量数据增长蕴含着新的机遇和巨大挑战
www.huawei.com ▪ Huawei Confidential ▪ 3
海量数据的爆炸式增长
每分钟290万封邮件 视频网站每天上传百TB数据