华为OceanStor 9000技术主打胶片

传统技术面临大数据的扩展困境
HUAWEI TECHNOLOGIES CO., LTD. Huawei Confidential 4
知易行难，大数据的挑战二
性能
数据按照热、温、冷分级管理，带 来数据割裂，自动化程度低，数据 迁移代价高，时效性差，管理复杂
成本
大数据处理中需要高性能系统 的支撑，而性能的提升往往带 来成本的压力
OceanStor 9000—专为大数据设计的存储系统
以融合替代割裂
• 以融合的系统架构替代高代价的数据迁移
以规则应对不规则
• 以规则的横向扩展应对不可预期的数据增量
以简单化解繁琐
OceanStor 9000大数据存储 • 以极简的配置部署化解繁琐的系统管理
HUAWEI TECHNOLOGIES CO., LTD.
按周、按月）
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
16
远程复制，高效数据容灾保护
InfoReplicator
/d/h/j
WAN
/a/b/c

目录级别复制
支持一对多、多对一复制 支持全量、增量复制
OceanStor 9000
OceanStor 9000
Huawei Confidential
8
OceanStor 9000存储系统架构
媒体与娱乐 视频监控 HPC 精准营销 商业推广
与Hadoop生 态系统对接
备份、归档软件
应用层
文件存储
FTP
数据分析
CIFS
备份、归档
HDFS NDMP
NFS
JDBC
ODBC
分布式数据库
数据处理层
OceanStor DFS(WushanFS)
Huawei Confidential
10
OceanStor 9000关键能力-简单
传统NAS存储 • 11 管理不同文件系统 安装（ 步） 扩展（9步） <100TB 管理（7步）
上架及连线 配置HBA 规划RAID，热备盘 配置RAID，热备盘 上架及连线 规划RAID 配置RAID，热备盘 规划LUN，热备盘 管理HBA 管理RAID，热备盘 管理LUN 管理文件系统
15
秒级快照，系统性能“0”影响
InfoStamper
19:10删除file3
按天 按周 按月
file2 file3 19:00快照数据 file2 file3


目录级，秒级快照
快照Байду номын сангаас无限制 无I/O挂起，系统性能“0”影响
OceanStor 9000
file2 19:10快照数据

手动快照、定时快照（支持按天、
20TB 总经理
用户组配额
40TB 财务部
40TB
人事部

匹配复杂的“组织架构”，空间灵 活分配
10TB 员工a
10TB 员工b
10TB
10TB
员工c
员工d

多种配额策略，存储空间精打细算
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
19
优化存储方式，提升检索效率
节点吞吐量 节点连接数 节点综合负载 CPU利用率 轮询

多种均衡策略，灵活匹配各种业 务模型 性能自动均衡，消除热点，资源 利用最大化 单节点扩容60秒完成
14


HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
多种分级策略，多样化策略模板
InfoTier
物 理 资 源 管 理

2种系统资源：物理资源和逻辑资源
3类管理终端：PC/Phone/Pad 4种告警方式： E-mail/声音/短信/指示灯

Pad
逻 辑 资 源 管 理

1分钟上手，3分钟熟练
21
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
优化资源配置，降低采购成本
应用不动 性能翻番
数据库闪存加速器
HUAWEI TECHNOLOGIES CO., LTD.
目录
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
2
什么是大数据
Volume：数据量巨大
• 集中储存/集中计算已经无法处理 巨大的数据量
每分钟290万封邮件 终端用户每天产生数十TB日志数据 视频网站每天上传百TB数据
复杂
创建目录
数据共享 调整各FS数据量
简单
调整各FS数据量
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
11
夯实的基础架构
控制器 存储节点 硬盘框
• • •
Scale-up架构 专用硬件 后端SAS专用网络
Huawei Confidential
• • •
新闻制作
媒资管理
融合生产
制作
高码工作站
媒资库
备播
方案亮点 融合：采、编、播、管、存多业
务共享存储资源池，按需部署，动
卫星/摄像/DVD
编辑/渲染/合成
编辑/渲染/合成
编目/检索/转码/web
播出、播控
态调配；数据分级存放，内部智能
迁移和生命周期管理
网 络 层 存 储 资 源 池
高性能资源池（第一级）
播出系统
播出 备播
媒资管理/在线媒资库
上下载
……
编目
检索
强稳定 高可靠
高效检索 快速获取
传统方案基于业务系统的烟囱式架构 资源难共享，架构难扩展，部署时间长
HUAWEI TECHNOLOGIES CO., LTD. Huawei Confidential 25
融合生产存储解决方案
收录
低码工作站
高清制作
Huawei Confidential
9
业界最大的扩展能力
容量
288节点
系统容量 业界第一
…
60PB
华为
华为
VS
业界最高
50PB
VS
1.2倍 2倍
(EMC isilon)
扩展能力 业界第一
60PB
容量
业界最高
288个
144个
(EMC isilon)
HUAWEI TECHNOLOGIES CO., LTD.
每TB成本
多种节点类型组合，性能、容量与成本完美平衡
I节点 P25 P12 P36 C36 C72
吞吐能力
大容量归档节点 C系列 高性能存储节点 P系列
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
22
灵活开放的接口协议，适配多业务场景
多种访问接口
知易行难，大数据的挑战一
业务1
业务2 服务器 网络
业务3
… 服务器
云化IT系统
服务器 网络 存储 服务器 网络 存储
服务器 网络
服务器 网络 …
服务器 网络
网络
存储
存储
存储
存储
存储
容量扩展和信息孤岛的问 题带来管理池化的需求
并行运算、云计算带来 的性能扩展问题
扩容、维护工程的复杂 性带来的管理问题

复制任务实时监控
主站点
HUAWEI TECHNOLOGIES CO., LTD.
备站点
Huawei Confidential 17
企业级WORM ，可靠安全的数据保护
WORM软时钟 WORM目录配置
自定义WORM时钟
只读权限
管理员权限
WORM日志 保护方式（手动或自动）
•
已经处于保护状态的数据，不可修改和 删除，只能读取
Scale-out架构 X86通用硬件 全IP组网
12
HUAWEI TECHNOLOGIES CO., LTD.
全分布式架构，高可靠数据保护
InfoProtector

以热备容量替代专门独立热备盘
以数据重构替代磁盘重构 数据恢复速度1TB/h，是传统 RAID的10倍
+1 +3
+2 +4

创建时间 访问时间 I/O热度 I/O次数 用户自定义
SSD
P25
文件大小 文件名 修改时间
SAS

数据价值决定存储位置，实
现资源最优配置 数据自由流动，对应用透明
SATA
C36

丰富的策略构建精准分级
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
InfoExplorer
比传统文件系统查找效率提升10万倍以上
Node 1
SQL接口快速检索
Node 2
Node 3
分布式数据库
Node N
•
元数据
准实时检索：打通文件系统 与分布式数据库的通道，实 现基于元数据的快速检索
NFS/CIFS/POSIX/HDFS/SQL
元数据
元数据
分布式文件系统
立同 索步 引元 数 据 ︑ 建
应用
•
批量/可编程检索接口：支持 SQL规范，利用脚本/函数实
文件接口访问数据
现批量/复杂条件数据检索
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
20
便捷管理，轻松上手
声音
指示灯
短信
Email

1套管理软件：存储、分析、归档统一管理
PC
Phone
传统技术面临大数据生命周期管理的挑战
HUAWEI TECHNOLOGIES CO., LTD. Huawei Confidential 5
知易行难，大数据的挑战三
数据导入 数据分析
中间数据 分析结果
NAS SAN
结构化
非结构化 结构化
NAS
非结构化
or SAN
数据源
存储系统
分析系统
对于结构化与非结构化数据的处理 需要采用分离式系统，购置多套设 备，分散管理

NFS
CIFS
FTP
S3
传统接口：NFS、CIFS、FTP HDFS: 无缝对接Hadoop，高效率存储+高效率分析

OBDC JBDC HDFS
RESTful API

开放的架构
标准X86服务器平台 广泛的接口定义，几乎适用所有半结构化，非结构化 数据处理
HUAWEI TECHNOLOGIES CO., LTD.
减少维护错误，降低误操作风险
传统 RAID5 传统 RAID6 分布式 Erasure Code
硬盘故障 容忍数 1TB 数据 恢复时间
1
9.5小时
2
10小时
4
1小时
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
13
自动访问负载均衡，无需人工干预
InfoEqualizer
IP
弹性：全分布式架构、全IP互联；
存储资源池可扩展至60PB，支持 新业务快速接入
大容量资源池（第二级）
•
•
过期文件可以删除不可修改
支持单独的WORM时钟，设置成功后 不允许修改
•
HUAWEI TECHNOLOGIES CO., LTD.
子目录自动获取父目录的WORM属性
18
Huawei Confidential
多种配额策略，灵活空间管理
InfoAllocator
存储 100TB
容量配额 软配额 用户配额 文件数配额 硬配额 目录配额
存储和分析系统分离，需要大规模 数据迁移和装载，降低处理效率
传统技术面临多种数据类型的挑战
HUAWEI TECHNOLOGIES CO., LTD. Huawei Confidential 6
目录
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
7
Huawei Confidential
23
目录
媒体娱乐行业
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
24
媒体广电应用场景——电视台场景介绍
采集系统
稳定写 带宽
编辑
编辑系统
包装 合成
存储归档媒资库
大容量 低TCO
磁带/云存储
稳定读带宽
低读取时延
Variety：种类和来源多样化
• 日志/图片/视频/文档/地理位置 …
20% 结构化数据
非结构化数据 80% 电子商务 •实施翻译，以促成订单，增强用户黏性
80% 60% 40% 20% 0%
年增长率
32%
63%
结构化数据 非结构化数据
Velocity：分析处理速度快
• 海量数据的及时有效分析
社交网络 •快速分析用户行为，实现精准营销
移动互联网广告 物联网 •迅速调整，实现对于广告需求的精确满足 •日本大地震后9分钟发出海啸预警
Value：价值密度低，商业价值高
• 大量的不相关信息进行复杂深度分 析，深挖价值 Source: IDC
HUAWEI TECHNOLOGIES CO., LTD. Huawei Confidential 3
InfoTier(动态分级) InfoStamper(快照） InfoAllocator(配额) InfoReplicator(远程复制) InfoLocker(WORM) SecureVideo（视频图像修复）
硬件节点层
P系列节点
C系列节点
I系列节点
HUAWEI TECHNOLOGIES CO., LTD.
OceanStor 9000 • 管理单一文件系统 安装（ 4步） 扩展（2步） 60PB 管理（2步）
上架及连线 网络配置 创建目录 上架及连线 点击扩容按钮 创建目录 数据共享
数据共享
规划LUN
配置LUN 格式化卷 安装文件系统 网络配置 数据共享 调整各FS数据量
配置LUN
格式化卷
安装文件系统 数据共享