华为OceanStor9000技术主打胶片(ppt 54页)

InfoTier(动态分级) InfoStamper(快照）
InfoAllocator(配额) InfoReplicator(远程复制)
InfoLocker(WORM)
SecureVideo（视频图像修复 ）
硬件节点层
P系列节点
C系列节点
I系列节点
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
11
OceanStor 9000关键能力-简单
传统NAS存储 安装• （1管1步理）不同扩文展件（9系步统） <10管0理T（B7步）
上架及连线 配置HBA 规划RAID，热备盘 配置RAID，热备盘 规划LUN 配置LUN 格式化卷 安装文件系统 网络配置 数据共享 调整各FS数据量
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
7
目录
1 知易行难，大数据的挑战 2 打破陈规，华为应对之道 3 真知灼见，行业深度剖析 4 行以见效，华为应用实践
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
Huawei Confidential
9
OceanStor 9000存储系统架构
应用层
媒体与娱乐
视频监控 HPC
精准营销 商业推广
与Hadoop生 态系统对接
备份、归档软件
文件存储
FTP
NFS
CIFS
数据分析
JDBC
ODBC
分布式数据库
HDFS
备份、归档 NDMP
数据处理层
OceanStor DFS(WushanFS)
Huawei Confidential
10
容量
业界最大的扩展能力
288节点 …
系统容量 业界第一
华为
60PB
1.2 VS 业界最高
50PB
倍
(EMC isilon)
扩展能力 业界第一
60PB 华为
容量 288个
VS 业界最高
144个
(EMC isilon)
2倍
HUAWEI TECHNOLOGIES CO., LTD.
上架及连线 点击扩容按钮
创建目录 数据共享
简单
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
12
夯实的基础架构
控制器
硬盘框
• Scale-up架构 • 专用硬件 • 后端SAS专用网络
HUAWEI TECHNOLOGIES CO., LTD.
存储节点
8
OceanStor 9000—专为大数据设计的存储系统
OceanStor 9000大数据存储
以融合替代割裂
• 以融合的系统架构替代高代价的数据迁移
以规则应对不规则
• 以规则的横向扩展应对不可预期的数据增量
以简单化解繁琐
• 以极简的配置部署化解繁琐的系统管理
HUAWEI TECHNOLOGIES CO., LTD.
每分钟290万封邮件 终端用户每天产生数十TB日志数据 视频网站每天上传百TB数据
非结构化数据
结构化数据
80% 60%
年增长率
63%
40% 32%
20%
0%
结构化数据 非结构化数据
电子商务
社交网络
•实施翻译，以促成订单，增强用户黏性 •快速分析用户行为，实现精准营销
移动互联网广告
物联网
•迅速调整，实现对于广告需求的精确满足 •日本大地震后9分钟发出海啸预警
上架及连线
管理HBA
规划RAID
管理RAID，热备盘
配置RAID，热备盘 管理LUN
规划LUN，热备盘
管理文件系统
复杂 配置LUN
创建目录
格式化卷
数据共享
安装文件系统
调整各FS数据量
数据共享
调整各FS数据量
OceanStor 9000 安•装（管4步理）单一扩文展（件2系步）统60P管B理（2步）
上架及连线 网络配置 创建目录 数据共享
• Scale-out架构 • X86通用硬件 • 全IP组网
Huawei Confidential
13
全分布式架构，高可靠数据保护
Value：价值密度低，商业价值高
• 大量的不相关信息进行复杂深度分 析，深挖价值
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
Source: IDC
4
知易行难，大数据的挑战一
业务1
业务2
业务3
…
服务器 网络
服务器 网络
服务器 网络
服务器
…
网络
存储
存储
存储
存储
容量扩展和信息孤岛的问 题带来管理池化的需求
服务器 网络
存储
云化IT系统
服务器 网络
存储
服务器 网络 存储
并行运算、云计算带来 的性能扩展问题
扩容、维护工程的复杂 性带来的管理问题
传统技术面临大数据的扩展困境
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
5
知易行难，大数据的挑战二
性能
成本
数据按照热、温、冷分级管理，带 来数据割裂，自动化程度低，数据 迁移代价高，时效性差，管理复杂
大数据处理中需要高性能系统 的支撑，而性能的提升往往带 来成本的压力
传统技术面临大数据生命周期管理的挑战
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
1
OceanStor 9000大数据存储系统主打胶片
融合扩展 简单高效
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
2
目录
1 知易行难，大数据的挑战 2 打破陈规，华为应对之道 3 真知灼见，行业深度剖析 4 行以见效，华为应用实践
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
3
什么是大数据
Volume：数据量巨大
• 集中储存/集中计算已经无法处理 巨大的数据量
Variety：种类和来源多样化
• 日志/图片/视频/文档/地理位置 …
Velocity：分析处理速度快
• 海量数据的及时有效分析
6
知易行难，大数据的挑战三
SAN NAS or
结构化 非结构化
NAS 非结构化 SAN 结构化
对于结构化与非结构化数据的处理 需要采用分离式系统，购置多套设 备，分散管理
数据源
数据导入
数据分析
中间数据
分析结果
存储系统
Baidu Nhomakorabea分析系统
存储和分析系统分离，需要大规模 数据迁移和装载，降低处理效率
传统技术面临多种数据类型的挑战