华为大数据解决方案

Huawei Confidential
10
存储与归档融合，简化数据生命周期管理
融合
扩展
应用 归档流
存储设备
外置检索系统 归档设备
存储资源池
内置检索引擎
存储区
归档区
各自管理，需独立检索系统，消耗 应用层资源
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
从中分辨率到超高分辨 率，精度提高近100倍， 数据量提升100倍
，数据量提升10 倍，总容量超过10PB
媒体娱乐
二维到三维，精度提升 数十倍，数据量提升20 倍，效率提升数十倍
能源勘探
每天处理2千万笔交易， 数据保存期不低于15年， 总量超过10PB
金融证券
数据源
据总量
卫星测绘：国家卫星测绘中心未来6年的数
据总量
Huawei Confidential
15
按需扩展，按需购买
性能
融合
扩展
容量
性能容量按需扩展，按需购买 线性增长，可预期，可获得
数据均衡分布，消除热点 堆叠扩展，1分钟完成单节点扩容
HUAWEI TECHNOLOGIES CO., LTD.
针对数据的不同类型，实现分级存储
Huawei Confidential
22
OceanStor 9000丏为大数据设计，化解CIO存储挑战
5,030,264 OPS
No.1 性能
OceanStor 9000
288 Nodes
No.1扩展性
400 GB/S
No.1 吞吐量
60 PB
No.1 容量
高清图片存储容量提
全融合架构，实现数据共享，高效访问 节点数、性能、容量均可随业务增长灵活扩展，最大扩
容至288节点， 60PB单一文件系统 针对数据的不同安全级别，实现分级保护
Huawei Confidential
21
OceanStor 9000应用亍广电集团新闻中心
HUAWEI TECHNOLOGIES CO., LTD.
卫星测绘：一秒完成34523张高清地理图片
的存取，2分钟完成全中国高清地理图片存取
广电行业：同时支持1750个高清电视频道，
支撑整个欧洲的高清频道播出
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
14
业界最大的文件系统
融合
扩展
实测：288节点最大文件系统
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
4
知易行难，基因分析机构CIO的大数据困局
基因测序
基因数据共享
基因数据分析
基因样本
基因数据拷贝
基因数据拷贝
测序仪本地硬盘
共享NAS存储
基因数据保存
Hadoop存储
1. 一份数据存储3次，浪费 空间2/3
归档区
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
• 高效的存储与分析融合 • 灵活的存储与归档融合 • 多样的数据类型融合 • 极致的扩展能力
8
高效全融合系统架构
融合
扩展
应用层
媒体与娱乐 视频监控 HPC 网盘
话单查询 上网行为分析 精准营销 商业推广
统一管理，无需独立检索系统， 无需应用层参与
11
多种数据类型融合，支持全量数据分析
融合
扩展
基因分析，视频分析，行为分析… Hadoop
文件 数据库
NFS/CIFS
非结构化 存储
详单查询，BI SQL
结构化存储
不同系统承载不同数据类型，支撑不同分析方式
基因分析，视频分析，行为分析… Hadoop
详单查询，BI SQL
2. 一份数据拷贝2次，浪费 时间2倍
？ 为什么会这样
基因保存系统
没有一种存储能完美适应大数据处理各个环节
测序仪本地存储
共享NAS存储
Hadoop存储
快速存取
√
X
√
对接分析
X
X
√
数据共享
X
√
X
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
5
诸多行业大数据处理过程相似，面临同样的困局
数据共享
HUAWEI TECHNOLOGIES CO., LTD.
海量数据
Huawei Confidential
数据分析
数据保存
6
目录
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
7
OceanStor 9000 丏为大数据设计的存储系统
华Oc为ea全nSt融or合90大00数大据数据存存储储系系统统
17
目录
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
18
OceanStor 9000主要应用场景
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
19
OceanStor 9000助力天文测绘高性能文件存储
文件 数据库
NFS/CIFS
非结构化数据 结构化数据
存储资源池
一套系统承载多种数据类型，支撑不同分析方式
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
12
多重关键技术打造横向扩展能力
融合
扩展
自动访问负载均衡，无热点，最大化利用资源 业界唯一的动态子树切割技术，管理海量文件 全IP互联、全分布式的存储架构，构建扩展基石
Huawei Confidential
16
便捷管理，轻松上手
1套管理软件：存储、分析、归档统一管理 2种系统资源：物理资源和逻辑资源 3类管理终端：PC/Phone/Pad 4种告警方式： E-mail/声音/短信/指示灯
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
链接：/ilink/cnenterprise/newsevent/news/news-list/HW_334742
HUAWEI TECHNOLOGIES CO., LTD.
石油勘探：中石油东方物探未来4年的数据
总量
基因分析：华大基因未来5年基因分析的数
Huawei Confidential
9
存储与分析融合，提升处理效率
融合
扩展
数据生产
数据共享
数据分析
数据生产
数据共享
数据分析
导入存储
共享存储
分析存储
拷贝
拷贝
存储资源池
一份数据3次存储，浪费空间67% 一份数据2次拷贝，浪费时间2倍
一份数据1次存储，节省空间67% 一份数据0次拷贝，提升效率2倍
HUAWEI TECHNOLOGIES CO., LTD.
Copyright © Huawei Technologies Co., Ltd. 2015. All rights reserved.
All logos and images displayed in this document are the sole property of their respective copyright holders. No endorsement, partnership, or affiliation is suggested or implied. The information in this document may contain predictive statements including, without limitation, statements regarding the future financial and operating results, future product portfolio, new technology, etc. There are a number of factors that could cause actual results and developments to differ materially from those expressed or implied in the predictive statements. Therefore, such information is provided for reference purpose only and constitutes neither an offer nor an acceptance. Huawei may change the information at any time without notice.
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
24
——肯尼思·库克耶（《大数据时代》作者
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
3
从基因分析看大数据
基因测序
导入速度快
分析效率高
基因分析
数据共享
共享速度快
保存容量大
数据保存
基因分析是对大规模基因数据生产，共享，分析和保存的过程，是典型的大数据处理流程。
NFS
文件 CIFS
对象 FTP Object
检索查询 SQL
分布式数据库
数据分析 HDFS
数据处理层
分布式文件系统
归档
硬件节点层
Node
Node
Node
Node
Node
Node
Node
Node
Node
Node
Node Node
Node Node
Node
Node
Node Node
Node
Node
HUAWEI TECHNOLOGIES CO., LTD.
大规模天文星图模拟计算，10万OPS以上读写速率 海量星图照片分析研究，GB级高速存储带宽支持 根据业务规划，五年内需扩展至22PB总容量
HUAWEI TECHNOLOGIES CO., LTD.
一期配置8节点，性能达16万OPS 通过高速互联技术，总带宽5GB/s，最大支持200GB/s 分布式架构，最大可扩容至288节点，60PB总容量
500,000
1,112,705
EMC Isilon
5,030,264
1,512,784
NetApp
Huawei
OPS 每秒可响应的幵发请求数 /sfs2008/results/sfs2008.html
金融行业：一秒钟可完成45万电子票据的归
档，支撑中国建设银行全行每天所有交易的归档
Huawei Confidential
20
OceanStor 9000应用亍金融企业内容管理(ECM)
HUAWEI TECHNOLOGIES CO., LTD.
票据影像、报表等文件存储，要求文件共享服务 全国38个分行，每年新增数据总量超600TB，要求保存
时间20年，支持在线动态扩容，性能平滑扩展，避免由 于系统升级带来的数据丢失风险
HUAWEI TECHNOLOGIES CO., LTD.
应用不动 性能翻番
数据库闪存加速器
目录
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
2
大数据时代已经来临
大型机
个人电脑
互联网
移动互联网
大数据
一个大规模生产、分享和应用数据的时代正在开启…...
升10倍
卫星测绘
基因分析作业时间缩
短80%
公共事业
高清制作工作站幵发
数提升2倍
媒体娱乐
地震资料处理效率提
升50%
能源勘探
影像票据归档每秒
45万张
金融证券
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
23
Thank you

HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
13
业界最高的存储性能
融合
扩展
单位OPS
5,500,000 5,000,000 4,500,000 4,000,000 3,500,000 3,000,000 2,500,000 2,000,000 1,500,000 1,000,000
构建一个大的虚拟化存储资源池，实现资源共享，按 需分配，减少媒资数据在各独立系统之间流动
要求总带宽13GB/s，总有效存储容量1,246TB，幵 能够灵活的对系统性能和容量进行扩容
全分布式架构，全IP互联 配置30节点（在线存储20节点，归档存储10节点），最大
扩展至288节点， 60PB单一文件系统 在线存储采用高性能配置，归档存储采用大容量配置，