大数据时代存储解决方案(可编辑)

Lucene
户,Zookeeper) Scaleout Block
资源管理 (YARN,多
分布式存储
Hadoop FS API, NFS/CIFS,Posix,ISCSI,S3 Scaleout Filesystem Scaleout DB Scaleout backup Scaleout Object
Partition …
SmartQoS确保核心业务服务质量
存储系统自动按照优先级不同调配资源， 保证核心系统的资源需求
SmartPartition 关键业务性能保障
物理缓存分区，为特定LUN设定专用的 缓存分区，避免核心业务与边缘业务恶 性缓存竞争
Smart软件提升客户系统效率
SSD SAS NL-SAS
固态 存储

60万 IOPS 访问延迟低至500s

100万 IOPS 访问延迟低至500s
S2200T
S2600T/S5500T/S5600T/S5800T
S6800T
HVS85T/HVS88T

VIS6600T*
2~16 控制器 可扩展至3TB Cache 可扩展至 3216 块硬盘 0~5s RPO
• 最少磁盘，最少电力，满足海量 数据备份需求 • 加速卡实现5GB/s = 18TB/Hr •更低成本，更高性价比
• 可编程引擎（TOE、IOE、FCoE， RDMA，vSwitch、VTEP和 Openflow等协议卸载） • PCI-E over Fabric，IO扩展和共 享，数据加密压缩
提供最全系列全国产存储产品
网络
FC
10GE SAS IB 分布式数据库 非关系型数据库
关系型数据库
数据库集群
数据库
大数据时代群雄逐鹿
Hadoop解决方案架构
目录
1
2 3
什么十大数据 云时代大数据的特点 大数据各行业需求和应用 大数据带来哪些技术变革 大数据架构和具体实践 大数据架构和具体实践
在大数据方面不仅仅是平台提供商 大数据应用开发提供商 大数据系统集成商
大 数 据 管 理 服 务 提 供 商
大数据平台提供商
除了具有强大的自主研发实力外，还具备丰富的集成优化第三方平台的经验，可根据用 户的实际需求，打造适合用户自身特点的大数据服务体系；
大数据统一架构
数据可视化 数据挖掘 日志留存 内容检索 视频分析 OLAP
大数据一体化平台 应用适配, Programmable接口
200+ 2000+ 4 1700+
增值服务伙伴 合作伙伴 培训中心 专业讲师
300+
300+
咨询
设计
实施
运营
改进
谢谢观赏！
安全可信
弹性高效
Smart智能软件

SmartVirtualization
异构数据整合 数据智能流动
EMC HW IBM HDS
SmartTier：精细化热点统计与迁 移，最大化性能资源利用率，性能 提升3倍 SmartMotion：基于场景的动态 部署变更，最大化自动负载均衡， 硬盘利用率提升2倍，运维成本下 降60% SmartVirtualization：支持对异 构存储系统进行统一虚拟化管理， 最大化既有投资保护，投资回报率 提升50%
存储管理软件
数据复制软件
存储 软件
SmartQoS SmartMotion SmartTier
SmartCache UltrPath SmartThin UltraVR SmartX Insight UltraAPM
Management Console InfraControl
HyperSnap HyperClone
人际关系、行为分 析
统计分析
跟随分析、人脸 识别
业 务 平 台 存 储 区 域
数据导入
内容查询
汇聚、分析、入库
通话记录、住宿、 交通统计报表 短信、Email内容 过滤等其他信息
…………
大数据在各行业的应用
互联网 金融
公安
社交网络
B 2C业务
电子支付
票据归档
视频监控
视频分析
能源
媒资
科研
地质勘探
智能电网
存以智用，融以致远
HVS & T系列统一存储
N9000大数据存储
存储虚拟化VIS6600T
P1 P8 P15 P22 P1 P8 P15 P22
P1 P8 P15 P22 P1 P8 P15 P22
P1 P8 P15 P22
面向企业级数据中心 实现数据智能布局
面向海量数据存储 融合架构简化生命周期管理
• 支持PCI-E 3.0接口 • 支持SAS 3.0协议
• 10GE,RDMA(10GE),TOE,IOE, FCo E,FC 8G/16G all in one •更低成本，更高性价比
专用/通用处理器CPU
SHA1、Dedup加速卡
Red-B Prime Red-B Prime
• 自研ARM64，融合存储特性 (Raid5/6/DIF/Multicast/DMA)
磁盘 存储

双控制器 支持4GB Cache 支持204 块硬盘

统一存储，同时支持块和文件应用 可扩展至192GB Cache 可扩展至1440 块硬盘


可扩展至384GB Cache 可扩展至1440 块硬盘 25万SPC-1性能
2~8节点，Scale-out 虚拟化存储
SmartTier
数据动态分级
Fra Baidu bibliotek

SmartMotion
数据动态平衡

统一管控，运维一手掌握
安全可信
弹性高效
统一监控与管理
报警 管理 拓扑 安全
在线存储
近线存储
存储管理软件

各类型存储统一管理，化繁为简 分层可视化，直观监控，高效排障 智能分析提升服务质量，节约成本 与移动运维结合，管理更智能
亚洲最大兼容性实验室
超过400家兼 容性测试伙伴
兼容性实验室——解决您的兼容性顾虑

亚洲最大的IT产品兼容性实验室，拥有国内最全面的测试环境，产品兼容性得
到充分的认证，客户的兼容性疑虑得到最好的解答 与全球400家IT厂家合作，影响全球IT生态圈，为客户提供更加全面的IT产品。

云化存储设计：智能融合可信赖，满足企业需要
双活数据中心 统一存储资源池
外企当道、自主乏力
other 12% HDS 8% Dell 7% HP 14% 国内厂商 19% IBM 26% EMC 14%
IDC2011年数据
外企当道 ≈安全威胁

本地产/OEM ≠自主可控



外企霸占国内市场：国外存储厂商占据国内80% 以上的市场份额，其中金融业占据90%，交通行 业超过80%，电信行业超过90%； 威胁国家安全：CNNVD（国家信息安全漏洞 库）统计外企在国内重大信息安全漏洞多达6万个
3~288节点，40PB容量扩展，500万OPS 10GE/IB高性能互联
标准Amazon S3接口 EB级容量扩展 高密设计，单柜2PB容量
HDP3500E*
VTL6900*

Dorado2100 G2
Dorado5100
数据 保护

一体化备份设备
PB级海量备份 集群架构 同时支持Inline与后端重删
0.5
RAID 2.0 1TB NL－SAS 磁盘重构时间（小时）
20倍 降低95%的多盘失效概率
30mins/TB的恢复速度
大幅降低重构过程对业务的影响
核心业务专属保障
安全可信
弹性高效
Partition 1
Partition 2
Partition 4
Partition 3
Partition N
非线编辑
后期制作
卫星探测
基因工程
目录
1
2 3
云时代大数据的特点 大数据各行业需求和应用 大数据带来哪些技术变革 大数据架构和具体实践
大数据带来技术变革
大数据 分析处理
• 全球技术研究和咨询公司Gartner将“大数据”技术列入2012年对众多公司 和组织机构具有战略意义的十大技术与趋势之一； • Gartner在其新兴技术成熟度曲线中将“大数据”技术视为转型技术； • 传统技术升级已满足不了大数据处理的需求，“大数据” 技术将在未来3— 5年内进入主流。其技术形态也会产生较大的变化；
计算瓶颈
存储瓶颈
网络瓶颈
数据库瓶颈
大数据带来哪些技术变革
单机 集群 集群 虚拟化
横向扩展（硬件扩展） 块虚拟化 丰富的增值软件及对外接口 横向扩展（硬件+文件系统） 文件虚拟化 丰富的增值软件及对外接口
计算
单机 块存储 文件存储 设备间连接 设备内连接
横向扩展 横向扩展
存储
GE FC
10GE FC IB
Flume Data Loader Sqoop
设备管理
通用服务器
Cloud OS 网络（交换机，路由器）
存储节点
集成和优化
自研组件
合作
数据重构时间缩短20倍
10 8 6 4 2 0 传统阵列
安全可信
弹性高效
加速数据恢复
10
存储池内所有硬盘参与重构，仅重 构业务数据 由传统RAID多对一的重构模式转 变为HVS的多对多快速重构模式 数据恢复速度相对传统RAID提升
实时获取需要的信息 大数据区分于传统数 据最显著的特征。如 今已是ZB时代，在 如此海量的数据面前， 处理数据的效率就是 企业的生命
信息采集系统全景介绍
数 据 分 类
短信 通话记录 Email 社保、医保、 住宿、交通
视频监控
网络信息
精确查询
数 据 来 源
运营商 医院 大型企业 交通信息 视频监控 政府机构 （医保，社保）
管控平面
策略调度
HBASE
分布式计算和分析
批处理(Galax HD) ) Hive,Pig,Mashout
Hcatalog MapReduce 实时处理和内存计算
流处理 内存数据库
Data Bridge
近实时分析和MPP DB
SQL Query Planner MPP Exec
集成
3rd Party Tool
本地产/OEM不等于自主可控
本地产为的是降低生产成本，OEM仅仅是包装 存储核心竞争力是研发、设计 技术、质量、价格均不可控
存储的中国芯
SAS SSD控制芯片 Hi1811 PCI-E SSD控制芯片Hi1821 智能融合IO芯片 Hi1812
• 业界第一颗支持SAS 2.0的ASIC控 制器 •发布首款全固态存储系统Dorado 2100
数据量巨大 全球在2010 年正式 进入ZB 时代 IDC预计到2020 年， 全球将总共拥有40ZB 的数据量
结构化数据、半结构化 数据和非结构化数据 如今的数据类型早已不 是单一的文本形式，订 单、日志、音频，能力 提出了更高的要求
沙里淘金，价值密度低 一部数小时的视频，可 能有用的数据仅仅只有 一两秒。如何迅速“提 纯”是大数据亟待解决 的难题
大数 据和 云存 储
N8500集群NAS系统*

CSS分布式存储系统

N9000大数据存储系统

UDS海量存储系统

全Active架构 支持文件和块接口 2~24节点，15PB容量扩展，300万OPS 动态分级存储
支持Posix/NFS/CIFS/JDBC/ODBC接口 多GE互联
HyperCopy HyperReplication
专业的本地服务和咨询团队
您身边的服务 一站式服务 专业服务团队 战略服务合作
1 4 32 140+
成都总部 区域存储能力中心 区域技术支持中心 服务范围覆盖城市
5 8+ 10+ 1
服务阶段 服务领域 专家组合 服务合同
1350+
26000+
PMP专家 专业的服务团队 专业服务监管 备件中心
应需而变 融以致远
—— 大数据时代存储之路
目录
1
2 3
云时代大数据的特点
大数据带来哪些技术变革
大数据架构和具体实践
大数据定义-不同行业的不同声音
大量数据管理
海量计算
数据分析
大量用户 群体
云时代的大数据特点
Volume-巨 量 Variety-多样性 Value-价值密度 Velocity-速 度