视频大数据存储平台解决方案 PPT
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Object Replication
iSCSI/FC
Auto Recovery
Object Rebalance
Data Compression
SSD Acceleration
DStore™ Kinetic
DStore™ Kinetic
DStore™ Kinetic
Scale-out ・・・・
DStore™
p 通过自动负载均衡技术避免存储热点的形成所带来的访问延迟。
客户价值
p 有效应对海量小文件存储的难题，降低了网络访问延时，提升用户 体验
归档数据存储设备
归档
云存储系统
云备份介质
门户
企业主数据生产中心
云备份系统 计费
客户注册、 计费及管理
云
私有云备份客户端
云网关
企业分支数据中心
应用3 云存储网盘
在外地出差
PC Client
移动终端
在家办公 在学校上课
Internet/专网
S3, Glacier
DS Client
DS System DS Client
Daasbank DStore™ Shared Storage Infrastructure
DStore™
DStore™
Storage Server
Legacy Storage System
创新的云端服务模式提升运行效率及经济性
• DStore™让管理者可在共享资源池上为每位使用者建立独立的”虚拟存储设备”(Virtual Storage),并提供用户自助服务功能(Self-service Portal)
依据需求弹性部署
• DStore™提供管理者两种模式混合搭配部署: – SDS超聚合存储Kinetic – DS分布式存储服务器
• 无缝整合先期投资的传统存储设备，并入成为DStore™管理的共享存储资源池
DStore™ Hypervisor
DStore™ Hypervisor
SDS-Kinetic
客户需求
p 海量视频、图像数据的统一存储和快速检索 p 多节点集群并行工作，保证数据的高安全性 p 后续可根据需要自由扩展
某市天网工程部署图
1、流媒体高清视频文件对高带宽和稳定的需 求。 2、大数据分析：包含检索数据库和海量视频 文件资料，检索数据库主要用来关联带标签的 分类主题资料和具体视频文件，使用户能快速 检索到对应分类的存储位置。 3、云计算虚拟化集群：物理服务器组建成统 一的集群计算虚拟机资源池，实现虚拟机的故 障转移高可用、负载自动分配资源、对存储高 IOPS需求。 4、海量小文件空间数据。 5、跨多中心分布式广域云架构。
DStore™
采用Block/File/Object统一集群存储架构
目标应用类型：所有海量数据扩展存储的客户
应用1、支持跨地域分布式存储管理
跨地域数据同步协同： 总公司和分（子）公司间跨地域数据同步。 数据快速采集、分发： 3个副本，分布式部署于不同的Regions。
云备份客户端
企业备份中心
应用2 支持云备份容灾归档
Object Distribution
Storage
Data De-duplication
Workloads/Applications VM VM VM
Workloads/Applications VM VM VM
Workloads/Applications VM VM VM
NFS CIFS
Monitoring/Alert Reporting
平安城市云存储系统五大需求
云和大数据增长对象存储占据 90%
云和大数据未来需要新的存储方式
wenku.baidu.com
4X
$ 50%
Daasbank SDS 创新价值
规模更大
成本更低
更安全可靠
大家有疑问的，可以询问和交流
可以互相讨论下，但要小声点
什么是SDS超聚合？
DStore™ 弹性定义、部署及管理的聚合式云存储平台
私有数据中心
在企业办公
亚马逊公有云数据中心
混合云网盘融合创新
特点 安全、方便、快捷
应用4 云桌面/云平台/服务器虚拟化
VM VM VM VM VM VM
VM VM VM VM VM VM
VM VM VM VM VM VM
Hyper-V
Compute Storage
Compute Storage
Compute Storage
virtual storage
DStore™ Shared Storage Infrastructure
DStore™产品架构
Interface Management Distribution
Amazon S3, WebDAV OpenStack Swift
Policy Management (Distribution, QoS, Tiering)
应用5 大数据分析
客户需求
p 峰值时间大量用户并发访问，导致数据爆发式增长 p 数据为典型海量小文件（15K—30K之间），对系统性能冲击很大 p 原有的NAS系统在数据读取时性能下降，网站访问延时严重。 p 系统要有弹性扩充的能力
解决方案
p 多个元数据节点集群，提升海量小文件访问时的检索与读取速度， 应对前端多用户高并发的访问需求
平安城市智慧发展趋势
以某市公安局天网工程为例
项目概况
p 该市公安局要建设“天网工程”的统一存储系统 p 针对案件的所有图像、视频数据（涉案人脸抓拍等），在市局统一
汇总，永久存储 p 存储公安局重要信息，对系统安全性的要求非常高
解决方案
p 提供2000TB存储容量 p 节点级安全，保证内部重要数据的数据安全
• DStore™多重用户共享(Multi-Tenancy)”的设计 满足不同用户对存储的性能、安全、分段、隔离 、监管、及QoS等不同需求
NAS
SAN
・・・ S3
CIFS/NFS
virtual virtual storage storage
virtual storage
Dynamic Virtual Storage Provisioning
• 采用Block/File/Object统一集群存储架构 • 服务器虚拟主机可以有多个vPools，高速缓
存和无限快照，统一管理异构数据，支持本 地文件系统、NAS、块设备、S3 API兼容的 对象存储如Ceph，Swift，AWS，分布式文 件系统如GlusterFS，XtreemFS等。 • 无接缝扩充–可扩充到数百 PB，无需再做存 储空间预估
iSCSI/FC
Auto Recovery
Object Rebalance
Data Compression
SSD Acceleration
DStore™ Kinetic
DStore™ Kinetic
DStore™ Kinetic
Scale-out ・・・・
DStore™
p 通过自动负载均衡技术避免存储热点的形成所带来的访问延迟。
客户价值
p 有效应对海量小文件存储的难题，降低了网络访问延时，提升用户 体验
归档数据存储设备
归档
云存储系统
云备份介质
门户
企业主数据生产中心
云备份系统 计费
客户注册、 计费及管理
云
私有云备份客户端
云网关
企业分支数据中心
应用3 云存储网盘
在外地出差
PC Client
移动终端
在家办公 在学校上课
Internet/专网
S3, Glacier
DS Client
DS System DS Client
Daasbank DStore™ Shared Storage Infrastructure
DStore™
DStore™
Storage Server
Legacy Storage System
创新的云端服务模式提升运行效率及经济性
• DStore™让管理者可在共享资源池上为每位使用者建立独立的”虚拟存储设备”(Virtual Storage),并提供用户自助服务功能(Self-service Portal)
依据需求弹性部署
• DStore™提供管理者两种模式混合搭配部署: – SDS超聚合存储Kinetic – DS分布式存储服务器
• 无缝整合先期投资的传统存储设备，并入成为DStore™管理的共享存储资源池
DStore™ Hypervisor
DStore™ Hypervisor
SDS-Kinetic
客户需求
p 海量视频、图像数据的统一存储和快速检索 p 多节点集群并行工作，保证数据的高安全性 p 后续可根据需要自由扩展
某市天网工程部署图
1、流媒体高清视频文件对高带宽和稳定的需 求。 2、大数据分析：包含检索数据库和海量视频 文件资料，检索数据库主要用来关联带标签的 分类主题资料和具体视频文件，使用户能快速 检索到对应分类的存储位置。 3、云计算虚拟化集群：物理服务器组建成统 一的集群计算虚拟机资源池，实现虚拟机的故 障转移高可用、负载自动分配资源、对存储高 IOPS需求。 4、海量小文件空间数据。 5、跨多中心分布式广域云架构。
DStore™
采用Block/File/Object统一集群存储架构
目标应用类型：所有海量数据扩展存储的客户
应用1、支持跨地域分布式存储管理
跨地域数据同步协同： 总公司和分（子）公司间跨地域数据同步。 数据快速采集、分发： 3个副本，分布式部署于不同的Regions。
云备份客户端
企业备份中心
应用2 支持云备份容灾归档
Object Distribution
Storage
Data De-duplication
Workloads/Applications VM VM VM
Workloads/Applications VM VM VM
Workloads/Applications VM VM VM
NFS CIFS
Monitoring/Alert Reporting
平安城市云存储系统五大需求
云和大数据增长对象存储占据 90%
云和大数据未来需要新的存储方式
wenku.baidu.com
4X
$ 50%
Daasbank SDS 创新价值
规模更大
成本更低
更安全可靠
大家有疑问的，可以询问和交流
可以互相讨论下，但要小声点
什么是SDS超聚合？
DStore™ 弹性定义、部署及管理的聚合式云存储平台
私有数据中心
在企业办公
亚马逊公有云数据中心
混合云网盘融合创新
特点 安全、方便、快捷
应用4 云桌面/云平台/服务器虚拟化
VM VM VM VM VM VM
VM VM VM VM VM VM
VM VM VM VM VM VM
Hyper-V
Compute Storage
Compute Storage
Compute Storage
virtual storage
DStore™ Shared Storage Infrastructure
DStore™产品架构
Interface Management Distribution
Amazon S3, WebDAV OpenStack Swift
Policy Management (Distribution, QoS, Tiering)
应用5 大数据分析
客户需求
p 峰值时间大量用户并发访问，导致数据爆发式增长 p 数据为典型海量小文件（15K—30K之间），对系统性能冲击很大 p 原有的NAS系统在数据读取时性能下降，网站访问延时严重。 p 系统要有弹性扩充的能力
解决方案
p 多个元数据节点集群，提升海量小文件访问时的检索与读取速度， 应对前端多用户高并发的访问需求
平安城市智慧发展趋势
以某市公安局天网工程为例
项目概况
p 该市公安局要建设“天网工程”的统一存储系统 p 针对案件的所有图像、视频数据（涉案人脸抓拍等），在市局统一
汇总，永久存储 p 存储公安局重要信息，对系统安全性的要求非常高
解决方案
p 提供2000TB存储容量 p 节点级安全，保证内部重要数据的数据安全
• DStore™多重用户共享(Multi-Tenancy)”的设计 满足不同用户对存储的性能、安全、分段、隔离 、监管、及QoS等不同需求
NAS
SAN
・・・ S3
CIFS/NFS
virtual virtual storage storage
virtual storage
Dynamic Virtual Storage Provisioning
• 采用Block/File/Object统一集群存储架构 • 服务器虚拟主机可以有多个vPools，高速缓
存和无限快照，统一管理异构数据，支持本 地文件系统、NAS、块设备、S3 API兼容的 对象存储如Ceph，Swift，AWS，分布式文 件系统如GlusterFS，XtreemFS等。 • 无接缝扩充–可扩充到数百 PB，无需再做存 储空间预估