视频大数据存储平台解决方案

障转移高可用、负载自动分配资源、对存储高
IOPS需求。 4、海量小文件空间数据。
5、跨多中心分布式广域云架构。
平安城市云存储系统五大需求
云和大数据增长对象存储占据 90%
云和大数据未来需要新的存储方式
4X
$ 50%
Daasbank SDS 创新价值
规模更大
成本更低
更安全可靠
什么是SDS超聚合？
Plug-and-Play
方式，能在服务不下线的同时在同一丛集中从数
个节点扩充至数百节点提供Storage Management API，让使用者容易整合既有的IT管理环境 •先进的监视模块及告警系统，随时随地保持储存系统的最佳况状
机架产品规格
优势总结
• 更低的成本—比采用磁盘阵列和存储服务器构建数据中心时可获得更低的资本支出。客户可在相 同物理空间分配更多存储容量。 • 更少的人力—减少维护磁盘阵列和存储服务器所需的运维工程师数量。此外，该平台支持的更密 集存储可潜在减少通常数据中心需要雇用的运维工程师数量，实现重大劳力节省。 • 更低的能耗 —消除磁盘阵列和存储服务器层，并结合更高效的机架密度，以更少机架支持相同数 量的存储从而降低能耗。 • 更高的可靠—采用对象存储3副本机制，可跨广域网分布式部署，11个9的可靠性保障。存储系统 内部没有控制器、主板、内存、Raid、SAS卡等部件，减少硬件的故障发生几率。
•
Real-time Data Replication功能确保资料的一致性资料自我修复(Self-healing)及自动复
原(Auto-Recovery)机制，确保资料可靠性
Байду номын сангаас
存储资源池的管理性与兼容性
•去中心化(De-centralized) 管理设计使每一存储节点皆能提供管理界面， 简化管理复杂度 •简易的安装及Plug-&-Play布署
平安城市智慧发展趋势
以某市公安局天网工程为例
项目概况
该市公安局要建设“天网工程”的统一存储系统
针对案件的所有图像、视频数据（涉案人脸抓拍等），在市局统一 汇总，永久存储 存储公安局重要信息，对系统安全性的要求非常高
解决方案
提供2000TB存储容量 节点级安全，保证内部重要数据的数据安全
Management
Auto Recovery
Distribution
Object Replication
Object Rebalance
Storage
Workloads/Applications VM VM VM Workloads/Applications VM VM VM
Data De-duplication
DStore™ Shared Storage Infrastructure
DStore™产品架构
Interface
Amazon S3, WebDAV OpenStack Swift Policy Management (Distribution, QoS, Tiering) Object Distribution NFS CIFS Monitoring/Alert Reporting iSCSI/FC
原有的NAS系统在数据读取时性能下降，网站访问延时严重。 系统要有弹性扩充的能力
解决方案
多个元数据节点集群，提升海量小文件访问时的检索与读取速度， 应对前端多用户高并发的访问需求
通过自动负载均衡技术避免存储热点的形成所带来的访问延迟。
客户价值
有效应对海量小文件存储的难题，降低了网络访问延时，提升用户 体验 独立用户数持续增长，企业收益快速增长
•
更高的性能—应用主机通过SSD高速缓存，通过以太网直接读写硬盘驱动器 ，消除文件系统、存
储控制器、RAID、SAS背板等环节，性能提升4倍以上。快速的灾难恢复，降低数据丢失和业务 中断带来的损失。
目标应用类型：所有海量数据扩展存储的客户
应用1、支持跨地域分布式存储管理
跨地域数据同步协同： 总公司和分（子）公司间跨地域数据同步。 数据快速采集、分发： 3个副本，分布式部署于不同的Regions。
应用2 支持云备份容灾归档
归档数据存储设备 归档 云备份介质
云存储系统
云备份系统
门户
计费
客户注册、 计费及管理
• 藉由SSD做到数据存储分级，提升整体数据效率 • 利用多种储存技术优化存储方式，包含快照(Snapshot)、重复数据删除(De-duplication)、数 据压缩(compression)、自动精简配置(Thin provisioning) • 跨节点的纠删码技术有效提高存储使用率及安全性
Application Workload
Thin Provisioning
Data Deduplication
Erasure Code
SSD Cache
Primary Storage
N+M的纠删码技术
对于有n个数据节点的存储集群而言，原始数据仅需保存一份，并通过就删码的方式额 外保存m个校验码，即可确保在损坏节点数不超过m个节点的前提下，确保数据的安全性 。而整体的存储空间容量就是n+m个节点。如果是副本机制要达到同样的安全级别，节点 数需要达到m*n个，因此针对大容量数据存储，纠删码是一个非常有效的节约成本的存储 方案。N+M的纠删码方案，确保任意损坏1-M台物理节点，数据依然可确保安全。
Data Compression
SSD Acceleration
Workloads/Applications VM VM VM
DStore™ Kinetic
DStore™ Kinetic
DStore™
Kinetic
DStore™
DStore™
Scale-out ・・・・
采用Block/File/Object统一集群存储架构
云网关
私有云备份客户端
云备份客户端
应用3 云存储网盘
在外地出差
移动终端
PC Client
在家办公
Internet/专网
S3, Glacier
在学校上课
DS Client
在企业办公
DS System DS Client
私有数据中心
亚马逊公有云数据中心
混合云网盘融合创新
特点 安全、方便、快捷
应用4
云桌面/云平台/服务器虚拟化
支援各种存储协议
– 支持各种存储协议使用包含文件，块级存储(SAN、NAS) – 支持对象存储(Object)及云端服务例如: S3、Swift和WebDAV
云端 Amonzon S3 OpenStack Swift WebDAV
文件协议 File-based
块设备 Block-Level
数据存储效率
数据的安全性及可靠性
• 利用集群(Cluster)的架构提供数据副本选项(2〜10份)，提供资料的高可用度，针对网络环
境提供IP takeover、DNS Round-robin的机制，确保服务的高可用性
• 云存储11个9的耐用性.适用于私有、公有、混合云环境。支持N+1集群、多站点容灾备份 ，可实现IDC多机房跨广域网分布式部署。
储空间预估
依据需求弹性部署
• DStore™提供管理者两种模式混合搭配部署: – SDS超聚合存储Kinetic – DS分布式存储服务器 • 无缝整合先期投资的传统存储设备，并入成为DStore™管理的共享存储资源池
Daasbank DStore™ Shared Storage Infrastructure
VM VM VM VM VM VM
VM VM VM VM VM VM
VM VM VM VM VM VM
Hyper-V
Compute
Storage
Compute
Storage
Compute
Storage
应用5 大数据分析
客户需求
峰值时间大量用户并发访问，导致数据爆发式增长
数据为典型海量小文件（15K—30K之间），对系统性能冲击很大
• DStore™多重用户共享(Multi-Tenancy)”的设
・・・
计满足不同用户对存储的性能、安全、分段、隔
离、监管、及QoS等不同需求
NAS
SAN
S3
CIFS/NFS
virtual storage
virtual storage
virtual storage
virtual storage
Dynamic Virtual Storage Provisioning
DStore™ Hypervisor DStore™ Hypervisor DStore™ DStore™
SDS-Kinetic
Storage Server
Legacy Storage System
创新的云端服务模式提升运行效率及经济性
• DStore™让管理者可在共享资源池上为每位使用者建立独立的”虚拟存储设备”(Virtual Storage),并提供用户自助服务功能(Self-service Portal)
DStore™ 弹性定义、部署及管理的聚合式云存储平台
• 采用Block/File/Object统一集群存储架构
• 服务器虚拟主机可以有多个vPools，高速缓
存和无限快照，统一管理异构数据，支持本 地文件系统、NAS、块设备、S3 API兼容的
对象存储如Ceph，Swift，AWS，分布式文
件系统如GlusterFS，XtreemFS等。 • 无接缝扩充–可扩充到数百 PB，无需再做存
客户需求
海量视频、图像数据的统一存储和快速检索 多节点集群并行工作，保证数据的高安全性 后续可根据需要自由扩展
某市天网工程部署图
1、流媒体高清视频文件对高带宽和稳定的需 求。 2、大数据分析：包含检索数据库和海量视频 文件资料，检索数据库主要用来关联带标签的 分类主题资料和具体视频文件，使用户能快速 检索到对应分类的存储位置。 3、云计算虚拟化集群：物理服务器组建成统 一的集群计算虚拟机资源池，实现虚拟机的故