天网工程大数据解决方案

目标应用类型：所有海量数据扩展存储的客户
应用1、支持跨地域分布式存储管理
跨地域数据同步协同： 总公司和分（子）公司间跨地域数据同步。 数据快速采集、分发： 3个副本，分布式部署于不同的Regions。
应用2 支持云备份容灾归档
归档数据存储设备
归档
云存储系统
云备份介质
云备份系统 计费
门户
客户注册、 计费及管理
DStore™产品架构
Interface Management Distribution
Amazon S3, WebDAV OpenStack Swift
Policy Management (Distribution, QoS, Tiering)
Object Distribution
Storage
解决方案
多个元数据节点集群，提升海量小文件访问时的检索与读取速度， 应对前端多用户高并发的访问需求
通过自动负载均衡技术避免存储热点的形成所带来的访问延迟。
客户价值
有效应对海量小文件存储的难题，降低了网络访问延时，提升用户 体验
独立用户数持续增长，企业收益快速增长
支援各种存储协议
– 支持各种存储协议使用包含文件，块级存储(SAN、NAS) – 支持对象存储(Object)及云端服务例如: S3、Swift和WebDAV
存和无限快照，统一管理异构数据，支持本 地文件系统、NAS、块设备、S3 API兼容的 对象存储如Ceph，Swift，AWS，分布式文 件系统如GlusterFS，XtreemFS等。 • 无接缝扩充–可扩充到数百 PB，无需再做存 储空间预估
依据需求弹性部署
• DStore™提供管理者两种模式混合搭配部署: – SDS超聚合存储Kinetic – DS分布式存储服务器
NAS
SAN
・・・ S3
CIFS/NFS
virtual virtual storage storage
virtual storage
Dynamic Virtual Storage Provisioning
virtual storage
DStore™ Shared Storage Infrastructure
Data De-duplication
Workloads/Applications VM VM VM
Workloads/Applications VM VM VM
Workloads/Applications VM VM VM
NFS CIFS
Monitoring/Alert Reporting
Object Replication
平安城市云存储系统五大需求
云和大数据增长对象存储占据 90%
云和大数据未来需要新的存储方式
4X
$ 50%
Daasbank SDS 创新价值
规模更大
成本更低
更安全可靠
什么是SDS超聚合？
弹性定义、部署及管理的聚合式云存储平台
• 采用Block/File/Object统一集群存储架构 • 服务器虚拟主机可以有多个vPools，高速缓
• 无缝整合先期投资的传统存储设备，并入成为DStore™管理的共享存储资源池
DStore™ Hypervisor
DStore™ Hypervisor
SDS-Kinetic
Daasbank DStore™ Shared Storage Infrastructure
DStore™
DStore™
Storage Server
Legacy Storage System
创新的云端服务模式提升运行效率及经济性
• DStore™让管理者可在共享资源池上为每位使用者建立独立的”虚拟存储设备”(Virtual Storage),并提供用户自助服务功能(Self-service Portal)
• DStore™多重用户共享(Multi-Tenancy)”的设 计满足不同用户对存储的性能、安全、分段、隔 离、监管、及QoS等不同需求
VM VM VM VM VM VM
VM VM VM VM VM VM
VM VM VM VM VM VM
Hyper-V
Compute Storage
Compute Storage
Compute Storage
应用5 大数据分析
客户需求
峰值时间大量用户并发访问，导致数据爆发式增长 数据为典型海量小文件（15K—30K之间），对系统性能冲击很大 原有的NAS系统在数据读取时性能下降，网站访问延时严重。 系统要有弹性扩充的能力
海量视频、图像数据的统一存储和快速检索 多节点集群并行工作，保证数据的高安全性 后续可根据需要自由扩展
平安城市智慧发展趋势
某市天网工程部署图
1、流媒体高清视频文件对高带宽和稳定的需 求。 2、大数据分析：包含检索数据库和海量视频 文件资料，检索数据库主要用来关联带标签的 分类主题资料和具体视频文件，使用户能快速 检索到对应分类的存储位置。 3、云计算虚拟化集群：物理服务器组建成统 一的集群计算虚拟机资源池，实现虚拟机的故 障转移高可用、负载自动分配资源、对存储高 IOPS需求。 4、海量小文件空间数据。 5、跨多中心分布式广域云架构。
天网工程大数据解决方案
项目建设背景
项目概况
该市公安局要建设“天网工程”的统一存储系统 针对案件的所有图像、视频数据（涉案人脸抓拍等），在市局统一
汇总，永久存储 存储公安局重要信息，对系统安全性的要求非常高
解决方案
提供2000TB存储容量 节点级安全，保证内部重要数据的数据安全
客户需求
云备份客户端
私有云备份客户端
云网关
wk.baidu.com
应用3 云存储网盘 在外地出差
PC Client
移动终端
在家办公 在学校上课
Internet/专网
S3, Glacier
DS Client
DS System DS Client
私有数据中心
在企业办公
亚马逊公有云数据中心
混合云网盘融合创新
特点 安全、方便、快捷
应用4 云桌面/云平台/服务器虚拟化
iSCSI/FC
Auto Recovery
Object Rebalance
Data Compression
SSD Acceleration
DStore™ Kinetic
DStore™ Kinetic
DStore™ Kinetic
Scale-out ・・・・
DStore™
DStore™
采用Block/File/Object统一集群存储架构