云存储部分功能描述

1 云存储虚拟化设计

宇视科技推出的全新一代分布式云存储系统产品，采用无元数据的全对称分布式架构，以大规模横向扩展、纵向扩展能力以及PB级单一存储空间为视频监控等应用提供非结构化数据共享存储资源。云存储系统支持POSIX、iSCSI、NFS、CIFS、FTP、HTTP、REST等标准访问协议，兼容HDFS API，支持Hadoop应用，充分满足各种业务需求。

1.1 空间虚拟化

Uni-FS是运行于我司云存储系统所有存储节点之上的分布式文件系统，它将各物理存储设备节点组成一个集群，对外提供文件存取和数据保护等功。它采用无元数据设计的全对称分布式架构，支持3～300个存储节点的弹性无缝扩展，可提供PB级单一存储空间。

1.2 全局统一命名空间

分布式文件系统最大的特点之一就是提供全局统一的命名空间。全局统一命名空间就是将多个存储服务器的磁盘和内存资源聚集成一个单一的虚拟存储池，对上层用户和应用屏蔽了底层的物理硬件。存储资源可以根据需要在虚拟存储池中进行弹性扩展。全局统一命名空间可以让不同的用户通过单一挂载点进行数据共享，I/O可在命名空间内的所有存储设备上自动进行负载均衡。

我司云存储系统是基于Uni-FS文件系统提供统一命名空间，在同一个云存储系统中可以同时有多个Uni-FS文件系统的卷（物理资源池，由多个存储设备的资源组成），不同的卷创建的文件系统有不同的命名空间。我司云存储系统同时也是基于Uni-FS文件系统的卷提供共享文件目录，因此不同用户可通过访问这个单一的共享文件目录，实现IO在这个Uni-FS 文件系统命名空间内的所有存储设备上自动负载均衡。

1.3 弹性扩展

我司云存储系统的无元数据，通过弹性HASH算法定位文件访问的架构，决定了我司云存储系统获得了接近线性的高扩展性。

我司云存储系统支持从横向和纵向的扩展模式，实现在容量、性能和带宽三方面的线性

扩展。

➢Scale-Out横向扩展：通过增加存储节点，实现系统容量、性能和带宽的扩展。存储节点最大可扩展至300个。

➢Scale-up纵向扩展：在单节点的硬件性能范围内，通过增加磁盘扩展柜和磁盘实现系统容量和性能的扩展。

1.4 认证与权限管理

我司云存储系统支持本地认证和外部域认证，域认证支持外部AD域服务器认证（适用于CIFS文件共享），外部LDAP域服务器认证（适用于NFS文件共享）和外部NIS域服务器认证（适用于NFS文件共享）。在云存储系统中，共享文件夹针对用户、主机或用户组可以设置相应的读写访问权限。

1.5 配额管理

当卷处于挂载状态时（工作状态），对共享文件夹设置系统用户的配额，可以限制该系统用户在共享文件夹下的最大写入数据大小。一个用户可以在多个共享文件夹下拥有不同配额，一个共享文件夹下也可以有多个不同配额的用户。

配额的设置又分为硬配额和软配额的配置，先介绍下硬配额和软配额的定义：

➢硬配额：一旦设置了硬配额大小，当用户数据达到配额大小时用户无法再写入新的数据，系统可根据设定发送配额通知邮件给用户。

➢软配额：一旦设置了软配额大小，当用户数据达到配额大小时系统可根据设定发送通知邮件给用户，但用户仍可以在容许时间内写入新的数据，如果未配置硬配额，则可以写入数据直到达到可用卷资源的大小；如果设置了硬配额，则可以写入到硬

配额的大小。

1.6 负载均衡与故障切换

我司云存储系统提供前端虚拟IP地址池，为节点分配动态IP地址，客户端根据域名访问云存储系统，采用轮询的方式为客户端（流媒体服务器等）返回不同的IP地址，实现业务在不同节点上进行读写访问，从而达到业务负载均衡的目的。

1.7 统一管理

管理同时支持图形界面和命令行方式。管理员可以通过Master 浮动IP 地址访问统一的网管界面，完成对集群系统的监控、配置、资源分配、性能统计和告警浏览等操作。支持Email ，SNMP Trap ，短信，蜂鸣器，指示灯，数码管等多种告警方式。

2 安防业务方案设计

2.1 视频云直存 视频云存储组网，采用scale -out 结构，分离数据平面和控制平面，即媒体流带外的方式，从IPC 到存储节点直接写入，中间无需其他服务器的介入。

视频云存储组网中IPC 主动管理存储计划和前端智能数据告警，可以及时触发告警录像，同时简化了后端云存储架构，降低了存储业务压力，可以让云存储系统专注读写，更好的满足用户的存储需求。

应该说，视频云直存模式是在宇视块直存基础上延伸出来的云存储模式，汲取了SAN 共享技术及分布式文件系统的块分配策略，突出解决了空间按需占有、弹性扩容及负载均衡等问题。

…视频管理服务器

云存储管理服务器云存储系统IPC 云存储节点监控平台

信令流实况流存储流…回放流……HA 监控网络解码显示

信令与业务互不干扰，平台故障，不影响存储业务

2.2 图片CDS云存储

图片云存储组网相对视频增加了TMS（智能交通管理服务器），主要负责图片智能数据分析、黑白名单及研判等业务，在IPC完成一定数量的图片存储后，以事务的方式上传卡口智能数据到TMS服务器。

图片大小一般从几KByte到上MByte不等。大量的图片小文件对元数据的操作开销非常大，既增加了总体数据的写入数量，也增加了磁盘的随机读写，同时也容易产生磁盘碎片。

为此，从底层重新设计了块分配及元数据的组织算法，通过重组的方法将图片流化处理，充分利用视频存储的块组织模式。

海量小文件存储（简称LOSF，lots of small files）是业界难题。业内有些厂家为了快速实现功能，将非结构化的图片采用表式的数据库存储技术，存在表容量大、内存消耗大、查询路径长、容量难扩展等缺点。宇视科技参考淘宝、微信、Facebook等互联网技术，采用流式的对象存储技术，并把索引结构从秒级扩展到帧级，可以很好的解决上述问题。图片的索引和内容分开处理，将结构化的图片索引存储入千亿级数据库可以快速检索、易扩展，非结构化的图片经过聚合处理后存入数据对象，实现千亿级图片存储。

并行智能分析系统的性能提升除了提高智能算法，同时也要避免浪费大量的时间在iowait上等待数据。分布式存储系统的读取包含：从千亿级业务数据库获取图片索引，从千亿级元数据列表获取数据节点ID，从PB级的存储中读取数据，在数据中定位到单帧图片。其中每一步的耗时都达到秒级以上。

宇视CDS的图片无元寻址技术将图片的元数据信息嵌入文件名，减少元数据的读取，从而快速定位到单帧图片。提高业务体验的同时，也增加了云存储的查询性能和集群规模。获取图片的业务延时达到了50毫秒，端到端打通了智能分析的IO瓶颈，大大提高了图片并行分析速度。