视频云存储平台建设方案

视频云存储平台建设方案

目录

1 项目概述 (4)

1.1 项目概述 (4)

1.2 多种方案技术详细对比 (6)

1.3 项目建设必要性和可行性 (7)

1.4 原有系统架构 (7)

1.5 项目设计标准与依据 (8)

1.6 项目建设目标 (9)

1.7 系统优势 (10)

2 系统总体建设方案 (11)

2.1 项目系统总体网络架构 (11)

2.2 系统建设 (13)

2.3 系统需求 (15)

2.4 系统架构和模块描述 (15)

2.4.1 执法记录系统 (16)

2.4.2 云存储系统 (16)

2.4.3 云传输中心端 (17)

2.4.4 流媒体服务器集群 (17)

2.4.5 客户端 (17)

3 系统方案详细介绍 (18)

3.1 云存储方案 (18)

3.1.1 云存储系统简介 (18)

3.1.2 系统基本组成 (19)

3.1.2.1 cStor分布式文件系统 (20)

3.1.2.2 存储访问接口 (21)

3.1.2.3 管理监控中心 (21)

3.1.3 系统优势和特点 (26)

3.1.3.1 高度可靠 (26)

3.1.3.2 高度可靠 (27)

3.1.3.3 优异性能 (27)

3.1.3.4 无限容量 (27)

3.1.3.5 在线伸缩 (27)

3.1.3.6 通用易用 (28)

3.1.3.7 智能管理 (28)

3.1.4 关键技术 (28)

3.1.4.1 负载自动均衡技术 (28)

3.1.4.2 高速并发访问技术 (29)

3.1.4.3 高可靠性保证技术 (29)

3.1.4.4 高可用技术 (29)

3.1.4.5 低功耗存储技术 (30)

3.1.4.6 分布式、分级、动态存储技术 (30)

3.2 云传输方案 (32)

3.2.1 cTrans简介 (32)

3.2.2 关键技术 (33)

3.3 云点播方案 (34)

3.3.1 流媒体模块 (34)

3.3.1.1流媒体集群工作流程图 (34)

3.3.1.2视频流实时转发 (34)

3.3.1.3历史视频数据推送 (35)

3.3.2 流媒体服务器集群系统构架 (35)

3.3.3 流媒体负载均衡 (37)

3.3.4 视频流分发功能 (38)

3.3.5 流媒体服务器性能 (38)

3.3.6 实时云端转码模块 (39)

4 技术优势 (40)

4.1 在线伸缩易扩展 (40)

4.2 负载均衡性能高 (40)

4.3 数据安全不丢失 (41)

4.4 数据高性能传输 (41)

5 云平台配置清单 (41)

1项目概述

1.1项目概述

政府执法记录仪，每月执法录像分散存放在13个地市公安局（总计约520TB/月）将全省13个地市的重要数据上传至政府数据中心，集中存储3个月。按照每个地市的执法记录仪等视频数据量按照平均每天 1.3TB左右的存储容量进行传输，公安视频专网现在的千兆视频带宽利用率需要准备60%左右的带宽资源，建议采用云传输方式提升带宽利用率，大大节省带宽。平均每月40TB数据，每个市公安局配置256TB存储空间可用128TB存储容量，重要数据上传到省公安厅数据中心，按照全省集中采用云存储1:1冗余技术进行存储需要裸容量为640TB。建议采用集中加分散的方式，将重要数据实时上传到省公安厅云存储中心，普通数据就地分散在地市分数据中心，形成逻辑分散、物理统一的全省共享云视频点播传输存储平台。

问题分析

若不采用重要数据集中存储方案，采用执法记录仪本地存储，数据安全性存在误操作等数据安全可靠挑战，则无法安全可靠的保存各个地市的录像数据。

集中存储必将带来海量存储需求（数据中心600TB以上规模），若采用传统存储架构，则将受到存储系统控制器的单点性能瓶颈限制，很难达到良好的存入、读取速度表现。

全省各市局每日上传数据量巨大，传统传输方式带宽利用率较低，上传耗时较长，很可能无法在24小时内将当日数据上传完毕。

解决手段

采用分布式云存储系统可帮助搭建并统一管理三级存储架构（区县本地采集存储层—市公安局存储层—省公安厅管理存储层）构建物理分散逻辑统一的存储云平台。其中市局管理层将采用云存储系统实现。系统分布式架构，实现了一对多数据传输方式，有效提高存储和调度效率，避免了系统性能瓶颈的制约，整个系统读写速度将随规模扩大而进一步提升，具备良好的扩容扩展能力。

云传输技术改进了传统网络传输协议，将带宽利用率提高至80%以上，上传

录像所耗时间将大大缩短，本地采集完成后，利用晚间等非网络业务高峰时段上传，减少对业务网络带宽占用。

云视频技术实现录像数据随时随地调看，可实现笔记本、手机、PAD等移动终端通过WIFI或3/4G网络随时调看录像功能，极大提高管理和工作效率。

上述方案构建的执法记录仪视频存储传输点播系统在南京市公安局经过一年多可靠运行，高效支撑交管局信息化执法工作，得到南京市交管局的高度认可

1.2多种方案技术详细对比

1.3项目建设必要性和可行性

本项目基于政府执法记录仪平台希望进一步提升系统利用率这个现状旨在通过云计算、大数据技术构建建设一个统一的、高度可靠的云存储、云传输、云视频执法记录仪管理系统，将交管局现有的执法记录仪视频监控资源高效整合，集中存储，保证各部门工作有序进行。通过采用云传输技术进一步提升公安网交管视频数据专用网路的网络利用率，采用云存储与云视频流媒体服务器复用大大提升设备的利用率，建设扩展性强、维护简单的统一云存储平台，通过构建统一的公安厅执法记录仪云存储云传输云点播管理系统（以下简称“系统”），将公安和交管部门可利用的全部视频资源经过优化、存储及处理后，透明地呈现给工作人员，为交管部门执法监控等提供有力支撑，迅速了解和掌握监控区域动态情况，增强公安交管应对各种突发事件的处置能力，提高机关打防控效能，弥补人防不足，方便事后调查取证和专案侦察，最大限度压缩犯罪空间，增强威慑力。

1.4原有系统架构

政府现有存储架构为省厅市区到区县集中存储模式区县配置执法记录仪采集工作站和简单的存储服务器，这些服务器都放置在各市区交管局（存储服务器放在公安机房内），这些数据都存储在这些存储服务器中，这些执法记录仪采集工作站放置在交管日常工作办公室机房内。

该存储系统很好的支撑了现有执法记录仪系统，但是随着业务不断扩展（存储时间变为一年）系统存在以下缺点：

采用执法记录仪采集工作站分散存储：将数据继续存储在执法记录仪采集工作站，这需要将全省执法记录仪采集工作站数量扩展，这时执法记录仪这种传统简单的磁盘阵列存储模式的弊端就显露无疑：数据容易受执法记录仪的损坏或者误操作造成数据丢失，同时对于视频数据也不能保障可以实时可靠调看。

采用传统的高端存储集中存储：采用这种价格昂贵的磁盘阵列存储例如EMC 的Isilon采用Infinite Band光纤网络，虽然可以解决数据的集中存储调看，但存在着网络从外部以太网到光纤网路的转换损耗和数据读写都要经过存储设备管理节点“机头”，存储管理接节点存在性能瓶颈，同时数据的读写职能是点