数据处理和存储系统设计方案

数据处理和存储系统设计方案
XXX科技有限公司
20XX年XX月XX日
目录
一服务器系统数据处理设计 (2)
1.1 设计原则 (2)
1.2 服务器选择的依据 (3)
二存储系统视频云存储 (3)
2.1 系统概述 (3)
2.2 存储系统架构 (4)
2.3 存储系统设计 (4)
2.4 存储系统功能 (5)
2.5 存储业务流程 (5)
2.5.1 视频存储业务流程 (5)
2.5.2 图片存储业务流程 (8)
一服务器系统数据处理设计
1.1设计原则
在服务器系统设计中，我们遵循以下的原则：
实用性
无论对于何种计算机系统，实用性永远是需要放在首位和着重考虑的。

一个系统的建设是一项工程的实施，它的最基本的目标是建立一个适用实际环境的、能满足用户功能需求的实用系统，而不是一味追求技术的领先和产品的更新。

广泛采用标准
随着计算机技术的发展，芯片技术、存储系统、各种传输协议以及与外部系统的接口等都已逐渐形成标准。

采用标准化的设计，能使系统具有良好的可扩充性及兼容性，能与其他厂商产品配套使用，给各种系统软件和应用软件的安装运行带来方便，同时有利于系统的升级和与其他系统的数据交换。

先进性与适用性的统一
计算机技术的发展与时间不是简单的线性关系，从投资保护及长远考虑的角度来看，在系统设计时保持一段时间的先进性也是十分必要的，重要的是把握好先进性与实用性和适用性之间的关系，取两者之间的最佳平衡点，使用户的投资得到最大化的收益和回报。

注重售后服务
衡量设备及产品的优劣，不仅应以设备及产品本身的质量作为尺度，还应充分考虑厂商的售后服务。

在系统正常使用情况下，软硬件的及时升级、维护，以及在系统出现故障时修复响应时间、备品备件的充足程度等，都将直接影响到整个系统的运行状况。

因此，选择优秀的设备供应商和全面考察供应商的售后服务情况也是服务器系统选择中重要的原则之一。

1.2服务器选择的依据
服务器系统的运算能力和I/O能力往往是考察系统性能优劣的重要指标。

目前较为普遍采用的一个衡量服务器系统处理能力的参数是TPMC值，TPMC值是测试单台服务器或集群系统在配备特定的操作系统，采用特定的数据库的情况下每分钟处理事务的能力（TransactionPerMinute）。

TPMC值越高说明系统处理能力越强。

通常情况下，用户的应用每秒钟会触发几个事物这一基准数据的取值范围是可以定量计算的，这样针对某个联机事物处理系统，对系统服务器的选择就可以参照服务器的TPMC值来确定了。

但是同时也应该看到，服务器TPMC值是通过实验手段取得的，某系统的TPMC值是在其生产厂商所送检的特定配置的服务器硬件+特定配置的操作系统+特定配置的数据库系统所得出的事物处理能力的衡量，其配置中任何一项的变化都可能会对TPMC值有很大的影响。

例如在硬件和操作系统不变的情况下，改变数据库系统类型或它的配置，就可能在很大程度上改写系统的TPMC值，不可忽视的是，应用软件设计和编码的好坏能在更大程度上影响系统的事物处理能力。

所以对TPMC值的作用，仅可以用作参考，不可以生搬硬套，按照一般的原则，选择服务器时一般对TPMC值要求要高一些。

二存储系统视频云存储
2.1系统概述
结合目前视频存储系统技术发展的主要方向，本次视频存储系统的建设需要云存储，解决海量高清视频图像数据的存储和管理需求并为应用平台提供视频数据高效检索、快速调取等服务功能。

以达成以下目标：
➢采用目前技术领先的视频云存储方式，新建视频云存储系统，有效解决
海量高清视频图像数据的存储和管理需求，实现分布式存储，虚拟化集中管理。

➢视频云存储系统提供高速数据接口，为应用平台提供视频数据高效检索、快速调取等服务功能，为公安业务应用提供有力支撑。

➢视频云存储系统提供标准的运维接口，维护便捷，实现高效实用的管理及使用机制。

2.2存储系统架构
视频云存储系统采用前端摄像机直写存储设备的方式，使用集群方案解决单节点失效问题，并利用负载均衡技术充分利用各存储节点的性能；采用统一接口与平台对接，降低平台维护和用户管理的复杂度。

平台管理中心仅和云存储系统中的云存储管理集群完成各种具体业务的信令交互工作，其他数据存储和读取工作直接由存储节点完成。

采用信令和视频数据的完全分离，降低整个系统的网络压力，提高整体性能。

2.3存储系统设计
为解决传统视频存储系统遇到的问题，本次将在中心机房建设基于视频云技术的视频存储系统，由中心平台统一管理，实现接入视频全天24小时存储、采用25帧率录像保存30天；同时将原有存储系统改造为视频云存储子系统，并进
行系统和数据的迁移，组建完整的视频监控云存储系统。

2.4存储系统功能
视频云存储系统面向视频、图片应用定制化开发，提供了丰富的功能接口供上层视频监控平台调用，主要功能如下图所示：
云存储功能示意图
2.5存储业务流程
2.5.1视频存储业务流程
2.5.1.1视频存储流程
视频数据存储由视频监控平台向视频云存储子系统的管理服务器下发视频录像计划，管理服务器根据各存储的负载状况，给存储服务器的接入服务软件下发录像计划。

接入服务软件获取录像计划后，直连监控点IPC，获取视频数据后调用数据管理软件将数据写入存储服务器中。

当监控点录像计划发生变更时需及时通知管理服务器；由管理服务器统一控
制并分发给接入服务软件。

接入服务软件定期向管理服务器获取录像计划并上报自身状态。

数据存储流程图
如上图所示，视频存储流程为：
➢平台向管理服务器下发计划；
➢管理服务器向存储服务器同步录像计划；
➢存储服务器向前端取流；
➢存储服务器向管理服务器同步取流信息。

2.5.1.2视频检索流程
视频监控平台检索视频录像信息时向视频云存储子系统管理服务器发送检索指令，管理服务器查询本地数据库后直接将检索信息发送到视频监控平台，整个流程采用一级检索方案完成。

数据检索流程图
如上图所示，视频检索流程为：
➢平台向管理服务器下发检索指令；
➢管理服务器向平台返回检索信息。

2.5.1.3视频获取流程
用户通过视频监控平台查看监控点视频数据时视频监控平台向视频云存储子系统发送获取数据请求，管理服务器转发请求到存储节点，由存储节点的数据管理服务软件将视频数据发送到用户。

数据获取流程图
如上图所示，视频检索流程为：
➢平台向管理服务器下发检索指令；
➢管理服务器向平台返回检索信息。

2.5.2图片存储业务流程
2.5.2.1图片存储流程
图片存储流程由卡口抓拍设备发起，抓拍机抓取图片后主动写入云存储中。

写入完成后将云存储返回的URL地址上传至平台的接入服务器，由接入服务器写入数据库中保存。

存储节点设备之间能够自动进行均衡负载，保证在故障时做到自动切换，不间断的提供图片数据的存储业务。

详细的图片存储流程如下图所示：
图片直存流程
流程优点：
➢图片数据由前端抓拍机直写入云存储，节省了大量接入服务器。

➢图片数据的存储方案提供前端较高的兼容性能，能够支持多厂商前端的图片写入。

➢图片数据是分散存储，将接入服务器推送的图片按照算法分散到不同的存储服务器上，提高数据写的速度，在可靠性和安全性上得到了加强。

2.5.2.2图片检索流程
图片数据的索引数据是存储在平台自身的数据库中，包含云存储URL地址、过车信息等。

因此图片检索流程由平台完成。

2.5.2.3图片下载流程
图片数据下载：用户通过视频监控平台下载监控点图片时，视频监控平台向视频云存储系统发送下载数据的请求，存储管理服务器转发请求到存储节点，数据从存储节点由数据管理服务软件直接（或转发）送至视频监控平台。

详细的图片下载流程如下图所示：
流程优点：图片数据是分散存储的，便于数据的快速提取及分析，提高了数据读取的速度，在可靠性和安全性上得到了加强。