音视频同步的方法及监控系统与制作流程

本技术公开了一种音视频同步的方法及监控系统，包括步骤：S1，采集音视频数据；S2，基于实时传输协议RTP传输音视频数据；S3，采用音视频同步技术处理数据。本技术基于实时传输协议RTP，采用音视频数据同步技术解决了现有技术中存在的音视频数据不同步以及音频处理效果不佳问题，能够播放同步的声音和图像数据，使得声音和图像数据更加真实、流畅。

技术要求

1.一种音视频同步的方法，其特征在于，其包括步骤：

S1，采集音视频数据；

S2,基于实时传输协议RTP传输音视频数据；

S3,采用音视频同步技术处理数据；

S3中，音视频同步控制在数据接收端实施；音视频同步技术以音频为主媒体，视频为从媒体，接收音视频数据时设置缓冲区，通过比较音视频数据包的时间戳判断同步关系，实现音视频数据同步。

2.根据权利要求1所述的一种音视频同步的方法，其特征在于，所述步骤S3中，采用队列作为缓冲区，缓存音视频数据。

3.根据权利要求1所述的一种音视频同步的方法，其特征在于，所述步骤S3中，对于音频缓存，使用iOS系统提供的AudioQueue框架的队列处理音频数据。

4.根据权利要求1所述的一种音视频同步的方法，其特征在于，所述步骤S3中，音频队列的长度至少为3。

5.根据权利要求1所述的一种音视频同步的方法，其特征在于，所述步骤S3中，音视频数据的时间差在允许范围内，则认为音视频同步；否则认为音视频不同步，丢弃视频帧。

6.根据权利要求1所述的一种音视频同步的方法，其特征在于，所述步骤S3中，采用H264硬编解码技术处理音视频数据。

7.一种音视频同步的监控系统，其特征在于，包括设备端、服务器端和客户端，所述设备端通过互联网和防火墙与服务器端连接，所述客户端通过WiFi或4G或4G+网络与路由器连接，所述路由器通过互联网与服务端连接；

所述设备端采集音视频数据，并将音视频数据压缩编码、打包后通过互联网发送到服务器端；

所述服务器端包括流媒体服务器和SIP信令服务器，流媒体服务器将设备端采集到的音视频数据通过互联网和WiFi或4G或4G+网络转发到客户端，SIP信令服务器负责转发系统中的信令消息，同时负责管理客户端中各个终端设备，流媒体服务器通过ICE与SIP服务器进行通信；

所述客户端包括终端设备以及音视频监控子系统，终端设备包括智能手机或平板电脑或台式机，音视频监控子系统包括用户界面模块、数据接收模块、数据同步模块以及数据解码播放模块；

所述用户界面模块包括用户登录界面、设备列表界面、多画面视频显示界面以及iOS系统特有的手势操作界面。

8.根据权利要求7所述的一种音视频同步的监控系统，其特征在于，所述音视频监控子系统采用MVVM模式进行设计。

技术说明书

一种音视频同步的方法及监控系统

技术领域

本技术涉及网络监控领域，尤其涉及一种音视频同步的方法及监控系统。

背景技术

MVVM：全称为Model-View-ViewModel，它是一种新型的架构框架。由三部分组成：View，View Model，Model，每一部分有自已的职责。

随着社会的进步，网络监控系统经历了模拟时代、半数字时代、全数字时代三个发展阶段，并且越来越广泛地应用到社会的各个领域。对于现实场景的实时监控，除了图像信息外声音信息也具有非常重要的意义。从安防、教育、司法等行业来看，声音的实时采集监控具有越来越重要的现实意义。目前，国外网络监控系统已经从传统的网络视频监控转向了基于移动终端的移动音视频监控系统，并且监控业务广泛应用于个人用户。基于移动终端的移动音视频监控系统以其出色的灵活性以及信息的全面性将成为网络监控系统发展的一个重要方向。另外，基于iOS平台的苹果iPhone、iPad等手持设备凭借其优越的性能以及用户体验已经成为了智能手机市场上最受用户欢迎的移动设备，iOS内置的音视频处理框架为图像的优化和渲染以及声音播放提供了支持，但是目前的音视频监控系统由于网络延时和设备处理音视频能力不高，音视频数据存在不同步的问题。另

外，iOS设备处理流媒体数据比较麻烦，尤其是即时语音部分，音频处理效果不佳。

技术内容

为了解决上述技术问题，本技术的目的是提供一种音视频同步的方法及监控系统。基于实时传输协议RTP，以音频为主媒体，视频为从媒体，接收音视频数据时设置缓冲区，通过比较音视频数据的时间戳判断同步关系，实现音视频数据同步，能够播放同步的声音和图像数据，使得声音和图像数据更加真实、流畅。

一种音视频同步的方法，采用的技术方案是：

S1，采集音视频数据；

S2,基于实时传输协议RTP传输音视频数据；

S3,采用音视频同步技术处理数据；

S3中，音视频同步控制在数据接收端实施；音视频同步技术以音频为主媒体，视频为从媒体，接收音视频数据时设置缓冲区，通过比较音视频数据包的时间戳判断同步关系，实现音视频数据同步。

优选的，S3中，采用队列作为缓冲区，缓存音视频数据；

优选的，S3中，对于音频缓存，使用iOS系统提供的AudioQueue框架的队列处理音频数据；

优选的，S3中，音频队列的长度至少为3；

优选的，S3中，音视频数据的时间差在允许范围内，则认为音视频同步；否则认为音视频不同步，丢弃视频帧；

优选的，采用H264硬编解码技术处理音视频数据。

一种音视频同步的监控系统，采用的技术方案是：

包括设备端、服务器端和客户端，设备端通过互联网和防火墙与服务器端连接，客户端通过WiFi或4G或4G+网络与路由器连接，路由器通过互联网与服务端连接；

所述设备端采集音视频数据，并将音视频数据压缩编码、打包后通过互联网发送到服务器端；

所述服务器端包括流媒体服务器和SIP信令服务器，流媒体服务器将设备端采集到的音视频数据通过互联网和WiFi或4G或4G+网络转发到客户端，SIP信令服务器负责转发系统中的信令消息，同时负责管理客户端中各个终端设备，流媒体服务器通过ICE与SIP服务器进行通信；

所述客户端包括终端设备以及音视频监控子系统，终端设备包括智能手机或平板电脑或台式机，音视频监控子系统包括用户界面模块、数据接收模块、数据同步模块以及数据解码播放模块；

所述用户界面模块包括用户登录界面、设备列表界面、多画面视频显示界面以及iOS系统特有的手势操作界面；

优选的，音视频监控子系统采用MVVM模式进行设计。

本技术的有益效果是：