基于运动估计和视觉跟踪的云台自动锁定系统和方法与设计方案

本技术公开了一种基于运动估计和视觉跟踪的云台自动锁定系统和锁定方法，其中，锁定系统包括由数据链路实现通讯的天空端和地面端，其中天空端由变焦相机、三轴云台、云台电机、控制器及编码模块构成，地面端主要包括控制模块，方便操作人员在地面操纵云台相机实现目标跟踪和和精细调整；基于上述自动锁定系统的锁定方法，通过创新的跟踪算法可以自动补偿云台运动造成的目标位置变化，提高了目标位置估计的精度；同时，通过在跟踪算法中设置尺度池，可以自适应跟踪目标的距离变化，无论其在图像中的占比变大还是变小，都可以正确跟踪。另外，该锁定方法还可以根据目标在图像中的占比自动调节焦距，使其处于合适的大小。

权利要求书

1.基于运动估计和视觉跟踪的云台自动锁定系统，其特征在于，包括变焦相机、三轴云台、云台电机、控制器、数据链路、编码模块及控制模块，所述变焦相机、三轴云台、云台电机、控制器及编码模块构成天空端，所述控制模块构成地面端，所述天空端与地面端通过数据链路实现通讯；

所述变焦相机安装于三轴云台上，用于拍摄视频数据；

所述三轴云台由受控制器控制的云台电机驱动，实现在偏航、横滚、俯仰三个角度上按照控制指令运动；

所述编码模块将拍摄到的视频数据进行编码，经由数据链路传输至控制模块；

所述控制模块对接受到的视频数据进行解码、还原、运动估计和预处理，跟踪寻找用户框选目标并得出目标在图像中的中心坐标和大小，同时计算出云台电机偏移控制量和变焦控制量，分别传输至控制器和变焦相机。

2.根据权利要求1所述的基于运动估计和视觉跟踪的云台自动锁定系统，其特征在于，所述控制模块包括：

解码子模块：将天空端传输回的数据进行解码，还原为RGB格式的图像数据；

运动估计子模块：得到预期的目标位置差值；

图像数据预处理子模块：将原始图像变换至合适大小，并消除噪点平滑图像；

视觉跟踪算法子模块：在图像中获取到目标的位置和大小；

云台控制子模块：实现变焦控制，调整变焦镜头。

3.利用权利要求1所述的云台自动锁定系统实现云台自动锁定的方法，其特征在于，包括如下步骤：

S1、变焦相机采集视频数据，编码模块对视频数据进行编码后由数据链路传输至地面

端的控制模块；

S2、解码子模块对接收到的图像数据进行解码，还原为RGB格式的数据图像，显示在人机交互界面上；

S3、操作用户在人机交互界面中框选指定的目标，算法逻辑进入跟踪模式，首先通过运动估计模块和图像数据预处理模块对变焦相机传回的图片进行运动估计和图像数据预处理，然后跟踪算法模块逐帧寻找用户框选的目标，获得目标在图像中的中心坐标和大小；

S4、云台控制子模块计算出云台电机偏移控制量和变焦控制量，并将数据反馈至控制器驱动云台电机，使变焦相机对准并持续跟踪锁定目标，同时调整变焦相机改变镜头焦距。

4.根据权利要求3所述的云台自动锁定方法，其特征在于，所述步骤S1中，编码模块的编码标准为H265标准。

5.根据权利要求3所述的云台自动锁定方法，其特征在于，所述解码子模块还包括：解码云台控制信息，分离出偏航和俯仰轴的云台位置信息和转动速度信息。

6.根据权利要求3所述的云台自动锁定方法，其特征在于，所述运动估计子模块的算法过程为：记图像宽度cols=320像素，高度rows=240像素，相机在宽度方向上的视场角FOV为，高度方向的视场角为，云台在航向角上的角速度为p，俯仰方向上的角速度为q，则云台旋转造成的图像位移为：

其中，和分别表示图像在方向和方向的位移。

7.根据权利要求3所述的云台自动锁定方法，其特征在于，所述图像预处理子模块包括两个步骤：

（1）将原始图像变换到合适的大小，通常选为320*240像素（px），以降低CPU计算量，提高处理速度，提高算法执行帧率；

（2）进行中值滤波，消除图像中的噪点，平滑图像。

8.根据权利要求3所述的云台自动锁定方法，其特征在于，所述跟踪算法子模块的算法过程如下：

（1）根据上一帧跟踪的目标位置和运动估计模块解出的预期运动，得出新的目标预计位置和大小四元组；

（2）按照自适应尺度系数=0.98、0.99、1.00、1.01、1.02的方式选取五个目标候选区域，生成5个输入图像：

，其中==1,2,3,4,5；

（3）针对每个不同尺度的输入，分别按照相应的自适应尺度系数变换滤波器矩阵，得不同尺度的相关性滤波器，并计算响应：

（4）对5个输入尺度的响应，取其最大值点作为这一帧的目标位置，取此时的目标尺度作为目标尺度和新的滤波器矩阵大小；

（5）利用新的目标位置和尺度更新相关性滤波器矩阵：

其中为滤波器的更新率，和为当前帧滤波器的分子和分母，和为上一帧滤波器的分子和分母，是指使响应最大的那个。

9.根据权利要求8所述的云台自动锁定方法，其特征在于，所述跟踪算法子模块输出的数值为目标中心位置和大小四元组（x,y,w,h）。

10.根据权利要求3所述的云台自动锁定方法，其特征在于，所述云台控制子模块采用目标大小占整个图像面积的比值作为输入量，若检测到目标大小超出初始比值的1.1倍，则控制变焦镜头缩短焦距0.1倍；若检测到目标大小小于初始比值的0.9倍，则控制变焦镜头增大焦距0.1倍。

技术说明书

基于运动估计和视觉跟踪的云台自动锁定系统和方法

技术领域

本技术涉及一种云台自动锁定系统和方法，具体涉及一种基于运动估计和视觉跟踪的云台自动锁定系统和方法。

背景技术

云台相机是监控领域中最常用的监控前端设备之一，借助云台相机可实时观察监控区域的每一个角落。无人机是云台相机的优良载体，其可以将相机的视角带到空中，以较高的角度避开地面遮挡，有效发现、跟踪目标。随着技术的发展，现在的无人机云台普遍向高变焦比、远距离监控发展，其具有较大的图像放大倍数，可以在很远的距离监控较小的目标（人员、车辆等）。但当云台相机变焦比提高时（相当于图像放大倍率提高），会产生以下两点问题，不利于人员操纵云台相机跟踪目标：

（1）云台相机的微小旋转运动会使视野发生较大改变，难以精细调整；

（2）目标的小范围移动也会使其迅速脱离视野，不利于人员搜索、观察目标。