【CN109800689A】一种基于时空特征融合学习的目标跟踪方法【专利】

(10)申请公布号 CN 109800689 A (43)申请公布日 2019.05.24 G06N 3/04(2006 .01) G06N 3/08(2006 .01)
权利要求书2页 说明书4页 附图2页
CN 109800689 A
CN 109800689 A
权 利 要 求 书
1/2 页
1 .一种基于时空特征融合学习的目标跟踪方法，包含如下步骤： 步骤一、目标选取： 从初始图像中选择并 确定要跟踪的目标对象 ，目标选取过程通过运动目标检测方法自 动提取或者人机交互方法手动指定； 步骤二、数据集生成： 初始数据集的生成包括两个部分，一个部分为目前公开获得的有标注视频数据集或图 像序列集 ，另一个部分是根据初始图 像来人工合成的 跟踪序列 ；人工合成的 跟踪序列具体 包括两个方面的工作，一方面对初始图像中的目标对象进行图像变换，包括平面内旋转、平 面外旋转或者尺度变化 ，另一方面对目 标对象 在整个场景中进行按行或 列循环移动 ，由 此 获得大量模拟的跟踪序列数据集；具体操作如下： 首先是根据图像序列第一帧目标对象包围盒的真实坐标值将目标对象从背景中裁剪， 对被裁剪的区域位置进行邻域像素填充，得到场景图像，然后对目标对象分别进行平面内 旋转、平面外旋转或者尺度变换，其中，平面内旋转范围为0 °～360 °，单次旋转角度为30 °， 平面外旋转采用仿射变换，设置仿射变换矩阵中透射变换因子权重值变换范围为0 .5～1， 单次变换单位为0 .1，尺度变换比例范围为0 .8～1 .2倍，单次变换比例为0 .1，得到410种目 标对象增强数据集；设置步长为10像素，并分别将这410种目标对象增强数据集在场景图像 中按行循环移动，最终得到41763张图片增强数据集，图片增强数据集中包含的所有图像均 标记其对应的目标对象包围盒的位置信息； 步骤三、时空特征融合学习网络的构建与初始化： 时空特征融 合学 习网 络模型包括三个子网 络 ，分 别为目 标空间特征提取网 络 、背景空 间特征提取网络和时序特征提取网络； 目 标空间特征提取网络采 用YOLOv3网络 ，该网络特征提取层为Da rknet-53结构 ，共有 53个卷积层，其余为残差层；其中卷积层包括1x1卷积层和3x3卷积层，这里采用Darknet-53 的第53层全连接层输出的1000维神经元提取目标的空间特征； 背景空间特征提取网络采 用Alexnet网络模型 ，该网络模型结构是由 8层网络组成 ，包 括5层卷积层和3层全连接层，这里采用第7层全连接层输出的4096维神经元组成的特征提 取背景空间特征； 时序特征提取网络采用Alexnet网络和LSTM相结合的方式提取，先经过Alexnet网络第 7层全连接层输出的 4096维 神经元提取图 像背景的 全局特征 ，然后经过LSTM提取图 像序列 中的时序特征； 构建网络模型后，采用在ImageNet数据集上预先训练好的网络模型参数对所需训练网 络进行参数初始化，该网络模型参数包含神经元之间的连接权重值、偏置值，并采用训练数 据集对网络进行训练；网络训练具体步骤是，先训练空间特征提取网络，再训练时序特征提 取网络 ；当 训练空间特征网络时 ，需要固定时序特征网络的权重 ；空间特征提取网络训练流 程是先进行目标特征提取网络的训练，再在YOLOv3后添加一层LSTM，训练规则是输入2组图 像序列，图像尺寸归一化为224x224像素，第一组序列为{It-1、It-2、It-3、It-4}，第二组序 列为{It-2、It-3、It-4、It-5} ，其中It-1、It-2、It-3、It-4、It-5分别代表t-1、t-2、t-3、t4、t-5时刻的帧图像，5<t<41764，依次按序将第一组图像提取的特征对第二组序列特征进 行 相减运算 ，经过800批次 训练得到目 标对象的 空间变换特征 ；之 后 训练背景特征提取网
2
CN 109800689 A
权 利 要 求 书
2/2 页
络，固定目标特征提取网络模型参数不变，在Alexnet后添加一层LSTM，训练规则是将41763 张图 片输入Alexnet网络中进行 训练 ，经过500批次 训练得到背景特征 ；训练时 序特征网络 时 ，需要固定空间特征网络的权重 ，输入规则与目标特征提取网络相同 ，经过800批次 训练 得到图像序列的时序特征；最后，对整个时空特征融合学习网络进行训练，训练方式采用随
法 ( 57 )摘要
本发明公开了一种基于时空特征融合学习 的目标跟踪方法，涉及计算机视觉及模式识别技 术领域。首先构建时空特征融合学 习网络 ，时空 特征包括时序特征和空间特征，其中时序特征通 过采用Alexnet与时间递归神经网络相结合的方 式提取 ；空间特征又分为目标对象空间变换特征 和背景空间特征 ，分 别采 用YOLOv3和Alexnet提 取。在网络初始训练过程中 ，使用训练数据集和 随机梯度下降法对时空特征融合学习网络进行 训练，训练完成后网络即可获得对目标对象进行 定位的初始能力。将要跟踪的图像序列输入网络 中进行正向处理 ，网络将输出目标对象包围盒的 位置和置信度，其中置信度决定网络是否进行在 线学 习 ，而 包围 盒的 位 置 实 现 对目 标 对象 的 定 位，从而实现对目标对象的跟踪。
( 19 )中华人民 共和国国家知识产权局
( 12 )发明专利申请
(21)申请号 201910007818 .9
(22)申请日 2019 .01 .04
(71)申请人 西南交通大学 地址 610031 四川省成都市二环路北一段 111号
(72)发明人 卢学民 权伟 刘跃平 王晔 张桂萍 江永全 何武 陈锦Βιβλιοθήκη Baidu
(74)专利代理机构 成都点睛专利代理事务所 (普通合伙) 51232
代理人 葛启函
(51)Int .Cl . G06K 9/00(2006 .01) G06K 9/46(2006 .01) G06K 9/62(2006 .01) G06T 7/246(2017 .01)
( 54 )发明 名称 一种基于时空特征融合学习的目标跟踪方