【CN109993151A】一种基于多模块全卷积网络的三维视频视觉注意力检测方法【专利】

(19)中华人民共和国国家知识产权局

(12)发明专利申请

(10)申请公布号 (43)申请公布日 (21)申请号 201910300859.7

(22)申请日 2019.04.15

(71)申请人 方玉明

地址 330013 江西省南昌市江西财经大学

麦庐园校区信息管理学院

(72)发明人 方玉明　黄汉秦　左一帆　温文媖　

万征　

(74)专利代理机构 北京科亿知识产权代理事务

所(普通合伙) 11350

代理人 汤东凤

(51)Int.Cl.

G06K 9/00(2006.01)

G06K 9/32(2006.01)

G06N 3/04(2006.01)

(54)发明名称一种基于多模块全卷积网络的三维视频视觉注意力检测方法(57)摘要本发明涉及一种基于多模块全卷积网络的三维视频视觉注意力检测方法，其特征在于：首先利用图片数据集训练静态全卷积网络（S -FCN）来获取空间特征，从而求得三维视频帧的空间显著性；其次利用二维视频数据集训练动态全卷积网络（T -FCN）并结合其相应的S -FCN结果来获取运动信息，从而求得三维视频帧的时间显著性；最后利用三维视频数据集训练深度全卷积网络（D -FCN）并结合对应的T -FCN结果来获取深度信息，从而求得三维视频最终的视觉关注图。实验结果在三维视频的视觉关注图中展现了良好的

效果。权利要求书2页 说明书7页 附图2页CN 109993151 A 2019.07.09

C N 109993151

A

1.一种基于多模块全卷积网络的三维视频视觉注意力检测方法，其特征在于：首先利用静态全卷积网络(S -FCN)提取空间特征，从而求得三维视频帧的空间显著性；其次利用动态全卷积网络(T -FCN)提取运动信息，从而求得三维视频帧的时间显著性；最后利用深度全卷积网络(D -FCN)提取深度信息，求得三维视频帧的最终视觉关注图。

2.根据权利要求1所述的一种基于多模块全卷积网络的三维视频视觉注意力检测方法，其特征在于：还包括视觉特征，视觉特征包含：空间特征、运动特征、深度特征。

3.根据权利要求2所述的一种基于多模块全卷积网络的三维视频视觉注意力检测方法，其特征在于：先利用图片数据集训练好静态全卷积网络(S -FCN)，然后分别用三维视频的左右视图去测试S -FCN，得到各自带有空间特征的显著图。

4.根据权利要求2所述的一种基于多模块全卷积网络的三维视频视觉注意力检测方法，其特征在于：利用二维视频数据集以及视频帧对应的S -FCN结果去训练动态全卷积网络(T -FCN)，然后分别用三维视频的左右视图去测试T -FCN，得到各自带有运动特征的显著图；利用三维视频数据集以及视频帧对应的T -FCN结果去训练深度全卷积网络(D -FCN)，最终用三维视频的左视图去测试D -FCN，得到最终的三维视频视觉关注图。

5.根据权利要求3或4所述的一种基于多模块全卷积网络的三维视频视觉注意力检测方法，其特征在于：

在各个子网络训练过程中的损失函数可由式(1)来表达：

y i 代表训练数据集中的标签图，y i ∈(y 1，y 2，...，y N )；N代表输入数据的数量；y`i 代表网络计算出来的显著图。

6.根据权利要求3或4所述的一种基于多模块全卷积网络的三维视频视觉注意力检测方法，其特征在于：

各个子网络的激活函数Relu可由式(2)来表达：

x代表激活函数的输入。

7.根据权利要求3或4所述的一种基于多模块全卷积网络的三维视频视觉注意力检测方法，其特征在于：

各个子网络的优化算法Adam可由式(3)来表达：

m t 和v t 分别为一阶动量项和二阶动量项；β1、β2

为动力值大小通常分别取0.9和0.999；分别为各自的修正值；W t 表示t时刻即第t迭代模型的参数；g t ＝ΔJ(W t )表示t次迭代代价函数关于W的梯度大小；∈是一个取值很小的数，为1e -8。

8.根据权利要求1所述的一种基于多模块全卷积网络的三维视频视觉注意力检测方法，其特征在于：网络框架包含三个子网络，它们分别是：用于计算空间显著性的静态全卷积网络(S -FCN)，用于估计时间显著性的动态全卷积网络(T -FCN)，以及用于估计深度显著性的深度全卷积网络(D -FCN)；在三个子网络中，它们的网络结构类似：在上采样的过程中，包含13个卷积层；在下采样的过程中，包含4个反卷积层和7个卷积层。

权　利　要　求　书1/2页2CN 109993151 A