一种视频关键帧提取方法[发明专利]

(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201711165320.2
(22)申请日 2017.11.21
(71)申请人 重庆邮电大学
地址 400065 重庆市南岸区南山街道崇文
路2号
(72)发明人 罗元　周寒兴　张毅　
(74)专利代理机构 重庆市恒信知识产权代理有
限公司 50102
代理人 刘小红
(51)Int.Cl.
G06K 9/00(2006.01)
G06T 7/254(2017.01)
G06T 5/00(2006.01)
G06K 9/46(2006.01)
G06K 9/62(2006.01)
(54)发明名称
一种视频关键帧提取方法
(57)摘要
本发明请求保护一种视频关键帧提取方法，
包括以下步骤：使用ViBe算法融合帧间差分法对
所获取的原视频序列进行运动目标检测，得到含
有运动目标的关键视频序列；使用全局特征峰值
信噪比对关键视频序列进行关键帧粗提取得到
候选关键帧序列；使用峰值信噪比建立候选关键
帧序列的全局相似度，使用SURF特征点建立候选
关键帧序列的局部相似度，加权融合两者获取全
局相似度，并利用综合相似度对候选关键帧序列
进行自适应关键帧提取，最终得到目标关键帧序
列。

本发明提供的视频关键帧提取方法能有效提
取视频关键帧，明显减少视频数据的冗余信息，
简洁表达视频的主要内容，而且该算法复杂度不
高，
适用于监控视频关键帧的实时提取。

权利要求书2页 说明书6页 附图1页CN 107844779 A 2018.03.27
C N 107844779
A
1.一种视频关键帧提取方法，其特征在于，包括以下步骤：
1)、获取待处理原视频数据，对所述待处理原视频数据提取原视频帧序列；
2)、使用视频序列背景减除算法ViBe算法融合帧间差分法对所获取的原视频序列进行运动目标检测，得到含有运动目标的关键视频序列；
3)、对步骤2)所述的关键视频序列利用全局特征峰值信噪比进行关键帧粗提取，获取候选关键帧序列；
4)、对步骤3)所述候选关键帧序列建立视频帧综合相似度，利用视频帧综合相似度对所述候选关键帧序列进行自适应关键帧提取，获取目标关键帧序列。

2.根据权利要求1所述的视频关键帧提取方法，其特征在于，所述步骤2)对待处理视频数据进行运动目标检测，得到含有运动目标的关键视频序列，包括步骤：对所述视频帧序列中当前两两相邻的视频帧，分别用ViBe算法和帧差法进行处理，并将两种方法处理后的结果进行与运算，作为当前帧运动目标检测结果；
对当前帧运动目标检测结果，判断与设定阈值的大小，若大于设定阈值则将当前帧存入所述关键视频序列，否则舍去当前帧，依次循环，得到含有所述运动目标的关键视频序列。

3.根据权利要求2所述的视频关键帧提取方法，其特征在于，
所述步骤3)对关键视频序列利用全局特征峰值信噪比进行关键帧粗提取，得到候选关键帧序列，包括步骤：
从首帧开始，对所述关键视频序列将当前帧依次与后续帧计算其峰值信噪比值；
对所述峰值信噪比值与设定阈值进行比较，直到峰值信噪比值比设定阈值小，将当前的后续帧存入所述候选关键帧序列，当前帧与当前后续帧之间的所有视频帧全部舍去，依次循环，得到所述候选关键帧序列。

4.根据权利要求3所述的视频关键帧提取方法，其特征在于，所述步骤4)对候选关键帧序列建立视频帧综合相似度，利用其对所述候选关键帧序列进行自适应关键帧提取，获取目标关键帧序列，包括步骤：
对候选关键帧序列使用峰值信噪比建立相邻视频帧的全局相似度；
对候选关键帧序列使用SURF特征点建立相邻视频的局部相似度；
对全局相似度与局部相似度进行加权融合得到相邻视频帧的综合相似度；
对候选关键帧序列利用综合相似度计算划分关键帧与冗余帧的自适应阈值；
对候选关键帧序列的相邻视频帧综合相似度，判断与自适应阈值的大小，若小于自适应阈值则加入所述关键帧序列，否则舍去，依次循环得到所述目标关键帧序列。

5.根据权利要求4所述的视频关键帧提取方法，其特征在于，所述相邻视频帧的全局相似度包括：
其中，k i,k j为所述候选关键帧序列中的相邻视频帧，P(k i,k j)表示两视频帧间的峰值信噪比，i，j均表示候选关键帧序列中的视频帧号，α表示全局相似度的归一化因子，这里设置为视频帧间峰值信噪比的最大值。

6.根据权利要求5所述的视频关键帧提取方法，其特征在于，所述建立视频帧的局部相
似度，首先采用SURF特征点描述图像的局部特征，包括：
计算积分图像；使用积分图像完成卷积运算度；
检测特征点；构建Hessian矩阵，然后构建尺度空间，确定特征点；
生成描述子；分配基准方向，生成描述子特征向量；
特征点匹配；通过两个特征点之间的欧氏距离以及Hessian矩阵的迹来确定匹配度。

7.根据权利要求6所述的视频关键帧提取方法，其特征在于，所述相邻视频的局部相似度包括：
其中，k i，k j为所述候选关键帧序列中的相邻视频帧，m和n分别为视频帧k i,k j的SURF特征点个数，l它们能够匹配的特征点个数。

8.根据权利要求6所述的视频关键帧提取方法，其特征在于，所述相邻视频帧的综合相似度包括：
S(k i,k j)＝(1-θ)S g(k i,k j)+θS l(k i,k j)，(i≠j)
其中，k i，k j为所述候选关键帧序列中的相邻视频帧，θ为权值，θ＝0.35。

9.根据权利要求8所述的视频关键帧提取方法，其特征在于，所述关键帧与冗余帧的自适应阈值包括：
其中，S lw、S gw分别代表所述候选关键帧序列中任意相邻视频帧的局部相似度与全局相似度，M代表候选关键帧序列的总帧数。

一种视频关键帧提取方法
技术领域
[0001]本发明属于视频图像处理领域，特别是一种视频关键帧提取方法。

背景技术
[0002]随着多媒体通信技术的发展，视频监控作为安全防范的有效手段被广泛应用于诸多领域。

由于全天候的视频监控，其产生了大量的视频数据，但对于用户来说，感兴趣的仅仅是视频中有显著变化的那一小部分。

为了从海量视频数据中快速访问有用视频信息，研究人员提出了关键帧提取技术。

关键帧是一个代表视频序列中主要内容的有限视频帧集合，而关键帧提取技术能够从原始视频中筛选出用户感兴趣的关键帧序列。

[0003]近年来，关键帧的提取已经有了一定的研究。

Zhong Qu等人在镜头分割的基础上，提出了一种改进的基于HSV颜色空间的关键帧提取方法。

但是，监控视频采用固定场景的监控设备，并没有镜头的切换，所以此法用于监控视频效果不佳。

SBTT De等人利用SIFT算法提取图像的局部特征获取关键帧，但是此法的计算速度慢，不利于实时监控。

NS Kumar等人利用背景差分检测运动目标提取关键帧，并且不断更新背景模型以适应复杂的环境变化。

但是此法针对于水下特殊环境，局限性大。

[0004]相比于一般的电影动画视频，监控视频中含有大量纯背景的冗余视频帧，将关键帧提取技术应用于监控视频中可以有效地去除冗余信息，便于用户后续的传送、存储和浏览。

但是传统方法提取监控视频关键帧，存在冗余信息多，其内容不具代表性等问题。

发明内容
[0005]本发明旨在针对传统的视频关键帧提取方法，存在冗余信息多，其内容不具代表性等问题。

本发明提出了一种视频关键帧提取方法，即基于运动目标检测及图像相似度的关键帧提取方法，该方法不仅能有效提取视频关键帧，明显减少视频数据的冗余信息，简洁表达视频的主要内容，而且该算法复杂度不高，适用于实时提取。

本发明的技术方案如下：[0006]一种视频关键帧提取方法，其包括以下步骤：
[0007]1)、获取待处理原视频数据，对所述待处理原视频数据提取原视频帧序列；[0008]2)、使用视频序列背景减除算法ViBe算法融合帧间差分法对所获取的原视频序列进行运动目标检测，得到含有运动目标的关键视频序列；
[0009]3)、对步骤2)所述的关键视频序列利用全局特征峰值信噪比进行关键帧粗提取，获取候选关键帧序列；
[0010]4)、对步骤3)所述候选关键帧序列建立视频帧综合相似度，利用视频帧综合相似度对所述候选关键帧序列进行自适应关键帧提取，获取目标关键帧序列。

[0011]进一步的，所述步骤2)对待处理视频数据进行运动目标检测，得到含有运动目标的关键视频序列，包括步骤：
[0012]对所述视频帧序列中当前两两相邻的视频帧，分别用ViBe算法和帧差法进行处理，并将两种方法处理后的结果进行与运算，作为当前帧运动目标检测结果；
[0013]对当前帧运动目标检测结果，判断与设定阈值的大小，若大于设定阈值则将当前帧存入所述关键视频序列，否则舍去当前帧，依次循环，得到含有所述运动目标的关键视频序列。

[0014]进一步的，所述步骤3)对关键视频序列利用全局特征峰值信噪比进行关键帧粗提取，得到候选关键帧序列，包括步骤：
[0015]从首帧开始，对所述关键视频序列将当前帧依次与后续帧计算其峰值信噪比值；[0016]对所述峰值信噪比值与设定阈值进行比较，直到峰值信噪比值比设定阈值小，将当前的后续帧存入所述候选关键帧序列，当前帧与当前后续帧之间的所有视频帧全部舍去，依次循环，得到所述候选关键帧序列。

[0017]进一步的，所述步骤4)对候选关键帧序列建立视频帧综合相似度，利用其对所述候选关键帧序列进行自适应关键帧提取，获取目标关键帧序列，包括步骤：
[0018]对候选关键帧序列使用峰值信噪比建立相邻视频帧的全局相似度；
[0019]对候选关键帧序列使用SURF特征点建立相邻视频的局部相似度；
[0020]对全局相似度与局部相似度进行加权融合得到相邻视频帧的综合相似度；[0021]对候选关键帧序列利用综合相似度计算划分关键帧与冗余帧的自适应阈值；[0022]对候选关键帧序列的相邻视频帧综合相似度，判断与自适应阈值的大小，若小于自适应阈值则加入所述关键帧序列，否则舍去，依次循环得到所述目标关键帧序列。

[0023]进一步的，所述相邻视频帧的全局相似度包括：
[0024]
[0025]其中，k i,k j为所述候选关键帧序列中的相邻视频帧，P(k i,k j)表示两视频帧间的峰值信噪比，i，j均表示候选关键帧序列中的视频帧号，α表示全局相似度的归一化因子，这里设置为视频帧间峰值信噪比的最大值。

[0026]进一步的，所述建立视频帧的局部相似度，首先采用SURF特征点描述图像的局部特征，包括：
[0027]计算积分图像；使用积分图像完成卷积运算度；
[0028]检测特征点；构建Hessian矩阵，然后构建尺度空间，确定特征点；
[0029]生成描述子；分配基准方向，生成描述子特征向量；
[0030]特征点匹配；通过两个特征点之间的欧氏距离以及Hessian矩阵的迹来确定匹配度。

[0031]进一步的，所述相邻视频的局部相似度包括：
[0032]
[0033]其中，k i，k j为所述候选关键帧序列中的相邻视频帧，m和n分别为视频帧k i,k j的SURF特征点个数，l它们能够匹配的特征点个数。

[0034]进一步的，所述相邻视频帧的综合相似度包括：
[0035]S(k i,k j)＝(1-θ)S g(k i,k j)+θS l(k i,k j)，(i≠j)
[0036]其中，k i，k j为所述候选关键帧序列中的相邻视频帧，θ为权值，θ＝0.35。

[0037]进一步的，所述关键帧与冗余帧的自适应阈值包括：
[0038]
[0039]其中，S lw、S gw分别代表所述候选关键帧序列中任意相邻视频帧的局部相似度与全局相似度，M代表候选关键帧序列的总帧数。

[0040]本发明的优点及有益效果如下：
[0041]本发明提供一种视频关键帧提取方法，该方法能有效地提取视频关键帧，明显减少视频数据的冗余信息，简洁表达视频的主要内容，而且该算法复杂度不高，适用于监控视频的关键帧提取。

其中：
[0042]选取Vibe算法融合帧差法检测原视频中的运动目标，更合理地划分了视频结构，为后续提取工作缩小了提取范围，节省了计算量。

[0043]选取全局特征峰值信噪比对关键帧进行粗提取，其计算简单，进一步缩小提取范围，减少计算量。

[0044]选取全局特征峰值信噪比描述候选关键帧序列的全局相似度，局部特征SURF特征点描述候选关键帧序列的局部相似度，并加权融合得到综合相似度，更精确地描述了视频帧的相似度，保证了提取的准确率。

[0045]选取候选关键帧序列综合相似度的均值作为划分关键帧与冗余帧的阈值，自适应地选取关键帧数目，保证了提取的查全率。

附图说明
[0046]图1是本发明提供优选实施例提供的一种视频关键帧提取方法流程图；
[0047]图2表示视频帧，左图为视频帧k a，右图为视频帧k b
具体实施方式
[0048]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。

所描述的实施例仅仅是本发明的一部分实施例。

[0049]本发明解决上述技术问题的技术方案是：
[0050]参见附图一，本发明提供一种视频关键帧提取方法，该方法包括：
[0051]获取待处理视频数据。

[0052]对所述待处理视频数据进行运动目标检测，得到含有运动目标的关键视频序列H ＝{H1,H2,···,H n}。

[0053]在本实施例中，上述运动目标检测可以理解为：
[0054]对原始视频提取视频帧序列F＝{f1,f2,···,f p}；
[0055]将视频序列中的f1作为关键视频序列H中的首帧h1，输入视频序列中的f i(i＝2)，用ViBe算法和帧差法分别处理后的结果进行与运算，作为当前帧的运动目标检测结果Ri；[0056]若运动目标检测结果Ri大于设定阈值，则将当前帧存入关键视频序列H j(j＝1)，i ＝i+1，若i≤p，返回第二步；
[0057]若运动目标检测结果Ri小于等于设定的阈值，则舍去当前帧，并令j＝j+1，i＝i+ 1，若i≤p，返回第二步；
[0058]若i＞p，结束循环，得到关键视频序列H＝{H1,H2,···,H n}。

[0059]对所述关键视频序列利用全局特征峰值信噪比进行关键帧粗提取，得到候选关键帧序列K＝{k1,k2,···,k m}。

[0060]在本实施例中，上述关键帧粗提取可以理解为：
[0061]首先提取关键视频帧的全局特征。

由于图像的峰值信噪比原理简单，计算速度快，其值越高表示两帧图像相似度越高，反之差异性越大。

因此，这里选取峰值信噪比描述视频帧的全局特征。

对于任意两个m×n维视频帧k a和k b，其示意图如图2所示：图2左图为视频帧k a，右图为视频帧k b；
[0062]计算它们的均方差为：
[0063]
[0064]其中，矩阵元素代表图像中对应位置的像素值，视频帧k a中表示为k a(i,j)，视频帧k b中表示k b(i,j)，(i,j)为各像素点的位置坐标。

视频帧k b中标出的加粗数字表示的是相对于视频帧k a中像素值发生变化的像素点。

基于均方差(MSE)可以得到全局特征峰值信噪比(PSNR)如下式表示：
[0065]
[0066]其中，b是每个像素点编码位数，MAX表示图像中像素点可能出现的最大像素值。

[0067]经过反复实验得到，当关键视频序列中视频帧间的峰值信噪比P(k a,k b)低于24dB 时，两帧图像有明显的差异性。

[0068]根据上述计算的视频帧间的峰值信噪比，再与阈值作比较，对关键视频序列进行粗提取，简洁有效地去除序列中很大一部分的冗余帧，其主要步骤包括：
[0069]依次令关键视频序列H j＝{h1,h2,···,h q}，(j＝1)的第一帧为候选帧，k f＝h1，f ＝1，i＝2；
[0070]计算峰值信噪比P(k f,h i)；
[0071]若f＜q且P(k f,h i)≤24dB，则令f＝f+1，k f＝h i，i＝i+1，返回步骤2，若P(k f,h i)＞24dB，并令i＝i+1，返回第二步；
[0072]若f＝q，则结束循环，依次得到候选关键帧序列K j＝{k1,k2,···,k x}，合得候选关键帧序列K＝{K1,K2,···,K y}，即K＝{k1,k2,···,k m}。

[0073]对所获得的候选关键帧序列建立视频帧综合相似度，利用其对候选关键帧序列进行自适应关键帧提取，获取目标关键帧序列K'＝{k'1,k'2,···,k'r}。

[0074]在本实施例中，上述关键帧提取可以理解为：为了进一步去除候选关键帧序列中的冗余信息，在上述所获取的视频帧间峰值信噪比的基础上自定义了全局相似度，并选取SURF特征点描述图像的局部相似度，加权融合它们获取视频图像的综合相似度，自适应选取阈值从候选关键帧序列中提取关键帧。

[0075]首先利用上文所述的全局特征峰值信噪比(PSNR)建立关键视频序列间的全局相似度为：
[0076]
[0077]其中，k i,k j∈K，P(k i,k j)表示两视频帧间的峰值信噪比，α表示全局相似度的归一
化因子，这里设置为视频帧间峰值信噪比的最大值，此时S g(k i,k j)∈(0，1)。

[0078]然后建立视频帧的局部相似度，首先采用SURF特征点描述图像的局部特征，包括：[0079]计算积分图像。

使用积分图像完成卷积运算可以提高计算速度。

[0080]检测特征点。

构建Hessian矩阵，然后构建尺度空间，确定特征点。

[0081]生成描述子。

分配基准方向，生成描述子特征向量。

[0082]特征点匹配。

通过两个特征点之间的欧氏距离以及Hessian矩阵的迹来确定匹配度。

[0083]对上述所获得的候选关键帧序列K中任意相邻的视频帧k i和k j，定义关键视频序列的局部相似度为：
[0084]
[0085]其中，k i，k j为候选关键帧序列中的相邻视频帧，m和n分别为视频帧k i,k j的SURF特征点个数，l它们能够匹配的特征点个数，此时S l(k i,k j)∈(0，1)
[0086]对上述所获得的视频帧的全局相似度S g(k i,k j)，局部相似度S l(k i,k j)，加权融合它们得到视频图像的综合相似度，如下式表示：
[0087]S(k i,k j)＝(1-θ)S g(k i,k j)+θS l(k i,k j)，(i≠j)
[0088]其中，k i，k j为候选关键帧序列中的相邻视频帧，θ为权值，θ＝0.35。

[0089]对上述所获得的视频帧的综合相似度进行自适应阈值选取，保证了对监控视频关键帧提取结果的准确性和有效性，定义的自适应阈值T为：
[0090]
[0091]其中，S lw、S gw分别代表候选关键帧序列中相邻视频帧的局部相似度与全局相似度，M代表候选关键帧序列的总帧数。

据此选取视频图像综合相似度的均值作为划分冗余帧与关键帧的自适应阈值。

[0092]最后对上述所获得的候选关键帧序列进行关键帧提取，主要包括：
[0093]令候选关键帧序列中的第一帧视频帧作为关键帧，即：k'r＝k1，r＝1，i＝1，j＝2。

[0094]计算峰值信噪比P i(k'r,k j)，以及局部相似度S li(k'r,k j)，并令r＝r+1，j＝j+1，k'r ＝k j，i＝i+1；
[0095]若j≤m，则返回上一步。

否则，计算全局相似度以及综合相似度S i(k'r,k j)＝(1-θ)S gi(k'r,k j)+θS li(k'r,k j)；
[0096]计算自适应阈值
[0097]若S wi(k'r,k j)≤T，r＝r+1，k'r＝k j。

否则，j＝j+1；
[0098]如果j≤m，返回步骤(6)上一步。

否则，结束循环，输出最终的关键帧序列K'＝{k'1,k'2,···,k'r}。

[0099]本发明提供的监控视频关键帧提取方法能有效地提取视频关键帧，明显减少视频数据的冗余信息，简洁表达视频的主要内容，而且该算法复杂度不高，适用于监控视频的关键帧提取，具有很好的使用价值和推广前景。

[0100]以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。

在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

图1
图2。