基于自适应阈值的自动提取关键帧的聚类算法(1)

计算机研究与发展

ISSN 100021239/CN 1121777/TP

Journal of Computer Research and Development 42(10):1752～1757,2005

　收稿日期:2005-06-14

　基金项目:北京交通大学科技基金项目(2004sm013)

基于自适应阈值的自动提取关键帧的聚类算法

王方石　须　德　吴伟鑫

(北京交通大学计算机与信息学院　北京　100044)(wfs @computer 1njtu 1edu 1cn )

A Cluster Algorithm of Automatic K ey Frame Extraction

B ased on Adaptive Threshold

Wang Fangshi ,Xu De ,and Wu Weixin

(School of Com puter &Inf orm ation Technology ,Beijing Jiaotong U niversity ,Beijing 100044)

Abstract It is a common method to extract key frames using the unsupervised cluster algorithm 1But the algorithm is sensitive to the initial number of the classes and the initial classification 1It is problematic to predefine the absolute number of key frames without knowing the video content 1An approach for two times clustering is presented 1In the first time ,the similarity distances of the consecutive frames in a shot are clustered into two classes so that the thresholds needed in the second time clustering process can be deter 2mined adaptively 1In the second time clustering ,all the frames in the shot are clustered using dynamic clus 2ter ISODA TA algorithm 1Then the frame nearest to the center of its class is automatically extracted as one key frame in the shot 1It is simple and effective with no need to predefine any threshold 1Experimental re 2sults of many videos with different traits demonstrate the good performance of the proposed algorithm 1K ey w ords key frame ;unsupervised cluster ;ISODA TA algorithm ;adaptive threshold

摘　要　利用无监督聚类算法来提取关键帧是一种常用的方法,但该算法对类别数和初始类划分较敏

感,在对视频内容一无所知的情况下,要求预先指定聚类数目是一个很困难的问题1提出一种二次聚类的方法;第1次以镜头内相邻两帧的相似度为数据样本进行聚类(分成两类),计算确定第2次聚类所需的阈值;第2次采用动态聚类的ISODA TA 算法,以视频序列的帧为数据样本进行聚类,得到最终聚类结果1最后在每类中自动提取距其类中心最近的帧为关键帧1该算法简单且行之有效,无需预定义任何阈值(如聚类数目)1对大量不同特点的视频进行了实验,该算法均取得了较好的实验结果1

关键词　关键帧;无监督聚类;ISODA TA 算法;自适应阈值中图法分类号　TP391

1　引 言

为了有效地访问视频内容,首先需要将视频分解为一系列镜头,然后从每个镜头中提取最具代表性的、反映该镜头主要内容的若干帧,称之为关键

帧1使用关键帧可简洁地表达镜头,为视频索引、浏

览和检索提供合适的摘要,大大减少了视频操作的数据处理量1关键帧的提取主要涉及两个问题:①关键帧要具有代表性,能反映镜头内容;②关键帧的数量应根据镜头内容的变化程度而确定,内容变化大的镜头提取关键帧的数量要多1

目前,已有多种关键帧提取技术1文献[1]计算当前帧与已存在的每个聚类中心之间的距离,同预先指定的阈值相比较,若当前帧与所有聚类中心间的距离均大于该阈值,则从该帧开始形成一个新类别,否则将其分配到离它最近的类中1取各类中离类中心距离最小的帧为关键帧1显然,关键帧数由类别数确定,而类别数又取决于指定的阈值1文献[2]提出结合关键帧和目标分割的算法,以Kullback Leibler(K L)距离作为度量,假设镜头中有N帧,先用文献[1]的聚类方法提取M(

纵观上述算法,均需预先指定一些经验阈值,这些阈值对某些实验数据有效,对有些无效1尤其是在对视频内容一无所知的情况下,要求预先指定决定聚类数的经验阈值是一个很困难的问题1众所周知,无监督聚类算法对类别数和初始类划分较敏感,初值设置不当对实验结果影响很大1而视频中镜头长短不一,内容千差万别,不可能用统一的阈值对所有的实验数据均取得较好的效果1文献[3]提出自动确定类别数的方法,但却要指定两个阈值,最大关键帧数M和控制能否成为候选关键帧的参数r,该算法的最大难点就是选取r值1文献[4]采用聚类有效性分析,首先指定一个比实际类数大得多的类别最大数,取值为C=10+NΠ25,其中N为视频序列中帧的总数1然后将所有镜头的帧放在一起,进行C次标准的k均值聚类,每次聚类的类别数依次取[1,C]中的整数,计算其类分散度,使类分散度最小的类数即为最佳类别数1最后找离类中心最近的帧作为每类的关键帧1文中只给出了确定最佳类数的方法,并未说明如何划分初始类,而初始类的划分常常会影响最终结果1

文献[5]在计算当前帧与其前一帧颜色直方图间相似度f col的同时,还要计算当前帧与其前K(文中取值20)帧颜色直方图均值之间的相似度f d,然后采用Otsu技术确定一个阈值T1若f col>T,则当前帧为关键帧,否则,若f d>T,则当前帧也为关键帧1另外还采用层次块匹配算法得到每帧的运动能量,取运动能量极小值处的帧为关键帧1只有两种方法都提出的帧才是真正的关键帧1其中K是人为给定的参数,且对实验结果有很大影响;层次块匹配算法本身也需设定一个参数———搜索范围,若像机进行快速变焦或摇移,而搜索范围过小,块匹配的结果就很不准确,若搜索范围过大,又会影响算法的时间效率1

2　提取关键帧的算法

本文提出二次聚类的方法,可在已分割好的镜头中,根据其内容的变化程度,自适应地确定聚类所需的阈值,如关键帧的个数等,无需预定义任何阈值1然后采用动态的无监督聚类算法自动提取关键帧1该算法分4步:①读取镜头中的所有帧,提取各帧的特征向量并存入视频数据库;②进行第1次聚类,以相邻两帧间的相似度为样本,在一维数据空间中聚类,得到第2次聚类所需要的阈值;③第2次聚类采用ISODA TA算法,对镜头中的所有帧进行动态聚类;④在每类中提取离类中心最近的帧为关键帧1

211　特征提取

本算法采用HSV颜色累积直方图和MPEG27中推荐的边缘直方图描述符作为视觉特征1将H, S,V分别分为8,4,1个级别,得到一个32维的颜色特征向量,记为f c1再对每帧提取边缘直方图,得到一个80维的纹理特征向量,记为f t1为了消除各特征向量取值范围差异性的影响,对其进行高斯归一化1f c i,k表示第i帧的第k个颜色分量,f t i,k表示第i帧的第k个纹理分量,则计算两帧间相似度的公式为

si m(F i,F j)=w1∑

31

k=0

(f c i,k-f c j,k)2　+

　w2∑

79

k=0

(f t i,k-f t j,k)2　,(1)其中,w1和w2分别为颜色特征和纹理特征的权值,在本文中均取值0151为简化起见,下文中不分特征类型,用f i,k表示第i帧的第k个特征分量1 212　自适应确定聚类阈值并划分初始类

所有基于帧差来判断两帧是否相似的方法都要指定一个阈值,本文提出一种自适应计算阈值的算法,即第1次聚类,其过程如下:

(1)设一个镜头中有N帧{F1,F2,F3,…,

F N},连续读入,利用式(1)求相邻两帧的相似度,得到数组Dif={D1,D2,…,D N-1};

(2)以Dif中的元素作为一维数据空间的样

3571

王方石等:基于自适应阈值的自动提取关键帧的聚类算法