一种基于直方图的切变镜头自动检测算法

第19卷第3期2007年9月北方工业大学学报

J.NORT H CH INA UNIV.OF T ECH.Vo l.19No.3Sept.2007

收稿日期:2007-01-31

第一作者简介:刘典,硕士研究生.主要研究方向:图像处理与视频处理.

一种基于直方图的切变镜头自动检测算法

刘 典 刘文萍

(北方工业大学多媒体技术研究室,100041,北京)

摘 要 本文通过对直方图法镜头检测的算法分析,给出了一种基于直方图的切变镜头自动检测算法.该算法通过比较视频相邻帧的直方图自动分割视频的切变镜头.实验结果表明,该算法对切变镜头的分割达到了较高的查全率和查准率,算法运算量小,处理速度快.

关键词 切变镜头检测;直方图帧差;分割阈值分类号 T P391.4

随着多媒体与计算机网络的发展,数字视频越来越广泛的应用于人们的生活中,例如数字点播、数字图书馆等.因此,视频分析及处理成为近年来相关领域的热门研究课题.视频通常划分为4个层次结构:视频、场景、镜头和帧.视频内容的每一幅画面称为帧,同一摄像机连续拍摄的一组帧称为镜头.镜头分割是视频处理的第一步,其准确性直接影响到后续处理的效果,因此,镜头分割在视频处理的研究中具有重要意义.文献[1]与文献[2]对现有的镜头分割方法进行了介绍与比较,Vlachos T.利用邻帧的相位关系来检测切变镜头[3],Cernekov a Z.等利用视频帧间的互信息与联合熵来确定镜头的切变与渐变[4],Dug ad R.等利用直方图的帧间差与帧间的相似率来检测镜头变换[5]

.本文给出一种基于直方图法的切变镜头自动检测算法,该算法针对视频中出现的切变镜头,利用了视频相邻帧的直方图关系确定分割阈值,并依据该阈值实现快速、准确的切变镜头分割.

1 算法原理

直方图法是镜头检测最常用的方法之一,

其基本思想一是计算两帧直方图的差异(Difference of H istog ram,DOH ),二是计算两帧差异的直方图(H istogram of Difference,H OD).本文采用的是DOH 方法,其定义为:

D(f i-1,f i )=12M N

k=1

|h i-1(k)-h i (k)|

(1)

其中,M 是帧图像的像素总数,N 为灰度级数,h i (k)是灰度图像i 在灰度级k 处的像素总数.

当D(f i-1,f i )满足镜头边界条件时,则在第i 帧出现了镜头变换.

图1给出了本算法的主要步骤:首先计算相邻帧直方图的差异D i ,然后计算长度为w in_len 的窗口内的分割阈值Th,最后判断窗口内D i 是否满足镜头边界的条件.

图1 基于直方图的切变镜头自动检测算法的主要步骤

1.1 直方图帧间差的计算

DOH 法利用了不同镜头间颜色的分布差异来确定镜头边界,它对局部的运动变化不敏感,能够有效的消除噪声带来的影响.文献[2]给出了多种基于直方图的镜头检测的方法,本文采用的是Chi -平方测度,其定义为: D =

N

i=1

{h j (i)-h j +1(i)}2

{h j (i)+h j +1(i)}

(2)

其中,h j (i)是灰度图像j 在灰度级i 处的像素总数,N 是灰度图像的灰度级数.邻帧图像的直方图在某一级别的差异程度与其所在级别的直方图的大小有关.这种测度的设定,能够有效地放大帧差,突出镜头之间的变化.此外,该测度计算量小,运算速度快.因此,Ch-i 平方测度法也是目前应用较为广泛的基于直方图的镜头检测的方法之一.1.2 分割阈值的确定

目前已有的基于直方图的镜头检测方法,是观察待分割的视频片断得到经验阈值,将大于经验阈值的D 值所对应的帧作为镜头边界,这种方法仅对特定的视频有良好的分割效果.成勇[6]

、朱兴全[7]

等人也因此开展了关于自适应阈值确定方面的研究.但文献[6]对相邻帧的差异测度定义的较为复杂,计算量大,并且文献[6]、[7]都是对切变与渐变镜头进行检测,边界判断的运算复杂度也较高.因此,本文在增强算法适应性的同时兼顾算法复杂度的考虑,提出了一种新的基于直方图法的切变镜头自动检测算法.

图2是一段视频的直方图帧差序列.在一个镜头内,由于摄像机的连续运动拍摄,得到的图像内容变化也是连续的,直方图帧差值D 变化并不大,只有在镜头变换时才出现很大的D 值.本文提出的算法中,利用镜头内直方图帧间差异值的相似性,通过寻找窗口内的突变点来寻找镜头切变帧.

通过对大量足球视频数据进行分析,视频中大部分镜头的持续时间都超过2s.少量长度在一秒钟左右的镜头,一般都是在比赛中等待裁判判罚时的运动员或场外教练的表情特写,

这类镜头对后续的视频处理意义不大,因此,并

不在本文的切变镜头检测考虑之内.视频的播放速率一般是24fps 、25fps 或30fps,一个长度为2s 的镜头至少包含48帧.本文算法利用了镜头内直方图帧间差异值的相似性,以及镜头间直方图帧间差的突变性,以窗口为基本检测单位进行镜头检测.因此,需要相邻的两个窗口内至多只出现一次镜头切换,即滑动窗口的长度w in_len 应小于24.本文中,该值设定为15.

图2 某视频直方图帧差序列

窗口由视频第一帧开始,首先计算窗口内的所有视频帧的直方图帧差值D i 的平均值mean.若窗口内含有镜头边界,则该D i 值应该是窗口中的最大值.不同视频不同镜头的窗口均值mean 虽是动态变化的,但是通过对大量视频数据进行分析,存在镜头的窗口内的最大帧差值D i 通常在平均值mean 的3倍以上.因此,将3mean 作为分割阈值T h,并将窗口内每一帧的直方图帧差值D i 与阈值T h 进行比较.如果满足

D i >Th

(3)

则第i 帧可能为镜头边界.

当滑动窗口的长度w in_len 设定为15时,连续两个窗口内至多只出现一次镜头切换.假设当前窗口内出现了镜头切换,则其前一个窗口的内容均属于同一个镜头且直方图帧间差异值D i 波动较小,没有突变点;而当前窗口由于包含了镜头边界帧,D i 值的突变会使得窗口内的分割阈值T h 显著增大.因此,存在镜头边界帧窗口的分割阈值Th _cur r 要大于其前一个窗口的分割阈值Th _last,如图3所示.

17

第3期 刘 典 刘文萍:一种基于直方图的切变镜头自动检测算法