场景过分割解决方法

场景过分割解决方法
第33卷第4期
2006年7月
华北电力大学
JournalofNorthChinaElectricPowerUniversity
V o1-33.No.4
Ju1..20o6
场景过分割解决方法
程文刚,柳长安,宋峥峥
(华北电力大学计算机科学与技术学院智能机器人研究所,北京102206)
摘要:视频场景分割对于视频内容分析和检索有着重要意义,然而现有多数场景分割方法却有着"过分割"
严重的通病.提出了一种解决场景过分割问题的有效方法,通过分析过分割现象出现的环境,利用电影语
法理论,分析和建模了节奏这一整体信息,并用其来合并过分割的边界.实验结果表明了该方法的有效性.
关键词:视频场景;过分割;节奏
中图分类号:TP391文献标识码:A文章编号:1007-2691(2006)04-0055—04 Approachtoreducesceneover-segmentation
CHENGWen-gang,LIUChang-an,SONGZheng-zheng (SchoolofComputerScienceandTechnology,NorthChinaElectricPowerUniversity,Beiji ng102206,China)
Abstract:Anapproachtoreducevideosceneover-segmentationisproposed.Thecircumstan ceofover-
segmentationisanalyzed.Theintegralinformationtempoisanalyzedandmodeledbasedonf ilmgranlmar.The
filmtempoisusedtointegratetheboundaryofover-segmentation.Experimentsbasedonreal-
worldmoviesverify theefficiencyoftheproposedmethod.
Keywords:videoscene;over-segmentation;tempo
引言
在镜头边界检测技术日趋成熟的条件下,研究
视频场景的分割(检测或生成)是很有意义的.目
前已有一些场景分割的方法,有些方法在特定环境下还取得了非常良好的效果.但客观地讲,对场景分割的研究目前还只取得了有限的成功,仍有许多问题需要进一步研究,过分割问题就是其中的一个.场景过分割,即将本应属于同一个场景的一组镜头划分到多个场景之中,是现有多数场景算法的通病.在文献【l】利用电影语法分析影片节奏的研究基础上,笔者曾利用节奏这一重要的整体信息有效地实现了武打片中的动作情节分割.实际上,节奏同样也有利于解决场景过分割问题,但由于问题不同,输入输出也不同,节奏的度量需要重新分析和定义.本文利用电影语法中的节奏信息, 提出了一种减少场景过分割的有效方法.
1场景分割方法
现有场景分割方法大体可以分为两类:基于先
验模型的方法和基于视频制作原理的方法.基于模型的方法需要根据特定应用或领域建立先验模型.Swangberg等人提出了这类方法的一个理论
框架,并且在新闻和体育节目的分析中得到了实现和应用,取得了较高的分割准确率.这种方法的主要缺陷是在每一类应用之前都要建立一个领域模型,需要很准确的领域知识,这也导致其应用范围受到很大限制,可扩展性很差.以场景转移图
收稿日期:2006.05.15.
基金项目:华北电力大学博士学位教师科研基金项目.
作者简介:程文刚(1977一),男,华北电力大学计算机科学与技术学院智能机器人研究所讲师
56华北电力大学2006侄
(STG)为代表的一系列算法属于二第二类.这类算
法在一定的时间约束条件下,将视觉内容相似的镜
头聚类为镜头类,时间上有交叉的几个镜头类组成
场景.这种方法适用于情景剧,电视访谈等类型的
视频,但对于室外动态拍摄的视频(如电影),由
于视觉内容变化较大,特别是采用了较多的摄像机
技巧和效果,使得建立适合的STG比较困难,导
致过分割现象非常严重.
作者在前期研究工作中根据视频制作原理,分
析了场景内容的组成特点,总结出场景大体包括三
种模式:顺序进展,交错进展和混合进展,并通过
分析各种构成模式的镜头组成特点而得出:场景是
由一个或多个语义相关的镜头类(ShotCluster)组
成的,其中每个镜头类都是一组内容相似,时间相
近的镜头.为此,设计了一种基于滑动镜头窗的镜
头类形成算法;之后,定义了一个镜头类相关函数,
用来度量镜头类之间的语义相关性程度,并将镜头
类组合称为场景.具体方法介绍可参见文献[4].
实质上该工作仍然属于第二类方法.
基于模型的方法难以扩展应用,但现有基于视
频制作原理的方法也有一些缺陷:(1)方法均是基
于底层特征的,而场景是一个语义层次的概念,仅
仅通过视频数据的底层特征很难准确地度量语义内
容;(2)方法仅使用了简单的判断规则,没有充分
应用高层知识,如领域知识和视频结构信息.正是由于这些缺陷,使得目前各种方法只取得了有限的成功,所得到的效果还远远不能令人满意,分割的准确率比较低,特别是在内容变化较大的情况下, 过分割现象严重.
2过分割的解决方法
2.1方法概述
对于大多数场景,如对话场景,大多数算法都
能取得较为合理的结果.然而,当同一个场景内各个镜头的内容变化较大时,这些镜头之间的视觉一致性比较弱,产生较多的镜头类,并且镜头类的交错性出现间断,就会导致过分割,过分割也是现有各种场景分割方法的"通病".为了研究过分割问题,不妨以文献[4]的算法为例,把其分割得到的"场景"称作"场景单元",这样,过分割问题
的解决无疑就是设计合理的算法以来合并这些"场景单元".
电影是一种历时性艺术,在时间的流程中完
成情感的表达,节奏是电影语言的本质.内容和片种的不同,导致了结构和节奏的不同.即使在同一影片中的不同内容的段落,也会在节奏的总谱中, 产生迥异的节奏.节奏的安排是为了表达一定的故事内容或情绪,同时也是为了吸引观众保持对影片的兴趣.作为一个相对独立的故事单元,同一个场景内的节奏虽然会有变化,但这种变化不会特别剧烈,能基本上保持连贯.另外,为了不致使观众
感到迷惑,视频制作的时候一般不会把两个快节奏的场景顺序组接,特别是当这两个场景的视觉差异
不是特别大的情况下;否则,观众就很难将这两个表达不同内容的场景区分开来,而产生误解.根据以上的分析可知,节奏提供了场景分割的一个重要线索:由于属于同一个场景的各个片段(过分割的场景单元)具有类似的节奏,因此只要能够度量节奏,便能将过分割的场景单元合并起来,得到更为合理的分割结果.场景分割算法的完整框图如图l 所示.
镜头序列
镜头组合
0镜头类
相关性分析
』场景单j
节奏合并
图1场景分割的框图
Fig.1Diagramofscenesegmentation
2.2节奏度量
节奏的影响因素很多,与镜头剪辑,伴音和内
容特点等都紧密相关,并且具有较强的主观性,
度量比较困难.文献[5]指出"速度是节奏的重
要表现形式之一.速度一方面表现在内容上,高速奔跑,追逐,打斗,抢险之类等情节,本身就表现
'高速度';风光,抒情,恋爱,谈心的场面,往往
是低速度或中速度.速度另一方面表现在镜头尺寸上,即在屏幕上滞留的时间",这里的速度实际上
就是步调(Pace),它指的是观众所体会到的内容
进展的快慢程度.步调只有两个表现方面,且描述相对简单,因此对步调的建模相对容易.于是,可
以通过度量步调来表征节奏.这里给出一种计算场
景单元步调的方法.
电影艺术中,影响步调的两个重要因素是运动
和蒙太奇(镜头组接)I6]o"高速奔跑","追逐"和
第4期程文刚等:场景过分割解决方法57
"抒情"等内容可以使用场景单元的运动特征来描述,很显然,运动越强烈,步调也越快.MPEG一7
定义的运动活力(MotionActivity)描述符直观地
描述了视频片段的"动作强度"或"动作步调".
运动活力描述符提供了运动的强度,方向,空间分布,空间位置和时间分布等内容.其中,活力强度(IntensityofActivity)是一帧中运动矢量幅度的
标准差,它表明了运动向量幅度的一致性,其突出的性能已经被实验验证,在此,帧的活力强度被用来表示帧的运动活力.场景单元SceneUnit的运动活力1ASU,可以定义为
IAPF,
1ASU,==丽,(1)
式中:是场景单元SceneUnit中的P帧总数;
IaeF~是第,个P帧的活力强度.此处是从平均意
义上考虑场景单元的运动活跃性,1ASU,实际上是其中各个P帧的平均运动活力.
步调的另一个表现方面是镜头尺寸,它与文
献[6]所指的蒙太奇(镜头组接)是一致的.如
果该场景单元中包含的都是短镜头,即各个镜头在屏幕上滞留的时间很短,转瞬即逝,动态感很强,
步调很快:反之,当其中都是持续时间较长的镜头时,步调就会很慢.与度量场景单元的运动活跃性类似,在此也从平均意义上考虑场景单元中的镜头
尺寸因素,使用其中各个镜头的平均长度来衡量: vgtLen,=,(2)
式中是场景单元SceneUniti中的镜头个数;Sho—tLenj其中第.
,个镜头的长度.
根据人的主观感知,场景单元的运动越剧烈,
平均镜头长度越短,步调应越快,反之越慢.于
是,场景单元SceneUnit的步调可以使用下式度量: PaceSU,=IASU,
.(3)
2.3场景单元合并
在度量了场景单元的步调值后,应分析相邻两
个场景单元之间的场景边界是否正确,即这两个场景单元是否属于同一个场景.
如果相邻两个场景单元的步调变化较大,说明
它们表达的内容差别相对较大,可以断定这两个场景单元分属于不同的场景,它们之间的场景边界是正确的;而当相邻两个场景单元的步调比较一致时,有两种情况:
(1)均为慢步调
步调较慢说明场景单元的运动活力较小且镜头
长度较长,也可以说内容变化的幅度不大.在这种情况下,视觉信息足以将两个场景分开,因此这两个场景单元分属于不同的场景,不需要将两者合并,否则有可能导致原本正确分割的场景被组合在一
起,产生欠分割.
(2)均为快步调
正如前面所指出的,视频制作时一般不会将两
个快节奏且视觉内容变化不大的场景顺序组接,这说明这两个快步调的场景单元属于同一个场景,需要将它们合并.事实上,对于内容变化剧烈的场景,仅根据视觉信息很容易导致过分割.
根据以上的分析可知:只需要对快步调的连续
场景单元进行合并.实验中需要设定一个阈值用于确定节奏是否"快".
3实验与分析
3.1评价指标与实验数据集
镜头边界检测结果的评价包括查全率(Recal1)
和准确率(Precision)两个指标,两者都高,才能
说明算法的效果好.它们分别定义为:
查全率=正确检测数/(正确检测数+漏判数),
准确率=正确检测数/(正确检测数+错判数).(4)
为了更好地检验算法的效果,从几个不同类型
的电影视频中选取了一些片段组成实验数据集.为了减少主观性,实验中通过四个人的共同商讨来确定标准场景边界.表1给出了实验数据集的基本情况.其中,FW是喜剧片((FourWeddingsandA Funera1))下集中长约53min的片段,内容轻快,
多为对话;MB是科幻片((ManInBlack}下集长
约32min片段,同时包含动作剧烈的片段和对话片段;LE是枪战片(Leon}下集长约57rain的片段,包括多个动作剧烈的枪战片段;SW是动画片(SnowWhiteandtheSevenDwarfs}开头片段;
表1场景分割的实验数据集
Tab.1Experimentaldatasetofscenesegmentation
58华北电力大学2006钲
FA是英语教学片((FamilyAlbumUSAI》第一
幕.后两个片段的特点是视觉特征比较明显,内容简单.
3.2实验结果与分析
利用文献[4]的算法以及本文提出的过分割
解决方法对上述各个视频片段进行了测试,表2总结了实验结果.表中的二元组(+,一聆)表示错
判为m个,漏判为聆个.
表2场景分割实验结果
Tab.2ExperimentalresulBofscenesegmentation
当视频片段中存在较长时间变化剧烈的内容
时,如片段LE和MB,比较"场景单元数目"和
"场景数目"两项数据可知,根据节奏合并场景单
元的措施可以有效地减少过分割.图2是片段LE 30
20
巷
10
】
…
塞
U—q
L
0100200
镜头数
(a)场景单元节奏的变化曲线(片段LE)
的场景单元节奏变化与组合情况:其中,场景单元5和6,场景单元10和11,场景单元13和14以
及场景单元22,23,24,25和26分属4个不同
的场景.这些节奏较快的场景均被过分割了,应用
节奏信息进行的合并过程可以将过分割得到的场景
单元组合起来.
实验结果允许了一定的误差,若分割所得的场
景边界距离实际边界不超过3个镜头,认为其分割
结果是正确的.综合所有的测试数据,可以得出:
利用本文的过分割解决方法,场景分割的错判数明
显减少,准确率由70.91%提高到82.98%;而由
于节奏合并具有很高的可靠性,并没有增加漏判的
边界,即没有产生欠分割现象(即将本来属于多个
相邻场景的镜头划分到同一个场景中),查全率保
持在90.70%的高水平.当然,需要指出的是:欠
分割本来就不是现有场景分割算法的主要问题.
4结论
针对现有场景分割算法过分割严重的通病,本
文利用电影语法理论,分析和建模节奏,并用其来
实现场景单元的合并,实验结果证实了方法的有效
性.
参考文献:
(b)场景单元23的镜头
■(C)场景单元24的镜头
图2根据节奏合并场景单元示例
Fig.2ExamplesofSUgroupingbytempo
//asiaJdownload/disquisition/0202e. asp.
[4]程文刚,须德,郎丛妍.一种有效的视频场景检测方法[J].中国图象图形,2004,9(8):984—990.
【5]5傅正义.电影电视剪辑学【M].北京:北京广播学院出
版社,2002.
[6]SobchackT'SobchackVAnintroductiontofilm(2nd ed.)[M].Glenview,IL:Scot,ForesmanandCompany, 1987.
(责任编辑:马坤英)。