视频镜头边界检测研究

2) 三维颜色直方图 通过量化把颜色空间分成一个个颜色小区间，统计落入各小区间 像素的个数得到直方图，是三维直方图，直方图的分块数为三种颜色 分块数之积。 1 Nbins Nbins Nbins Z(k, k + l) = ∑∑∑| Hk (r, g, b) −Hk+l (r, g, b)| N r=0 g=0 b=0
2011-4-10
西北大学电子科学系
15
三、基于颜色信息的镜头边界检测研究
1.颜色空间 颜色空间
1) RGB 2) YUV/YIQ/YCrCb 系列 YUV/YIQ/YCrCb每一种彩色空间都产生一种亮度分量信号和两种色度 分量信号，而每一种变换使用的参数都是为了适应某种类型的显示设备 。其中，YIQ适用于NTSC彩色电视制式，YUV适用于PAL和SECAM彩色电视 制式，而YCrCb适用于计算机用的显示器。
δ k +l
δk
4)基于DCT系数和DC系数的方法 基于DCT系数和DC系数的方法 基于DCT系数和DC C fm ⋅ C fn ϕ =1−
C fm C fn
5)基于预测的统计特性 基于预测的统计特性 对于P帧，当镜头在P帧和前一个P、I帧间发生变化时，会导 致前向预测的中的大多数宏块有一个很高的预测误差，这些宏块 会采用帧内编码，因此我们可以通过帧内编码的宏块占宏块总数 的比例来判断是否有边界出现
(
)
Z=∑
j =1
N Bins
H 1 ( j) − H 1+l ( j ) k k H 1+l ( j) k
2
+
H k2 ( j ) − H k2+l ( j ) H k2+l ( j )
2
+
H k3 ( j ) − H k3+l ( j ) H k3+l ( j)
2
上述各种帧间不相似性测度对于镜头边界检测效果也会因选取不同的 特征而有差别，并不因城区距离法简单而效果差，但也有实验结果[10]表 明相交法要好于城区距离法和欧式距离法。根据[3]中的实验结果来看， 检验确是优化了边界处的不连续值，但是同时加深了运动的影响，所以 总体来说，法并不一定比前三种方法好，而且需要花更多的时间代价。
2)颜色直方图比较法 颜色直方图比较法
Z (k, k + l ) = ∑ HkR ( j) − HkR+l ( j) + HkG ( j) − HkG+l ( j) + HkB ( j) − HkB+l ( j)
j =1 NBins
3)基于边缘的方法 基于边缘的方法
in out xk + l xk ECR ( k , k + l ) = max( , )
2011-4-10
西北大学电子科学系
2
视频镜头边界检测研究
类型 1 2 3 4 变换 无 颜色 空间 混合 意义 对镜头直接连接 对颜色值进行改变 对像素空间位置进行变换 空间颜色混合变换 示例 切换 淡入、淡出、溶解 翻页、扫换 变形
据此可以对淡入、淡出和溶解进行建模。
Sin ( x, y, t ) = B( x, y) + Si ( x, y) × (t / L) Sout ( x, y, t ) = So ( x, y ) × (1 − t / L) + B( x, y ) Sd (x, y, t) = Si (x, y) ×(t / Li ) + So (x, y) ×(1− t / Lo )
二、研究现状
1.镜头边界检测过程 1.镜头边界检测过程
2.不连续值的计算 2.不连续值的计算
1)像素比较法 1)像素比较法
1 X Y Z (k , k + l ) = ∑∑| I k (x, y) − I k +l (x, y) | XY x=1 y=1
2011-4-10 西北大学电子科学系 7
二、研究现状
2011-4-10 西北大学电子科学系 3
内容提纲
研究目的和意义 研究现状 基于颜色信息的镜头边界检测研究 基于梯度信息的镜头边界检测研究 基于镜头划分的字幕检测研究 总 结
2011-4-10
西北大学电子科学系
4
一、研究目的和意义
如何有效的利用现有的多媒体信息
“想找一些鸟类的图片做研究“ “想找一些动作类的影片” “想找出所有有关某人的新闻视频做个专题” ………
2011-4-10
西北大学电子科学系
12
二、研究现状
4. 性能评价标准
1)检出率（recall）和准确率 (precision) 检出率（ 检出率 ） 检出率： 准确率：
R=
P=
Nc × 100% Nc + Nm
Nc × 100 % Nc + N f
2)漏检率和错误率 漏检率和错误率
3)错误概率 错误概率
2.1 直方图统计 1) 一维颜色直方图 统计像素属于某种颜色分量级别的相对频数，是一维直方图，直 方图的分块数为三种颜色分块数之和。
Z (k , k + l ) =
N Bins j =1
∑H
R k
( j ) − H kR+l ( j ) + H kG ( j ) − H kG+l ( j ) + H kB ( j ) − H kB+l ( j )
2011-4-10
西北大学电子科学系
8
二、研究现状
对于B帧，当镜头发生变化，B帧和先前的参考帧会差别很大， 而会和下一个参考帧相似，所以会出现大多数宏块采用后向预测. 6) 基于MPEG7描述符的方法 基于MPEG7 MPEG7描述符的方法 可缩放颜色描述符 边缘直方图描述符
3. 阈值选择方法
最简单的阈值选择方法是固定阈值，因为它在整个视频段上是固 定不变的，不符合视频变化的特点，所以其检测效果不能令人满意. 3.1 突变边界的阈值选择方法 1)二次差分法 二次差分法 2)滑动窗口法 滑动窗口法
2011-4-10
西北大学电子科学系
14
二、研究现状
6)骰子（dice）系数D 骰子（dice）系数D 骰子
这是对两个范围内共有帧数目的一个归一化度量，其值在0到1之间。
D = 2 Rg ∩ Rd Rg + Rd
5.总结 5.总结
1) 对压缩域和解压域的不连续值计算方法进行了综述 2) 对各种类型边界的阈值选择方法进行综述 3) 性能评价标准
Pe = Pfa × P ( H 0 true ) + Pfn × P ( H 1true )
2011-4-10
西北大学电子科学系
13
二、研究现状
4) ROC（Receiver Operating Characteristic）曲线 S:曲线上方的面积
5)覆盖系数 指在实际的渐变范围内的视频帧有多少处在检测出的 范围中，最大的可能值是100%。
3.2 渐变边界的阈值选择方法
渐变类型边界有其自身的特点，以下专门介绍渐变边界的检测方 法，这些方法通常也同时能检测突变边界。
西北大学电子科学系
2011-4-10
10
二、研究现状
1)双边比较法 双边比较法 这种方法的一个缺点是：因为渐变和镜头内部的帧间不连续值往 往差距很小，所以其中低的阈值很难确定，导致对渐变的起始和结束 点的定位不准确。 2)基于统计模型方法 基于统计模型方法 统计方法的基本思想是分别对各种情况建模，以使统计的检测误 差达到最小，即使下式的达到最小：
2011-4-10
西北大学电子科学系
9
二、研究现状
3)基于高斯模型的方法 基于高斯模型的方法
Tb = µ + α δ
那么落入这个阈值范围之外的值将被认为是镜头的边界 4)基于人工神经网络的方法 基于人工神经网络的方法 利用人工神经网络构建多层感知机来实现参数的自适应动态选 择[30]，文[30]中通过选取4个与不连续值相关的特征作为网络的输入 ，从而使算法可以自适应的选择参数。但是由于多层感知机是有监督 的进行训练的，所以使用前还需有正确的目标分类来定义正确的网络 行为
4 实验结果：
实验素材:几个渐变较多的CNN新闻片断，总共有62个边界，其中 5个突变，57个渐变边界。
2011-4-10 西北大学电子科学系 19
三、基于颜色信息的镜头边界检测研究
3.提出基于“双高斯模型”的阈值选择方法
渐变边界检测是难点 双边比较法的缺点
2011-4-10
西北大学电子科学系
20
三、基于颜色信息的镜头边界检测研究
双高斯模型法: 双高斯模型法:
① 利用HSV直方图法计算相邻两帧的不连续值,同时计算每一帧与前 后两帧的帧间不连续值的累加，得到两组值。 ②每组不连续值进行滑动窗高斯模型的检测，得到两组边界集合 ③检测突变边界 ④检测渐变边界 ⑤渐变的起始与结束定位，剔除掉运动形成的边界。
2011-4-10 西北大学电子科学系 16
Βιβλιοθήκη Baidu
三、基于颜色信息的镜头边界检测研究
4) Munsell\HIS\HSV系列 系列 蒙塞尔（Munsell）色彩体系是由美国色彩学家蒙赛尔提出的， 蒙赛尔的色调分为10个，每色调再细分为10，共有100个色调，蒙赛 尔的亮度共分为11级，而饱和度也因各纯色而长短不同，例如5R纯红 有14阶段，而5BG只有6阶段。 在此基础上，人们提出了许多对Musell系统近似的颜色模型HSB 、HSI和HSV。
3.3 闪光检测的阈值选择方法
按照一般的检测算法，闪光出现和结束时都会被认为是切变，但 是无论从镜头边界的定义来看还是从视频内容来看，把闪光位置认为 是切变都是不合理的。因此，有必要找出闪光位置，并把它从切变中 除去。有一种简单的闪光检测算法[5]，其在局部范围考虑两个条件： ① 最大值和局部第二大值非常接近；② 这两个值比其余值的均值大 得多。
基于内容的视频检索系统(CVBR)的重要性 基于内容的视频检索系统(CVBR)的重要性
2011-4-10
西北大学电子科学系
5
一、研究目的和意义
视频镜头边界检测的重要性
基于内容的视频检索首先需要对视频形成一个组织目录,将视 频分割为镜头是对视频进行组织的第一步。
2011-4-10
西北大学电子科学系
6
2011-4-10 西北大学电子科学系 18
三、基于颜色信息的镜头边界检测研究
3) 分块颜色直方图 对视频序列的每一帧进行分块，在每一块上进行⑴或⑵方法的直方 图统计，就形成了分块直方图。 2.2. 直方图不相似性测度 1)城区距离法 1 2) 欧式距离法 Z = | X1 − Y1 |n + | X 2 − Y2 |n + | X 3 − Y3 |n n 3) 相交法 4) χ 2 检验法
西北大学硕士学位论文答辩
题目: 视频镜头边界检测研究
作者：葛 作者： 导师: 导师: 彭进业
宝 教授
2004年 2004年6月10日 10日
2011-4-10
西北大学电子科学系
1
视频镜头边界检测研究
镜头边界的概念
一个镜头(shot)是相机的一次连续拍摄，代表的是时间和空 间上一组连续的动作,是一系列相互关联的连续帧的组合。
Pe = P(0) ∫ p0 ( z )dz + P(1) ∫ p1 ( z )dz
Z1 Z0
这种采用多参数建模的方法的优点是检测性能由多个参数共同 决定但同时也带来了参数繁多，计算复杂等缺点。 3) 小波和神经网络结合
2011-4-10
西北大学电子科学系
11
二、研究现状
此方法采用小波对计算出来的不连续值进行多分辨率分析，在 每一级上利用一个固定尺度的窗口内的不连续值作为神经网络的输入 ，来判断此处为渐变边界的可能性，然后对不同分辨率上的结果进行 综合得到原始级别上的边界位置。神经网络使用bootstrap方法进行 训练，和突变的阈值选择方法一样，使用前还需有正确的大量的目标 分类来定义正确的网络行为。
3) L*a*b*/ MTM/ MTM/L*u*v*模型 模型
L*a*b*颜色模型是在1931年国际照明委员会（CIE）指定的颜色度 量国际标准的基础上建立的。L*a*b*颜色与设备无关，即不管使用什么 设备（如显示器、打印机、计算机或扫描仪）创建或输出图象，这种颜 色模型产生的颜色都保持一致。 L*a*b*模型是均匀色彩空间，也就是说 人所观察到的两种颜色的区别程度与该颜色空间两点的欧式距离对应。 另外还有均匀颜色空间的MTM， L*u*v*模型。
HSV模型
2011-4-10
西北大学电子科学系
17
三、基于颜色信息的镜头边界检测研究
HSV模型的三个分量之间互相独立,相比其它同体系的颜色模型， 它与人眼的感觉最为接近 。所以在HSV空间来进行直方图统计可以更 好的区分视频的内容。本节实验在HSV颜色空间作不连续值计算。
2.基于颜色直方图特征的帧间不连续值计算 2.基于颜色直方图特征的帧间不连续值计算