视频镜头边界检测研究

二、研究现状
1.镜头边界检测过程 1.镜头边界检测过程
2.不连续值的计算 2.不连续值的计算
1)像素比较法 1)像素比较法
1 X Y Z (k , k + l ) = ∑∑| I k (x, y) − I k +l (x, y) | XY x=1 y=1
2011-4-10 西北大学电子科学系 7
二、研究现状
2011-4-10
西北大学电子科学系
14
二、研究现状
6)骰子（dice）系数D 骰子（dice）系数D 骰子
这是对两个范围内共有帧数目的一个归一化度量，其值在0到1之间。
D = 2 Rg ∩ Rd Rg + Rd
5.总结 5.总结
1) 对压缩域和解压域的不连续值计算方法进行了综述 2) 对各种类型边界的阈值选择方法进行综述 3) 性能评价标准
2011-4-10
西北大学电子科学系
9
二、研究现状
3)基于高斯模型的方法 基于高斯模型的方法
Tb = µ + α δ
那么落入这个阈值范围之外的值将被认为是镜头的边界 4)基于人工神经网络的方法 基于人工神经网络的方法 利用人工神经网络构建多层感知机来实现参数的自适应动态选 择[30]，文[30]中通过选取4个与不连续值相关的特征作为网络的输入 ，从而使算法可以自适应的选择参数。但是由于多层感知机是有监督 的进行训练的，所以使用前还需有正确的目标分类来定义正确的网络 行为
3.2 渐变边界的阈值选择方法
渐变类型边界有其自身的特点，以下专门介绍渐变边界的检测方 法，这些方法通常也同时能检测突变边界。
西北大学电子科学系
2011-4-10
10
二、研究现状
1)双边比较法 双边比较法 这种方法的一个缺点是：因为渐变和镜头内部的帧间不连续值往 往差距很小，所以其中低的阈值很难确定，导致对渐变的起始和结束 点的定位不准确。 2)基于统计模型方法 基于统计模型方法 统计方法的基本思想是分别对各种情况建模，以使统计的检测误 差达到最小，即使下式的达到最小：
2.1 直方图统计 1) 一维颜色直方图 统计像素属于某种颜色分量级别的相对频数，是一维直方图，直 方图的分块数为三种颜色分块数之和。
Z (k , k + l ) =
N Bins j =1
∑H
R k
( j ) − H kR+l ( j ) + H kG ( j ) − H kG+l ( j ) + H kB ( j ) − H kB+l ( j )
2011-4-10 西北大学电子科学系 3
内容提纲
研究目的和意义 研究现状 基于颜色信息的镜头边界检测研究 基于梯度信息的镜头边界检测研究 基于镜头划分的字幕检测研究 总 结
2011-4-10
西北大学电子科学系
4
一、研究目的和意义
如何有效的利用现有的多媒体信息
“想找一些鸟类的图片做研究“ “想找一些动作类的影片” “想找出所有有关某人的新闻视频做个专题” ………
2011-4-10 西北大学电子科学系 16
三、基于颜色信息的镜头边界检测研究
4) Munsell\HIS\HSV系列 系列 蒙塞尔（Munsell）色彩体系是由美国色彩学家蒙赛尔提出的， 蒙赛尔的色调分为10个，每色调再细分为10，共有100个色调，蒙赛 尔的亮度共分为11级，而饱和度也因各纯色而长短不同，例如5R纯红 有14阶段，而5BG只有6阶段。 在此基础上，人们提出了许多对Musell系统近似的颜色模型HSB 、HSI和HSV。
3) L*a*b*/ MTM/ MTM/L*u*v*模型 模型
L*a*b*颜色模型是在1931年国际照明委员会（CIE）指定的颜色度 量国际标准的基础上建立的。L*a*b*颜色与设备无关，即不管使用什么 设备（如显示器、打印机、计算机或扫描仪）创建或输出图象，这种颜 色模型产生的颜色都保持一致。 L*a*b*模型是均匀色彩空间，也就是说 人所观察到的两种颜色的区别程度与该颜色空间两点的欧式距离对应。 另外还有均匀颜色空间的MTM， L*u*v*模型。
2011-4-10
西北大学电子科学系
15
三、基于颜色信息的镜头边界检测研究
1.颜色空间 颜色空间
1) RGB 2) YUV/YIQ/YCrCb 系列 YUV/YIQ/YCrCb每一种彩色空间都产生一种亮度分量信号和两种色度 分量信号，而每一种变换使用的参数都是为了适应某种类型的显示设备 。其中，YIQ适用于NTSC彩色电视制式，YUV适用于PAL和SECAM彩色电视 制式，而YCrCb适用于计算机用的显示器。
2011-4-10
西北大学电子科学系
8
二、研究现状
对于B帧，当镜头发生变化，B帧和先前的参考帧会差别很大， 而会和下一个参考帧相似，所以会出现大多数宏块采用后向预测. 6) 基于MPEG7描述符的方法 基于MPEG7 MPEG7描述符的方法 可缩放颜色描述符 边缘直方图描述符
3. 阈值选择方法
最简单的阈值选择方法是固定阈值，因为它在整个视频段上是固 定不变的，不符合视频变化的特点，所以其检测效果不能令人满意. 3.1 突变边界的阈值选择方法 1)二次差分法 二次差分法 2)滑动窗口法 滑动窗口法
2011-4-10
西北大学电子科学系
12
二、研究现状
4. 性能评价标准
1)检出率（recall）和准确率 (precision) 检出率（ 检出率 ） 检出率： 准确率：
R=
P=
Nc × 100% Nc + Nm
Nc × 100 % Nc + N f
2)漏检率和错误率 漏检率和错误率
3)错误概率 错误概率
(
)
Z=∑
j =1
N Bins
H 1 ( j) − H 1+l ( j ) k k H 1+l ( j) k
2
+
H k2 ( j ) − H k2+l ( j ) H k2+l ( j )
2
+
H k3 ( j ) − H k3+l ( j ) H k3+l ( j)
2
上述各种帧间不相似性测度对于镜头边界检测效果也会因选取不同的 特征而有差别，并不因城区距离法简单而效果差，但也有实验结果[10]表 明相交法要好于城区距离法和欧式距离法。根据[3]中的实验结果来看， 检验确是优化了边界处的不连续值，但是同时加深了运动的影响，所以 总体来说，法并不一定比前三种方法好，而且需要花更多的时间代价。
2011-4-10
西北大学电子科学系
2
视频镜头边界检测研究
类型 1 2 3 4 变换 无 颜色 空间 混合 意义 对镜头直接连接 对颜色值进行改变 对像素空间位置进行变换 空间颜色混合变换 示例 切换 淡入、淡出、溶解 翻页、扫换 变形
据此可以对淡入、淡出和溶解进行建模。
Sin ( x, y, t ) = B( x, y) + Si ( x, y) × (t / L) Sout ( x, y, t ) = So ( x, y ) × (1 − t / L) + B( x, y ) Sd (x, y, t) = Si (x, y) ×(t / Li ) + So (x, y) ×(1− t / Lo )
2011-4-10 西北大学电子科学系 18
三、基于颜色信息的镜头边界检测研究
3) 分块颜色直方图 对视频序列的每一帧进行分块，在每一块上进行⑴或⑵方法的直方 图统计，就形成了分块直方图。 2.2. 直方图不相似性测度 1)城区距离法 1 2) 欧式距离法 Z = | X1 − Y1 |n + | X 2 − Y2 |n + | X 3 − Y3 |n n 3) 相交法 4) χ 2 检验法
2)颜色直方图比较法 颜色直方图比较法
Z (k, k + l ) = ∑ HkR ( j) − HkR+l ( j) + HkG ( j) − HkG+l ( j) + HkB ( j) − HkB+l ( j)
j =1 NBins
பைடு நூலகம்
3)基于边缘的方法 基于边缘的方法
in out xk + l xk ECR ( k , k + l ) = max( , )
2) 三维颜色直方图 通过量化把颜色空间分成一个个颜色小区间，统计落入各小区间 像素的个数得到直方图，是三维直方图，直方图的分块数为三种颜色 分块数之积。 1 Nbins Nbins Nbins Z(k, k + l) = ∑∑∑| Hk (r, g, b) −Hk+l (r, g, b)| N r=0 g=0 b=0
3.3 闪光检测的阈值选择方法
按照一般的检测算法，闪光出现和结束时都会被认为是切变，但 是无论从镜头边界的定义来看还是从视频内容来看，把闪光位置认为 是切变都是不合理的。因此，有必要找出闪光位置，并把它从切变中 除去。有一种简单的闪光检测算法[5]，其在局部范围考虑两个条件： ① 最大值和局部第二大值非常接近；② 这两个值比其余值的均值大 得多。
δ k +l
δk
4)基于DCT系数和DC系数的方法 基于DCT系数和DC系数的方法 基于DCT系数和DC C fm ⋅ C fn ϕ =1−
C fm C fn
5)基于预测的统计特性 基于预测的统计特性 对于P帧，当镜头在P帧和前一个P、I帧间发生变化时，会导 致前向预测的中的大多数宏块有一个很高的预测误差，这些宏块 会采用帧内编码，因此我们可以通过帧内编码的宏块占宏块总数 的比例来判断是否有边界出现
2011-4-10 西北大学电子科学系 19
三、基于颜色信息的镜头边界检测研究