镜头分割算法研究

一个叠化镜头切换的全过程
B帧误差能量的分布规律
结论
同一个镜头内部，各个B帧之间的误差能量 差异较小，分布集中，明显地聚为一类 在不同镜头之间，误差能量相差很大 沿着时间轴，各个镜头呈团状分布
B帧误差能量的分布规律
跳变切换过程中B帧的DCT误差能量曲线图
B帧误差能量的分布规律
淡入淡出切换过程中B帧的DCT误差能量曲线图
镜头切换的定义
设 s (t ) 和 s2 (t ) 分别是镜头切换前后的视频信 t 号，1 和 t2 分别是切换的开始时间和结束时 ℜ s 间，令 T = t2 − t1 ， = [t , t ] ，(t ) 是发生镜头切 换时的视频信号，则:
1
1 2
s (t ) = s1 (t )
t2 − t t − t1 + s2 (t ) T T
镜头分割算法研究
肖友能 5月8日
Agenda
前言 镜头切换的定义 镜头边界检测的几种基本算法 压缩域中叠化镜头的快速检测算法 总结
前言
基于内容的视频信息检索认为，一个有 语义的视频序列是由一系列的镜头构成 的 镜头是表示视频内容的基本单元。检测 镜头边界意味着重构这些基本单元 对于理解视频的语义，实现基于内容的 视频检索具有重要的意义
S L ( f m , f n ) = ∑ Ci × S P ( f m , f n , i)
i =1 r
⎧1 如果M > Tth S P ( f m , f n , i) = ⎨ ⎩0 如果M < Tth
（ 其中 M =
u m ,i + u n , i 2
+
δ 2 m ,i − δ 2 n ,i
2
M
T
I 帧 DC 图 像 的 差 值
叠化区域中I帧的DC图像
利用直方图的这一特性来进行门限的自 动选取。如可以选直方图中第二个趋零 点值为门限TH_I_DC
叠化区域中运动矢量的分布规律
当视频中存在大幅度的有规则运动，如 水平或上下平动、缩放运动时，能量分 布图容易出现抖动，造成发生叠化切换 的假相
镜头边界检测的几种基本算法
灰度/颜色的模板匹配方法
| 对灰度图象 ⎧ | P ( f m , I , i, j ) − P ( f n , I , i, j ) ⎪ D ( f m , f n , i, j ) = ⎨ 3 ⎪ ∑ | P ( f m , C k , i, j ) − P ( f n , C k , i, j ) | 对 彩 色 图 象 ⎩ k =1
FP
i
FP2
压缩域中叠化镜头的快速检测算法
预测编码帧（包括P帧和B帧）的帧间编 码宏块 DCT变换系数的误差能量 I帧的DC图像差值在叠化区域出现明显的 峰值 视频中的运动矢量在叠化区域分布极不 规则或基本静止
B帧误差能量的分布规律
B帧的误差能量
E ( M Bk ) =
i =1 j =1 block i ∈Y
镜头边界检测的几种基本算法
基于DCT系数的压缩域镜头分割方法
Vf mI = {C1 , C2 , C3 ,....}
Vf mI • Vf nI ϕ = 1− | Vf mI || Vf nI |
镜头边界检测的几种基本算法
基于运动矢量的压缩域镜头分割方法
S( f , f ) =
P m P n
∑E
i =1
(t1 ≤ t ≤ t2 )
镜头切换的定义
如果 t2 − t1 = 1 ，则所发生的镜头切换为跳 变（Cut）。跳变镜头的检测就是找到在 t2 时刻发生切换的帧 f 。
镜头切换的定义
如果 t2 − t1 > 1 ，且，∀ti ∈ ℜ ，1 (ti ) ≠ 0且s2 (ti ) ≠ 0 则 s 在时间内在所发生的镜头切换为叠化 （Dissolve）。一般情况下，T ∈ [ || GOP || , 2×||GOP||] , 2
||GOP|| 表示一个图像组中的帧数。叠化镜头的
检测就是要检测出 t1 和 t2 时刻 s (t ) 所对应的视 频帧 f1 和 f 2 。
镜头切换的定义
s 如果 t2 − t1 > 1 ，且 ∃ti ∈ ℜ ，1 (ti ) = 0或s2 (ti ) = 0 ， 则在时间内所发生的镜头切换为淡入 （当 s2 (t ) = 0 时）淡出（当 s1 (t ) = 0 时） （Fade In/Out）。淡入淡出镜头的检测 就是要检测出 t1 和 t2 时刻 s (t ) 所对应的视 频帧 f1 和 f 2 。
P帧误差能量的分布规律
对P帧的误差能量曲线，采用上述的滑动 窗口算法，可以找到P帧中可能存在的叠 化区域。
叠化区域中I帧的DC图像
设 I i 和 I i +1 为相邻的两个I帧，它们之间 DC图像的差值定义为
Diff _ I _ DC(Ii , Ii+1 ) =
TotalBlock −1
∑
k =0
B帧误差能量的分布规律
用同样的方法从Max_B_Frame往前扫描，可以 得到每个可能的叠化区域的结束位置，即 B_Dissolve[ShotCount].end的值。这样，就得 到了根据B帧的误差能量曲线的找到的所有可 能的叠化区域
P帧误差能量的分布规律
叠化切换过程中P帧的DCT误差能量曲线图
)2
δ 2 m ,i × δ 2 n , i
S P ( f m , f n , i) =
C∈{ R ,G , B} j = 0∑ ∑Fra bibliotek255
( H i ,C ( f m , j ) − H i ,C ( f n , j )) 2 H i ,C ( f m , j ) + H i , C ( f n , j )
测试数据：/ 硬件设备：Pentium 4 1.8GMHz，256M Memory，40G H 考察性能指标
实验结果
实验结果
算法对门限的敏感性
结论
镜头切换的定义 镜头边界检测的几种基本算法 压缩域中叠化镜头的快速检测算法
| DCki − DCki+1 |
叠化区域中I帧的DC图像
叠化切换过程中I帧的DC图像差值曲线图
叠化区域中I帧的DC图像
直方图的方法提取检测峰值的门限
20 18 16 14 12 数 目 10 8 6 4 2 0 1 4 7 10 13 16 19 22 25 28 31 34 37 40 43 46 49 52 55 58 61 64 67 70 73 76
∑ ∑ | C oef
4
64
j
|+
j =1 j∈ C b
∑
64
| C oef j | +
∑ | C oef
j =1 j∈ C r
64
j
|
E ( Bi ) =
Total _ int er _ MB
∑
k =1
E ( MBk )
B帧误差能量的分布规律
叠化镜头切换时B帧的误差能量曲线图
B帧误差能量的分布规律
叠化区域中运动矢量的分布规律
典型的叠化区域中的运动矢量场
几种典型的规则运动的运动矢量场
叠化区域中运动矢量的分布规律
在叠化区域内运动矢量的模值比较小， 基本处于静止状态或者是分布杂乱无章 规则运动的运动矢量则具有明显的方向 性
叠化区域中运动矢量的分布规律
叠化镜头检测算法
交集的定义
实验结果
试验条件
B帧误差能量的分布规律
从B帧的误差能量曲线检测叠化区域
滑动窗口算法
B帧误差能量的分布规律
wi 设 W 是一个长度为 l 的滑动窗口，（ i ∈ [0, l ) ） 是窗口中的一个元素
E (W ) =
l −1
∑w
i =0
l −1
i
l
σ (W ) =
(Wi − E (W )) 2 ∑
i =0
l
B帧误差能量的分布规律
Sl ( f m , f n ) = ∑∑ D( f m , f n , i, j )
i =1 j =1
X
Y
镜头边界检测的几种基本算法
基于直方图的方法
S L ( f m , f n ) = ∑ | H ( f m , i) − H ( f n , i) |
i =1 N
镜头边界检测的几种基本算法
基于块的方法