10-视频内容的结构化

17
The Schema of Video Shot Detection
18
视频镜头边缘检测方法
基本思想：对比相邻帧间的特征 认为有重大变化的地方是镜头边缘的发生之处
Although cut detection appears to be a simple task for a human being, it is a non-trivial task for computers. Cut detection would be a trivial problem if each frame of a video was enriched with additional information about when and by which camera it was taken.

如果相邻图像帧之间的特征发生了明显变化，则认为发 生了镜头变化，需要对视频进行切分
10
镜头分类示例

长镜头(LS)：显示场景的全貌 中镜头(MS)：表现人物的动作，如谈话等 短镜头(CU) ：近距离刻画人物的表情
长镜头 中镜头 短镜头
注：一般在电影中镜头常被分为7类，即特长(XLS)、长(LS)、中长(MLS)、 中(MS)、中短(MCU)、短(CU)和特短(XCU)，
N
31
32
压缩域差法


不对图像解压，而是直接用JPEG压缩图 像帧的DCT系数作为帧相似度衡量的标准 。 省去解压步骤，直接从原始视频数据流 中提取特征，从而加快检测速度。 每个压缩域系数保留了原始图像帧中或 图像帧间最重要特征，所以压缩域系数 可以有效分析视频数据。
33
矩不变量法


图像矩不变量具有比例、旋转和过渡不变 性的特点，可以用来进行镜头边缘检测。 图像 f(x,y) 的矩定义为:
j 0
29
直方图求交
( f , f ') s ( f , f ') min( H ( f , j ), H ( f ', j ))
j 0 N
IS
color
从而d ( f , f ')
s ( f , f ')
H ( f , j)
j 0
N
30
直方图平方差
( H ( f , j ) H ( f ', j ))2 d ( f , f ') H ( f , j) j 0
28
均值化后的颜色直方图
N
d ( f , f ')
e e H ( f , j ) H ( f ', j ) j 0
w wmin 其中，veq Int .(l 1) 0.5 1 wmin v 1 w N 1 H ( f , j) j 0 H ( f , j )
矩不变量法

根据以上定义，使用以下三个矩不变量：
1 n20 n02
2 (n20 n02 ) 4n
2
2 11
3 (n30 3n12 )2 (3n21 n03 )2
矩不变量法
从相邻图像帧 f 和 f ’ 中提取矩不变特征，计 算这些矩不变特征的欧氏距离：
d ( f , f ) f f
镜头边界检测常用算法



20
绝对帧间差法 图像像素差法 图像数值差法 颜色直方图法 压缩域差法 矩不变量法 边界跟踪法 运动矢量法
绝对帧差法


判断相信图像之间特征的绝对差是否大 具体实现时，判断两个相信帧差别的方法可 以是：计算相邻两个图像中所有像素的色彩 亮度之和 注意：
16
In this kind of transitions the two shots are combined using chromatic, spatial or spatialchromatic effects which gradually replace one shot by another.
11
场景
场景：语义上相关和时间上相邻的若干镜头组 成了一个场景，场景是视频所蕴涵的高层抽象 概念和语义表达，如“学校运动会”这个场景 可以由“运动员入场”、“运动员比赛”和“ 观众呐喊”等镜头组成。 场景可以用属于这个场景的若干个镜头所对应 的关键帧来表示。 （为什么不使用文字信息？）

12
场景聚类示意图
While most algorithms achieve good results with hard cuts, many fail with recognizing soft cuts. Hard cuts usually go together with sudden and extensive changes in the visual content while soft cuts feature 19 slow and gradual changes.
3
结构化视频的作用

建立索引

视频表征 视频相似度比较

便于浏览和检索 视频结构化目的：


自动分析视频流中蕴涵的这种结构 切分有意义的视频段
4
视频结构化的基本概念
书 章 节 视频 场景 镜头
页
帧
5
视频结构化的基本概念
若干镜头或场 景的集合 语义上相关,时间 上相近的若干镜头 在时间和空间上 连续数帧的集合 基本组成单位 独立的图象
边界跟踪法

在该算法中，如果用 pin 表示帧 f 和 f ’ 中最近边 中像素点距离超过阈值 r 的像素点数目在 f 中所占 百分比， pout 表示帧 f ’ 和 f 中最近边中像素点距离 超过阈值 r 的像素点在 f ’ 中所占百分比，则相邻 帧 f 和 f ’ 的差为：
d ( f , f ) max(pin , pout )



39
Zabih，Miller和Mai在边界识别的基础上提 出了比较颜色直方图和颜色比例的镜头边 缘检测方法。 该方法为：把连续帧排列成一行以减少镜 头移动造成的影响，然后比较图像中边的 个数和位置，同时计算相邻两帧间进入或 者离开图像的边所占百分比，百分比最大 的是镜头的切点。是否为Dissolve或fade也 可以通过百分比的相关值判断。 该方法对运动的敏感度不大。
15
镜头变化分类
This is a sudden transition from one shot to another, i. e. one frame belongs to the first shot, the next frame belongs to the second shot. They are be also known as hard cuts or simply cuts.
视频 场景 镜头
帧
6
体育视频结构示意图
7
新闻结构示意图
8
研究点
镜头边界检测（shot boundary detection） 场景聚类（scene clustering） 镜头分类（shot clustering） 关键帧提取（Key frame extraction）
镜头边界检测示意图
9
镜头
视频内容的结构化
1
背景
Large multimedia database video 24 hours Broadcast videos
Online videos
2
2
视频的特点

时间上依赖的图象帧序列流 很强的情节发展性 但是其制作过程中存在“场景”“分镜头”，且其间 存在内容层次，只是在最后节目中消失了

镜头：摄像机拍下的不间断帧序列，是视频数 据流进一步结构化的基础结构层



如，在拍摄“飞机起飞”这组镜头时，画面的色彩 和纹理等图像特征将保持不变 镜头是对视频流进行处理的最小物理单元，而视频 帧是视频流的基本单元，镜头包含少许的语义内容 由于在同一组镜头中，属于同一组镜头的图像帧之 间的特征保持稳定
N
( H ( f , j ) H ( f ', j ))2 d ( f , f ') H ( f ', j ) j 0
N
( H ( f , j ) H ( f ', j )) 2 d ( f , f ') j 0 max( H ( f , j ), H ( f ', j ))

如果 d ( f , f ’) 超过一定阈值，则认为在 f 和 f ’ 处 应该进行镜头切割。
imd1 = rgb2gray(im1); Imd2 = rgb2gray(im2); % black background image bw1 = edge(imd1, 'sobel'); bw2 = edge(imd2, 'sobel'); % invert image to white background ibw2 = 1-bw2; ibw1 = 1-bw1; s1 = size(find(bw1),1); s2 = size(find(bw1),1); % dilate se = strel('square',3); dbw1 = imdilate(bw1, se); dbw2 = imdilate(bw2, se);
步骤

22
23
图像像素差法（2）
缺点

对镜头的移动敏感 对噪声的容错性小
改进

3*3 滤波 针对不同的视频流选不同的阈值
24
图像像素差法（３）

将图像分成若干子块区域 分别比较

例如 在图像子块中计算灰度平均值和方差
计算量大 会产生错误的结果

缺点

25
颜色直方图法




相邻帧图象的灰度 差别大于某个阈值时认为是镜 头的切分点 分为16个子块，计算每个子块的颜色直方图舍弃 8个最大的差值，以减少对象移动噪声是影响 带权重的区域灰度颜色直方图，权值根据视频流 内区域变化的可能性设定 像素差法，数值差法和颜色直方图法中，颜色直 方图法最好地满足了速度和准确度的要求
Scene 1
Scene 2
Scene 3
Scene 4
13
镜头边界检测
14
视频镜头边缘检测定义



Problem definition –Shot transition detection is used to split up a film into basic temporal units called shots; a shot is a series of interrelated consecutive pictures taken contiguously by a single camera and representing a continuous action in time and space. Also known as shot boundary detection or scene transition detection. It is a fundamental step of automated indexing and content-based video retrieval or summarization applications which provide an efficient access to huge video archives
26
简单的直方图差
d ( f , f ')
27
H ( f , j ) H ( f ', j )
j 0
N
带权重的直方图
r g b ( red ) ( green ) d ( f , f ') .d ( f , f ') .d ( f , f ') .d ( f , f ') (blue ) s s s
mpq x y f ( x, y)
p q x y
矩不变量法
也可以从归一化的图像中心矩定义矩不变量：
n pq
1 r m00
p q ( x x ) ( y y ) f ( x, y) x y
其中
r 1 ( p q) / 2, x m10 / m00 ,y m来自1 / m00
采样不必均匀，不必25帧/秒 作为计算绝对差异的特征可以有很多，不一定 是色彩亮度和
21
图像像素差法（1）
影响因素

D/A转换的噪音 视频对象和镜头运动，焦距的变化及某一时刻是闪 变 cut wipe dissolve fade 等特殊效果 计算象素变化超过阈值的像素个数 将此数目与另一阈值比较，超出则认为是镜头边 界
其中
2
{1, 2 , 3}

如果 d ( f , f ’ ) 超过一定阈值，则认为 f 和 f ’ 间出现了镜头转换。
边界跟踪法

思路：
在镜头转换中，距离原来边缘很远的 位置会出现新的边缘，而原来的边缘会逐 渐消失，因此，镜头转换的判断可以看作 是两个图像帧中边缘的比较。
38
边界跟踪法