视频内容的结构化
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Also known as shot boundary detection or scene transition detection.
It is a fundamental step of automated indexing and content-based video retrieval or summarization applications which provide an efficient access to huge video archives
16
17
The Schema of Video Shot Detection
18
视频镜头边缘检测方法
基本思想：对比相邻帧间的特征 认为有重大变化的地方是镜头边缘的发生之处
Although cut detection appears to be a simple task for a human being, it is a non-trivial task for computers. Cut detection would be a trivial problem if each frame of a video was enriched with additional information about when and by which camera it was taken. While most algorithms achieve good results with hard cuts, many fail with recognizing soft cuts. Hard cuts usually go together with sudden and extensive changes in the visual content while soft cuts feature 19slow and gradual changes.
镜头边界检测示意图
9
镜头ຫໍສະໝຸດ Baidu
镜头：摄像机拍下的不间断帧序列，是视频数 据流进一步结构化的基础结构层
如，在拍摄“飞机起飞”这组镜头时，画面的色彩 和纹理等图像特征将保持不变
镜头是对视频流进行处理的最小物理单元，而视频 帧是视频流的基本单元，镜头包含少许的语义内容
由于在同一组镜头中，属于同一组镜头的图像帧之 间的特征保持稳定
基本组成单位 独立的图象
视频 场景 镜头
帧
6
体育视频结构示意图
7
新闻结构示意图
8
研究点
镜头边界检测（shot boundary detection） 场景聚类（scene clustering） 镜头分类（shot clustering） 关键帧提取（Key frame extraction）
15
镜头变化分类
This is a sudden transition from one shot to another, i. e. one frame belongs to the first shot, the next frame belongs to the second shot. They are be also known as hard cuts
or simply cuts.
In this kind of transitions the two shots are combined using chromatic, spatial or spatialchromatic effects which gradually replace one shot by another.
11
场景
场景：语义上相关和时间上相邻的若干镜头组 成了一个场景，场景是视频所蕴涵的高层抽象 概念和语义表达，如“学校运动会”这个场景 可以由“运动员入场”、“运动员比赛”和“ 观众呐喊”等镜头组成。
场景可以用属于这个场景的若干个镜头所对应 的关键帧来表示。 （为什么不使用文字信息？）
12
场景聚类示意图
如果相邻图像帧之间的特征发生了明显变化，则认为发 生了镜头变化，需要对视频进行切分
10
镜头分类示例
长镜头(LS)：显示场景的全貌 中镜头(MS)：表现人物的动作，如谈话等 短镜头(CU) ：近距离刻画人物的表情
长镜头
中镜头
短镜头
注：一般在电影中镜头常被分为7类，即特长(XLS)、长(LS)、中长(MLS)、 中(MS)、中短(MCU)、短(CU)和特短(XCU)，
3
结构化视频的作用
建立索引
视频表征 视频相似度比较
便于浏览和检索
视频结构化目的：
自动分析视频流中蕴涵的这种结构 切分有意义的视频段
4
视频结构化的基本概念
书
视频
章
场景
节
镜头
页
帧
5
视频结构化的基本概念
若干镜头或场 景的集合
语义上相关,时间 上相近的若干镜头
在时间和空间上 连续数帧的集合
镜头边界检测常用算法
绝对帧间差法 图像像素差法 图像数值差法 颜色直方图法 压缩域差法 矩不变量法 边界跟踪法 运动矢量法
视频内容的结构化
1
背景
Large multimedia database 24 hours Broadcast videos
video
Online videos
2
2
视频的特点
时间上依赖的图象帧序列流 很强的情节发展性
但是其制作过程中存在“场景”“分镜头”，且其间 存在内容层次，只是在最后节目中消失了
Scene 1
Scene 2
Scene 3
Scene 4
13
镜头边界检测
14
视频镜头边缘检测定义
Problem definition –Shot transition detection is used to split up a film into basic temporal units called shots; a shot is a series of interrelated consecutive pictures taken contiguously by a single camera and representing a continuous action in time and space.
It is a fundamental step of automated indexing and content-based video retrieval or summarization applications which provide an efficient access to huge video archives
16
17
The Schema of Video Shot Detection
18
视频镜头边缘检测方法
基本思想：对比相邻帧间的特征 认为有重大变化的地方是镜头边缘的发生之处
Although cut detection appears to be a simple task for a human being, it is a non-trivial task for computers. Cut detection would be a trivial problem if each frame of a video was enriched with additional information about when and by which camera it was taken. While most algorithms achieve good results with hard cuts, many fail with recognizing soft cuts. Hard cuts usually go together with sudden and extensive changes in the visual content while soft cuts feature 19slow and gradual changes.
镜头边界检测示意图
9
镜头ຫໍສະໝຸດ Baidu
镜头：摄像机拍下的不间断帧序列，是视频数 据流进一步结构化的基础结构层
如，在拍摄“飞机起飞”这组镜头时，画面的色彩 和纹理等图像特征将保持不变
镜头是对视频流进行处理的最小物理单元，而视频 帧是视频流的基本单元，镜头包含少许的语义内容
由于在同一组镜头中，属于同一组镜头的图像帧之 间的特征保持稳定
基本组成单位 独立的图象
视频 场景 镜头
帧
6
体育视频结构示意图
7
新闻结构示意图
8
研究点
镜头边界检测（shot boundary detection） 场景聚类（scene clustering） 镜头分类（shot clustering） 关键帧提取（Key frame extraction）
15
镜头变化分类
This is a sudden transition from one shot to another, i. e. one frame belongs to the first shot, the next frame belongs to the second shot. They are be also known as hard cuts
or simply cuts.
In this kind of transitions the two shots are combined using chromatic, spatial or spatialchromatic effects which gradually replace one shot by another.
11
场景
场景：语义上相关和时间上相邻的若干镜头组 成了一个场景，场景是视频所蕴涵的高层抽象 概念和语义表达，如“学校运动会”这个场景 可以由“运动员入场”、“运动员比赛”和“ 观众呐喊”等镜头组成。
场景可以用属于这个场景的若干个镜头所对应 的关键帧来表示。 （为什么不使用文字信息？）
12
场景聚类示意图
如果相邻图像帧之间的特征发生了明显变化，则认为发 生了镜头变化，需要对视频进行切分
10
镜头分类示例
长镜头(LS)：显示场景的全貌 中镜头(MS)：表现人物的动作，如谈话等 短镜头(CU) ：近距离刻画人物的表情
长镜头
中镜头
短镜头
注：一般在电影中镜头常被分为7类，即特长(XLS)、长(LS)、中长(MLS)、 中(MS)、中短(MCU)、短(CU)和特短(XCU)，
3
结构化视频的作用
建立索引
视频表征 视频相似度比较
便于浏览和检索
视频结构化目的：
自动分析视频流中蕴涵的这种结构 切分有意义的视频段
4
视频结构化的基本概念
书
视频
章
场景
节
镜头
页
帧
5
视频结构化的基本概念
若干镜头或场 景的集合
语义上相关,时间 上相近的若干镜头
在时间和空间上 连续数帧的集合
镜头边界检测常用算法
绝对帧间差法 图像像素差法 图像数值差法 颜色直方图法 压缩域差法 矩不变量法 边界跟踪法 运动矢量法
视频内容的结构化
1
背景
Large multimedia database 24 hours Broadcast videos
video
Online videos
2
2
视频的特点
时间上依赖的图象帧序列流 很强的情节发展性
但是其制作过程中存在“场景”“分镜头”，且其间 存在内容层次，只是在最后节目中消失了
Scene 1
Scene 2
Scene 3
Scene 4
13
镜头边界检测
14
视频镜头边缘检测定义
Problem definition –Shot transition detection is used to split up a film into basic temporal units called shots; a shot is a series of interrelated consecutive pictures taken contiguously by a single camera and representing a continuous action in time and space.