新闻类视频结构化ppt课件

因此，计算相邻帧画面中对应的A、B和C这 三个区域特征平均值和方差。
主持人镜头选择判断
由于头部运动发生在区域A和B中，而区域C没有变化，所以，有
A C 0 和 A2 C2 0 B C 0 和 B2 C2 0
及
C 0 和 C2 0
主持人镜头选择判断
如果某个候选镜头中的帧满足以上条件， 就可以断定该镜头属于图（a）所定义的两 位主持人新闻报道镜头。同样的方法可以判 断候选镜头是否属于上图所定义的其他主持 人新闻报道模型。
具体步骤：对于分割出来的镜头单元，计算这
个镜头中相邻帧的特征平均值 和方差 。当 和 满足如下条件时，认为该组镜头为可能的
主持人镜头 ：
t1和 2 t2
选出可能主持人镜头方法（续）
其中t1和t2是判断阈值。为了使分析过程快速简单， 一般在计算中采用基于灰度直方图矩阵的统计量 来衡量相邻帧之间的差别
不像其他视频节目的结构不是很明显，新 闻视频节目中具有明显的结构，使结构化 新闻视频数据不仅成为可能，而且也易于 判断结构化的结果是否正确。
视频新闻内容分析——时域结构
新闻视频的时域结构：它是新闻项的序列 新闻项指先是主持人镜头，然后是新闻报
道，最后是主持人镜头，接着进行下一个 新闻项。
主持人镜头 商业广告
然后将这些可能的主持人新闻报道镜头与前面定义的 四类主持人报道模型进行匹配，如果它们的空间结构 基本一致，则认为选择的镜头是主持人新闻报道镜头。 如果所选择的可能镜头与所定义的任何一种模型均不 匹配，则这个镜头就不是主持人新闻报道镜头
选出可能主持人镜头方法
优点：大大减轻了后边进行主持人镜头模型匹 配判断的计算量，因为不需要逐一判断每一个 分割出的镜头是不是主持人镜头，而只需要在 可能的主持人镜头中选出真正的主持人镜头
新闻类视频结构化
主要内容
视频新闻内容分析 现有新闻类分析系统
News video
start
Story 1
Non story Story n
End
结构示意图
新闻类视频结构化——可行性
视频结构化应用最广泛也最成功的领域是 新闻类视频。新闻节目是一个连续数据流， 有新闻开始和新闻结束，并且有时候在新 闻中还有广告等内容。
天气预报
开始
新闻镜头
主持人镜头
结束
视频新闻内容分析——目 的
新闻视频分析就是根据这些相对粗糙的类别， 将所有镜头进行归类，从而组合场景
目前新闻视频分析的目的就是把切分出来的 镜头组合成一个个独立的新闻故事，去除在 新闻节目流中广告和天气预报等观众不感兴 趣的数据流，使人们可以单独去了解独立的 新闻事件，而不需要把整个时段的所有新闻 节目都看下来
对判断出来的这些可能是主持人的镜头，将在下 面做进一步分析判断，筛选出真正的主持人镜头
主持人镜头选择判断
方法： 判断主持人候选镜头中是否有主持人出
现。如果有主持人出现，则候选镜头是真正 主持人新闻报道镜头，否则不是。
主持人镜头选择判断
算法：
用图所定义的主持人镜头模型中各区域特征。 下面以判断是否为两位主持人新闻报道镜头为例。 在图（a）所定义的两位主持人新闻报道模型中， 可以知道两位主持人新闻报道镜头中相邻帧间变 化主要来源于两位主持人的身体（主要是面部）？
视频新闻内容分析——步骤
对视频新闻节目进行分析需要分成如下三 步：
• 首先将新闻视频流分割成一个个的镜头单元 • 然后根据事先定义的镜头模型将这些切分出来
的各类镜头归类 • 最后把分类后的镜头单元组合成独立的新闻故事
镜头切分 ——任务、分类
镜头切分的任务就是检测镜头边缘，把视频 流分割成镜头单元
台标
背景Байду номын сангаас
主持人
4种常见的主持人模型
区别的关键在于主持人数目和是否有图标
主持人新闻报道镜头识别
主持人新闻报道镜头识别的任务：从新闻视频中分割 出得到的镜头中，找出那些属于主持人新闻报道的镜 头单元
主持人新闻报道镜头的特征：在主持人报道新闻主旨 时主持人基本保持不动，只是嘴、头或者肩膀会有小 许细微运动，而背景和图标会完全静止。
• 主持人进行新闻报道时，相邻图像帧之间的差别很小 。帧与帧之 间的变化仅仅是由于主持人微小的身体运动以及随机噪音引起的， 所以主持人镜头中相邻两帧的平均差别小于新闻镜头中两帧之间的 平均差别
怎么检测主持人新闻报道镜头？
主持人新闻报道镜头识别——步骤
先筛选出一些帧间运动变化差别小的镜头，这样的镜 头就是可能的主持人报道镜头
? 二是包含两位主持人的镜头
新闻镜头就复杂很多，没有固定的结构。因此，可认 为那些不能确定为主持人模型的镜头就是新闻镜头
镜头切分包含以下两步：首先，定义两类主持人镜头模型； 然后设计一种相似度衡量方法，判断某个镜头是否为主持 人镜头
主持人镜头模型定义
当有一个主持人进行新闻报道时，画面 可以分成三个部分：主持人人脸、节目 （或电视台）图标和背景画面
如果某个候选镜头不属于上图所定义的 任何主持人新闻报道模型，则这个镜头不是 真正的主持人新闻报道镜头。
视频新闻内容分析
目的： 进行新闻内容分析，其目的是要分析出
每个独立的新闻故事。
视频新闻内容分析
主要思路： 独立新闻故事一般在两种情况下发生：
（1）先是主持人报道一个独立新闻故事的简要主旨，然 后是非主持人新闻镜头报道故事详细介绍。当这个独 立新闻故事报道完毕后，又出现主持人新闻报道镜头， 开始了下一条独立新闻故事的报道。对这种情况，只 需要把前一个主持人新闻报道镜头到下一个主持人新 闻报道镜头之间的视频帧组合到一起，形成一个独立 新闻故事介绍就可以了。
镜头边缘有两大类型：突变和渐变。突变就 是简单的镜头切换（cut），而渐变是具有 某种特殊效果的逐渐过渡（如fade、dissolve 和wipe）。
镜头分类
在视频新闻中，主要考虑两种镜头类型：主持人镜头 和新闻镜头
可以根据主持人在画面上位置来进一步区分不同类型的主 持人镜头 ：一是包含一位主持人的镜头，
视频新闻内容分析
（2）镜头中出现主持人画面，可主持人实际上报道了
好几条新闻（如简讯）。从语义上来看，这样一个主持 人镜头里包含了好几个新闻故事，需要将这几个新闻故 事分割开来，因为它们是独立的新闻故事。在这种情况 下，每当主持人从一条简讯转到下一条新简讯时，画面 中的图标也会相应的变换，因为画面中的图标是当前新 闻故事的概要。所以当主持人报道下一条新闻时，前一 条新闻的图标消失，出现下一条新闻的概要，可以依据 这个特定信息，统计该主持人镜头中图标区域变化情况， 把独立的新闻简讯分割开来。