镜头边界检测
一种视频镜头边界检索方法及其应用
一种视频镜头边界检索方法及其应用摘要:提出了一个基于关键区域色彩矩阵的视频镜头检测方法,详细地描述了这种方法的原理,并比较了该方法与其它方法的优缺点,最后阐释了该方法在视频内容检索系统中的运行策略。
关键词:关键区域;色彩矩阵;镜头边界检测;视频检索1研究背景随着信息传播工具的迅速发展,视频已经渐渐取代文本、图像成为人们日常生活中获取信息的一个主要途径。
由于视频信息数据量大、分辨率不统一、编码多种多样等特点,制约着基于视频内容检索的发展。
因此,如何提高视频内容检测的准确度与效率,成为视频内容检索关注的问题。
为了对视频内容进行有效的组织,需要将视频分解为一个个基本单元,而一般认为视频的基本物理单元是镜头,一个镜头由一组摄像机连续拍摄得到的时间上连续的若干帧图像组成。
镜头的自动分割是视频结构化的基础,也是视频分析和视频检索过程中的首要任务,镜头分割的好坏将直接影响到更高一级的视频结构化以及后续视频检索的效果。
2传统的镜头边界检测方法及其优缺点传统镜头分割的主要思想为依据两帧图像的特征值的差值与给定阈值进行比较,如果差值大于给定的阈值,说明两帧的特征变化较大,判定两帧为不同的主题。
在此两帧之间进行镜头分割;如果差值小于给定的阈值,则说明两帧的特征变化较小,判定两帧为同一主题,继续进行下两帧的比较。
这种方法用公式表示为:D(In,In+m)>T(1)(1)式中:In表示视频片段中第n个帧的内容,In+m表示视频第n+m个帧的内容。
T为划定镜头边界的阈值,T一般根据实验经验来确定。
计算两帧差异D的方法可以分为两类:一类是基于图像的色彩特征计算帧间差异的方法;另一类是利用图像的形态信息计算帧间差异的方法。
基于形态特征的方法原理是首先计算出第n帧和第n+m帧的形态特征,如边缘特征、角点特征、纹理特征等,然后比较两帧在形态特征上的差异。
该方法需要计算图像形态特征,时间复杂度较高,并且对画面的分辨率比较敏感,因此目前该方法应用较少,处于发展阶段。
视频检索技术
8
2.2 镜头检测技术
在基于内容的视频检索中,镜头是视频数据分析、编辑制作和检 索的基本单元。镜头边界检测的好坏将直接影响着视频的结构化以及 后续的浏览与检索。因此,它是实现基于内容检索的基础和重要步骤。 镜头检测也可以看作是一个分割问题——视频时域分割。视频 时域分割主要采用基于边界的方法。境头边界检测算法的思路就是: 第一,帧间差的计算。对帧视频提取各自不同的视觉或运动特征,并 对不同帧进行帧间差计算。第二,镜头边界的判断。 获取帧间差之后,设定一个判断准则,将获得的帧间差按照准 则来判断视频镜头是否发生了转变。其过程如图2.2所示。其中,F(i) 代表第I 帧视频,D(i)代表第i帧视频和第i+1帧视频的帧间差,S(k) 代表检测到的第k个镜头边界。镜头边界检测的算法主要有:基于模 板匹配的算法、基于直方图的算法、基于边缘的算法、基于运动分析 的算法和基于压缩视频的算法。
5
基于内容的视频检索的系统框图 如下:
6
2.1 视频帧提取
视频检索的目的就是要从大量的视频数据中找到所需的视频片段。 视频数据是一个二维非结构化的图像序列,要实现基于内容的视频 检索,首先要从多媒体文件中提取视频帧序列,然后对这些图像流 进行处理,使之成为结构性的数据,提取其特征,从而达到检索目 的。 首先,介绍几个关于视频的基本概念。帧(Frame):视频流中的 基本组成单元,每一帧均可看成是一幅独立的图像。视频流数据就 是由连续图像帧构成的。帧是视频的最小单位。镜头(Shot):摄像机 拍下的不间断帧序列,是视频数据流进一步结构化的基础。同一组 镜头中,视频帧的图像特征基本保持稳定。若相邻图像帧之间的特 征 发 生 了 明 显 变 化 , 则 认 为 是 发 生 了 镜 头 变 换 。 关 键 帧 ( Key Frame):关键帧是代表镜头内容的图像帧。在一个视频镜头内, 关键帧的数目远小于镜头所包含的图像帧的数目。用关键帧代表镜 头可以大大减小计算复杂性。场景(Scene):语义上相关和时间上相 邻的若干组镜头组成了一个场景。场景是视频所蕴涵的高层抽象概 念和语义的表达。像镜头可以由关键帧代表一样,场景也可以使用 属于这个场景的所有镜头所对应的关键帧集合来表示。
【计算机应用研究】_边界检测_期刊发文热词逐年推荐_20140724
推荐指数 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
2010年 序号 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17
科研热词 边缘检测 边界追踪 边界检测 蜂群算法 线段相交 火焰检测 梯度 图像阈值 图像分析 图像分割 各向同性 可视外壳 侧影轮廓 二值重构 主成分分析 三维重建 bp神经网络
推荐指数 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
2011年 序号 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35
2011年 科研热词 镜头边界检测 边界标记 边界困境 跳帧法 融合网络边界 自适应检测 自体集 矩形检测 特征提取 滑窗 流量信号分析 检测率 检测器 最大间隔 最优化问题 新奇检测 攻击检测 支持向量机 拒绝服务 形状变化 实值 大规模视频检索 图形处理器加速 图像识别 呼叫统计 否定选择算法 医疗诊断 动态滑动窗口 凋亡细胞 免疫异常检测 优化 仿射变换 互信息量 二维条码 data matrix 推荐指数 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
2008年 序号 1 2 3 4 5 6 7 8
科研热词 镜头边界检测 镜头聚类 视频检索 融解 渐变 声音分段 基于内容检索 场景检测
推荐指数 1 1 1 1 1 1 1 1
2009年 序号 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
基于内容的视频检索技术
基于内容的视频检索技术蔡晓东[摘要]随之信息技术不断的发展,视频信息越来越广泛的应用,本文介绍了实现基于内容的视频检索技术的一般过程、结构的构造视频检索的工作原理、关键帧提取技术、从视频流中构造场景或组的技术特征提取技术以及视频检索浏览等。
[关键字] 视频结构图像检测关键技术随着信息技术的快速发展和普及,视频形式的多媒体数据在不断的增加,因此如何在海量的视频信息中检索出想要的内容成为了一个要急需解决的问题。
因而,近几年来在国内外基于内容的视频检索技术成为了研究的重点。
1、基于内容的视频检索技术基于内容的视频检索(CBVR)是根据视频的内容和上下文关系,对大规模视频数据库中的视频数据进行检索。
它提供一种算法在没有人工参与的情况下,自动提取并描述视频的特征和内容。
目前基于内容的视频检索研究,除了识别和描述图像的颜色、纹理形状和空间关系外,主要的研究集中在视频分割,特征提取和描述(包括,视觉特征、颜色纹理和形状及运动信息和对象信息等)关键帧提取和结构分析等方面。
2、视频结构的分析为了对视频数据库进行基于内容的查询,首要要构造便于检索的视频结构,视频数据可以按照由粗到细的顺序划分为四个层次结构: 视频(Video)、场景( Scene)、镜头(Shot)和图像帧(Frame)。
一个视频序列可以是多个视频场景来构成,一个视频场景又是由多个镜头构成,而镜头是有帧构成。
镜头是指摄像机从打开到关闭的过程中记录下来的一组连续图像帧。
镜头边界是客观存在的,可以采用一定的方法自动检测镜头边界。
在实际应用中,用户浏览一个镜头中所有图像帧是非常耗时的,因此常用关键帧技术实现快速浏览。
关键帧是指代表镜头中最重要的、有代表性的一幅或多幅图像。
依据镜头内容的复杂程度,可以从一个镜头中提取一个或多个关键帧或构造一个关键帧。
为了在语义层建立视频结构模型,需要对视频进行场景划分。
场景定义为语义上相关、时间上相邻的一组镜头,它们能够表达视频的高层次概念或故事等。
边界扫描的原理及应用
边界扫描的原理及应用1. 引言边界扫描是一种常见的图像处理技术,用于检测和提取图像中物体的边界。
在计算机视觉、图像处理和模式识别等领域,边界扫描被广泛应用于目标检测、物体测量和图像分割等任务。
本文将介绍边界扫描的基本原理,以及其在实际应用中的一些例子。
2. 边界扫描的原理边界扫描的原理基于图像的灰度变化。
在图像中,物体的边界通常具有明显的灰度变化。
边界扫描算法通过分析图像中灰度的变化来检测边界。
边界扫描通常分为以下几个步骤:2.1 图像预处理在边界扫描之前,需要对图像进行预处理,以便提高边界的检测效果。
预处理步骤可以包括图像去噪、灰度化、平滑滤波等。
这些步骤的目的是减少图像中的噪声,并使边界更加明显。
2.2 边缘检测边缘检测是边界扫描的核心步骤。
它通过分析图像中灰度的变化来确定边界的位置。
常用的边缘检测算法包括Sobel算子、Canny算子、拉普拉斯算子等。
这些算子能够在图像中检测出灰度变化较大的区域,从而确定物体的边界。
2.3 边界提取边界提取是根据边缘检测的结果,提取出物体的实际边界。
在边界提取过程中,可以使用一些形态学操作来平滑边界的形状,以及去除噪声。
常用的形态学操作包括膨胀、腐蚀、开运算和闭运算等。
3. 边界扫描的应用边界扫描在许多领域中都有广泛的应用。
以下是一些边界扫描应用的例子:3.1 目标检测边界扫描可以用于目标检测,即通过边界提取来确定图像中是否存在特定的目标。
例如,在交通监控系统中,可以使用边界扫描来检测车辆或行人的位置。
3.2 物体测量边界扫描可以用于物体测量,即通过测量边界的长度、面积或形状来获得物体的尺寸信息。
例如,在工业生产中,可以使用边界扫描来测量产品的尺寸,以进行质量控制。
3.3 图像分割边界扫描可以用于图像分割,即将图像分割为不同的区域或物体。
例如,在医学图像处理中,可以使用边界扫描来分割肿瘤或病变区域,以便进行疾病诊断。
3.4 视觉导航边界扫描可以用于视觉导航,即通过检测环境中的边界来确定机器人或车辆的位置。
基于颜色直方图变化率的视频镜头检测
1 1 色彩 空 间转换 和量 化 .
常见的色彩空间有 R B H L、 S Y V等 , G 、 S H V、 U 本文采用符合 人 眼视觉的 H V色 彩空 间 , 采用 色调 、 和度 、 S 它 饱 明度 来表 示
色彩 。
镜B R) C V 的前 提 , 头 分 镜
本 文 首 先 提 出 了颜 色 直 方 图变 化率 ( R) 概 念 , 以此 为 依 HC 的 并
据进行镜头边界检测 。由于直方图本身对摄像机运动及 图像 内
部物体运动等具有一定的鲁棒性 , 因此 H R也有直方 图的这 些 C
优点 。
快速检索成为 当前亟待解决的问题。然而视频是一种数据量非 常庞大 的非结构化数据 , 并且具有很大 的时空冗余性 , 传统的基 于文本方式的视频检索需要耗 费大量 的人力 财力 , 显然 已不能 再满足人们的要求 了, 因此 基于 内容的视频 检索成 为近年 来 国
第2 8卷 第 4期
21 0 1年 4 月
计算机 应 用与软 件
Co u e p ia in n o t r mp t rAp lc t s a d S f o wa e
Vo . 8 NO 4 12 .
Ap . 011 r2
基 于 颜 色 直 方 图 变 化 率 的 视 频 镜 头 检 测
die ty. Tr dto ls o un r e me a in ag rt m sae c mplx i t mp e n ain prc s ,a d a e n ts t be frg a u lc ng r cl a iina h tbo day s g ntto lo ih r o e n isi l me tto o e s n r o uia l o r d a ha e
多媒体教学中基于内容的视频检索
空间关系、 运动信息等。前 3 种是图像和视频共有的, 属于数字
图像处理 中较为成熟的技术 。对象 提取和跟踪是视 频分析 中最
结
构 化
困难的部分, 可利用运动信息进行处理 , 即先将每帧图像分割成 具有相似视觉特征的区域 , 然后根据各个区域的运动特征, 按照
张景辉 田树华① 刘树 明①
( 天津大学电子信息工程学院 天津 307 ; 唐山学院) 002①
[ 关键词 ] 多媒体教 学 视频检索 视音频信 息
[ 中圈分类 号] T 9 [ P31 文献标识码 ] A [ 文章编号 ] 10 63 (06 0 0 1 — 2 08— 6320 )5— 77 0
熟, 如互联 网的搜索引擎 即是采用 了基 于关键词 的检索 方式 , 由
运动信息
镜 分割 头
■ 岫
l 特征分 I关键 舣 析 摄
Байду номын сангаас
于数据内容具有结构化特征, 因此可以用一定关系模型来描述。 而视频、 音频等多媒体信息内容具有非结构化的特性, 不容易用
关系模型进行 描述 , 加之 视音 频是与 时间有关 系 的连续媒 体信 息, 网络 中其均 以视频 、 音频 流媒体 形式 存在 。 因此 这种流 媒体 形式的检索是很困难的。 1 基 于内容分析的视频检 索方 法的提 出
得到了广泛的应用。 2 多媒体教学信息检索工作流 程 .
型 , ]即突变和渐变。突变时 , 镜头直接切换到下一个; 渐变时,
从 一个 镜头到下一个镜头 会有 一个 持续多 帧 的变化 过程 , 见 常
一种并行的新闻视频镜头检测方法
一
种并行的新闻视 频镜头检测方法
文/ 潘忠平 吴庆波 谭郁松
其Hale Waihona Puke 中,日 ( ) ,H ( ) 分 别为归一化直 在第 个颜 色上 的取值 。如
有 全局 阈值法 、双重 阈值 渐变镜头检 测
从集群 的执行 效率上 看 ,一般主从 存 在 关 键 帧 ,而 且 关 键 帧 间 隔 距 离 ( 3 )各 节 点 处 理 所 分 配 区段 ∽ 视 Ⅳ
“
> ×
州
>一 式并行 方法达到 了最 高 ,但是 由于 视频 没 有 规 则 的 特 点 。 修 改 O p e n C V中 频 帧,计 算 相邻 帧直 方 图差 值 并 求 k 和
法 的愈加复杂 ,镜头检测的处理 时间越
在进行镜 头边界检测 时,顺序计算
来越长 ,已经成为 新闻视频分析 和检索 视频流相邻两 帧的直方 图差异 ,当此差
技术 发展 应用的瓶 颈。所 以 ,在 能够保 异值大于某个 预先设定 的阈值 时,说 明 证检 测效果的 同时 ,缩短 大量的镜头检 两帧 问发生了较大 的变化 ,即认 为它们 测处理 时间就非常重要 。随着并行计算 之间存在一个 镜头突变切换 。
式并行算法 。
( 5 )主节 点计 算所有 相邻 帧直方 图差值 的平均值并分发到所有节点 。
( 6 )各节 点根据 阈值 计算切 换 帧
}
>
但 是第 9 5帧不 是 关键 帧 ,其压 缩 算法
2 . 2 . 1 任务分配 。
的关键 帧号 为第 1 o 0帧 ,那么 当前定位 号和数量 r l u m 并输 出。
视频镜头边界检测的实验设计
( c ol f o ue cec n nier g nvrt f lc oi cec n eh ooyo hn ,C e gu 6 0 5 S ho o C mp t Si eadE g ei ,U i s yo et ncSineadT cnlg f ia hnd 10 4,C ia r n n n ei E r C hn )
c i a i e t c u e.w ih i c n u ie t xr c h a i gu i e o tn s n t e r s a c ra,i i i ey r c g ie I t h c l d o sr t r v u h c S o d cv o e ta tt e me nn flvd o c n e t.I h e e r h a e t sw d l e o n z d t a l
s o o n a y d t ci n i h rtse o ie n l ss h t u d r e e t st e f s t p f rv d o a a y i .p o e sn n p l ai n . b o i rc si g a d a pi t s c o
溶 化 :是指 前一 个 视 频镜头 的结 尾部 分 帧 ,和 后 一个视 频 镜头 的开 始 部分 帧 ,在视 觉 内容上 重 叠 播放 ,总 的趋 势 是 前 一 个 视 频 镜 头 的 内容 逐 渐 褪
去 ,后 一个 视频 镜 头 的 内容逐渐 清 晰 出现 。
作 过程 看 ,一 个完 整 、流 畅的视 频序 列 ,是 由多 个 独 立 的视 频镜 头 ,通过 视 频镜 头边 界 (ht ona so bud— r) y 的顺 序 连 接 而形 成 的。视 频 镜 头 的 边 界 变 换 分
基于ORB的镜头边界检测算法
程
数 和 匹 率 对 镜 头 边 界 的 特 点进 行 描 述 ,并 以柑 似 度 曲 线
wh i c h s h o t b o u n d a r y wa s l o c a t e d b y c o mp u t i n g t h e ma t c h i n g d e g r e e o f O RB d e s c r i p t o r b e t we e n a d j a c e n t i ma g e s . I n t h e
3 I n s t i t u t eC o m p u t i n g T e c h n o l o g y . C h i n e s e A c a d e my o l 、 S c i e n c e s ,B e l l i n g 1 0 0 l 9 0 . C h i n a ; 4 C h i n a Ac a d e my o f T e l e c o mmu n i c a t i o n R e s e a r c h o f MI I T , B e i j i n g1 0 0 1 9 1 , C h i n a )
描述 图像 帧之 间的关系 。实验结果 表明 ,该算法 可以有效解决 } 述 问题造 成的镜
榆、漏 检 ,同时处 理速度
文 章编 号 :1 0 0 0 — 4 3 6 X ( 2 0 1 3 ) I 1 — 0 1 8 4 . 0 7
一种基于H.264/AVC码流的镜头边界检测方法
Ex e i n a e u t h w h ti i b i u l e f r l b t n r c l a d p e iin. p rme t l s lss o t a t s o v o sy p r o ms we l o h i e a l n r cso r
Ke o d : . 6 / y w r s H 2 4 AVC;s e ec a g ee t n;c mp e sd d man c n h n ed tci o o rs e o i
1 引 言
随着多媒体技术和 We b技术 的发 展, 越来越 多的信息以
视 频 形 式 存 储 、 输 和 表 现 . 于 这 些 海 量 的 、 结 构 化 的 数 传 对 非
据 , 何组织 、 达 、 理 、 询和 检索就成 为迫切 的需求. 如 表 管 查 视
有 许 多 研 究 和 方 法 , 是 同 传 统 的 MP G一/ 但 E 12码 流 相 比 , H.
2 4 AV 引进 了 许 多 新 特 性 , 多 种 宏 快 模 式 、 参 考 帧 和 6/ C 如 多 帧 内 预 测 等 , 些 新 引 入 的 特 性 使 得 这 些 基 于 MP G一/ 这 E 1 2码 流 的检 测 方 法 并 不能 直 接 应 用 于 H. 6 / C 码 流 . 如 : 2 4 AV 例 文 献 [3 的 方法 在 一 个 小 的 G 4中 OP组 ( B I P或 P B ) B B I中通 过 考 察 B帧 前 后 运 动 补 偿 宏 块 数 量 来 检 测 镜 头 边 界 , 是 H. 6 / 但 2 4 AV 中引 入 的 多 参 考 帧 机 制 使 得 一 个 I B C B P或 P B B I的 G OP 组 对 B 帧来 说 不 是 封 闭 的 , 时 B帧 的 前 向参 考 可 能 用 到 位 同
基于视觉注意特征和SVM的镜头边界检测算法
w i m l sS p o V c rM cie (V hc e po u p ̄ et ahn S M)t c si i a a etn f trsbsd o h eerh rsl fpyhl y h y o o l sy v ul tni e ue ae n te rsac eut o scoo . a f s t o a s g
文章提 出了一种基 于视 觉注意特 征和支持矢量机 (V S M) 该算法通过提取符合人类视觉注意 的特 视频镜头的内容发生了某种意义上的变化 , 即边界是 由于视频 的镜头边界检测算法 , 同时采用支持矢量机进行镜头边界检测 。该 内容的不连续造成的。 镜头边界的类型一般可 以分为突变和渐 征作为特征数据 , R VD 2 0 进行对比 变两种。从检测的过程来看 ,整个过程可以归结为 3个阶段 : 算法 的实验结果 与 T E I 0 7公布的评测结果 后 , 明该算法具有较好的性能 。首先概要介绍了视觉注意特 说 () 1特征的提取 ;2帧间差值的构造 ; ) () ( 镜头变换类型的检测 3
1 引言
镜头边界检测是进行视频内容分析的首要步骤 , 是视频语
界。如 A & T T采用了像素域 中特征 , 并结合有限状态机和支持 矢量机进行镜头边界检测的算法 Le等人提出利用压缩域 中 ;e
并结合神经网络进行镜头边界检测 的方法[用机器学习 3 1 , 义、 内容分析的基础 。 镜头是一组连续的相互关联的帧 , 是摄像 特征 , 前的一种发展趋势 。 机 的一次连续拍摄 , 代表时间或空间上连续的一组动作 。镜头 的方法进行镜头边界检测是 目 边界的形成是两个镜头进行切换 的结果 , 对于观察者来说 , 是
摘
要 : 头边界检测是视频分析的基础 。 镜 借鉴心理 学中有关视觉注意的研究成果 , 出了一神采用符合人 类视 觉注意的特征 ,界检测的算法。通过 对 T E V D 0 7数据库进行实验 的结果表 明, R C I 20 该算法在查全率和查准率方
镜头边缘检测
镜头边界:两个镜头发生转换的时候,会出现一些明显 的变化。例如镜头连续帧之间相应位置像素点差值的变 大、颜色分布发生明显的改变或者物体边缘的突然出现 与消失。镜头边界是视频镜头相邻帧的内容出现了某种 意义上的变化,即镜头边界反映的是视频内容的不连续性。 镜头边界检测从本质上讲就是检测这些明显特征的变化。
直方图相减优点与缺点
优点:基于直方图的方法对于摄像机及目标运动不是特别敏感,因为它没有考虑图像帧的位置信息,忽略了帧 内的空间变化。 缺点:这种方法有可能造成漏检,因为有可能出现两个图像有类似的直方图但却是完全不同的内容。然而,这 种事件的概率是足够低。
渐变检测
连续帧相减MATLAB实现
直方图相减MATLAB实现
基本概念
视频:视频一般是由许多个场景拼接而成的,它在时 间、空间和图像结构上都具有一定地连续性。从根 本上讲,它是一组动态的图像序列,所描述的是一 个完整的故事。 场景:包含一个或多个镜头,并且这些镜头内容相 近,只是从不同的角度对同一个事件进行描述。一 般叙述的是一个阶段性的故事。 镜头:镜头是视频数据结构中的基本单位,它由若 干帧时间上连续的图像组成。在内容上具有很大的 相似性。 帧:帧作为视频数据结构中的最小单元,从本质上 来讲是一幅静态的的图像。连续帧之间会发生变化。
连续帧相减优点与缺点 优点: 在计算两视频帧图像的帧间差时考虑到了像素的位置关系,因此计 算的图像帧间差较为精确。 缺点:对摄像机运动敏感,如放缩、平移。对视频序列内物体的运动同样 敏感。 解决办法:通过滤波器的使用来降低摄像机及目标运动的干扰,提高算法 对于摄像机及目标运动的容忍度。在比较一帧的每个像素前,用它的邻近 区域的平均值来代替,这也过滤了输入图像的一些噪声。
一种有效的视频镜头检测方法
电脑知识与技术多媒体技术及其应用本栏目责任编辑:李桂瑾1引言随着网络以及多媒体技术的迅速发展,涌现出了大量的数字视频,如新闻、广告、监控视频、家庭视频等。
数字视频的大量涌现引发了许多新的技术,包括视频存档、编目、索引以及有效存取等,而这些都需要将非结构化的视频数据转换成为结构化的视频数据。
视频数据按层次可划分为帧、镜头、场景、故事单元等,其中镜头是视频数据的基本单位,因此对视频镜头的检测成为视频检索和浏览技术的基础工作[1][2].根据视频编辑的原则,镜头的变换可分为突变和渐变两种,渐变又可分为淡入、淡出、慢变换和扫换等。
早期的镜头检测工作主要集中在对突变镜头的检测上,其中典型的是基于颜色直方图的方法[3][4],这种方法通过比较相邻帧间的颜色变化值来检测镜头突变。
对于种类繁多的渐变镜头,由于各种相机操作和镜头内的运动,目前还没有一种有效使用的检测算法。
本文提出了一种简单有效的镜头检测方法,算法可以有效的检测出视频序列中的突变和渐变镜头。
2基于亮度信息的镜头突变检测目前,大多数的视频序列都使用YUV格式,其中Y分量表示亮度信息,U、V分量代表色度信息。
YUV格式和RGB格式的转换如下:Y=0.299R+0.587G+0.114BU=-0.169R-0.332G+0.5B+128V=0.5R-0.419G-0.0813B+12!"$8(1)镜头突变反映的是两个连续的视频帧在内容上的突然变换,下图1显示了发生突变的连续视频帧(其中(a)表示发生镜头突变的前一帧,(b)表示发生镜头突变后的帧))。
相应的,这两帧之间的亮度信息也会发生变化。
我们用premiere编辑了一段含有20多个镜头的视频序列(其中包括各种突变和渐变镜头),下图2显示了这段视频帧在亮度信息上的帧间差变化情况。
从图2中可看出,在发生突变时,其分量的直方图帧间差会发生较大的突然变化而在图中出现较多的峰值;而对于各种渐变类型以及摄像机运动,分量直方图帧间差中差异并不是很明显。
基于 UniformLBP 特征的镜头检测算法
基于 UniformLBP 特征的镜头检测算法赵芳;马玉磊【摘要】首次将 UniformLBP 特征引入镜头检测中,提出一种有效的镜头检测算法。
算法的主要思想是:以 UniformLBP 特征作为描述视觉信息的主要特征,利用图模型计算图像序列的特征差异信号,采用主动处理策略构造特征向量和选择训练数据,通过 SVM分类器识别视频镜头。
提出的算法以 TrecVid05实验数据为测试平台,通过与 TrecVid05的测试结果比较可以证明该算法不但对切变镜头检测有很好的实验结果,而且能更为有效地检测渐变镜头。
%In this article,we propose an effective shot detection algorithm,and it is the first time to introduce UniformLBP feature to shot detection.The main ideas of the algorithm are:First,it uses UniformLBP feature as the principal feather to describe visual information. Secondly,it employs graph-model to calculate the feature difference signal of image sequences.Thirdly,it adopts active learning strategy to construct eigenvector and choose trainingdata.Finally,it identifies the video shot boundary by SVMclassifier.For the algorithm proposed in the paper,we use TrecVid05 experimental dataset as the test platform,and through comparison it with the test result of TrecVid05,it can prove that this algorithm not only has good experimental result on cut shot boundary detection,but can also more effectively detect the gradual shot transition case.【期刊名称】《计算机应用与软件》【年(卷),期】2015(000)003【总页数】7页(P145-150,161)【关键词】镜头检测;归一化图像二值特征;图模型;主动学习;支持向量机分类器【作者】赵芳;马玉磊【作者单位】新乡学院计算机与信息工程学院河南新乡 453000;新乡学院计算机与信息工程学院河南新乡 453000【正文语种】中文【中图分类】TP301.6镜头检测是自动化视频内容结构分析与搜索领域中的基本问题。
基于场记板中数字识别的自动顺片技术
基于场记板中数字识别的自动顺片技术周心悦;卢柃岐;钱红艳;李军【摘要】影片素材拍摄完成后,需要根据拍摄进度将每个场景的待用镜头按照剧情顺序重新排列,以便为后续的精细剪接做准备.由于每个镜头的拍摄是从场记板开始;且场记板记录了当前镜头的顺序信息,因此提出一种基于场记板上数字识别的自动顺片技术;该技术首先利用基于场记板信息的两级直方图突变镜头检测算法对视频序列进行镜头分割,在每个镜头中找到含场记板的帧;并从中分割出场记板区域.然后采用霍夫变换几何检测方法,从场记板区域中定位出数字区域.最后基于改进的BP 神经网络对手写数字进行识别,从而完成自动顺片.实际应用结果表明,提出的新技术完全自动化、计算精度高、大大提高了工作效率,能够满足实际应用的需求.%After shooting the video material,in order to make it a structured and coherent film,it need to edit it.Because each shot often starts with a clap-stick,and the order information of the current shot is written on the clap-stick digitally,so an automatic assembling technology was presented based on the digit recognition.Firstly,the proposed method applies the two-level color histogram method based on the clap-stick information to segment shots from video sequence,searches the image frames that contain a clap-stick in each shot,and splits the clapstick area.Then,the regions of the clap-stick are located by the Hough transform.The proposed method completes the digit recognition based on improved BP neural network,and finally sorts all the shots.Practical application results show that the proposed method is fully automated and high accuracy.It improves work efficiency,and can be widely applied to the field of film editing.【期刊名称】《科学技术与工程》【年(卷),期】2018(018)013【总页数】5页(P267-271)【关键词】电影剪接;自动顺片;镜头分割;场记板;数字识别【作者】周心悦;卢柃岐;钱红艳;李军【作者单位】成都理工大学数学地质四川省重点实验室,成都610059;成都理工大学数学地质四川省重点实验室,成都610059;成都理工大学数学地质四川省重点实验室,成都610059;成都理工大学数学地质四川省重点实验室,成都610059【正文语种】中文【中图分类】TN915.534;TP311在实际的拍摄过程中,电影的拍摄都是一个个镜头的拍摄;并且所有的镜头都是按照场景进行拍摄而不是剧情发展。
一种有效的镜头探测方法
一种有效的镜头探测方法
朱小俊;老松杨;吴作顺;谢毓湘
【期刊名称】《计算机工程与应用》
【年(卷),期】2003(039)008
【摘要】镜头是视频分析和检索的基本单元,根据两个相续镜头处视频内容的变化情况,可以把镜头边界分为突变和渐变两种.镜头探测的方法很多,但大多都是针对某一类镜头准确性很高.文中,介绍了一种有效的镜头探测方法,此方法综合利用双直方图比较法和MPEG视频流中B帧宏块的信息来探测镜头边界,对不同类型的镜头,都取得了很高的准确性.通过对十几段不同类型MPEG_I视频节目进行试验,效果相当理想.
【总页数】3页(P59-61)
【作者】朱小俊;老松杨;吴作顺;谢毓湘
【作者单位】国防科技大学多媒体研究开发中心,长沙,410073;国防科技大学多媒体研究开发中心,长沙,410073;国防科技大学计算机学院,长沙,410073;国防科技大学多媒体研究开发中心,长沙,410073
【正文语种】中文
【中图分类】TP37
【相关文献】
1.一种有效的抗闪光灯新闻视频镜头检测方法 [J], 彭天强;李弼程
2.一种压缩域中的体育视频慢镜头探测方法 [J], 侯绿林;白亮;老松杨
3.一种融合颜色和运动特征的镜头探测方法 [J], 陈剑赟;李云浩;老松扬;吴玲达
4.一种基于解压的镜头探测方法 [J], 谢毓湘;栾悉道;吴玲达;老松杨
5.一种有效的视频镜头检索方法研究 [J], 邓丽;金立左;费树岷
因版权原因,仅展示原文概要,查看原文内容请购买。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
V.基于TRECVID实验
A.实验条件
V.基于TRECVID实验
B.结果的比较
V.基于TRECVID实验
B.结果的比较
B.结果的比较
V.基于TRECVID实验
B.结果的比较
V.基于TRECVID实验
VI.总结及展望
文章总结
1. 提出了普遍适用的SBD架构 2. 对现有SDB技术的分析 3. 提出了一个基于图像分割模型的SBD系统 4. 基于实验平台TRECVID的实验检测提出系统的有效性
III.现有SBD技术的分析
B.基于信号连续性结构的方法 1.成对比较法:将帧成对比较 优点:简便 缺点:对噪声敏感 改迚:二阶差分 2.上下相关法:比较时考虑其他前关的帧,提取出相似信息, 在迚行帧索引。 此方法提取特征信息是关键,现有算法还丌理想。
III.现有SBD技术的分析
C.基于分类的方法
• 展望
1. 与CBIR(content-based image retrieval)等问题在方法上有通 用性 2. 镜头分割通过将三维的信号转化成一维信号,在信号分割和图像 分割方面有相似的应用。 3. 机器学习法在解决问题上较其他方法有优越性,在SBD中的应用 还有待研究。
谢谢
II.SBD架构
B.架构中存在的主要问题 1.渐变镜头的检测 2.突变光变化的干扰 3.大对象/摄像机运动的干扰
III.现有SBD技术的分析
A.基于可是内容描述的方法 1. 基于像素的方法 优点:简单,灵敏性强 缺点:对于局部和整体的运动敏感 改迚:色柱状图法,块匹配法 2.基于边缘变化率法 优点:对于光线改变引起的变化丌敏感 缺点:繁琐,计算量大
1.规则分辨器法:选取阈值对帧迚行分辨,采用自适应阈值 好于全局阈值
2.机器学习法:分为区别分辨器和迚化分辨器,关键在于如 何构造分辨器的特征和如何获取一个合适的训练
III.现有SBD技术的分析
D.渐变镜头检测的方法
1.淡入和淡出:这时两个镜头之间以黑白帧隔开,通过寻找黑白帧从而 分来两个镜头。 2.换扫:两个镜头通过换扫转换时,存在“时空片”使两部分的内容同 时存在时空片上,通过寻找时空片将而分开两个镜头。 3.溶解:(1)基于给定溶解类型,通过判断帧是丌是符合溶解类型找出 溶解帧,从而分辨两个镜头;(2)再溶解开始时,像素的强度在溶 解达到中间时最小。通过找像素曲线的最小值 找到溶解帧,从而分辨 两个镜头。 4渐变的一般方法:双比较法,如基于自适应运动阈值的有限状态机法; 多分辨率分析法:高分辨率对应低阈值,低分辨率对应高阈值。
IV.基于图像分割模型的SBD系统
A.图像分割模型
IV.基于图像分割模型的SBD系统
A.图像分割模型
IV.基于图像分割模型的SBD系统
B.支持向量机的主动学习
IV.基于图像分割模型的SBD系统
C.时域多分辨率分析
IV.基于图像分割模型的SBD系统
C.时域多分辨率分析
IV.基于图像分割模型的SBD系统
I.简介
• 镜头边界分为两类:切换和渐变
渐变又分为:溶解、换扫、淡入、淡出
现阶段主要研究为渐变检测 现阶段研究镜头边界检测存在的主要问题:
1. 现阶段的研究跟丌上镜头边界检测技术的需求 2. 现阶段许多方法的效果没有统一的评价标准
I.简介
• 文章的主要内容
1. The Section II :SBD架构 2. The Section III:对现有SDB技术的分析 3. The Section IV:提出了一个基于图像分割模型的SBD系统 4. The Section V:基于实验平台TRECVID的实验检测提出系统的 有效性 5. The Section VI:总结与展望
镜头边界检测 (SBD)
摘要
• 本文要做的内容:
1. 在模式识别角度提出了普遍适用的结构框架 2. 回顾现存的检测方法 3. 提出了一个基于图像分割模型的SBD系统
关键字:架构,图像分割模型,多分辨率分析,镜头边界检测,支 持向量机
I.简介
• 镜头Байду номын сангаас界的概念
一个镜头(shot)是相机的一次连续拍摄,代表的是时间和空 间上一组连续的动作,是一系列相互关联的连续帧的组合。
II.SBD架构
连续信号的结构 本文将视频码流转化为一维连续信号分析,理想情况下, 在相同镜头下码流保持很大的值而当镜头切换时,码流会衰 减到很小。而实际情况下丌仅要考虑帧间的变化 还要考虑相 邻帧的变化。
II.SBD架构
连续值的分辨 通过建立分辨连续性的数学模型,产生自适应的分辨器, 设立阈值完成镜头边界检测。
II.SBD架构
A.镜头边界检测(SBD)即从视频中分割成一些连续的镜头。 主要包括3个核心部分 1.可视内容的描述 2.可视内容的连续性评估
3.连续值的分类
II.SBD架构
可视内容的描述 可视内容的描述需要两点:丌变性和灵敏性 丌变性指:当内容变化时存在特征是丌变的(镜头切换除外) 如,镜头的旋转 灵敏性:反映捕获可视内容绅节的能力 内容越粗糙丌变性越强,绅节越多灵敏性越强