基于聚类的视频镜头分割和关键帧提取

合集下载
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
1
5 " # ! $ "; # $6<=>$6 " / # ()*+ ! "$%& 0 *
6 " #
" %5 $
! ! " + / # ()*+ ! 1$%& 23 " ! " " / # ()*+ ! "$%& 23 # ! " , / # ()*+ ! "$%& 2 "4$ !
式 中 ! ’" ’# 分 别 是 + ’" ’, 三 个 分 量 的 加 权 系 数 ! 因 为 一 般 情 况 下 人 眼 对 + 分 量 比 较 敏 感 ! 因 此 有 ! !" !
文 献 标 识 码 %*
"#$%& ’(&) ’%*+%,)-)#&, -,$ .%/ 01-+% %2)1-3)#&, 4-’%$ &, 356’)%1#,*0
’*1 234 5 67 849: ! ;<= 5 >?7 ><9= ! @<9=
AB3C9DEF3=E :G HI3JED:=4JK 9=L M=G:DF9E4:=5N49=OK< 7=4P3DK4E@ :G QJ43=J3 9=L &3JR=:I:O@ S TR3=;49=O ")"$$% ! UR4=9V
大 时!该 镜 头 被 聚 类 为 若 干 子 镜 头 !提 取 若 干 关 键 帧 % 在子镜 头 集 合 聚 类 完 毕 后 !引 入 图 像 熵 的 概 念 提 取 关 键 帧 % 参 考 文 献 9.: 提 出 了 一 种 图 像 熵 的 定 义 ! 在 此引用该定义 !加 以 一 定 的 约 束 条 件 后 用 于 关 键 帧 提 取 % 图 像 #7 的 图 像 熵 可 定 义 为 &
#$%$& ! #’%’& 为 ’ $ ( 时 表 示 镜 头 尚 未 分 割 完 毕 ! 可 继 续 进
行聚类 $为 ’@( 时表示镜头已分割完毕 ! 不再进行聚 类 " 对 于 视 频 序 列 ( (A )$% *& ! & ! *"B ! 将 其 投 影 到 +,颜 色 空 间 ! 空 间 分 割 采 用 参 考 文 献 #"’ 的 +,- ) $& " + "
!,!
采 用改进的聚类算法将其分割为 ! 类 !即 分 割 后 的 镜 头 集 为 " " " "# ! "$ !# ! "! $% " % $ 令 第 一 帧 ## 为 第 一 个 镜 头 ! 其 本 身 即 为 类 内 中 心 ! 该 镜 头 "$%& & ’()(& "# % " ’ $ 抽 取 下 一 帧 # ()*+ ! 利 用 公 式 " , $ ! " - $ ! " . $ 得 到 # ()*+ 与 镜 头 的 相 似 性 为 &
+ ) $ * ( +C *.//.0 ) ’ D 1!2
)$*
式 中 +C 3.//.0 ) ’ D 为 + 分 量 像 素 值 落 入 第 ’ 段 的 像 素 个 数 $4 !2 是 图 像 两 个 方 向 的 像 素 个 数 " 类 似 地 可 建 立 ,%( 分 量 的 直 方 图 为 #
$ 中的三幅图像应该属于图 & 中的第五类镜头!结 果
b 基 金 项 目 % 江 苏 省 自 然 科 学 基 金 资 助 项 目 # 苏 科 基 "$$" ! $$- $
作 者 简 介 % 潘 磊 # )(a$ ! $ ! 男 ! 江 苏 镇 江 人 ! 硕 士 生 ! 主 要 研 究 方 向 为 模 式 识 别 ( 基 于 内 容 的 视 频 检 索 &
图 & 第五类镜头的几个代表帧
类内中心 7 分量的直方图! 类似地可建立帧与镜头 在 ,%- 分 量 上 的 相 似 性 为 #
+
,-./& 9:83 73;7323<=0=->3 570832 -< =?3 +=? 2?:=
研 究 发 现 !导 致 此 问 题 的 关 键 在 于 聚 类 算 法 存 在 缺 陷 " 由 于 参 考 文 献 #"’ 中 算 法 每 次 将 帧 和 各 个 已 知 镜 头 之 间 进 行 聚 类 比 较 !取 相 似 性 最 大 的 镜 头 作 为 帧
!"&
红外与激光工程
第 !" 卷
容起到决定性的作用 !是对视频节目建立索引的基 础 " 镜 头 是 视 频 的 基 本 物 理 单 元!由 一 个 摄 像 机 连 续 拍摄的时间上连续的若干帧图像组成" 镜头之间的变 换包括两种 #切 变 和 渐 变" 切 变 是 指 一 个 镜 头 不 采 用 任何编辑效果 直 接 变 换 到 另 一 个 镜 头 $渐 变 是 指 一 个 镜头通过某 种 编 辑 手 段!如 淡 入 %淡 出%叠 化 等 !缓 慢 地 变 换 到 另 一 个 镜 头 #$%&’ " 关 键 帧 是 用 来 描 述 一 个 镜 头 内部主要内容 的 某 帧 或 某 几 帧 图 像 !通 过 镜 头 分 割 后 对每个镜头提 取 关 键 帧 !就 可 在 此 基 础 上 对 视 频 建 立 索引! 为视频检索和浏览提 供了快捷简便的手段!并 且极大降低了视频 检索系统的处理时间!使得视频检 索系统的实时性得到很大提高" 所 属 镜 头 !因 此 很 容 易 出 现 上 述 问 题 " 对 此 参 考 文 献
, , 8)9,:.& D( " 8-<) , ) 5 * 9,:.&C, ) 5 * D
5 ( $ +
)+ *
, - 8)9,:.& D( " 8-<) - ) 6 * 9,:.&C- ) 6 * D
6 ( $
)E *
第!期
源自文库
潘 磊 等 &基 于 聚 类 的 视 频 镜 头 分 割 和 关 键 帧 提 取
! 引 言
目 前 研 究 的 基 于 内 容 的 视 频 检 索 系 统!一 般 都 是 先进行镜头分 割 !即 在 时 域 上 将 视 频 序 列 按 照 一 定 的
收 稿 日 期 % "‘‘/,‘a,‘) ’ 修 订 日 期 % "‘‘/,‘a,"‘
标 准 分 割 为 镜 头!然 后 提 取 镜 头 的 关 键 帧 " 因 此 !如 何 将视频序列正确地分割为镜头是视频检索首先要解 决的问题 !镜头分割的好坏 !直接影响 到视频检 索 系 统性能的优劣 " 而 关 键 帧 的 提 取 !对 于 描 述 镜 头 的 内
! 基于聚类的镜头分割算法
聚类 技 术 在 信 息 科 学 领 域 得 到 了 广 泛 应 用 !其 基 本思想是从一个初始化的聚类出发! 将一个样本集
+* 制 ! 即 + 分量等分为 $& 块 !,%- 分量 各自等分为 +
块" 建 立 + 分 量 的 直 方 图 为 #
! () !$% !&% & ! !"* 中 的 每 个 元 素 分 配 给 某 个 聚 类 ! 以 达
到系统或用户的要求" 典型的基于聚类的镜头分割算 法 可 参 阅 参 考 文 献 #! ! +’ " 实 验 中 发 现 ! 通 常 采 用 的 聚 类 算 法 !可 能 导 致 镜 头 出 现 帧 序 号 不 连 续 以 及 镜 头 错 误 分 割 的 问 题 " 如 采 用 参 考 文 献 #"’ 中 的 聚 类 算 法 ! 图
被错误地 划 分 到 图 ! 的 第 二 类 镜 头 中 !导 致 第 二 类 镜 头 的 帧 序 号 不 连 续 !而 第 五 类 镜 头 分 割 错 误 "
, ) 5 * ( ,C 3.//.0 ) 5 D 4!2 ( ) 6 * ( -C 3.//.0 ) 6 D 4!2
)& * )!*
式 中 ’ ! #$ ! $&’ $ 5 ! #$ ! +’ $ 6 ! #$ ! +’ ! 则 7,( 空 间 的 直 方 图 + )’ !5 !6 * 为 一 个 三 维 数 组 ! 分 别 对 应 + %, %( 三
74’)1-3) % QR:E K3OF3=E9E4:= 4K 9 P4E9I E3JR=:I:O@ ER9E F<KE W3 D3K:IP3L G4DKEI@ 4= P4L3: D3ED43P9I 9=L WD:XK3Y &R3= Z3@ GD9F3 3[ED9JE4:= X4II W3 J9DD43L :<E 9GE3D KR:E K3OF3=E9E4:= E: L3KJD4W3 F94= J:=E3=E :G KR:EY *= 4FCD:P3L 9IO:D4ERF G:D KR:E K3OF3=E9E4:= 9=L Z3@ GD9F3 3[ED9JE4:= W9K3L := JI<KE3D4=O 4K CD:C:K3LS 9 D3G3D3=J3L P9D49WI3 4K <K3L 4= <=K<C3DP4K3L JI<KE3D4=O E: D3K:IP3 ER3 GD9F3 K3\<3=J3]K 4=J:=E4=<4E@ :D G9IK3 K3OF3=E9E4:= CD:WI3FK XR4JR J9= W3 J9<K3L CD:W9WI@ W@ <=K<C3DP4K3L JI<KE3D4=O^ B<D4=O Z3@ GD9F3 3[ED9JE4:=5 ER3 J:=J3CE :G 4F9O3 3=ED:C@ 4K <K3L 9GE3D KR:E W34=O K3OF3=E3L 4=E: K<W ! KR:EK^ H[C3D4F3=E9I D3K<IEK L3F:=KED9E3 ER3 3GG4J43=J@ :G ER3 4FCD:P3L 9IO:D4ERF 4= KR:E K3OF3=E9E4:= 9=L Z3@ GD9F3 3[ED9JE4:=^ 8%/ 9&1$’ % QR:E K3OF3=E9E4:= ’ _3@ GD9F3 ’ UI<KE3D4=O ’ MF9O3 3=ED:C@
式 中 $6 代 表 像 素 值 为 6 的 像 素 占 图 像 像 素 总 数 的 比 例 ! 容易证明图像熵总是大于 )5 * 的 % 可以看出 ! 当 $6 "
图 ! 第二类镜头的几个代表帧
,-./! 9:83 73;7323<=0=->3 570832 -< =?3 &<6 2?:=
#"’ 提 出 了 一 种 后 处 理 方 法 " 本 文 则 对 聚 类 算 法 进 行
了 改 进 !无 须 进 行 后 处 理 #当 出 现 新 的 镜 头 时 !前 面 已 经分割完毕的镜头不再参加聚类" 为此引入参考变量
图 $ 错误分类的帧
个分量的直方图" 定义帧与镜头在 + 分量上的相似 性为#
$&
,-./$ ,0123 41022-5-36 570832
, + 839,:.& D( " 8-<) 7 ) $ * 9,:.&C7 ) $ * D
$ ( $
)"*
式 中 7 ) $ * 是 帧 7 分 量 的 直 方 图 $ ,:.&C7 ) $ D 是 镜 头
!
摘 要%镜 头 分 割 是 基 于 内 容 的 视 频 检 索 和 浏 览 首 先 要 解 决 的 关 键 技 术 & 视 频 分 割 为 镜 头 后 !下 一 步 的 工 作 就 是 进 行 关 键 帧 提 取 !用 以 描 述 镜 头 的 主 要 内 容 & 提 出 了 一 种 改 进 的 基 于 聚 类 的 镜 头 分 割 和 关 键 帧 提 取 算 法!在 无 监 督 聚 类 中 引 入 一 个 参 考 变 量 !解 决 了 利 用 无 监 督 聚 类 进 行 镜 头 分 割 和 关 键 帧 提 取 时 可 能 产 生 的 帧 序 不 连 续 或 分 割 错 误 的 问 题 & 在 关 键 帧 提 取 阶 段 !将 镜 头 分 割 为 子 镜 头 后 ! 引入图像熵的概念提取关键帧 & 实验结果表明了改进算法在镜头分割和关键帧提取方面的 有 效 性 & 关 键 词 %镜 头 分 割 ’ 中 图 分 类 号 % &’%() 关键帧’ 聚类’ 图像熵 文 章 编 号 % )$$+,""+- # "$$. $ $%,$%/),$/
第 %/ 卷第 % 期
c:I^%/ 1:^%
"$$. 年 - 月 红外与激光工程 !"#$%$&’()"*(+),&$(-"./"&&$/".((!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!N<=^ "$$.
基于聚类的视频镜头分割和关键帧提取
潘 磊 !吴 小 俊 !尤 媛 媛 # 江 苏 科 技 大 学 电 子 信 息 学 院 ! 江 苏 镇 江 "#"$$% $
相关文档
最新文档