基于聚类的视频镜头分割和关键帧提取

! 基于聚类的镜头分割算法
聚类 技 术 在 信 息 科 学 领 域 得 到 了 广 泛 应 用 !其 基 本思想是从一个初始化的聚类出发! 将一个样本集
+* 制 ! 即 + 分量等分为 $& 块 !,%- 分量 各自等分为 +
块" 建 立 + 分 量 的 直 方 图 为 #
! () !$% !&% & ! !"* 中 的 每 个 元 素 分 配 给 某 个 聚 类 ! 以 达
!,!
采 用改进的聚类算法将其分割为 ! 类 !即 分 割 后 的 镜 头 集 为 " " " "# ! "$ !# ! "! $% " % $ 令 第 一 帧 ## 为 第 一 个 镜 头 ! 其 本 身 即 为 类 内 中 心 ! 该 镜 头 "$%& & ’()(& "# % " ’ $ 抽 取 下 一 帧 # ()*+ ! 利 用 公 式 " , $ ! " - $ ! " . $ 得 到 # ()*+ 与 镜 头 的 相 似 性 为 &
!
摘 要%镜 头 分 割 是 基 于 内 容 的 视 频 检 索 和 浏 览 首 先 要 解 决 的 关 键 技 术 & 视 频 分 割 为 镜 头 后 !下 一 步 的 工 作 就 是 进 行 关 键 帧 提 取 !用 以 描 述 镜 头 的 主 要 内 容 & 提 出 了 一 种 改 进 的 基 于 聚 类 的 镜 头 分 割 和 关 键 帧 提 取 算 法!在 无 监 督 聚 类 中 引 入 一 个 参 考 变 量 !解 决 了 利 用 无 监 督 聚 类 进 行 镜 头 分 割 和 关 键 帧 提 取 时 可 能 产 生 的 帧 序 不 连 续 或 分 割 错 误 的 问 题 & 在 关 键 帧 提 取 阶 段 !将 镜 头 分 割 为 子 镜 头 后 ! 引入图像熵的概念提取关键帧 & 实验结果表明了改进算法在镜头分割和关键帧提取方面的 有 效 性 & 关 键 词 %镜 头 分 割 ’ 中 图 分 类 号 % &’%() 关键帧’ 聚类’ 图像熵 文 章 编 号 % )$$+,""+- # "$$. $ $%,$%/),$/
b 基 金 项 目 % 江 苏 省 自 然 科 学 基 金 资 助 项 目 # 苏 科 基 "$$" ! $$- $
作 者 简 介 % 潘 磊 # )(a$ ! $ ! 男 ! 江 苏 镇 江 人 ! 硕 士 生 ! 主 要 研 究 方 向 为 模 式 识 别 ( 基 于 内 容 的 视 频 检 索 &
到系统或用户的要求" 典型的基于聚类的镜头分割算 法 可 参 阅 参 考 文 献 #! ! +’ " 实 验 中 发 现 ! 通 常 采 用 的 聚 类 算 法 !可 能 导 致 镜 头 出 现 帧 序 号 不 连 续 以 及 镜 头 错 误 分 割 的 问 题 " 如 采 用 参 考 文 献 #"’ 中 的 聚 类 算 法 ! 图
式 中 $6 代 表 像 素 值 为 6 的 像 素 占 图 像 像 素 总 数 的 比 例 ! 容易证明图像熵总是大于 )5 * 的 % 可以看出 ! 当 $6 "
图 & 第五类镜头的几个代表帧
类内中心 7 分量的直方图! 类似地可建立帧与镜头 在 ,%- 分 量 上 的 相 似 性 为 #
+
,-./& 9:83 73;7323<=0=->3 570832 -< =?3 +=? 2?:=
研 究 发 现 !导 致 此 问 题 的 关 键 在 于 聚 类 算 法 存 在 缺 陷 " 由 于 参 考 文 献 #"’ 中 算 法 每 次 将 帧 和 各 个 已 知 镜 头 之 间 进 行 聚 类 比 较 !取 相 似 性 最 大 的 镜 头 作 为 帧
!"&
红外与激光工程
第 !" 卷
容起到决定性的作用 !是对视频节目建立索引的基 础 " 镜 头 是 视 频 的 基 本 物 理 单 元!由 一 个 摄 像 机 连 续 拍摄的时间上连续的若干帧图像组成" 镜头之间的变 换包括两种 #切 变 和 渐 变" 切 变 是 指 一 个 镜 头 不 采 用 任何编辑效果 直 接 变 换 到 另 一 个 镜 头 $渐 变 是 指 一 个 镜头通过某 种 编 辑 手 段!如 淡 入 %淡 出%叠 化 等 !缓 慢 地 变 换 到 另 一 个 镜 头 #$%&’ " 关 键 帧 是 用 来 描 述 一 个 镜 头 内部主要内容 的 某 帧 或 某 几 帧 图 像 !通 过 镜 头 分 割 后 对每个镜头提 取 关 键 帧 !就 可 在 此 基 础 上 对 视 频 建 立 索引! 为视频检索和浏览提 供了快捷简便的手段!并 且极大降低了视频 检索系统的处理时间!使得视频检 索系统的实时性得到很大提高" 所 属 镜 头 !因 此 很 容 易 出 现 上 述 问 题 " 对 此 参 考 文 献
文 献 标 识 码 %*
"#$%& ’(&) ’%*+%,)-)#&, -,$ .%/ 01-+% %2)1-3)#&, 4-’%$ &, 356’)%1#,*0
’*1 234 5 67 849: ! ;<= 5 &=E :G HI3JED:=4JK 9=L M=G:DF9E4:=5N49=OK< 7=4P3DK4E@ :G QJ43=J3 9=L &3JR=:I:O@ S TR3=;49=O ")"$$% ! UR4=9V
74’)1-3) % QR:E K3OF3=E9E4:= 4K 9 P4E9I E3JR=:I:O@ ER9E F<KE W3 D3K:IP3L G4DKEI@ 4= P4L3: D3ED43P9I 9=L WD:XK3Y &R3= Z3@ GD9F3 3[ED9JE4:= X4II W3 J9DD43L :<E 9GE3D KR:E K3OF3=E9E4:= E: L3KJD4W3 F94= J:=E3=E :G KR:EY *= 4FCD:P3L 9IO:D4ERF G:D KR:E K3OF3=E9E4:= 9=L Z3@ GD9F3 3[ED9JE4:= W9K3L := JI<KE3D4=O 4K CD:C:K3LS 9 D3G3D3=J3L P9D49WI3 4K <K3L 4= <=K<C3DP4K3L JI<KE3D4=O E: D3K:IP3 ER3 GD9F3 K3\<3=J3]K 4=J:=E4=<4E@ :D G9IK3 K3OF3=E9E4:= CD:WI3FK XR4JR J9= W3 J9<K3L CD:W9WI@ W@ <=K<C3DP4K3L JI<KE3D4=O^ B<D4=O Z3@ GD9F3 3[ED9JE4:=5 ER3 J:=J3CE :G 4F9O3 3=ED:C@ 4K <K3L 9GE3D KR:E W34=O K3OF3=E3L 4=E: K<W ! KR:EK^ H[C3D4F3=E9I D3K<IEK L3F:=KED9E3 ER3 3GG4J43=J@ :G ER3 4FCD:P3L 9IO:D4ERF 4= KR:E K3OF3=E9E4:= 9=L Z3@ GD9F3 3[ED9JE4:=^ 8%/ 9&1$’ % QR:E K3OF3=E9E4:= ’ _3@ GD9F3 ’ UI<KE3D4=O ’ MF9O3 3=ED:C@
图 ! 第二类镜头的几个代表帧
,-./! 9:83 73;7323<=0=->3 570832 -< =?3 &<6 2?:=
#"’ 提 出 了 一 种 后 处 理 方 法 " 本 文 则 对 聚 类 算 法 进 行
了 改 进 !无 须 进 行 后 处 理 #当 出 现 新 的 镜 头 时 !前 面 已 经分割完毕的镜头不再参加聚类" 为此引入参考变量
被错误地 划 分 到 图 ! 的 第 二 类 镜 头 中 !导 致 第 二 类 镜 头 的 帧 序 号 不 连 续 !而 第 五 类 镜 头 分 割 错 误 "
, ) 5 * ( ,C 3.//.0 ) 5 D 4!2 ( ) 6 * ( -C 3.//.0 ) 6 D 4!2
)& * )!*
式 中 ’ ! #$ ! $&’ $ 5 ! #$ ! +’ $ 6 ! #$ ! +’ ! 则 7,( 空 间 的 直 方 图 + )’ !5 !6 * 为 一 个 三 维 数 组 ! 分 别 对 应 + %, %( 三
图 $ 错误分类的帧
个分量的直方图" 定义帧与镜头在 + 分量上的相似 性为#
$&
,-./$ ,0123 41022-5-36 570832
, + 839,:.& D( " 8-<) 7 ) $ * 9,:.&C7 ) $ * D
$ ( $
)"*
式 中 7 ) $ * 是 帧 7 分 量 的 直 方 图 $ ,:.&C7 ) $ D 是 镜 头
! 引 言
目 前 研 究 的 基 于 内 容 的 视 频 检 索 系 统!一 般 都 是 先进行镜头分 割 !即 在 时 域 上 将 视 频 序 列 按 照 一 定 的
收 稿 日 期 % "‘‘/,‘a,‘) ’ 修 订 日 期 % "‘‘/,‘a,"‘