基于运动目标特征的关键帧提取算法
基于运动活力的视频分镜中关键帧的提取
基于运动活力的视频分镜中关键帧的提取
张新春
【期刊名称】《电子与电脑》
【年(卷),期】2005(000)003
【摘要】通常在我们描述一种关键帧提取方法时,总会有这样一种印象,即视频描述的运动强度越高,就越需要更多的关键帧才能表述其内容.实验证明,通过引用MPEG-7运动活力描述子和可靠性标准可以使用运动活力的强度值标示一个视频段.通过把该视频分镜分割成几个具有相同图像帧数的片断,然后对于每个片段取其位于中间的一帧图像为该段的关键帧,这样我们就可以得到整个视频分镜的关键帧.进一步的,我们可以根据经验分割出不同的片段数然后通过该方法,得到了需要的关键帧数并计算它们.相对于传统的基于颜色特征的关键帧提取算法,我们的这种方法要快速的多,因为它只是通过简单的计算和压缩区域提取就得到了关键帧.因此,确切来说它接近于理论上的最优方法.
【总页数】3页(P125-127)
【作者】张新春
【作者单位】无
【正文语种】中文
【相关文献】
1.监控视频中基于运动目标显著性的关键帧提取方法 [J], 胡圆圆;干宗良;陈昌红;崔子冠;刘峰
2.基于运动轨迹分析的监控视频关键帧提取 [J], 张云佐
3.基于运动序列分割的运动捕获数据关键帧提取 [J], 朱登明;王兆其
4.基于关键帧提取的视频分割方法 [J], 王彦(木冈);马驷良
5.基于运动目标特征的关键帧提取算法 [J], 田丽华; 张咪; 李晨
因版权原因，仅展示原文概要，查看原文内容请购买。
基于关键帧提取的视频检索算法研究
基于关键帧提取的视频检索算法研究随着网络技术的不断发展和普及，大量的视频数据被上传和产生，视频检索技术也逐渐成为研究的热点。
传统的视频检索技术主要是基于文本匹配的方式进行搜索，但是对于大规模视频数据，文本检索的效率和精度都不能满足需求。
因此，基于图像处理和机器学习的视频检索算法得到了广泛的关注和研究。
关键帧是视频的重要组成部分，它是一帧能够概括整个视频内容的重要帧。
由于一个视频通常包括大量的帧，而只要关键帧即可代表整个视频，因此关键帧提取是基于关键帧进行视频检索的重要技术手段。
本文将从关键帧提取的角度探讨基于关键帧提取的视频检索算法的研究进展。
一、关键帧提取方法关键帧提取方法包括基于图像局部特征的方法、基于运动分析的方法和基于机器学习的方法等。
其中基于图像局部特征的方法较为常用，其基本思想是在视频序列中提取出局部特征，再通过聚类的方法将这些局部特征组合成关键帧。
在局部特征提取方面，目前较为流行的方法是SIFT (Scale-Invariant Feature Transform) 和SURF (Speeded-Up Robust Feature)。
基于运动分析的关键帧提取主要是在视频序列中提取运动向量，将运动向量与视频序列同步融合，然后根据一定的规则从运动向量序列中选取关键帧。
同样的，基于机器学习的关键帧提取，其目标是将多个的帧通过机器学习的方法进行聚类或分类，选取能够代表视频内容的关键帧。
二、基于关键帧提取的视频检索算法基于关键帧提取的视频检索算法主要是在视频序列中提取关键帧，通过关键帧进行视频检索。
随着深度学习技术的不断发展，解决视频检索中的困难问题的新方法不断涌现。
目前基于关键帧提取的视频检索算法主要有以下几种：1、基于传统的图像检索技术该方法利用图像检索技术，对视频中的所有关键帧进行特征提取，之后通过特征匹配的方法进行视频检索，寻找满足用户需求的视频。
由于该方法只利用静态图像信息，因此在处理视频中的动态与变化内容时，其检索效果不尽令人满意，并且此种方法易受视频中噪点或者异常帧干扰而影响检索准确度。
视频序列中镜头关键帧提取方法研究
视频序列中镜头关键帧提取方法研究摘要计算机、网络技术和数字视频技术的不断发展，使得视频数据快速增长，如何对大量视频数据进行有效的组织、管理和检索成为视频检索研究领域的热点问题。
关键帧是一段视频中包含重要视频内容的一组离散的帧序列。
基于关键帧的视频摘要技术被广泛应用于网络视频检索和高效动画渲染中。
同时，关键帧的选取算法也在近年来成为在理论和应用方面都有着重要意义的研究课题。
关键帧提取是基于内容的视频检索中的一个重要技术。
本文在总结前人的工作基础上，提出了一种利用视频帧之间互信息量算法来提取关键帧的方法。
该方法结合两个连续图像帧的特征互信息量的变化关系来提取关键帧，并与视频聚类的关键帧提取方法进行了比较。
实验结果表明，利用该方法提取的关键帧能较好地代表镜头内容且提取关键帧的速度比视频聚类的关键帧提取方法快。
关键词：关键帧图像特征视频聚类法互信息量1.1 研究背景和意义随着计算机图形图像理论和技术的高速发展，视频动画的制作、编辑和发布已经不再仅仅属于专业人士。
人们用手中的DV 拍摄工具和各种各样的图像视频软件可以随心所欲的拍摄和编辑视频，并发布到互联网上去。
今天，互联网的普及和超大容量的存储硬件使得视频网站存储大量的数字视频资源，供人们在线观看和下载。
在大量的视频信息中，如何帮助用户高效的浏览和搜索他们所需要的和所感兴趣的视频成为一个在理论研究和实际应用中都有重要意义的研究课题。
基于关键帧(key frame) 的视频摘要(video summarization) 技术是一种索引(indexing)和检索(retrieval)视频内容的有效方法。
关键帧是原始视频中一些包含重要内容信息的帧。
基于关键帧的视频摘要技术就是把选取出的关键帧作为视频摘要呈现给用户，以帮助他们了解和感知视频的基本内容。
基于关键帧的视频摘要技术最主要的优点在于：由于关键帧只是一些图像，相对于它所出自的视频，其所需要的存储空间很小，在有限的带宽下能很大程度上缩短网络传输时间，从而提高视频检索的效率。
一种基于深度学习的目标检测提取视频图像关键帧的方法
⼀种基于深度学习的⽬标检测提取视频图像关键帧的⽅法摘要：针对传统的关键帧提取⽅法误差率⾼、实时性差等问题，提出了⼀种基于深度学习的⽬标检测提取视频图像关键帧的⽅法，分类提取列车头部、尾部及车⾝所在关键帧。
在关键帧提取过程中，重点研究了基于SIFT特征的粗识别和Alex-Net卷积神经⽹络模型的精识别两个阶段，通过模型训练验证基于卷积神经⽹络的关键帧提取器的可⾏性。
关键词：卷积神经⽹络（CNN）;关键帧;⽬标检测中图分类号：TP391 ⽂献标识码：A ⽂章编号：1009-3044（2018）36-0201-031 概述随着我国铁路的不断发展，铁路在运⾏过程中的安全性问题⽇益凸显，视频监控在铁路交通安全中起着⾄关重要的作⽤。
通过摄像头监控、互联⽹的传播，监控画⾯实时显⽰，铁路部门可以利⽤视频中的有效图像信息，对视频流进⾏处理，从⽽有效地保证铁路系统的正常运营。
因此，如何快速有效地提取铁路视频图像中的关键帧信息，是本⽂研究的重点。
考虑到视频中相邻帧的重复率⼀般⽐较⾼，关键帧的提取可以减少帧数，进⽽提升图像特征点检测和匹配效率，同时也为图像拼接提供⼀个组织框架。
针对这项关键技术，得到了研究者们的⼴泛关注，并取得了⼀定研究成果。
⽂献[1]从相邻帧间的颜⾊或纹理信息变化程度出发，提出了基于视频内容的⽅法。
⽂献[2]通过计算当前帧与类⼼之间特征值的距离，将视频中所有帧进⾏聚类分析，得到基于视频聚类的分析⽅法。
⽂献[3]提出基于运动特征分析的算法，其基本原理是利⽤光流分析，将视频中运动量最⼩的⼀帧作为关键帧。
上述的三类传统算法主要基于图像整体信息的变化来选定关键帧，容易造成关键帧选取错误、计算量⼤、实时性差等问题。
因此，本⽂在此基础上使⽤⼀种基于深度学习的⽬标检测⽅法，通过建⽴卷积神经⽹络（Convolutional Neural Network，CNN）模型，分类提取视频中列车头部、尾部及车⾝所在关键帧，使得基于深度学习的⽬标检测在关键帧提取的应⽤中成为可能。
基于运动信息的镜头切变检测与关键帧提取
（ ｌ ｇ ｆ ｌｃ ｏ ｉ ｆｒ ｔ ｎａ ｄＣ ｎｒｌ ｎ ｉｅｒ ｇ Ｂ ｉｎ ｎｖ ｒｉ ｆ ｅｈ ｏｏｙ Ｂ ｒ ｇ１０ ２ ， ｈｎ ） Ｃｏｌ ｅ Ｅｅｔ ｎｃＩ ｏｍａｉ ｎ ｏ ｔ ｇｎｅｉ ， ｅ ｉｇＵ ｉｅｓｙｏ Ｔ ｃｎ ｌｇ， ｅ ｉ ０ １４ Ｃ ｉａ ｅ ｏ ｒ ｎ ｏ ｏＥ ｎ ｊ ｔ ｎ ［ ｓｒ ｃ］Ｔ ｉｐ ｐ ｒ ｒｐ ｓｓａ ｔｏ ｆ ｂ ｐ ｕ ｅ ｃｉｎｂ ｓｄｏ ｔ ｎｉｆｒ ｔ ｎ Ｑｕ ｔａｉｅａ ｇｅ ｉｏ ｒｍ ｎｒｐ ｄａｅａｅ Ａｂｔａｔ ｈｓ ａｅ ｏｏ ｅ ｈ ｄｏ ｒ ｔ ｔ ｔ ｔ ａｅ ｎｍｏｉ ｏｍａｉ ． ａ ｉ ｔ ｌｈｓ ｇａ ｅｔ ｙａ ｒｇ ｐ ｍｅ ａｕ ｃ ｄ ｅ ｏ ｏ ｎ ｏ ｎ ｔｖｎ ｔ ｏ ｎ ｖ
Ｄ０Ｉ １．９ ９ｊｓｎ１０ －４ ８２ １ ．６０２ ： ０３ ６ ／ｉ ．００３ ２ ． ２１ ． ．ｓ ０ ０
ｌ 概 述
随着数 字 多媒体 技术 和 网络技 术 的飞速 发展 ， 数字视 频 技术 得 到了越 来越 广 泛的应 用 。如何 有效地 存储 、管 理
测 结果 ， 但是 它们在 应对 背景 噪声 和镜头运 动敏 感 问题 时 并 不尽 如人ቤተ መጻሕፍቲ ባይዱ 。 中 ， 方 图比较法 因具 备简单 有效 的特 其 直 点 得到 了普遍 应 用 ， 由于直 方 图特 征是 全局特 征 ，不能 但
ｔｍ ｐ ｒ ｌｗ ｉ ｄ ｗ．Ｉ ｅ ｐ ｏ ｅ ｓ ｏ ｅ ａ ｘ ｒ ｃ ｉｎ，ｄ ｆｅ ｅ ｔ ａ ｇ ｒｔ ｍｓ ｗｈ ｃ ａ ｅ ｄ ｆｅ ｅ ｔｌｍｉ ｔ ｎ ｆｔ ｅ ｎｕ ｂ ｒ ｏ ｘ ａ ｔｏ ｒ ｅ ｏ ａ ｎ ｏ ｎ ｔ ｒ ｃ ｓ ｆ ｋ ｙ ｆ ｍｅ ｅ ｔａ ｔｏ ｈ ｌ ｉ ｒｎ ｌ ｏｉ ｈ ｉ ｈ ｈ ｖ ｉ ｒ ｎ ｉ ｔ ｉ ｓ ｏ ｈ ｍ ｅ ｆ ｅ ｔ ｃ ｉ ｎ ａ ｅ ａｏ ｒ
视频内容分析与关键帧提取算法研究
视频内容分析与关键帧提取算法研究随着互联网的高速发展，视频成为了人们生活中必不可少的媒体之一。
在大量的视频数据中，如何高效地提取出关键信息，成为了研究的重要课题之一。
视频内容分析与关键帧提取算法的研究，正是为了解决这一问题而展开的。
一、视频内容分析视频内容分析是指通过对视频中的图像和音频进行解析，从而获取视频的各种特征和信息。
通过视频内容分析，我们可以实现视频检索、视频摘要、视频分类等应用。
1. 视频特征提取视频特征提取是视频内容分析的基础工作。
常用的视频特征包括颜色特征、纹理特征、形状特征、运动特征等。
其中，颜色特征可以通过提取关键帧的颜色直方图来得到，纹理特征可以通过提取关键帧的纹理特征描述符来得到，形状特征可以通过提取目标物体的轮廓信息来得到，运动特征可以通过分析关键帧之间的光流变化来得到。
2. 视频目标检测视频目标检测是视频内容分析的一个重要应用领域。
目标检测的目的是在视频中自动识别出特定的目标物体。
常用的目标检测方法包括基于帧间差分的运动目标检测、基于光流的运动目标检测、基于深度学习的物体检测等。
3. 视频关键帧提取关键帧是视频中具有代表性和信息丰富程度高的帧，提取关键帧可以减少视频数据量，提高视频处理的效率，并且方便快速浏览和检索。
关键帧提取一般基于图像质量评价和关键帧选取策略。
图像质量评价可以通过计算图像的清晰度、对比度、亮度等指标来进行，关键帧选取策略可以采用基于颜色分布、运动特征、局部相似性等方法。
二、关键帧提取算法研究关键帧提取算法的目标是从视频序列中自动选择具有代表性和信息变化较大的图像帧。
关键帧提取算法的研究旨在提高关键帧的准确性和有效性。
1. 基于图像质量评价的关键帧提取算法图像质量评价是判断图像的视觉质量的重要指标。
基于图像质量评价的关键帧提取算法通过计算帧间差异、帧内相似性等指标来评估每个帧的质量，从而选取出具有代表性的关键帧。
常用的图像质量评价方法包括均方差（MSE）、结构相似性指数（SSIM）、峰值信噪比（PSNR）等。
基于运动轨迹分析的监控视频关键帧提取
ＩＩ Ｖ恍。脚 Ａ 善
文献引用格式 ：张云佐．基于运 动轨迹分析 的监控视频关键 帧提取 ［Ｊ］．电视技术，２０１６，４０（８）：１１８—１２１．
ＺＨＡＮＧ Ｙ ｚ．Ｓｕｒｖｅｉｌｌａｎｃｅ ｖｉｄｅｏ ｋｅｙ Ｌａｍｅ ｅｘｔｒａｃｔｉｏｎ ｂａｓｅｄ ｏｎ ｍｏｔｉｏｎ ｔｒａｊｅｃｔｏｒｙ ａｎａｌｙｓｉｓ［Ｊ］
析 和 浏 览 视 频 已经 成 为 一 个 迫 切 需 要 解 决 的 难 题 。关 与 视 频 的真 实 语 义 之 问存 在 差 异 ，不 能 全 面 、准 确
键帧提 取 作 为 一 种 解 决 方 案 越 来 越 受 到 人 们 的 关 地反 映视频 的真实语义 ，也就是说 ，关键 帧提取２１．
中图 分 类 号 ：ＴＮ９１９．８；ＴＰ３９１．４
文 献标 志码 ：Ａ
ＤＯＩ：１０．１６２８０／ｊ．ｖｉｄｅｏｅ．２０１６．０８．０２３
篓
基于运动轨迹 分析 的监控视频关键帧提取
张 云 佐 （石 家庄 铁 道 大 学 信 息 科 学 与技 术 学 院 ，河 北 石 家庄 ０５００４３）
注 。 。关键 帧是一种 经典 、高效 的视频浓 缩形 式 ，用 符合人眼视觉感知 。
基于动态规划的关键帧提取算法
基于动态规 划的关键帧提取算法
费广正 张 焰 韩红 雷 黄赞榛
（ 中国传媒大学 计算机与软件学院，北京 ￣ ｏ４ ｏ ａ） ｏ
摘 要 ：在传统 的关键帧动画 中，动画师对关键帧进行编辑并通过插值 生成一段 连续 的动 画 ． 运动 捕
捉数据 的每一帧均可看作关键帧 ，但是对其直接进行编辑非常繁琐 ，需要从 运动中提取具有代表性 的 关 键帧 ，简化运动 的编辑操作 ． 已有 的关键 帧抽取方法 主要基 于一些局部误差度 量策略 ，算法 的全 局
维普资讯
大连 民 嗾学院
Ｊ Ｕ Ｎ ＬＯ ＭＩ Ｎ Ａ ＩＮ ＬＴＥ Ｎ Ｖ Ｒ ＩＹ Ｏ Ｒ Ａ ＦＤ Ａ Ｎ ＴＯ Ａ ＩＩＳＵ ＩＥ Ｓ Ｔ
Ｎｅ（ｅｏ ｕｒＧａ． ｍ５ｅ ０ ｂ ｎＮ ｒ４ ｌ
Ｓ ｐｅ ｅ ，２ ０ ｅ ｔｍｂ ｒ ０ ７
误差难 以得到保证 ． 提出了一 种基 于动态规划 的运动捕捉数据 的关键帧提取算法 ， 该算法 通过 曲线拟 合技术对密集采样 的运动捕捉数据进行减帧 ，在生成指定数 目关键帧 的同时保 证误差达到全局 最小 ．
用户可 以利用传统 的关键帧技术对减帧后的运动进行编辑 ．
关键词 ：运动编辑 ；关键帧 ；动态规划
维普资讯
２０ ０７年 第 ５期 （ 第源自４ 总 ｏ期 费 广 正 ，等 ：基 于 动 态 规 戈 的 关 键 帧 提 取 算 法 Ｕ
９月 ｌ ５日出版
［ ， ， ］则 ｑ ， 之 间 的 距 离 定 义 为 Ｄｓ Ｗ， Ｙ ｚ ， 。ｑ ｉ ｔ
（ ｑ ） Ｙｏ（ （ 图 １ 示 ） ｑ ， ＝ａ ｓ ｗ）如 ｃ 所 ．
中 图分 类 号 ：Ｔ ３ １ Ｐ ０ 文 献 标 识 码 ：Ａ 文 章 编 号 ：１０ —３５ （０７ ５— ０２— ０ ９ １Ｘ ２０ ）０ ０ １ ０ ５
从运动捕获数据中提取关键帧
第16卷第5期2004年5月计算机辅助设计与图形学学报JOURNAL OF COMPU TER 2AIDED DESIGN &COMPU TER GRAPHICSVol 116,No 15May ,2004原稿收到日期:2003204201;修改稿收到日期:20032062261本课题得到国家重点基础研究发展计划(2002CB312106)和广东省自然科学基金(033323)资助1沈军行,男,1978年生,硕士研究生,主要研究方向为虚拟人、计算机图形学、计算机视觉1孙守迁,男,1963年生,博士,教授,博士生导师,主要研究方向为计算机辅助工业设计与概念设计、网络化媒体设计、虚拟人、数字化产品开发等1潘云鹤,男,1946年生,教授,博士生导师,中国工程院院士,主要研究方向为CAD &CG 、人工智能1从运动捕获数据中提取关键帧沈军行 孙守迁 潘云鹤(浙江大学计算机科学与技术学院 杭州 310027)(浙江大学CAD &CG 国家重点实验室 杭州 310027)摘要 在四元数表示下导出了两个旋转之间差异的一种简单形式,将人体各关节上总的旋转变化作为帧间距,设计了一种从运动捕获数据中提取关键帧的高效算法1通过向量的线性插值和四元数的球面线性插值重建了原始动画1实验表明,该算法具有很好的数据压缩效果,而且提取出的关键帧在视觉上对原始动画具有概括力1关键词 计算机动画;运动捕获;运动编辑;四元数;关键帧中图法分类号 TP391141K ey 2Frame Extraction from Motion C apture DataShen J unxing Sun Shouqian Pan Yunhe(College of Com puter Science and Technology ,Zhejiang U niversity ,Hangz hou 310027)(State Key L aboratory of CA D &CG ,Zhejiang U niversity ,Hangz hou 310027)Abstract A compact form of the difference between two rotations represented by quaternion is de 2rived ,and the total rotation differences in all joints are taken as the distance between two frames 1Based on this frame distance ,an efficient algorithm is presented to extract key 2frames from motion capture da 2ta 1The whole animation process is reconstructed by simple linear interpolation of root joint translation and spherical linear interpolation of all joint rotations 1Running experiment show that the original mo 2tion capture data can be compressed in a high ratio ,the extracted key frames give a good visual summa 2rization of the original animation and are useful for storing ,transferring and browsing the motion data 1K ey w ords computer animation ;motion capture ;motion editing ;quaternion ;key 2frame1 引 言由于通过运动捕获技术获得的动画具有高度的逼真性,因此该技术目前在计算机游戏、影视制作等领域得到了广泛的应用1但同传统的关键帧技术和动态仿真技术相比,运动捕获记录的是一堆庞大的原始数据,缺少结构化信息,因此对其进行编辑具有较大难度1Bruderlin 等[1]将运动数据作为信号来处理,并采用多分辨率思想在不同细节层次上对运动进行控制1Motion Displacement Mapping 技术[123]将由于编辑调整所引起的运动变化同原始运动分离开来,独立选择表示变化的插值曲线,从而避免了引入不必要的高频分量,使原始运动的细节得以保留1Witkin 等提出了时空约束方法[4],该方法运用非线性最优化求解生成满足用户所指定约束的动画1G leicher将时空约束方法应用于运动编辑[5]和运动重定向[6],并通过简化提高了问题求解速度1Rose 等应用时空约束方法产生了两段运动之间的平滑过渡[7]1信号处理方法虽然思想简单,但无法从高层次上对运动进行编辑,在很多情况下不能预知参数的调整会对运动产生什么样的影响;时空约束方法求解困难,一般很难达到交互的要求1在传统的关键帧动画中,由动画师先编辑一些关键帧,然后通过插值生成一段连续的动画;另外,关键帧提取在基于内容的视频检索中有着很广泛的应用[829],而三维动画和二维视频之间存在一定的相似性1受上述两个关键帧应用技术的启发,本文研究了从运动捕获得到的三维人体动画中提取关键帧的算法12 四元数及其间距人体是一种关节链结构,其状态可用根关节的平移和所有关节的旋转表示1平移即是一般的三维向量,旋转可用旋转矩阵、欧拉角或四元数来表示[10]1由于四元数在插值方面的优越性,目前广泛应用于计算机动画中1211 四元数的定义设s=w∈R,V=(x,y,z)∈R3,四元数q∈S4定义为q=[s,V]=[w,x,y,z]1q的共轭 q= [s,-V],q的模‖q‖=w2+x2+y2+z2,q的逆q-1= q/‖q‖1记q1=[s1,V1],q2=[s2,V2],四元数乘法定义为q1q2=[s1s2-V1・V2,s1V2+ s2V1+V1×V2],不难证明四元数乘法可结合但不可交换,且满足(qq2)-1=q-12q-111若‖q‖=1,则称q为单位四元数,两个单位四元数相乘结果仍为单位四元数1所有单位四元数组成的集合记为S3,不难想像S3应该是4维空间上的一个单位超球面1若有单位四元数q=[cosθ,u sinθ],其中u为R3上的一个单位向量1设有向量P,P′∈R3,满足[0,P′]=q[0,P]q-1(1)则可证明P′与P绕轴u旋转2θ角度的结果一致[10211],式(1)即为用四元数表示旋转的形式1从旋转意义上来讲,q与-q是等同的,即q[0,P]q-1 =(-q)[0,P](-q)-11212 四元数之间的距离设参考向量P0∈R3,单位四元数q1将P0旋转到P1,q2将P0旋转到P2(如图1所示),即有[0,P1]=q1[0,P0]q-11和[0,P2]=q2[0,P0]q-121设单位四元数q2q-11=[w,x,y,z]=[cosθ,sinθ(a,b,c)](‖(a,b,c)‖=1,θ=arccos w∈[0,π]),现将其作用于向量P1:(q2q-11)[0,P〗W TB X〗1](q2q-11)-1=(q2q-11)(q1[0,P0]q-11)(q2q-11)-1=(q2q-11)(q1[0,P0]q-11)(q1q-12)=q2(q-11q1)[0,P0](q-11q1)q-12=q2[0,P0]q-12=[0,P2](2) 由式(2)可见,q2q-11将P1转到P2(即P1绕轴(a,b,c)旋转2θ角到P2),这就说明为了将q1产生的旋转变换到q2产生的旋转须通过q2q-11作一额外旋转1因此θ自然就可用来衡量q1和q2之间的距离,同时表示q1,q2所产生的旋转之间的差异(如图1所示)1图1 四元数之间的距离定义11q1,q2为两个单位四元数,若q2q-11= [w,x,y,z],则q1,q2之间的距离定义为d(q1,q2)=arccos w(3) 3 从运动捕获数据中提取关键帧为了连续地记录表演者的动作,要求运动捕获设备有很高的采样速率,一些光学运动捕获设备的采样速率可达1000帧/s以上1如此高的速率,以至记录的数据量过于庞大,对其进行编辑也显得非常困难1一种简单的方法是对原数据进行等间隔重采样,但是通常表演者在整个表演过程中其动作节奏或者说频率不是恒定的,如一段舞蹈表演时而缓慢抒情,时而激烈奔放1等间隔重采样必然在缓慢部分过采样,造成数据冗余;而在激烈部分欠采样,丢失动作细节1为了能够进行插值重建,希望两个关键帧之间呈线性变化1经典的曲线分裂算法[9]检测曲线中的“尖角”作为关键帧,“尖角”之间近似线性,算法递归进行,如图2所示1但是该算法计算量比较大,且很难推广到高维1为此我们设计了一种高效的近似算法1027计算机辅助设计与图形学学报2004年图2 曲线分裂算法 人体运动可由一离散时间向量函数m(t)=[p(t),q1(t),q2(t),…,q n(t)](1≤t≤T)表示,其中,p(t)∈R3表示根关节的平移运动,q i(t)∈S3(i=1,2,…,n)表示关节i的旋转运动1下面引入帧间距用来衡量两帧之间人体姿势的差异1定义21设m(t1),m(t2)分别为不同时刻t1,t2上的两帧,它们之间的距离定义为D(t1,t2)=‖m(t1)-m(t2)‖=∑n i=1αid(q i(t1),q i(t2))(4)其中,αi(i=1,2,…,n)为加权系数,表示各关节的重要度;d(q i(t1),q i(t2))根据式(3)算得1因为人体结构是一种树状的关节链,父关节的运动会带动子关节一起运动,所以从运动上来讲父关节显得更加重要1算法11设动态数组KeyArray用来记录提取出的关键帧,last表示目前为止最后找到的关键帧, T表示总帧数,δ为事先设定的一阈值1Step11将第一帧作为关键帧加入到KeyArray,并置last =1,初始化循环变量t=21Step21若t>T,则算法结束;否则,按式(4)计算帧间距dist=D(t,last)1Step31若dist>δ,则第t帧作为关键帧加到KeyArray,并置last=t1Step41t=t+1,返回Step21算法结束时KeyArray记录了所有提取出的关键帧1因为运动捕获具有较高的采样速率,所以数据在局部上是近似线性变化的1算法不断考察当前帧同最后一个关键帧之间的差异情况,若超过阈值δ则认为已超越线性变化范围并作为新关键帧加入14 重建动画重建即是在关键帧之间的插值过程,根关节的平移用一般的线性插值,而所有关节的旋转用四元数的球面线性插值Slerp算法[10]1若q1=[w1,x1, y1,z1],q2=[w2,x2,y2,z2]为两个单位四元数,它们之间的球面线性插值为[10211]S lerp(q1,q2;u)=sin(1-u)θsinθq1+sin uθsinθq2(5)其中θ=arccos(w1w2+x1x2+y1y2+z1z2)1算法21算法1中得到的结果KeyArray记录了所有提取出的关键帧,记num为关键帧数目,对两相邻关键帧之间的非关键帧进行线性插值重建步骤如下:Step11初始化循环变量k=01Step21若k>=num-1,算法停止;否则,取其中两相邻关键帧t1=KeyArray[k],t2=KeyArray[k+1]1 Step31对t1和t2之间的所有非关键帧t(t1<t<t2)插值u=(t-t1)/(t2-t1);根关节平移p(t)=(1-u)p(t1)+ (u)p(t2);所有关节的旋转按式(5)q i(t)=Slerp(q i(t1), q i(t2);u),i=1,2,…,n)1Step41k=k+1,返回Step215 实验结果我们用Visual C++610和Open G L开发了一个运动编辑系统,命名为Eidolon,其中包含了在引言中提到的一些运动编辑技术1本文提出的算法已在Eidolon中实现和验证1如图3所示,其中人体行走动画原始共有163帧,速率为30帧/s,表演者开始快速行走,然后慢慢停下来1用算法1在δ= 11105下共提取出18帧关键帧,压缩率达11%1为了作比较,用等间隔重采样法也提取了18帧1图3所示为原始动画和插值重建结果,可见关键帧提取的重建结果基本没有失真,而等间隔重采样的重建结果有明显失真1图4所示为从一段具有198帧的运动捕获动画中用本文方法提取出的8帧关键帧(δ=410),可见这些关键帧在视觉上对原始动画具有概括力11275期沈军行等:从运动捕获数据中提取关键帧a 原始动画中的第5,15,25,35,45,55帧b 用本文方法进行关键帧提取后插值重建结果中的第5,15,25,35,45,55帧c 等间隔重采样后插值重建结果中的第5,15,25,35,45,55帧图3 原始动画和插值重建结果图4 提取出的关键帧在视觉上对原始动画具有概括力帧0帧45帧50帧73帧95帧149帧155帧197227计算机辅助设计与图形学学报2004年6 总 结算法1作为对曲线分裂算法的一种近似,有效地克服了等间隔采样的缺点1但算法1中的阈值δ由用户指定,不同的δ值给出不同的关键帧1我们将进一步研究使算法具备自适应能力,即用户只需给出所要提取的关键帧数目,算法自动给出相应的阈值δ1本文所做的从运动捕获数据中提取关键帧的研究工作具有如下三个方面的意义:(1)运动编辑可集中在关键帧上,降低了运动编辑复杂度;(2)通过关键帧之间的插值可重建原始动画,起到数据压缩的作用;(3)关键帧对原始动画具有概括力,可用于三维动画片断的检索1参 考 文 献[1]Bruderlin A ,Williams L 1Motion signal processing [A ]1In :Computer Graphics Proceedings ,Annual Conference Series ,ACM SIGGRAPH ,Los Angeles ,California ,1996197～115[2]Witkin Andrew ,Popovic Z oran 1Motion warping [A ]1In :Computer Graphics Proceedings ,Annual Conference Series ,ACM SIGGRAPH ,Los Angeles ,California ,19951105～108[3]Lee J H ,Shin S Y 1A hierarchical approach to interactive mo 2tion editing for human 2like figures [A ]1In :Computer Graphics Proceedings ,Annual Conference Series ,ACM SIGGRAPH ,Los Angeles ,California ,1999139～48[4]Witkin A ,K ass M 1Spacetime constraints [J ]1Computer Graphics ,1988,22(4):159～168[5]G leicher M 1Motion editing with spacetime constraints [A ]1In :Proceedings of Symposium on Interactive 3D Graphics ,Provi 2dence ,Rhode Island ,19971139～148[6]G leicher M 1Retargeting motion to new characters [A ]11In :Computer Graphics Proceedings ,Annual Conference Series ,ACM SIGGRAPH ,Orlando ,Florida ,1998133～42[7]Rose C ,Guenter B ,Bodenheimer B ,et al 1Efficient generation of motion transition using spacetime constraints [A ]1In :Com 2puter Graphics Proceedings ,Annual Conference Series ,ACM SIGGRAPH ,New Orleans ,Louisiana ,19961147～154[8]deMenthon D ,K obla V ,Doermann David 1Video summariza 2tion by curve simplification [A ]1In :Proceedings of ACM Mul 2timedia ’98,Bristol ,U K ,19981211～218[9]Zhao Li ,Qi Wei ,Li Stan Z ,et al 1K ey 2frame extraction and shot retrieval using nearest feature line (NFL )[A ]1In :Proceed 2ings of the 2000ACM workshops on Multimedia ,Los Angeles ,California ,20001217～220[10]Shoemake K 1Animating rotation with quaternion curves [J ]1Computer Graphics ,1985,19(3):245～254[11]Bao Hujun ,Jin Xiaogang ,Peng Qunsheng 1Fundamental Prin 2ciples for Computer Animation [M ]1Hangzhou :Zhejiang Uni 2versity Press ,20001196～222(in Chinese )(鲍虎军,金小刚,彭群生1计算机动画的算法基础[M ]1杭州:浙江大学出版社,20001196～222)3275期沈军行等:从运动捕获数据中提取关键帧。
关键帧提取方法
关键帧提取方法在视频编辑和动画制作中，关键帧起到了至关重要的作用。
它们是定义动画或视频序列中重要位置的帧，通过关键帧，我们可以轻松地控制运动的轨迹和物体的变化。
本文将详细介绍几种常见的关键帧提取方法，帮助读者更好地掌握这一技术。
一、手动提取关键帧1.观察法：通过观看视频或动画序列，手动挑选出具有重要意义的帧作为关键帧。
这种方法简单直观，但需要耗费较多的时间和精力，适用于关键帧数量较少的情况。
2.时间间隔法：按照固定的时间间隔提取关键帧，如每秒提取一帧。
这种方法适用于关键动作或变化较为均匀的场景，但可能导致关键帧遗漏或冗余。
二、自动提取关键帧1.基于阈值的方法：通过设定像素变化阈值，自动检测出相邻帧之间的差异，当差异超过设定阈值时，将该帧作为关键帧。
这种方法适用于画面变化较为明显的场景，但可能对细微的变化不够敏感。
2.基于光流的方法：利用光流算法计算相邻帧之间的像素运动，根据运动信息提取关键帧。
这种方法可以较好地捕捉到物体的运动轨迹，但对计算资源要求较高。
3.基于图像特征的方法：通过提取图像特征（如SIFT、SURF等）来表示帧之间的相似性，根据相似性提取关键帧。
这种方法具有较强的鲁棒性，适用于多种场景。
4.基于深度学习的方法：利用卷积神经网络（CNN）等深度学习模型，自动提取关键帧。
这种方法具有较高的准确性和效率，但需要大量的训练数据和计算资源。
三、关键帧提取技巧1.结合多种方法：在实际应用中，可以结合多种关键帧提取方法，以提高准确性和效率。
2.优化关键帧数量：根据实际需求，适当调整关键帧数量，避免冗余和遗漏。
3.关键帧插值：在关键帧之间进行插值处理，使动画或视频过渡更加平滑。
4.人机交互：在自动提取关键帧的基础上，进行人工调整和优化，确保关键帧的质量。
总结：关键帧提取是视频编辑和动画制作中的一项重要技术。
通过掌握不同的关键帧提取方法，我们可以更高效地完成创作任务，提高作品的质量。
基于运动序列分割的运动捕获数据关键帧提取
第 ２ Ｏ卷
第 ６ 期
计 算 机 辅助 设计 与图形 学 学报
Ｊ ＯＵ ＲＮＡＬ ＯＦ ＣＯＭ ＰＵＴＥＲ－ ＤＥＤ ＡＩ ＤＥＳ ＧＮ ＆ ＣＯＭ Ｐ Ｉ ＵＴＥ ＧＲＡＰＨＩ Ｒ ＣＳ
Ｖ ０．２ １ Ｏ． ＮＯ． ６ ｅ ｍ ｅ ｔ ． Ｔｈ ｐ ｓ ｓ ａ ｔ ｅ ｅ ｅ ｍ ｅ ｔ ｔｏ ｐ ｉ ｔ ａ ｅ ｈ ｎ ｅ ｉ ｅ ａ ｋ ｙ ｒ ｍｅ ． ｏ ｃ ｔｎ ｔｄ ｓ ｇ ｎ ｓ ｅ ｏ ｅ ｔ ｈ ｓ ｓ ｇ ｎ ａ ｉ ｎ ｏ ｎ ｓ ｒ ｔ ｅ ｄ ｆｎ ｄ ｓ ｅ ｆａ ｓ
（ ｄｈ ｍ ｚ ｕ＠ ｉｔ ａ ． ｎ） ｃ．ｃ ｃ
北京
１０４） ０ ０ ９
摘 要 采 用 线 性 时 不 变 系 统 把 高 维 运 动 数 据 映射 到 低 维 状 态 空 间 ； 低 维 状 态 空 间 中 ， 义 了 姿 态 之 间 的 相 似 性 在 定
度 量 ； 采 用 误 差 平 方 和 准 则 对 时 序 的低 维 数 据 点 集 进 行 运 动 分 割 ， 割 点 上 的 运 动 姿 态 被 定 义 为 关 键 帧 ． 验 结 并 分 实
中图法分类号
Ｅｘ ｒ ｃ ｉ ｎ ｏ ｅ ｆ ａ ｅ ｆ ｏ Ｍ ｏ ｉ ｎ Ｃａ ｕｒ ｔ ｓ ｄ ｏ ｏ ｉ ｎ Ｓ ｑｕ ｎｃ ｔ ａ ｔｏ ｆ Ｋ ｙ ｒ ｍ ｒ ｍ ｔｏ ｐｔ ｅ Ｄａ ａ Ｂａ ｅ ｎ Ｍ ｔｏ ｅ ｅ ｅ Ｓ ｇ ｅ ａｉｎ ｅ ｍ ｎｔ ｔｏ
Ｅｘ ｒｍｅ ａ ｒ ｓ ｔ ｓ ｗ ｔ ｔ ｈｅ ｘ ｒ ｃ ｅ ｋｅ ｆ ａ ｅ ｂ ｏｕ ｍ ｅ ｈｏ ｃ ｎ ｉ ｅ ｇｏ ｄ ｉ ｕ ｌ ｐｅ ｉ ｎｔ ｌ ｅ ｕｌｓ ｈｏ ｈａ ｔ ｅ ｔ ａ ｔ ｄ ｙ ｒｍ ｓ ｙ ｒ ｔ ｄ ａ ｇ ｖ ３ ｏ ｖ ｓ ａ ｓ ｕｍｍ ａ ｉａ ｉ ｆｔ ｉ ｎａ ｏ ｉ ｎ ｓ ｑｕｅ ｅ ｒｚ ｔｏｎ ｏ ｈｅ ｏｒｇｉ ｌｍ ｔｏ ｅ ｎｃ ．
基于目标变化的监控视频关键帧提取方法
ｅｎｓｕｒｅ ａ ｍｏｒｅ ｃｏｍｐａｃｔ ｋｅｙｆｒａｍｅ ｓｅｔ．Ｔｈｅ ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｓｈｏｗ ｔｈａｔ ｏｕｒ ｍｅｔ ｈｏｄ ｅｘｔｒａｃｔｅｄ ｖｉｄｅｏ ｋｅｙｆｒａｍｅｓ ｗ ｉ ｔｈ ｌｏｗ ｒｅｄｕｎｄａｎ· ｃｙ；ｍｅａｎｔｉｍｅ ｔｈｅ ｅｏｎｔｍｎｅｄ ｃｏｎｔｅｎｔ ｉｓ ｖｅｒｙ ｒｅｐｒｅｓｅｎｔａｔｉｖｅ．Ｉｎ ａｄｄｉｔｉｏｎ，Ｏｉｌｙ ｍｅｔｈｏｄ ｈａｓ ｌｏｗ ｃｏｍｐｌｅｘｉｔｙ，ｗｈｉｃｈ ｉｓ ｓｕｉｔａｂｌｅ ｆｏｒ ｏｎ－ ｌｉｎｅ ｓｕｒ ｖｅｉｌｌａｎｃｅ ｖｉｄｅｏ ａｎ ａｌｙｓｉｓ． Ｋｅｙ ｗｏｒｄｓ：ｋｅｙｆｒａｍｅ；ｃｕｒｖｅ ｏｆ ｆｅａｔｕｒｅ ｄｉｓｔａｎ ｃｅ；ｌｏｃａ ｌ ｍａｘｉｍｕｍ ｏｐｔｉｍｉｚａｔｉｏｎ；ｒｅｄｕｎｄａｎｔ ｋｅｙｆｒａｍｅ
摘 要 ：监控视频 关键 帧提 取技 术作为监控 视频分析的重要研 究内容 ，能够有效地解决视 频数 据的高效存储和 快速访 问等 问题。本文提 出一种基 于 目标 变化 的监控视频 关键 帧提取 方法，分析监控视频帧 间的 目标 变化 ，并采 用局 部极 大值优 化 方法将原监控视频划 分成视频 片段 。最后 ，从每个视频 片段 中选取特征 中心对应视频帧作 为关键 帧 ，并依 据 目标 的属性 删 除冗余 的关键 帧得到 最终的视频 关键 帧集合。实验 结果表 明 ，该方 法所提取 的视频 关键 帧冗余性较低 ，所 包含 的 内容 很 具有代表 性。同时，该方法的复杂度较低 ，适用于监控视 频的关键 帧提取工作 。 关键词 ：关键帧 ；特征距 离曲线 ；局部 最大值优化 ；冗余关键帧 中图分 类号 ：ＴＰ３９１．４ 文献标识码 ：Ａ ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００６－２４７５．２０１６．０８．０１３
基于运动目标特征的关键帧提取算法
基于运动目标特征的关键帧提取算法
作者 机构 DOI 基金项目 预排期卷 摘要 田丽华，张咪，李晨 西安交通大学软件学院 10.3969/j.issn.1001-3695.2018.06.0363 国家自然科学基金项目（61403302） ；西安交通大学科研业务基金项目（XJJ2016029） 《计算机应用研究》 2019 年第 36 卷第 11 期 针对运动类视频特征不易提取，且其关键帧结果中易产生较多漏检帧的问题，提出了基于运 动目标特征的关键帧提取算法。该算法在强调运动目标特征的同时弱化背景特征，从而防止 由于运动目标过小而背景占据视频画面主要内容所导致的漏检和冗余现象。首先根据视频帧 熵值将颜色变化明显的帧作为部分关键帧，对颜色未发生突变的帧根据运动物体的尺度不变 特征变换(SIFT)获得帧内运动目标的特征点。最后分别根据帧熵值及运动物体 SIFT 点分布提 取视频关键帧。实验结果表明该算法所得关键帧结果集不仅漏检率较低且能够准确地表达原 视频内容。 关键词 作者简介 关键帧提取；混合高斯检测；SIFT 特征点；感知哈希 田丽华（ 1978- ） ，女，陕西西安人，高级工程师，博士，主要研究方向为多媒体技术 （lhtian@） ；张咪（1992-） ，女，陕西西安人，硕士研究生，主要研究方向为 关键帧提取；李晨（1981-） ，女（通信作者） ，陕西西安人，讲师，博士，主要研究方向为多 媒体技术（lhtian@） ． 中图分类号 访问地址 投稿日期 修回日期 发布日期 TP391.41 /article/02-2019-11-084.html 2018 年 6 月 22 日 2018 年 8 月 7 日 2018 年 9 月 12 日
Hale Waihona Puke Key frame extraction algorithm based on feature of moving target
基于改进t-SNE算法的人体运动数据关键帧提取
Ｍ Ａ Ｊｉ ，ＬＩＵ Ｒｕｉ ，ＺＨ ＡＮＧ Ｊｉａｎｘｉａ ’ （１．Ｋｅｙ Ｌａｂｏｒａｔｏｒｙ ｏｆ Ａｄｖａｎｃｅｄ Ｄｅｓｉｇｎ ａｎｄ Ｉｎｔｅｌｌｉｇｅｎｔ Ｃｏｍｐｕｔｉｎｇ，Ｍ ｉｎｉｓｔｒｙ ｏｆ Ｅｄｕｃａｔｉｏｎ，Ｄａｌｉａｎ Ｕｎｉｖｅｒｓｉｔｙ， Ｄａｌｉａｎ，Ｌｉａｏｎｉｎｇ １１６６２２，Ｃｈｉｎａ；２．Ｓｃｈｏｏｌ ｏｆ Ｍ ｅｃｈａｎｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ，Ｄａｌｉａｎ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ，Ｄａｌｉａｎ，
第 ４２卷 第 ５期
Ｖ Ｏ１．４２ Ｎｏ．５
· 多 媒 体 技 术 及 应 用 ·
计 算 机 工 程
Ｃｏｍ ｐｕｔｅｒ Ｅｎｇｉｎｅｅｒｉｎｇ
文章编号 ：１０００－３４２８（２０１６）０５－０２５８－０５
文献标识码：Ａ
２０１６年 ５月
Ｍ ａｖ ２０１６
中图分类号：ＴＰ３７
基 于 改进 ｔ－ＳＮＥ算 法 的人体 运 动数 据 关 键 帧 提 取
马 吉 ，刘 瑞 ，张 建 霞
（１．大 连 大 学 先 进 设 计 与 智 能 计 算 教 育 部 重 点 实 验 室 ，辽 宁 大 连 １１６６２２；２．大 连 理 工 大 学 机 械 工 程 学 院 ，辽 宁 大 连 １１６６２２）
摘 要 ：针 对 根 据 关 键 帧 重 建 运 动 序 列 时 重 建误 差率 较 高 的 问题 ，提 出一 种 基 于 改 进 的 ｔ－ＳＮＥ降 维 算 法 ，提取 人体 运 动 数 据 关 键 帧 。 利用 ｔ－ＳＮＥ对 原 始 运 动 数 据 进 行 降 维 ，通 过 改 变 ｔ－ＳＮＥ 中 函 数 宽 度 参 数 的计 算 方 法 ，得 到 稳 定 的低 维特 征 曲线 。 提取 低 维 特 征 曲线 的局 部 最 大 值 、最 小 值 作 为 初 始 关 键 帧 ，再 使 用 曲线 幅 度 算 法 提 取 最 终 的关 键 帧 序 列 。实 验 结 果 表 明 ，在 相 同压 缩 比下 ，与其 他 关 键 帧 提 取 方 法 相 比 ，该 方 法 具有 较 低 的重 建 误 差 率 。 关 键 词 ：运 动 捕 捉 ；改 进 的 ｔ－ＳＮＥ算法 ；特 征 曲线 ；关 键 帧提 取 ；曲线 幅 度
监控视频中基于运动目标显著性的关键帧提取方法
监控视频中基于运动目标显著性的关键帧提取方法胡圆圆;干宗良;陈昌红;崔子冠;刘峰【期刊名称】《南京邮电大学学报（自然科学版）》【年(卷),期】2016(036)001【摘要】文中提出了一种监控视频中基于运动目标显著性的关键帧提取方法.该方法首先对监控视频中的行人进行检测和跟踪,分别提取行人的颜色、纹理与形状3种底层特征并借助肤色模型得到能够凸显人脸区域的肤色置信图,然后将3种特征图像和肤色置信图动态加权融合得到多特征融合图像,最后以行人目标的多特征融合图像以及跟踪结果为参考,选取出目标显著性程度最大的融合图像对应的视频帧为关键帧.实验结果表明,文中提出的关键帧提取算法能够快速掌握监控视频中的行人信息,为视频后处理提供运动目标有效的处理样本.【总页数】8页(P34-41)【作者】胡圆圆;干宗良;陈昌红;崔子冠;刘峰【作者单位】南京邮电大学江苏省图像处理与图像通信重点实验室,江苏南京210003;南京邮电大学江苏省图像处理与图像通信重点实验室,江苏南京210003;南京邮电大学江苏省图像处理与图像通信重点实验室,江苏南京210003;南京邮电大学江苏省图像处理与图像通信重点实验室,江苏南京210003;南京邮电大学江苏省图像处理与图像通信重点实验室,江苏南京210003【正文语种】中文【中图分类】TN919.8【相关文献】1.基于聚散熵及运动目标检测的监控视频关键帧提取 [J], 马利克;彭进业;冯晓毅2.一种道路车辆监控视频中的关键帧提取方法 [J], 袁晶;王炜;杨建;刘煜;张茂军3.基于目标变化的监控视频关键帧提取方法 [J], 周萍4.一种基于关键帧技术的监控视频摘要提取方法 [J], 王璐5.基于视觉显著性车辆监控视频关键帧提取方法 [J], 仲梦洁;张艳彬因版权原因，仅展示原文概要，查看原文内容请购买。
基于帧间距的运动关键帧提取
基于帧间距的运动关键帧提取李顺意;侯进;甘凌云【摘要】运动捕获数据中有大量的冗余数据，不利于运动数据的压缩、存储、检索以及进一步重用。
为此，提出一种基于帧间距的运动关键帧提取方法，提取代表运动捕获数据内容的关键姿势。
利用四元数之间的距离表示人体姿态差异，将人体各个关节上的总变化作为帧间距，以运动数据首帧作为第一个关键帧。
通过不断计算当前帧同最后一个关键帧之间的差异，消除差异小于阈值的帧，差异超过阈值的帧被当作为新关键帧。
对提取关键帧集合采用四元数球面插值方法重构。
为表现人体运动特征，在重构误差中引入关节速度分量，用人体姿势误差位置与人体关节运动速率之和表示原始运动与重建运动序列之间的重构误差。
实验结果表明，该方法对原始运动既有较高的压缩率，又有较强的视觉概括效果。
%To solve the problem that the motion capture data has a large number of data redundancy,this paper proposes a key frame extraction method based on inter-frame pitch. In order to compress, storage, reconstruct and further reuse motion data,key-frame is needed to be extracted which represents the content of the motion. Quaternion is introduced to represent the difference between two rotations. The distance between two frames is defined by the total rotation differences and first frame is regarded as the first key frame. Then,calculate the difference between the current frame and the last key frame continuously. The frame is eliminated when the difference is smaller than the set threshold or the opposite is reserved for the new key frame. Spherical linear interpolation is used to reconstruct the sequence. To express the characteristics of human motion, the jointvelocity is introduced. Reconstruction error is defined by the human body posture error of position and the motion speed error between the original frame and the reconstructed frame. Experimental result demonstrates that the original motion capture can be compressed in a high ratio and gives a good visual summary performance.【期刊名称】《计算机工程》【年(卷),期】2015(000)002【总页数】6页(P242-247)【关键词】运动捕获;关键帧提取;帧间距;球面线性插值;重构误差;视觉概括力【作者】李顺意;侯进;甘凌云【作者单位】西南交通大学信息科学与技术学院，成都610031;西南交通大学信息科学与技术学院，成都610031; 南京大学计算机软件新技术国家重点实验室，南京210093;西南交通大学信息科学与技术学院，成都610031【正文语种】中文【中图分类】TP391在计算机动画中,人体角色动画是很重要的组成部分,但也因人体包含自由度多、维数高,创建一个真实的和逼真的运动模型是非常困难的,人体角色动画一直是计算机动画技术中的难点[1]。
基于聚散熵及运动目标检测的监控视频关键帧提取
本文 使 用 平 均 全 查 率 （ ＡＦＳＲ ） 、 平 均 查 准 率 （ ＡＰ） ，以及平均关键帧提取比（ ＡＫＥＲ） ，即关键帧 数目与视频帧数之比，作为结果评价依据。 在 ４ 个 不同视频库中的全部视频中进行实验。 表 １ 为在不 同视频库中关键帧提取的平均全查率和平均查准率 及平均关键帧提取比。
第３期
马利克，等：基于聚散熵及运动目标检测的监控视频关键帧提取
·４６３·
数字视频的单帧梯度定义为向量
▽Ｆ
＝
éêＧｘ ùú ëêＧｙ ûú
＝
éëêê
∂ｆ ∂ｘ
∂ｆ ∂ｙ
ùûúú
（５）
该向量的幅值为
▽ｆ
＝
ｍａｇ（ ▽Ｆ）
＝
［
Ｇ
２ ｘ
＋
Ｇ
２ ｙ
］
１
／
２
＝
éëêê
æ
ç
è
∂ｆ ∂ｘ
ö
÷
ø
２
＋
æ ∂ｆ ö
２０１５ 年 ６ 月 第 ３３ 卷第 ３ 期
西北工业大学学报 Ｊｏｕｒｎａｌ ｏｆ Ｎｏｒｔｈｗｅｓｔｅｒｎ Ｐｏｌｙｔｅｃｈｎｉｃａｌ Ｕｎｉｖｅｒｓｉｔｙ
Ｊｕｎｅ ２０１５ Ｖｏｌ．３３ Ｎｏ．３
基于聚散熵及运动目标检测的监控视频关键帧提取
马利克１，２， 彭进业１， 冯晓毅１
（１．西北工业大学 电子信息学院， 陕西 西安 ７１００７２； ２．陕西省人民警察培训学校， 陕西 西安 ７１００５４）
法，该算法首先利用时间梯度确定候选像素点，然后
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Key frame extraction algorithm based on feature of moving target
Tian Lihua, Zhang Mi, Li Chen†
(School of Software Engineering, Xi’an Jiaotong University, Xi’an 710086, China) Abstract: Motion features are difficult to extract which easily leads to missed and redundant frames in the result. In order to solve this problem, this paper proposes a method of key frames extraction based on feature of moving target. The method reduces redundant rate and missed rate of the result set by emphasizing the features of the moving target and weakening the background features of the frame. In this method, a frame with a burst entropy change is taken as part of the key frame firstly. Then, our method extracts the SIFT points of the moving target from the frame of which the entropy value has not suddenly changed. Finally, it extracts key frames according to the entropy and SIFT distribution respectively. Experimental results show that the miss rate of this algorithm is low. At the same time, key frame results can accurately and completely describe the main content of the video. Key words: key frame extraction; gaussian mixed model detection; SIFT; perceptual hashing 局部特征提取关键帧的算法。其中 Hannane 等人[6]提出根据帧 SIFT 分布直方图提取关键帧。Barbieri 等人[7]提出根据固定大 小窗口提取候选帧，再根据候选帧间 SIFT 特征距离提取关键 帧，然而该方法所得候选帧无法准确地描述运动目标的变化过 程。 结合运动类视频特点，本文提出了基于运动目标特征的关 键帧提取算法。该算法首先根据帧熵值选取颜色发生突变处的 帧作为部分关键帧。对熵值未发生突变的帧，根据混合高斯模 型获得帧内运动物体并提取其 SIFT 特征，计算 SIFT 分布距离 提取关键帧。 根据运动物体 SIFT 分布特征提取关键帧， 在强调 帧内运动目标变化的同时弱化背景变化带来的影响，因此能够 很好地捕获运动物体的变化过程。最后使用感知哈希算法获得 帧指纹，计算其汉明距离去除结果中的冗余帧，以进一步提高 关键帧对原视频的有效表达。
0
引言
关键帧提取是视频检索的重要步骤，其提取结果质量好坏
直接影响视频检索的效率。由于运动类视频中场景切换频繁， 故其关键帧结果中存在较多漏检帧。运动类视频的关键帧提取 方法多种多样。文献[1,2] 提出通过分析光流场实现对运动场的 Ma 等人[3]提出在运动对象状态发生变化 分析从而提取关键帧。 处提取关键帧[3]。Li 等人[4]提出了一种聚焦物体运动的关键帧 提取算法，该方法将匀速运动的物体作为参照物，从而获得视 频中运动目标并提取关键帧。针对视频中由于摄像机移动造成 的物体运动， Guironnet 等人[5]提出通过检测摄像机运动提取 关键帧，根据镜头运动方式排列顺序不同，灵活地调整关键帧 提取方法 。以上方法对运动类视频的关键帧提取能力有限， 当视频中存在快速运动的物体时， 关键帧结果中易产生漏检帧。 由于局部特征能更好地保留帧语义，故目前存在较多根据
，如较暗区域亮度较高的点，明亮区域中亮
度较低的点，物体边缘的特殊点等都可能成为兴趣点。兴趣点 不会因为图像缩放或者旋转而产生较大变化，同时对于光线改 变以及噪声干扰都具有一定鲁棒性。 1.3 感知哈希 图像感知哈希技术也称为数字指纹，是对多媒体信息的总 结。感知哈希是一类从多媒体表示到哈希值的单向映射，各图 像都有其对应的指纹。 感知哈希算法首先去掉图片细节，忽略图像尺寸和比例差 异，仅保留结构、阴影等基本信息。接着计算各帧灰度图的离 散余弦变换（DCT）系数矩阵，仅保留左上角的 8 * 8 矩阵。计 算所有像素灰度均值，比较矩阵各像素点与均值大小，大于或 等于均值记为“1”， 否则记为“0”， 最后生成帧指纹。 根据帧指纹 计算汉明距离，判断帧相似性。
i 0 255
1.1 混合高斯模型 混合高斯建模 （GMM） 适用于对背景复杂的视频进行建模， 从而检测出视频中的运动目标[8,9]。 根据混合高斯模型检测运动 物体，首先计算出帧中像素点在某时间段内样本值的概率密度 等信息，接着根据统计差分中常见原则判定各像素点是否为帧 背景内容。每读取新的视频帧时，首先根据当前帧更新模型， 再遍历待处理帧中的各像素点，判断其是否为背景点。完成帧 各像素点的处理后即能够得到该帧背景模型，然后根据背景得 到帧前景。混合高斯模型能够很好地对内容复杂的视频进行背 景建模。 1.2 SIFT 特征 SIFT(scale invariant feature transform)特征点是一种稳定的 局部特征。选取物体表面具有代表性的点来描述物体，这些点 通常称为兴趣点
————————————————————————————————————————————————
基于运动目标特征的关键帧提取算法
作者 机构 DOI 基金项目 预排期卷 摘要 田丽华，张咪，李晨 西安交通大学软件学院 10.3969/j.issn.1001-3695.2018.06.0363 国家自然科学基金项目（61403302） ；西安交通大学科研业务基金项目（XJJ2016029） 《计算机应用研究》 2019 年第 36 卷第 11 期 针对运动类视频特征不易提取，且其关键帧结果中易产生较多漏检帧的问题，提出了基于运 动目标特征的关键帧提取算法。该算法在强调运动目标特征的同时弱化背景特征，从而防止 由于运动目标过小而背景占据视频画面主要内容所导致的漏检和冗余现象。首先根据视频帧 熵值将颜色变化明显的帧作为部分关键帧，对颜色未发生突变的帧根据运动物体的尺度不变 特征变换(SIFT)获得帧内运动目标的特征点。最后分别根据帧熵值及运动物体 SIFT 点分布提 取视频关键帧。实验结果表明该算法所得关键帧结果集不仅漏检率较低且能够准确地表达原 视频内容。 关键词 作者简介 关键帧提取；混合高斯检测；SIFT 特征点；感知哈希 田丽华（ 1978- ） ，女，陕西西安人，高级工程师，博士，主要研究方向为多媒体技术 （lhtian@） ；张咪（1992-） ，女，陕西西安人，硕士研究生，主要研究方向为 关键帧提取；李晨（1981-） ，女（通信作者） ，陕西西安人，讲师，博士，主要研究方向为多 媒体技术（lhtian@） ． 中图分类号 访问地址 投稿日期 修回日期 发布日期 TP391.41 /article/02-2019-11-084.html 2018 年 6 月 22 日 2018 年 8 月 7 日 2018 年 9 月 12 日
优先出版
田丽华，等：基于运动目标特征的关键帧提取算法
第 36 卷第 11 期
1
理论基础
计算帧熵值：读入视频帧序列，根据式(1)(2)所示计算帧熵 值，将熵值突变处的帧选为部分关键帧。
p( xi ) Num( xi ) / m * n
H p ( xi ) *log( p ( xi ))
第 36 卷第 11 期 优先出版
计算机应用研究 Application Research of Computers
Vol. 36 No. 11 Online Publication
基于运动目标特征的关键帧提取算法
田丽华，张 咪，李 晨†
*
(西安交通大学软件学院, 西安 710049) 摘 要：针对运动类视频特征不易提取，且其关键帧结果中易产生较多漏检帧的问题，提出了基于运动目标特征的关
基于运动目标特征的关键帧提取算法 ——————————————————————————————————————— 李晨. 基于运动目标特征的关键帧提取算法[J/OL]. 2019, 36(11). [2018-09-12]. /article/02-2019-11-084.html.
—————————— 收稿日期：2018-06-22；修回日期：2018-08-07
[5]
基金项目：国家自然科学基金项目（61403302）；西安交通大学科研业务基金项目（XJJ2016029）
作者简介：田丽华（1978-），女，陕西西安人，高级工程师，博士，主要研究方向为多媒体技术；张咪（1992-），女，陕西西安人，硕士研究生，主要 研究方向为关键帧提取；李晨（1981-），女（通信作者），陕西西安人，讲师，博士，主要研究方向为多媒体技术（lhtian@）．
[10]
(1) (2)
其中：xi 代表视频帧像素点 i 处的灰度值，m 和 n 分别为帧的 高和宽。Num(xi)代表帧内灰度值为 xi 的像素点总数量，p(xi)为 xi 在视频帧中出现的概率。 a)对熵值未发生突变的帧，根据混合高斯模型（GMM）检 测出帧内运动物体并对其进行腐蚀膨胀处理。 b) 将 帧 分 成 多 个 扇 形 区 ， 计 算 相 邻 帧 SIFT 分 布 距 离 （Motion-SIFT）。 c)对距离突变的帧，计算运动目标在帧内所占像素百分比 (Motion-Rate)，判断当前帧是否受到背景运动干扰。 d)使用感知哈希算法去除结果集中的冗余帧。 2.1 混合高斯提取运动目标特征 读入帧序列计算相邻帧熵值比，取熵突变处的帧为部分关 键帧。对熵值未突变的帧，进一步计算帧内运动物体的变化程 度判断其是否为关键帧，具体处理过程如下： a)对熵值未发生突变的帧，根据 GMM 获得视频帧内的前 景运动物体，结果如图 2(b)所示。 b)为使获得的帧内运动目标轮廓更加清晰，对帧前景内容 进行腐蚀膨胀处理。如图 2(c)为对图 2(b)中的帧进行腐蚀膨胀 处理的结果。 c)逐个获得视频中所有熵值未发生突变帧的运动内容，最 后得到一组仅包含运动物体的二值化图像。