视频跟踪算法研究综述_闫庆森 (1)
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
) 本文受山西省研究生优秀创新基金项目 ( 资助 。 2 0 1 2 3 1 0 7
时视觉跟踪系统 W4 , 它不仅能够定位和分割出人的身体部 而且能检测人是否携带物体等简单行 分以及实现多人跟踪,
7] 为 。 英国的雷丁大学 [ 在智能视频跟踪系统的研究中对行 人
和车辆的跟踪方面 取 得 了 很 好 的 效 果 。 近 几 年 , 自适应跟踪 和智能跟踪的思想被相继提出 。 我国也开展了一系列的目 标 跟踪系统的研究和开发 。 其中中国科学院自动化研究所模 式 识别国家重 点 实 验 室 取 得 了 丰 硕 的 成 果 , 处 于 领 先 的 地 位。 清华大学电子工程系针对户外复杂背景下的人体识别困难 的 问题, 研发了一套运动目标自动跟踪和分类的智能化跟踪系 统算法 。 此外 , 清华大 学 计 算 机 科 学 与 技 术 系 提 出 了 一 种 利 用实时视频图像识别的技术来对无规则行人进行跟踪与统 计 的算法 。 西安交通大学的人工智能与机器人研究所对车辆 跟
( , , ) C o l l e e o f E l e c t r o n i c s a n d I n f o r m a t i o n E n i n e e r i n T a i u a n U n i v e r s i t o f S c i e n c e a n d T e c h n o l o T a i u a n 0 3 0 0 2 4, C h i n a g g g y y g y y
, A b s t r a c t i s u a l t r a c k i n i s a f u n d a m e n t a l t a s k i n m a n c o m u t e r v i s i o n a l i c a t i o n s a n d t h e r o b u s t n e s s r o b l e m i s V g y p p p p , , s t i l l a c h a l l e n e i n s i t e o f t h e n u m e r o u s e x i s t i n v i s u a l t r a c k i n a l o r i t h m s . B e s i d e s s e v e r a l c i r c u m s t a n c e a s t h e a b r u t g p g g g p , , , m o t i o n t h e v a r i a t i o n o f t h e t a r e t o r t h e b a c k r o u n d t h e o b e c t t o o b e c t a n d o b e c t t o s c e n e o c c l u s i o n s t h e n o n o b e c t - - - - - g g j j j j , i l ec r i i d o b e c t s t r u c t u r e s a n d c a m e r a a n r e d u c e t h e e f f e c t i v e n e s s o f t h e d e s i n e d v i s u a l t r a c k i n a l o r i t h m. T h i s j g g g j g g g d e s c r i b e d t h e v i s u a l t r a c k i n a l o r i t h m a n d i t s r e s e a r c h a d v a n c e . T h e e x i s t i n t a r e t t r a c k i n a l o r i t h m s w e r e o s u r v e - g g g g g g y , , , v e r v i e w e d a n d d e s c r i b e d e a c h o f t h e s e a l o r i t h m s i n d e t a i l t h e n t h e a d v a n t a e a n d d i s a d v a n t a e o f e a c h a l o r i t h m w e r e g g g g , , r e s e c t i v e l . F u r t h e r m o r e t h e i m o r t a n t i s s u e s r e l a t e d t o t r a c k i n w e r e d i s c u s s e d i n c l u d i n d e t e c t i o n o f o b a n a l z e d - p y p g g y , , , e c t s f e a t u r e s e l e c t i o n B a e s i a n t r a c k i n a n d o n l i n e l e a r n i n t r a c k i n . j y g g g , , , K e w o r d s V i s u a l t r a c k i n F e a t u r e s e l e c t i o n B a e s i a n t r a c k i n O n l i n e l e a r n i n g y g g y 其应用非常重视 。 美国自然科学基金资助有关公司进行算 法 研究 。 在 2 0 世纪 5 0 年代初期 , GA C 公司就为美国海军研制 开发了自动地 形 识 别 跟 踪 系 统 。1 9 9 7年美国国防高级研究 设立了以卡内基梅隆大学为首 、 麻省理 工 学 院 项目 ( D A R P A)
, : , 闫庆森 ( 男, 硕士生 , 主要研究方向为现代信 号 处 理 、 模 式 识 别、 压 缩 感 知, 李临生( 男, 教 授, 1 9 8 9- ) E-m a i l n a n i n s e n@1 2 6. c o m; 1 9 6 1- ) j y q g , 硕士生导师 , 主要研究方向为现代信号处理 、 数字图 像 处 理 ; 徐晓峰( 男, 硕 士 生, 主 要 研 究 方 向 为 人 工 智 能、 模 式 识 别; 王 灿( 1 9 8 8- ) 1 9 8 7 , 男, 硕士生 , 主要研究方向为无线传感器网络 、 压缩感知 。 -)
·2 0 4·
踪进行了深入的研究 。 由于以上的视频跟 踪 研 究 广 泛 应 用 在 实 际 生 活 中 , 因此 需考虑 鲁 棒 性 、 自适应性和实时性3 要建立鲁棒的跟踪系统 , 个因素 。 鲁棒性就是在复杂的环境下 ( 如复杂背景 、 部分 或 整 , 体光照改变 、 遮挡等 ) 跟 踪 算 法 仍 然 能 较 好 地 跟 踪 目 标。自 适应性就是在目标本身改变的时候跟踪系统需要自适应地 调 整, 除此之外选择一个快速 、 精确的算法也很有必要 。
摘 要 在 许 多 计 算机 视 觉 应 用 领域 中 , 视 频 跟踪 是 最基 本 的 任 务 。 尽 管 有 了 大 量 的 跟踪 算 法 , 但 是 跟踪 算 法的 鲁 棒 性 仍 是具有 挑 战 性 的 问题 。 物 体的 突 然 运 动 、 目 标或 者背景 外 观 的 改 变 、 目标与目标以及目标与背景的 遮 挡、 非刚性 物 体的 结构 、 摄 像 机 抖 动 等问题 都 是 视 频 跟踪 算 法 设 计 过 程 中 需 要 考虑 的 因 素 。 介绍 了 视 频 跟踪 算 法 及 其 研究 进 展 , 综 述 了 现有 基 本 的 目 标 跟踪 算 法 分 类 , 详 细 描 述 了 每 种 表 示 方 法, 并 指 出 其 优 缺 点。进 一 步 讨 论 了 跟 踪 的 重 要 性 问 题, 包括 目 标检 测 、 特征 选择 、 贝叶 斯 跟踪 、 在 线 学习跟踪 等 。 关键词 视 频 跟踪 , 特征 选择 , 贝叶 斯 跟踪 , 在 线 学习 中图法分类号 T P 3 9 1 文献标识码 A
第4 0卷 第6 A期 2 0 1 ห้องสมุดไป่ตู้年6月
计 算 机 科 学 C o m u t e r c i e n c e S p
V o l . 4 0N o . 6 A J u n e 2 0 1 3
视频跟踪算法研究综述
闫庆森 李临生 徐晓峰 王 灿 ( ) 太原科技大学电子信息工程学院 太原 0 3 0 0 2 4
S u r v e o f V i s u a l T r a c k i n A l o r i t h m y g g
YAN Q i n s e n I L i n s h e n X i a o f e n C a n - L - XU - WANG g g g
型结合来实现实时跟踪 。 这种方法和别的方法学相比 , 原理和算法设计简单 , 可以 根据实际情况确定阈值进行处理 , 在跟踪中寻找目标时 , 所得 结果直接反映了运 动 目 标 的 位 置 、 大 小、 形 状 等 信 息, 能够得 到比较精确的运动 目 标 信 息 。 前 景 检 测 可 以 减 少 搜 索 空 间 , 与在整幅图像中寻找相比 , 只在前景区域中分析更快 , 极大 地 提高了运行速度和跟踪精度 。
2 初始化和前景检测
在视频跟踪领域首先考虑的是如何初始化跟踪 。 一般 来 说, 初始化 是 通 过 手 动 选 择 目 标 或 者 通 过 别 的 系 统 检 测 模
8, 9] 来完成 , 而 前 景 检 测 经 常 用 到 识 别 目 标。因 此 初 始 化 块[
3 特征描述
特征是目标可区别与其他事物的属性 , 具有可区分性 、 可 靠性 、 独立性和稀疏 性 。 进 行 目 标 跟 踪 , 首 先 要 描 述 目 标, 如 纹理 、 形 状 等。建 立 这 种 最 初 的 特 征 描 述 是 非 常 重 要 颜色 、 描述目标的好坏 直 接 影 响 跟 踪 的 性 能 。 由 于 目 标 的 外 观 的, 受到遮挡 、 光照 、 清晰 度 的 影 响 , 视 频 跟 踪 是 很 困 难 的。正 是 这样 , 针对图像的不 同 性 质 有 了 不 同 的 特 征 。 以 下 介 绍 视 频 跟踪领域不同类型的特征 。 3. 1 边缘特征
5] 6] 。 马里兰大学 [ 等高校参与的视觉项目 [ 成功研发了一种 实
1 引言
] 1 4 - 视频跟踪 [ 是机器视觉领域的基础问题之一 , 它是 目 标
行为识别等后 续 应 用 的 基 础 , 在 社 会 安 全、 航空航天等 识别 、 重大项目中有着广阔的应用前景 。 视频跟踪可以用在自动 监 控、 视频索引 、 人机 交 互 、 交 通 监 控、 车 辆 导 航 等 方 面。然 而, 由于旋转姿态引起的物体本身外观的变化以及光照、 遮挡等 外在因素的变化 , 进行鲁棒的跟踪仍然面临着很大的挑战 。 视频跟踪技术由于 拥 有 广 阔 的 应 用 前 景 , 因此受到了世 界各地研究者的高度关注 。 国外进行视频跟踪研究的大学 主 要有麻省理工学院 、 卡内基梅隆大学 、 斯坦福大学等 。 国 内 著 名高校清华大学和一些研究机构也对视觉理论的发展贡献 了 计算机技术的飞速发 展 , 一 力量 。 随着图像处理和分析技术 、 些高校和科研机构已经开展这方面的研究, 并且取得了可喜 的成绩 。 在实际应用方面 , 国外起步比较早 , 技术也相对成 熟 。 美 国军方对复杂环境下目标的动态检测、 跟踪的算法的研究及
时视觉跟踪系统 W4 , 它不仅能够定位和分割出人的身体部 而且能检测人是否携带物体等简单行 分以及实现多人跟踪,
7] 为 。 英国的雷丁大学 [ 在智能视频跟踪系统的研究中对行 人
和车辆的跟踪方面 取 得 了 很 好 的 效 果 。 近 几 年 , 自适应跟踪 和智能跟踪的思想被相继提出 。 我国也开展了一系列的目 标 跟踪系统的研究和开发 。 其中中国科学院自动化研究所模 式 识别国家重 点 实 验 室 取 得 了 丰 硕 的 成 果 , 处 于 领 先 的 地 位。 清华大学电子工程系针对户外复杂背景下的人体识别困难 的 问题, 研发了一套运动目标自动跟踪和分类的智能化跟踪系 统算法 。 此外 , 清华大 学 计 算 机 科 学 与 技 术 系 提 出 了 一 种 利 用实时视频图像识别的技术来对无规则行人进行跟踪与统 计 的算法 。 西安交通大学的人工智能与机器人研究所对车辆 跟
( , , ) C o l l e e o f E l e c t r o n i c s a n d I n f o r m a t i o n E n i n e e r i n T a i u a n U n i v e r s i t o f S c i e n c e a n d T e c h n o l o T a i u a n 0 3 0 0 2 4, C h i n a g g g y y g y y
, A b s t r a c t i s u a l t r a c k i n i s a f u n d a m e n t a l t a s k i n m a n c o m u t e r v i s i o n a l i c a t i o n s a n d t h e r o b u s t n e s s r o b l e m i s V g y p p p p , , s t i l l a c h a l l e n e i n s i t e o f t h e n u m e r o u s e x i s t i n v i s u a l t r a c k i n a l o r i t h m s . B e s i d e s s e v e r a l c i r c u m s t a n c e a s t h e a b r u t g p g g g p , , , m o t i o n t h e v a r i a t i o n o f t h e t a r e t o r t h e b a c k r o u n d t h e o b e c t t o o b e c t a n d o b e c t t o s c e n e o c c l u s i o n s t h e n o n o b e c t - - - - - g g j j j j , i l ec r i i d o b e c t s t r u c t u r e s a n d c a m e r a a n r e d u c e t h e e f f e c t i v e n e s s o f t h e d e s i n e d v i s u a l t r a c k i n a l o r i t h m. T h i s j g g g j g g g d e s c r i b e d t h e v i s u a l t r a c k i n a l o r i t h m a n d i t s r e s e a r c h a d v a n c e . T h e e x i s t i n t a r e t t r a c k i n a l o r i t h m s w e r e o s u r v e - g g g g g g y , , , v e r v i e w e d a n d d e s c r i b e d e a c h o f t h e s e a l o r i t h m s i n d e t a i l t h e n t h e a d v a n t a e a n d d i s a d v a n t a e o f e a c h a l o r i t h m w e r e g g g g , , r e s e c t i v e l . F u r t h e r m o r e t h e i m o r t a n t i s s u e s r e l a t e d t o t r a c k i n w e r e d i s c u s s e d i n c l u d i n d e t e c t i o n o f o b a n a l z e d - p y p g g y , , , e c t s f e a t u r e s e l e c t i o n B a e s i a n t r a c k i n a n d o n l i n e l e a r n i n t r a c k i n . j y g g g , , , K e w o r d s V i s u a l t r a c k i n F e a t u r e s e l e c t i o n B a e s i a n t r a c k i n O n l i n e l e a r n i n g y g g y 其应用非常重视 。 美国自然科学基金资助有关公司进行算 法 研究 。 在 2 0 世纪 5 0 年代初期 , GA C 公司就为美国海军研制 开发了自动地 形 识 别 跟 踪 系 统 。1 9 9 7年美国国防高级研究 设立了以卡内基梅隆大学为首 、 麻省理 工 学 院 项目 ( D A R P A)
, : , 闫庆森 ( 男, 硕士生 , 主要研究方向为现代信 号 处 理 、 模 式 识 别、 压 缩 感 知, 李临生( 男, 教 授, 1 9 8 9- ) E-m a i l n a n i n s e n@1 2 6. c o m; 1 9 6 1- ) j y q g , 硕士生导师 , 主要研究方向为现代信号处理 、 数字图 像 处 理 ; 徐晓峰( 男, 硕 士 生, 主 要 研 究 方 向 为 人 工 智 能、 模 式 识 别; 王 灿( 1 9 8 8- ) 1 9 8 7 , 男, 硕士生 , 主要研究方向为无线传感器网络 、 压缩感知 。 -)
·2 0 4·
踪进行了深入的研究 。 由于以上的视频跟 踪 研 究 广 泛 应 用 在 实 际 生 活 中 , 因此 需考虑 鲁 棒 性 、 自适应性和实时性3 要建立鲁棒的跟踪系统 , 个因素 。 鲁棒性就是在复杂的环境下 ( 如复杂背景 、 部分 或 整 , 体光照改变 、 遮挡等 ) 跟 踪 算 法 仍 然 能 较 好 地 跟 踪 目 标。自 适应性就是在目标本身改变的时候跟踪系统需要自适应地 调 整, 除此之外选择一个快速 、 精确的算法也很有必要 。
摘 要 在 许 多 计 算机 视 觉 应 用 领域 中 , 视 频 跟踪 是 最基 本 的 任 务 。 尽 管 有 了 大 量 的 跟踪 算 法 , 但 是 跟踪 算 法的 鲁 棒 性 仍 是具有 挑 战 性 的 问题 。 物 体的 突 然 运 动 、 目 标或 者背景 外 观 的 改 变 、 目标与目标以及目标与背景的 遮 挡、 非刚性 物 体的 结构 、 摄 像 机 抖 动 等问题 都 是 视 频 跟踪 算 法 设 计 过 程 中 需 要 考虑 的 因 素 。 介绍 了 视 频 跟踪 算 法 及 其 研究 进 展 , 综 述 了 现有 基 本 的 目 标 跟踪 算 法 分 类 , 详 细 描 述 了 每 种 表 示 方 法, 并 指 出 其 优 缺 点。进 一 步 讨 论 了 跟 踪 的 重 要 性 问 题, 包括 目 标检 测 、 特征 选择 、 贝叶 斯 跟踪 、 在 线 学习跟踪 等 。 关键词 视 频 跟踪 , 特征 选择 , 贝叶 斯 跟踪 , 在 线 学习 中图法分类号 T P 3 9 1 文献标识码 A
第4 0卷 第6 A期 2 0 1 ห้องสมุดไป่ตู้年6月
计 算 机 科 学 C o m u t e r c i e n c e S p
V o l . 4 0N o . 6 A J u n e 2 0 1 3
视频跟踪算法研究综述
闫庆森 李临生 徐晓峰 王 灿 ( ) 太原科技大学电子信息工程学院 太原 0 3 0 0 2 4
S u r v e o f V i s u a l T r a c k i n A l o r i t h m y g g
YAN Q i n s e n I L i n s h e n X i a o f e n C a n - L - XU - WANG g g g
型结合来实现实时跟踪 。 这种方法和别的方法学相比 , 原理和算法设计简单 , 可以 根据实际情况确定阈值进行处理 , 在跟踪中寻找目标时 , 所得 结果直接反映了运 动 目 标 的 位 置 、 大 小、 形 状 等 信 息, 能够得 到比较精确的运动 目 标 信 息 。 前 景 检 测 可 以 减 少 搜 索 空 间 , 与在整幅图像中寻找相比 , 只在前景区域中分析更快 , 极大 地 提高了运行速度和跟踪精度 。
2 初始化和前景检测
在视频跟踪领域首先考虑的是如何初始化跟踪 。 一般 来 说, 初始化 是 通 过 手 动 选 择 目 标 或 者 通 过 别 的 系 统 检 测 模
8, 9] 来完成 , 而 前 景 检 测 经 常 用 到 识 别 目 标。因 此 初 始 化 块[
3 特征描述
特征是目标可区别与其他事物的属性 , 具有可区分性 、 可 靠性 、 独立性和稀疏 性 。 进 行 目 标 跟 踪 , 首 先 要 描 述 目 标, 如 纹理 、 形 状 等。建 立 这 种 最 初 的 特 征 描 述 是 非 常 重 要 颜色 、 描述目标的好坏 直 接 影 响 跟 踪 的 性 能 。 由 于 目 标 的 外 观 的, 受到遮挡 、 光照 、 清晰 度 的 影 响 , 视 频 跟 踪 是 很 困 难 的。正 是 这样 , 针对图像的不 同 性 质 有 了 不 同 的 特 征 。 以 下 介 绍 视 频 跟踪领域不同类型的特征 。 3. 1 边缘特征
5] 6] 。 马里兰大学 [ 等高校参与的视觉项目 [ 成功研发了一种 实
1 引言
] 1 4 - 视频跟踪 [ 是机器视觉领域的基础问题之一 , 它是 目 标
行为识别等后 续 应 用 的 基 础 , 在 社 会 安 全、 航空航天等 识别 、 重大项目中有着广阔的应用前景 。 视频跟踪可以用在自动 监 控、 视频索引 、 人机 交 互 、 交 通 监 控、 车 辆 导 航 等 方 面。然 而, 由于旋转姿态引起的物体本身外观的变化以及光照、 遮挡等 外在因素的变化 , 进行鲁棒的跟踪仍然面临着很大的挑战 。 视频跟踪技术由于 拥 有 广 阔 的 应 用 前 景 , 因此受到了世 界各地研究者的高度关注 。 国外进行视频跟踪研究的大学 主 要有麻省理工学院 、 卡内基梅隆大学 、 斯坦福大学等 。 国 内 著 名高校清华大学和一些研究机构也对视觉理论的发展贡献 了 计算机技术的飞速发 展 , 一 力量 。 随着图像处理和分析技术 、 些高校和科研机构已经开展这方面的研究, 并且取得了可喜 的成绩 。 在实际应用方面 , 国外起步比较早 , 技术也相对成 熟 。 美 国军方对复杂环境下目标的动态检测、 跟踪的算法的研究及