关于遮挡处理的视频目标跟踪算法
一种解决遮挡问题的跟踪方法
Ｔｒａｃｋｉｎｇ ｍｅｔｈｏｄ ｆｏｒ ｓｏｌｖｉｎｇ ｏｃｃｌｕｓｉｏｎ ｐｒｏｂｌｅｍ
ＷＵ Ｓｈｕｉ－ｑｉｎ１，２，３，ＭＡＯ Ｙａｏ１，２＊ ，ＬＩＵ Ｑｉｏｎｇ１，２，ＬＩ Ｚｈｉ－ｊｕｎ１，２
（１．Ｋｅｙ Ｌａｂｏｒａｔｏｒｙ ｏｆ Ｏｐｔｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ，Ｃｈｉｎｅｓｅ Ａｃａｄｅｍｙ ｏｆ Ｓｃｉｅｎｃｅ，Ｃｈｅｎｇｄｕ６１０２０９，Ｃｈｉｎａ； ２Ｉ．ｎｓｔｉｔｕｔｅ ｏｆ Ｏｐｔｉｃｓ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ，Ｃｈｉｎｅｓｅ Ａｃａｄｅｍｙ ｏｆ Ｓｃｉｅｎｃｅ，Ｃｈｅｎｇｄｕ ６１０２０９，Ｃｈｉｎａ；
吴水琴１，２，３，毛 耀１，２＊ ，刘 琼１，２，李志俊１，２
（１．中国科学院 光束控制重点实验室，四川 成都 ６１０２０９； ２．中国科学院 光电技术研究所，四川 成都 ６１０２０９； ３．中 国 科 学 院 大 学 ，北 京 １０１４００）
摘要：针对图像跟踪领域中因遮挡产生的漂移问题，提出一种基于直方图比的 背 景 加 权 的 Ｍｅａｎ Ｓｈｉｆｔ算 法 和 Ｋａｌｍａｎ预 测滤波器融合的方法。本文方法通过改进目标模型来优化 Ｂｈａｔｔａｃｈａｒｙｙａ系数值，增大目标正常 跟 踪 状 态 下 和 遮 挡 状 态 下 Ｂｈａｔｔａｃｈａｒｙｙａ系数的差值，提高遮挡判定的有效性，进而提高遮挡时的跟踪性能。通过实 验 证 明，基 于 直 方 图 比 的 背 景加权的 Ｍｅａｎ Ｓｈｉｆｔ算法和 Ｋａｌｍａｎ预测滤波器融合的方法可有效解决遮挡跟踪问题。 关 键 词 ：遮 挡 跟 踪 ；Ｍｅａｎ Ｓｈｉｆｔ算 法 ；Ｋａｌｍａｎ 预 测 ；背 景 加 权 中 图 分 类 号 ：ＴＰ３９１．４ 文 献 标 识 码 ：Ａ ｄｏｉ：１０．３７８８／ＹＪＹＸＳ２０１９３４０２．０１８８
(完整版)视频目标检测与跟踪算法综述
视频目标检测与跟踪算法综述1、引言运动目标的检测与跟踪是机器视觉领域的核心课题之一，目前被广泛应用在 视频编码、智能交通、监控、图像检测等众多领域中。
本文针对视频监控图像的运动目标检测与跟踪方法，分析了近些年来国内外的研究工作及最新进展。
2、视频监控图像的运动目标检测方法运动目标检测的目的是把运动目标从背景图像中分割出来。
运动目标的有效分割对于目标分类、跟踪和行为理解等后期处理非常重要。
目前运动目标检测算法的难点主要体现在背景的复杂性和目标的复杂性两方面。
背景的复杂性主要体现在背景中一些噪声对目标的干扰，目标的复杂性主要体现在目标的运动性、突变性以及所提取目标的非单一性等等。
所有这些特点使得运动目标的检测成为一项相当困难的事情。
目前常用的运动目标检测算法主要有光流法、帧差法、背景相减法，其中背景减除法是目前最常用的方法。
2.1 帧差法帧差法主要是利用视频序列中连续两帧间的变化来检测静态场景下的运动目标，假设(,)k f x y 和(1)(,)k f x y +分别为图像序列中的第k 帧和第k+1帧中象素点(x ，y)的象素值,则这两帧图像的差值图像就如公式2-1 所示：1(1)(,)(,)k k k Diff f x y f x y ++=- (2-1)2-1式中差值不为0的图像区域代表了由运动目标的运动所经过的区域（背景象素值不变），又因为相邻视频帧间时间间隔很小，目标位置变化也很小，所以运动目标的运动所经过的区域也就代表了当前帧中运动目标所在的区域。
利用此原理便可以提取出目标。
下图给出了帧差法的基本流程：1、首先利用2-1 式得到第k 帧和第k+1帧的差值图像1k Diff +；2、对所得到的差值图像1k Diff +二值化（如式子2-2 示）得到Qk+1；3、为消除微小噪声的干扰，使得到的运动目标更准确，对1k Q +进行必要的滤波和去噪处理，后处理结果为1k M +。
111255,,(,)0,,(,)k k k if Diff x y T Q if Diff x y T+++>⎧=⎨≤⎩ （T 为阈值） （2-2）帧差流程图从结果看在简单背景下帧差法基本可检测到运动目标所在的位置，而且计算简单，复杂度低。
一种针对视频对象快速移动和遮挡的改进mean—shift跟踪算法
而代替经典 ｍｅｎｓｉ ａ— ｆ ｈ ｔ算法中单纯用上一帧位置
作 为当前 帧起始位置 的方法 。 这是利用 以往 目标 的
位 置信 息对动 态系 统 的状态 序列 线性 最小 方差进
素 向颜色索 引 的映像 。候选模 型在当前帧 中 以 为 中心 。则候选模 型的概 率密度为
到局部遮 挡时，采用背 景相似度算法 ，对 目标模板和候选模型区域中像素点进行 加权 ，降低背景像素的干扰 ， 然后 由 Ｓ Ｄ算法进行局部匹配 ，对 ｍｅｎｓｉ 算法的跟踪结果进行校正 。经实验表 明，改进算法对发生快速移 Ｓ ａ— ｆ ｈｔ 动或受到局部遮挡的 目标 ，能进行有效的跟踪 。 关键 词： 目标跟踪；ｍｅｎｓｉ；快速移动；遮挡 ａ—ｈｆ ｔ
第３ ４卷 第 １期
２１ ００年 １ 月
燕 Ｌ大 学 学 报
Ｊ ｕ ｎ ｌ ｆ ｎ ｈ ｎ Ｕｎ ｖ ｒ ｉ ｏ ｒ ａ ｓ ａ ｉ ｅ ｓｔ ｏ Ｙａ ｙ
ＶＯ ．３ ＮＯ． １ １ ４ Ｊ ｎ． ２ ０ ａ ０１
文章编号 ：１ ０ －９ （０ ）０ —０ ２０ ７７ １ ２ １ ０ Ｘ ０ １０ ５ —４
Ｍ
Ｎ
Ｄ（ ＝ ∑［ （ ） ， ２ 。 ｉ ∑ ， 一 ， ，］ ）
ｙ ｕ ｄ ．ｃｌ ｓ ．ｅ ｕ ｒ。
第ｌ 期
唐 勇 等 一种针对视频对象快速移动和遮 挡的改进 ｍｅｎｓｉ 跟踪算法 ａ． ｆ ｈｔ
５ ３
选取 Ｂ ａ ａｈ ａｙ ａ系数作 为相似性系 数 ： ｈ ｔ ｃ ｈ ｒｙ ｔ
阈值为 ，则
） （ ） ）墨 ＝ ｉ， ＝ √ ；） （，
行估计，具有计算量小、 可实时计算的特点， 可以 准确预测 目 标的位置和速度， 然而此种迭代运算非
基于深度学习的自然场景带有遮挡物视频目标跟踪技术研究
基于深度学习的自然场景带有遮挡物视频目标跟踪技术研究自然场景的视频目标跟踪是计算机视觉中一个备受关注的问题，目的是根据对象在摄像头前的运动来跟踪其位置和姿态。
然而，这个问题还存在巨大的挑战，因为视频场景中可能会有遮挡物、未知光照、动态背景等因素干扰跟踪对象的准确识别和预测。
随着深度学习技术的不断发展，基于深度学习的视频目标跟踪技术越来越受到重视。
一、基于深度学习的视频目标跟踪简介现有的视频目标跟踪技术多采用机器学习方法，如卡尔曼滤波、粒子滤波、支持向量机等，但这些方法对场景变化敏感，对遮挡物和背景噪声的处理效果不佳。
基于深度学习的目标跟踪技术主要分为两类：一类是基于深度卷积神经网络（CNN）的跟踪方法，另一类是基于循环神经网络（RNN）的跟踪方法。
为了应对视频中的遮挡物干扰，基于CNN的跟踪方法通常采用“孪生网络”架构，即将当前帧图像与第一帧图像进行比对，在编码器（encoder）和解码器（decoder）之间设计注意力机制，使网络可以根据图像的重要性和区域的相似度自适应调整重点关注区域。
同时，还可以利用循环神经网络处理时序信息，提高跟踪精度。
基于RNN的跟踪方法的优点是可以理解并记忆目标的时序特征，从而在长时间的跟踪过程中提高精度和鲁棒性。
但由于RNN对于输入序列长度的限制，这种方法难以有效应对实时性要求较高的视频场景。
因此，近年来一些研究者还设计了一些基于CNN和RNN的混合方法，如MOTDT、MDT、MCT等，从而充分发挥深度学习的优势，提高跟踪精度。
二、深度学习方法在视频目标跟踪中的应用近年来，随着深度学习技术的不断进步，基于深度学习的视频目标跟踪技术也取得了显著的进展。
在下面的几个应用案例中，我们可以更好地理解深度学习方法在视频目标跟踪中的应用。
1. MOTDTMOTDT（Multiple Object Tracking with Detectors and Trackers）是基于卷积神经网络和循环神经网络的混合方法，它将目标检测器和目标跟踪器融合在一起，用来解决视频场景中的多目标跟踪问题。
遮挡情况下的多目标跟踪算法
条件下进行多目 标跟踪 ， 针对运动目 标发生遮挡情况下的Ｍ ａ ｈｔ ｅｎ ｉ 跟踪问题进行 了研究， 出一种新的抗遮挡算 Ｓｆ 提
法。利 用卡 尔曼滤波 器来获得每 帧 Ｍ ａ ｉ 算 法的起 始位置 ， ｅｎ ｈ Ｓｆ ｔ 再利用 Ｍ ａ ｈｔ 法得 到 目 ｅ Ｓｉ 算 ｎ ｆ 标跟踪 位置 ， 通过 目
ｔ ｎ ｓｄｔｅ ｅｈｎｓ ｃ ｓ ｎ ｕ ｇ ｎ ａｄｏｊｃ ｓａｃｉｇ ｏ ｏ ｅ ｃｌｓ ｎ Ｅ ｐｒ ｅｔ ｓｌ ｈｗｔａ ｔｅ ｌ ｉ ．Ｕ ｃ ａｉ ｏ ｏ ｌ ｉ ｄｍｅｔ ｎ ｂ ｔｅｒｈｎ ｌ ｃ ｉ ． ｘ ｉ ｎａ ｒ ｕｔｓｏ ｔｈ — ｏ ｅ ｈｍ ｍ ｆｃ ｕ ｏ ｊ ｅ ｔｓ ｖ ｏ ｕ ｏ ｅ ｍ ｌｅ ｓ ｈ ａ
ｆ ｕ ｄ ｔｅ ｓ ｒ ｎ ｏ ｉ ｏ ｆ ａ ｈｆ ｗｉ ａｍａ ｌ ｒ ｎ ｅ ｅｙｆａ ，ａ ｄ ｔｅ ｔ ｉ ｄ Ｍｅ ｈｆ ｔ ａ ｋ ｔｅ ｔ ｇ ｔ ｏ ｉ ｏ ｎ ｈ ｔ ｔ ｇｐ ｓ ｉｎ ｏ ｎ Ｓ ｉ ｔ Ｋ ｌ ｎ ｆ ｔ ｖ ｒ ｍｅ ｎ ｎ ｕ ｉ ｚ ａ Ｓ ｉ ｔ ｃ ｅ ｓ ａｉ ｔ Ｍｅ ｔ ｈ ｉ ｅｉ ｒ ｈ ｌｅ ｎ ｔｏ ｒ ｈ ａ ｒ ｐ －
ＭｅｎＳｉ 跟踪 算 法 要 求 相 邻 两 帧 问 目标 位 置 是 重 叠 ａ ｈ ｔ ｆ
０ 引言
在计算机视觉研究领域里 ， 视频序列多 目标在运动中相互 遮挡是视频跟踪研究 中的难 点问题 。视频 序列多 目标跟踪有
的 ］当 目标持续地受到其他 物体遮 挡时 ， 踪窗 口将不 能正 ， 跟
确对 目标进行跟踪 ， 甚至会产生误跟踪。
本文对 目标发生遮挡 情况下 的 ＭｅｎＳ ｉ 跟踪 问题进 行 ａ ｈ ｔ ｆ
《遮挡和尺度变换场景下目标跟踪算法的研究与跟随系统的设计》范文
《遮挡和尺度变换场景下目标跟踪算法的研究与跟随系统的设计》篇一一、引言目标跟踪作为计算机视觉领域的一项重要技术，被广泛应用于智能监控、无人驾驶、人机交互等众多领域。
然而，在实际应用中，遮挡和尺度变换等复杂场景下的目标跟踪问题一直是研究的难点。
本文将针对遮挡和尺度变换场景下的目标跟踪算法进行研究，并设计一套有效的跟随系统。
二、遮挡和尺度变换下的目标跟踪算法研究1. 遮挡问题研究遮挡是目标跟踪过程中的常见问题，当目标被其他物体遮挡时，传统的跟踪算法往往会出现跟踪失败或跟踪漂移的现象。
为了解决这一问题，我们可以采用基于深度学习的目标跟踪算法，如Siamese网络、孪生网络等。
这些算法通过学习目标的外观特征和运动规律，能够在一定程度上应对部分遮挡和完全遮挡的情况。
2. 尺度变换问题研究尺度变换是另一个影响目标跟踪性能的重要因素。
当目标在运动过程中发生尺度变化时，传统的跟踪算法往往无法准确估计目标的实际大小和位置。
针对这一问题，我们可以结合目标检测技术，采用多尺度特征融合的方法来提高跟踪的鲁棒性。
具体而言，我们可以将不同尺度的特征图进行融合，以便更好地适应目标尺度的变化。
三、跟随系统的设计1. 系统架构设计本系统采用模块化设计思想，主要包括目标检测模块、特征提取模块、跟踪模块和用户交互模块。
其中，目标检测模块负责检测视频中的目标对象；特征提取模块负责提取目标的外观特征和运动特征；跟踪模块则根据提取的特征进行目标跟踪；用户交互模块则负责与用户进行交互，提供友好的操作界面。
2. 具体实现（1）目标检测模块：采用基于深度学习的目标检测算法，如Faster R-CNN、YOLO等，对视频中的目标进行检测。
（2）特征提取模块：提取目标的外观特征和运动特征。
外观特征可以通过深度学习网络进行提取，而运动特征则可以通过光流法或相关滤波器进行计算。
（3）跟踪模块：采用上述研究的遮挡和尺度变换下的目标跟踪算法，根据提取的特征进行目标跟踪。
一种抗遮掩的卫星视频目标跟踪算法
一种抗遮掩的卫星视频目标跟踪算法一种抗遮掩的卫星视频目标跟踪算法摘要：随着卫星技术的不断进步，卫星视频成为了获取地面目标信息的重要手段之一。
然而，由于地面目标常常遭遇建筑、树木等自然遮挡物的干扰，对于卫星视频目标跟踪的准确性及鲁棒性提出了挑战。
本文提出了一种抗遮掩的卫星视频目标跟踪算法，通过利用背景差分和形态学处理相结合的方式，实现了对遮挡目标的鲁棒跟踪。
关键词：卫星视频；目标跟踪；遮掩；背景差分；形态学处理1.引言卫星视频具有广阔的视野和高分辨率的特点，能够覆盖地表广阔的区域，并获取目标的详细信息。
然而，在实际场景中，地面目标常常遭遇自然遮挡物的干扰，例如建筑物、树木等。
这些遮挡物不仅会导致目标在视频中的出现和消失，还会增加目标的形变和运动轨迹的变化，对目标跟踪算法的准确性和鲁棒性提出了挑战。
2.相关工作目前，针对遮挡问题，已经提出了许多目标跟踪算法，如基于尺度空间的目标跟踪算法、基于背景差分的目标跟踪算法等。
然而，这些算法在应对遮挡问题时仍然存在一定的困难。
因此，本文旨在提出一种能够抗遮掩的卫星视频目标跟踪算法，以提高目标跟踪的准确性和鲁棒性。
3.方法介绍本文提出的卫星视频目标跟踪算法主要包括以下几个步骤：背景差分、形态学处理和目标跟踪。
3.1 背景差分背景差分是一种常用的目标检测方法，通过将当前帧与背景帧进行差分，可以获得目标的前景区域。
在本文中，背景差分是实现目标跟踪的第一步。
3.2 形态学处理由于自然遮挡物的存在，目标的形状和大小可能会发生变化。
为了应对这种变化，本文引入了形态学处理方法。
在背景差分的基础上，使用开操作和闭操作对前景区域进行处理，消除噪声并恢复目标的形状。
3.3 目标跟踪经过背景差分和形态学处理后，得到了清晰的前景目标。
为了实现目标的跟踪，本文采用了基于相关滤波器的跟踪方法。
通过在目标区域和搜索区域之间进行相关滤波，可以估计目标的位置和尺度，实现目标的跟踪。
4.实验与结果为了验证本文提出的抗遮掩的卫星视频目标跟踪算法的有效性和鲁棒性，我们使用了真实的卫星视频数据进行实验。
一种改进的Mean Shift目标跟踪算法——针对视频对象部分遮挡和光照变化
一种改进的Mean Shift目标跟踪算法——针对视频对象部分遮挡和光照变化郑增国;宣士斌;桑高丽;赵波【摘要】针对经典的Mean Shift算法在目标部分遮挡或者场景光照变化时容易出现跟踪目标丢失的问题,文章运用一种基于分块权重的方法处理目标部分遮挡问题,每一部分的权重系数由来自不同的块和背景颜色信息共同决定.为了适应场景光照的变化,提出快速并且稳定的更新机制.实验分析,该方法可实现快速有效的跟踪.%Traditional mean shift tracking algorithm which could not work well when the target is under partial occlusion and illumination variations.In this paper,we propose a weighted fragment based approach that tackles partial occlusion.The weights are derived from the difference between background colors and the fragment.A fast and stable model update method is described for the sake of illumination variations.Experimental results show that this method can achieve fast and efficient tracking.【期刊名称】《广西民族大学学报（自然科学版）》【年(卷),期】2012(018)001【总页数】5页(P50-54)【关键词】目标跟踪;Mean;Shift;部分遮挡;背景权重;光照变化【作者】郑增国;宣士斌;桑高丽;赵波【作者单位】广西民族大学信息科学与工程学院,广西南宁530006;广西民族大学信息科学与工程学院,广西南宁530006;广西民族大学信息科学与工程学院,广西南宁530006;广西民族大学信息科学与工程学院,广西南宁530006【正文语种】中文【中图分类】TP301.6目标跟踪在安全监控、汽车辅助驾驶以及人体运动分析等领域有着广泛应用.目标本身及周边环境复杂多变，如物体自身形状的变化、场景光照的变化以及目标遮挡等问题是视觉跟踪的主要难点.人们对运动目标跟踪进行了大量的研究，对遮挡问题的处理提出了许多可行的方法，例如，Koller［1］等人采用轮廓模型进行遮挡推理；Pang［2］等人通过分析前景图像的形状来检测遮挡；基于颜色［3］或基于轮廓［4］的方法能在给定区域内有鲁棒的跟踪目标，但是没能解决如何准确初始化和更新目标模型问题；Choi［5］等人提出了一种基于特征点的模板匹配方法对车辆进行跟踪，但没能有效解决车辆之间的相互遮挡问题；Change［6］等人使用融合多个摄像机的输入数据来克服遮挡问题；Senior［7］等人提出一种外观模型方法处理遮挡问题等等.Mean Shift算法［8］在目标部分遮挡或者场景光照变化时容易出现跟踪目标丢失，不能准确地对运动目标区域进行跟踪.本文提出基于分块方法和背景权重相结合的Mean Shift目标跟踪算法.引入颜色直方图并利用颜色直方图分割出目标和背景，提出以Bhattacharyya系数和目标变化系数为状态判断因子共同决定是否要对目标模型进行更新.在光照缓慢变化情况下提高了算法的鲁棒性，实现对运动目标的准确跟踪.基于均值漂移的跟踪方法采用颜色直方图对目标区域进行建模.颜色直方图表示了对应目标区域内的颜色分布的概率密度函数.目标模型的颜色直方图记作＾q.位置在y的跟踪窗口的颜色直方图记作）.目标模型与跟踪窗口相似性度量函数＝ρ［］，目标位置就是使颜色直方图达到极大值的观测窗口坐标y.通常将目标区域的中心设为原点，目标颜色进行m级量化，设每个像素的坐标｛｝i＝1，…，n通过函数b映射到b（）.其中b：R2→｛1，…，m｝.得到可能性颜色特征u＝1，…，m的目标模型可写成：当前以y为中心的图像像素坐标｛x i｝i＝1，…，nh的候选目标可表示为：相似性度量使用Bhattacharyya系数，即＝ρ］进行度量.极大化可以得到目标位置的迭代计算公式：跟踪迭代过程就是不断的计算迭代式（5），直至Bhattacharyya系数最大时停止迭代.以上过程可见：1）经典的Mean Shift算法对像素点进行距离加权，远离中心点的像素点赋予的权值小，对四周边缘遮挡有较好的鲁棒性，但目标受到局部遮挡时，跟踪性能下降，跟踪窗口发生偏移过大容易造成目标丢失.2）当场景光照发生变化，跟踪目标的整体像素发生改变，跟踪性能下降，容易出现目标丢失.本文将对以上两问题进行处理.2.1 基于分块的思想为了增强Mean Shift算法的抗遮挡能力，将跟踪目标区域划分成若干块，这些块可以重叠或者不重叠.由实验可知，过多的块会影响计算的复杂性，而过少的分块又会降低抗遮挡能力.本文采用如图1所示的分块方法［9］，其中子块的数目T取为横向3块和纵向3块，各块的中心相对于目标中心偏移量为△x t，其中t＝1，…，T.在跟踪过程中为各块中心位置建立基于Epanechnikov核的颜色直方图，然后对各个子块用Mean Shift算法进行各自跟踪.用ρ量测每一块目标模型与候选模型的相似度，选择最大的相似度ρ对应的候选块作为最优的漂移的位置.如（7）式表示：J代表据有最大相似度的子块，t表示在当前时刻的各子块.下一帧各块的中心点x1可由J子块获得：2.2 基于背景权重的直方图在复杂背景情况下，背景信息严重干扰目标区域，背景信息的干扰会降低目标跟踪的准确度.在基于颜色［3］中提出选取3倍的目标区域周围的背景区域.Ning［10］证明若同时对目标模型和候选模型选取相同背景则不能有效减少主要的背景信息特征.提出只对目标模型增加背景信息而对候选模型则只选取其中的目标信息.实验证明了其方法有效.基于背景权重直方图方法减少了目标区域中背景像素信息对目标跟踪结果的影响，则目标模型和候选目标颜色直方图分别表示为：2.3 目标模型2.3.1 前景背景分割将目标从背景中分割出来运用类似的方法［11］.用基于颜色相似度的方法将目标区域从背景区域分割出，选取的背景区域是目标区域的3倍［5］.分别计算它们的背景区域和目标区域颜色直方图hbg和h ob.对每个像素点定义L（x i）：其中b（x i）是像素点x i的颜色对应的函数.c是一个很小的常数，用于防止产生不稳定现象.同时定义阈值th，用阈值判断每一像素是目标还是背景区域.1代表目标，0代表背景.2.3.2 目标更新在视频目标跟踪过程中目标会受到光照、自身形状变化及旋转等因素的影响.为了提高跟踪的准确性，本文对目标增加缓慢的更新机制.根据目标从背景中的分割可以判断某一像素对应的是目标还是背景，根据目标的改变程度以及目标模型与候选模型的相似度来判断是否要建立新的更新模型.如（15）式所示：阈值th 1，th 2，本实验th 1取0.75，th 2取0.8.Mean Shift跟踪算法在进入复杂背景、目标部分遮挡或光照变化时容易出现跟丢.目标分块可以很好地检测遮挡的发生，基于改进的背景权重可有效地将背景分离，同时提出缓慢而稳定的更新机制.因此本文将其有机地结合在一个跟踪框架之中可以很好地增强跟踪效果.具体算法流程如下：Step1：手动选取目标跟踪区域并用图1方法进行分块，初始化每个中心点y0，t；Step2：分别对每一块，用（1）式计算目标模型用（9）式计算背景权重直方图和背景各像素的权重｛vu｝u＝1，…，m并且通过（10）式计算；Step3：初始化迭代次数k＝0；Step4：通过（3）式计算当前帧的各个候选目标模型，并且计算权重Step5：运用Mean Shift迭代公式（5）式计算下一个新的中心点；Step6：设置迭代阈值ε1，背景更新阈值ε2，最大迭代次数N；d＝‖y1，t－y0，t‖，y0＝y1，k＝k＋1，假若d＜ε1或者k≥N，运用（15）式计算背景更新模型，并且停止迭代，对下一帧进行Step2计算.否则通过（7）式计算出最优的选择块，再转到Step3.进行仿真实验时，机器配置为CPU Intel Core 2.20GHz，内存1.00GB，仿真平台为MATLAB7.6.图2是汽车在部分遮挡和复杂背景运动情况下的经典Mean Shift算法与本文改进的Mean Shift算法跟踪结果对比.汽车由左向右运动，在第10帧时目标被遮挡物部分遮挡.图2（a）为经典Mean Shift算法跟踪结果，第12帧开始目标跟踪失败.图2（b）为本文算法跟踪结果，在整个跟踪过程序中不会发生跟踪丢失，有良好的跟踪效果.图3为在光照变化情况下经典Mean Shift算法与本文改进的Mean Shift算法跟踪结果对比.图3（a）为经典Mean Shift算法跟踪结果，由于第35帧左右光照的改变比较明显从而用经典的Mean Shift算法跟踪时窗口出现错误偏移，目标跟踪失败.图3（b）为本文算法跟踪结果.本文针对经典Mean Shift算法不能很好地对复杂背景和部分遮挡目标进行跟踪的缺陷，将背景信息和分块思想加入到Mean Shift算法框架中.首先对跟踪窗口内的目标进行分块，然后在对每一块进行融入背景信息的Mean Shift算法进行跟踪，最后用相似度最高的块来确定下一个漂移位置.对跟踪过程中光照变化提出由相似度量系数和目标背景区域信息共同决定的更新模型.不同视频序列中的目标跟踪结果表明，在复杂背景或发生遮挡时，该算法相比传统Mean Shift算法能提高跟踪的准确性同时也保证了跟踪的实时性.同时算法也仅考虑了目标部分遮挡的情况，当目标完全遮挡时、目标再次出现时怎样定位目标以及光照发现强烈变化时还需要进一步研究.【相关文献】［1］Koller D，Weber J，Malik J.Robust multiple car tracking with occlusion reasoning ［C］.Proceedings of the European Conference on Computer Vision，1994：189－196. ［2］Pang C C，Lam W L，Yung H C.A novel method for resolving vehicle occlusion in a monocular traffic image sequence［J］.IEEE Transactions on Intelligent Transportation Systems，2004，5（3）：129－141.［3］Comaniciu D，Ramesh V，Meer P.Real－time tracking of nonrigid objects using mean shift［J］.IEEE Conference on Computer Vision and Pattern Recognition，2002，2：142－149.［4］Chen Y，Rui Y，Huang T S.JPDAF based HMM for real－time contour tracking ［C］.Proceedings IEEE Computer Society Confer-ence on Computer Vision and Pattern Recognition，2001：543－550.［5］Choi J H，Lee K H，Cha K C.Vehicle tracking using template matching based on feature points［C］.IEEE International Conference on Information Reuse and Integration，2006：573－577.［6］Chang T H，Gong S，Ong E J.Tracking multiple people under occlusion using multiple cameras［C］.Proceedings 11th British Machine Vision Conference，2000. ［7］Senior A，Hampapur A，Tian Y L.Appearance models for occlusion handling ［J］.Image and Vision Computing，2006，24：1233－1243.［8］Comaniciu D，Ramesh V，Meer P.Kernel－Based object tracking［J］.IEEE Transaction Pattern Analysis and Machine Intelligence， 2003，25（5）：564－575. ［9］颜佳，吴敏渊，陈淑珍，等.应用Mean Shift和分块的抗遮挡跟踪［J］.光学精密工程，2010，18（6）：1413－1419.［10］Ji feng Ning，Lei Zhang，David Zhang and Chengke Wu.Robust Mean Shift Tracking with Corrected Background－Weighted Histogram［J］.Accepted by IET Computer Vision.［11］R V Babu，P Pérez，P Bouthemy.Robust tracking with motion estimation and local kernel－based color modeling［J］.Image and Vision Computing 2007（25），1205－1216.。
基于深度强化学习的遥感视频遮挡目标跟踪方法[发明专利]
![基于深度强化学习的遥感视频遮挡目标跟踪方法[发明专利]](https://img.taocdn.com/s3/m/9a1b973191c69ec3d5bbfd0a79563c1ec5dad78b.png)
(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 202010887465.9(22)申请日 2020.08.28(71)申请人 西安电子科技大学地址 710071 陕西省西安市太白南路2号(72)发明人 侯彪 崔艳雨 焦李成 吴倩 任博 马晶晶 马文萍 (74)专利代理机构 陕西电子工业专利中心61205代理人 王品华 黎汉华(51)Int.Cl.G06T 7/246(2017.01)G06T 7/13(2017.01)G06T 7/73(2017.01)G06K 9/46(2006.01)G06N 3/04(2006.01)G06N 3/08(2006.01)(54)发明名称基于深度强化学习的遥感视频遮挡目标跟踪方法(57)摘要本发明公开了一种基于深度强化学习的遥感视频遮挡目标跟踪方法，主要解决现有技术对遮挡目标检测准确率低的问题。
其方案为：1)将每帧视频图像输入到深度强化学习网络进行特征提取，获得动作和状态信息；2)根据1)的结果，通过动作驱动方式获得运动矢量、置信值及目标的位置和大小；3)比较置信值与阈值的大小判断是否正确检测到目标：若是，则返回1)；否则，利用视频的时空背景、目标外观模型和运动矢量，获得目标的遮挡信息；4)根据遮挡信息，驱动强化学习的动作获得遮挡目标的位置和大小；5)重复1)‑4)，直到检测出所有序列。
本发明提高了遥感视频中复杂多样的弱小目标检测率，可应用于对飞机、舰船或车辆的检测识别。
权利要求书2页 说明书7页 附图4页CN 112053385 A 2020.12.08C N 112053385A1.一种基于深度强化学习的遥感视频遮挡目标跟踪方法，包括如下：(1)将遥感视频序列一帧一帧的图像输入到深度强化学习网络进行特征提取，并微调网络以适应新的数据，获得强化学习中的动作和状态信息；(2)根据(1)中所提取的特征及状态信息，通过动作驱动方式获得运动矢量、置信值A及当前帧目标边界框所要移动的方向和距离，根据移动的方向和距离得到当前帧目标的位置和大小；(3)设定检测阈值T＝0.5，比较置信值A与阈值T的大小，判断当前帧是否正确检测到目标：如果A≥T，则判定当前帧已正确检测到目标，并将所获得的当前帧目标框位置信息作为下一帧的输入，返回(1)，直到检测出遥感视频中所有目标处于未遮挡的序列；如果A<T，则判定目标处于遮挡状态，执行(4)；(4)利用遥感视频数据中的时空背景和(2)中动作驱动所得的运动矢量，获得目标的平均移动方向、速度大小、方向旋转变化及加速度大小这四项遮挡信息；(5)根据(4)获得的遮挡信息，结合遥感视频序列中目标未遮挡时的状态信息，驱动强化学习的动作，获得目标边界框所要移动的方向和距离，根据移动的方向和距离得到遥感视频序列中被完全遮挡目标的位置和大小；(6)重复步骤(1)～(5)，直到检测出遥感视频中的所有序列，完成其跟踪过程。
遮挡情况下的多目标跟踪算法
收稿日期:2009 07 27;修回日期:2009 10 20 基金项目:广西科技厅资助项目(桂科能063006 5G 4);广西科学基金资助项目(桂科基0731020,0991022)作者简介:欧阳宁(1972 ),湖南宁远人,副教授,硕导,主要研究方向为图像处理、数据融合、智能信号处理等;游锦海(1985 ),江西吉安人,硕士研究生,主要研究方向为图像处理、自适应信号(you ji nha@i m ails .guet .cn);莫建文(1972 ),广西平南人,副教授,硕导,主要研究方向为图像处理、自适应信号处理等;张彤(1973 ),广西昭平人,讲师,主要研究方向为图像处理与识别等.遮挡情况下的多目标跟踪算法*欧阳宁a,游锦海a,莫建文a,张 彤b(桂林电子科技大学a .信息与通信学院;b .机电工程学院,广西桂林541004)摘 要:在视频监控系统中,由于背景的复杂变化,运动目标经常会出现部分或全部被遮挡的情况。
为了在遮挡条件下进行多目标跟踪,针对运动目标发生遮挡情况下的M ean Sh ift 跟踪问题进行了研究,提出一种新的抗遮挡算法。
利用卡尔曼滤波器来获得每帧M ean Sh ift 算法的起始位置,再利用M ea n Sh ift 算法得到目标跟踪位置,通过目标遮挡判定机制和目标搜索机制来解决遮挡问题。
实验表明,该算法较好地解决了运动目标的遮挡问题。
关键词:均值漂移;卡尔曼滤波器;目标遮挡;目标跟踪中图分类号:TP391 文献标志码:A 文章编号:1001 3695(2010)05 1984 03do:i 10.3969/.j i ssn .1001 3695.2010.05.110T rack i n g m u lti p le ob j ects i n occl usi onsOUYANG N i ng a ,YOU Ji n hai a ,M O Jian w en a ,ZHANG T ong b(a.S c h ool of Infor ma tion &Co mmun ic a ti on,b .S c hool of M ec ha t ronics E ng ineeri ng,Gu ilin University of E le c t ron i c Technol ogy,Gu ilin Guang xi 541004,Ch i na )Abstract :In t he vi deo surveillance syste m ,m ovi ng target often appears partial occl usion or comp l ete occl usi on due to the comp l exity of t he background .To track m ulti p l e ob j ects under the condition of occl usi on ,specific t o the track i ng of m ovi ng targets usi ngM ean Sh ift al gorit hm i n occl usion ,t h is paper presented a ne w m ethod w it h occl usion for ob j ect track i ng .A t firs,t found the starti ng positi on ofM ean Shiftw it h Kal m an filter i n every fra m e ,and then utilizedM ean Sh ift to track t he target posi ti on .Used t hem echan is m of occl usi on judgm ent and object search i ng to solve occl usi on .Experm i ental resu lts s how that the al gorith m is robust to solve occl usion prob l e m.Key words :M ean Sh if;t K al m an filter ;ob j ect occl usion ;ob j ect track i ng0 引言在计算机视觉研究领域里,视频序列多目标在运动中相互遮挡是视频跟踪研究中的难点问题。
关于遮挡处理地视频目标跟踪算法
实用标准文案
精彩文档关于遮挡处理的视频目标跟踪算法
目标的整体外观信息通过目标模板来描述,目标的几何信息则通过一组坐标变换参数来表述。
这组坐标变换参数对应于图像帧中的某一个区域,该区域的图像与目标模板之间的相似程度由某一相似度衡量函数确定。
定位目标的任务等效于如下最优化问题找到这样一组坐标变换参数,使得其所对应的图像区域与目标模板之间的相似度最大,即
(1)
其中,I n是第n帧图像, 是通过以为参数的坐标变换将模板T映射到图像帧坐标系后所对应的图像区域; 代表任何能够反映图像I和图像T之间相似
度的函数是在第n帧图像中最优的坐标变换参数,反映了目标在该帧图像中的几何信息。
在跟踪的一开始,通常在第一帧中划出一块图像区域作为要跟踪的目标可以是自动或手动的,并用该图像区域初始化模板。
模板匹配跟踪算法随后在每一帧中都通过(1)式确定该帧中目标所在的图像区域。
由于模板匹配跟踪算法充分利用了目标的整个外观信息,因而具有较高的目标定位鲁棒性。
遮挡分析与处理。
视频中遮挡情况下目标的跟踪-精选文档
视频中遮挡情况下目标的跟踪视频中目标在遮挡情况下的跟踪问题一直是机器视觉研究中的难点。
近年来，针对该问题的研究主要分为两类[1]：a)不对遮挡中的目标进行分割，而是将遮挡的目标作为一个目标进行跟踪，当目标遮挡消失后通过匹配重新辨别目标的身份[2~5]；b)利用视频目标和背景的先验知识，通过图像分割或模型匹配确定目标在遮挡情况下的状态[6~11]。
在对视频目标的建模方面，主要是利用目标的形状和颜色特征作为先验知识。
a)对目标的轮廓建模[11]。
这类方法只包含了目标的形状信息，适合图像质量较高的情况，在实际应用中噪声较大时往往很难准确地提取目标轮廓。
b)分区域近似目标前景的颜色分布。
一般利用几何形状近似目标外形[6,9,10]，根据目标的形状或颜色分布特点进行分段或分割；然后利用直方图、单高斯、多高斯或核密度估计的方法近似颜色的分布。
这类方法在一定程度上保持了颜色的空间分布信息，不足之处在于噪声较大或颜色分区不明显时分段或分割的准确性很难保证。
c)概率外观模型[7,8]。
该方法建立并实时更新目标颜色模型和与之相关的概率模型图像。
颜色模型保持了目标颜色的空间分布信息；概率模型描述了目标的形状信息。
本文利用目标的概率外观模型为先验知识，在Condensation[12]框架下实现遮挡情况下目标的跟踪。
算法分为像素层、区域层和目标层三部分，如图1所示。
文献[10]中采用椭圆分段模型描述目标的颜色分布，通过增加一个系统状态分量描述目标在遮挡中的前后关系，与Condensation结合实现遮挡情况下目标的跟踪。
与文献[10]相比本文有两点不同：a)通过MBB（minimum bounding box，目标前景区域矩形）重叠区域分析进行目标遮挡的检测；b)采用概率外观模型，在目标共面的条件下进行遮挡目标模型的合并，利用该模型计算系统观测模型似然度概率。
1遮挡的检测遮挡的发生和消失可以根据相邻两帧图像中目标的对应关系确定，即数据关联问题。
目标跟踪经典算法
目标跟踪经典算法目标跟踪经典算法是计算机视觉领域中常用的一类算法，能够将视频中的目标进行实时跟踪，为智能监控、自动驾驶等场景提供了重要的基础技术支持。
本文将介绍目标跟踪的相关概念，并简要介绍几种经典的目标跟踪算法及其优缺点。
一、目标跟踪目标跟踪是指利用计算机视觉技术实现对视频序列中的目标进行实时跟踪和定位的过程。
其主要流程是在第一帧图像中手动或自动选择目标区域，然后在后续帧中对目标进行快速而准确的跟踪。
目标跟踪具有广泛的应用前景，例如在视频监控、交通管理、机器人导航、自动驾驶等领域。
二、常见的目标跟踪算法1. 基于颜色模型的目标跟踪算法基于颜色模型的目标跟踪算法是一种简单而有效的方法。
它的基本思想是在第一帧中对目标区域的颜色模型进行建模，然后在后续帧中搜索最佳匹配。
这种算法的优点是实现简单，计算量小，但其适用范围有限，受光线、背景和目标颜色变化等因素的影响较大。
2. 基于模板匹配的目标跟踪算法基于模板匹配的目标跟踪算法是一种常见的跟踪方法。
它的主要思想是在第一帧中获取目标区域的模板，并在后续帧中进行匹配。
该算法的优点在于匹配精度高，但存在目标变形、遮挡等情况下匹配不准确的问题。
3. 基于特征点的目标跟踪算法基于特征点的目标跟踪算法利用稳定的特征点来表示目标的形状和运动状态。
该算法的主要思路是在第一帧中提取目标的稳定特征点，并利用特征匹配方法对其进行跟踪。
该算法的优点在于对目标形变和遮挡有较好的鲁棒性，但相对于其他算法计算量较大，速度较慢。
4. 基于深度学习的目标跟踪算法基于深度学习的目标跟踪算法是近年来发展较快的一种方法。
其主要思想是利用深度神经网络学习目标的表征，并进行实时目标跟踪。
该算法的优点在于准确度高、泛化能力强，但需要大量的数据作为模型训练集，且运行速度较慢。
三、结语目标跟踪经典算法具有多种优缺点，各算法适用的场景各不相同。
针对特定应用场景，应选择合适的算法进行目标跟踪。
随着人工智能技术的不断发展，目标跟踪的应用场景将会越来越广泛，对应的跟踪算法也将不断推陈出新，提高跟踪的精度和速度。
视频目标跟踪算法综述
视频目标跟踪算法综述视频目标跟踪算法综述随着计算机视觉和人工智能的快速发展，视频目标跟踪（Video Object Tracking）成为了一个受到广泛关注和应用的热门领域。
视频目标跟踪是指在一个视频序列中，对某个特定目标的运动进行连续不断地检测和跟踪。
它在许多领域中有着广泛的应用，包括视频监控、交通管理、人机交互和智能驾驶等。
视频目标跟踪算法要解决的主要问题是目标的形状、运动和尺度的变化。
它需要从视频序列中准确地检测出目标，并根据目标的特征和行为来进行跟踪。
这是一个复杂而具有挑战性的任务，因为视频中的目标可能会受到光照变化、背景干扰、遮挡和目标自身快速运动等多个因素的干扰。
目前，视频目标跟踪算法主要可以分为传统非学习型方法和深度学习方法两大类。
传统非学习型方法主要包括以下几种常用算法：1. 基于颜色直方图的目标跟踪算法这类算法主要根据目标和背景像素的颜色直方图相似性来进行目标跟踪。
它们能够有效地应对背景干扰，但对于目标形状的变化和目标遮挡则表现较差。
2. 基于特征点的目标跟踪算法这类算法主要通过提取目标图像中的特征点，并在后续帧中匹配这些特征点来进行目标跟踪。
它们能够应对目标的形状和尺度的变化，但对于目标运动快速和背景干扰较大的情况则表现较差。
3. 基于运动模型的目标跟踪算法这类算法主要利用目标的运动模型来进行跟踪。
常用的方法包括卡尔曼滤波和粒子滤波等。
它们能够应对目标的运动和尺度的变化，但对于目标形状的变化和目标遮挡则表现较差。
深度学习方法是近年来视频目标跟踪领域的主流方法，主要利用神经网络来提取目标的特征并进行跟踪。
常用的深度学习方法包括以下几种：1. 基于卷积神经网络的目标跟踪算法这类算法主要通过在卷积神经网络中训练目标的特征提取模型来进行跟踪。
它们能够从大量数据中学习到目标的特征，对于目标的形状和尺度的变化具有良好的适应性。
2. 基于循环神经网络的目标跟踪算法这类算法主要通过在循环神经网络中建模目标的时序信息来进行跟踪。
图像处理算法5_目标跟踪及遮挡处理算法
基于粒子滤波算法的目标跟踪及遮挡处理算法1.1引言对运动目标物的跟踪也是视觉监控系统中的基础算法之一。
目标跟踪的任务是通过对图像序列的处理，准确估计出感兴趣目标物在每个时刻的运动参数，包括位置、大小、速度、加速度以及运动轨迹等，为行为理解等更高层的任务打下基础。
本章首先概述目标跟踪算法的基本步骤和难点，并对现有算法作分类简介；然后对实现鲁棒跟踪所必需的工具——在线贝叶斯估计算法作详细介绍；在此基础上详细论述本文使用的跟踪方法，该方法将已有的多种先进算法有机结合，使计算量显著降低，鲁棒性增强；最后对提出的算法进行总结和分析。
1.2 目标跟踪算法概述目标跟踪算法主要由两个部分组成：（1）目标物表示；（2）运动状态估计。
下面对它们分别介绍。
1.2.1目标物表示目标物表示的核心在于特征的选择和提取，即用什么特征来描述和表示感兴趣目标物。
一个好的目标物表示方法应该能够将被跟踪的目标物和背景中的物体以及其它物体区别开来，这正是目标物表示的难点所在。
运动目标物所在的环境通常是很杂乱的，其中存在许多与目标物有相似特征的物体。
例如：房间内的窗帘、家具等往往与人的皮肤颜色相近；当监控视野中存在多个行人的时候，跟踪器容易将目标行人与其他行人相混淆。
下面介绍几种常用的特征。
1.2.1.1颜色特征颜色是人类辨识物体的重要特征，也是视觉跟踪中最常用的特征之一。
颜色特征通常是在一块区域中提取出来的，因此它具有对目标平面旋转、非刚性形变、远离或靠近镜头的尺度变化以及部分遮挡等情形较为鲁棒的优点。
另外，由于图像直接由一个个像素的颜色值所表示，因此颜色特征还具有容易提取、计算简单的优点。
最常用的颜色特征是颜色直方图。
Comaniciu等人提出了基于颜色直方图的跟踪算法[1][2]。
在他们的方法中，颜色直方图受到了核函数的空间加权。
这样区域内中心附近的像素对颜色直方图有更大的贡献，使跟踪更加精确，因为区域边缘的像素可能来自背景或其它物体，其可信度较低。
遮挡下的目标跟踪
Company Logo
Logo
分片跟踪
主要思想： 主要思想 将目标分片，建立目标分片表现模型（模板）。 在目标上一帧的位置周围遍历搜索，找到与目标模 板相似度最高的候选目标作为跟踪结果。
目标 分片
当前帧
候选目标位置 搜索窗口 上一帧目标位置
Company Logo
Logo
分片跟踪
多组实验结果： 多组实验结果： 1.可以有效的解决目标遮挡 2.在目标表现模型缓慢变化的情况下，实时更 新模板 3.在背景较为简单的ogo
Company Logo
Logo
分片跟踪
其中相似度的度量是通过各片的空间直方图匹配 来实现的。确定目标位置后，判断目标中各片的 有效性，我们仅利用有效片进行下一帧的跟踪。
被遮挡的区域 片基本丢失
Company Logo
Logo
模板更新 由上可见这种分片方法已经可以很好的解 决遮挡问题。 但是在跟踪过程中，目标的外观模型可能 发生变化（例如目标转身、尺寸变化等 等）。那么刚开始为目标建立的模板就不 能很好的表示目标，这将影响跟踪效果。
目标跟踪视频目标跟踪目标检测与跟踪运动目标跟踪opencv目标跟踪多目标跟踪目标跟踪算法雷达目标跟踪卡尔曼滤波目标跟踪目标跟踪数据集
Logo
分片跟踪
为什么引入分片跟踪： 为什么引入分片跟踪： 在目标跟踪领域，一个重要的难题就是目 标的遮挡问题，因为遮挡发生时目标可能部分 或全部不可见。 模拟人眼跟踪目标的方式，发生遮挡时， 人眼会关注目标的可见部分来继续跟踪。受这 一思想启发，我们将目标分成多个小片，目标 被遮挡时，利用“可见片”来跟踪。
Logo
分片跟踪
遮挡下的跟踪
遮挡情况下目标跟踪算法综述
第 ２卷㊀第 ５期 ２ ０ ０ ９年 １ ０月 ㊀
㊀㊀㊀㊀㊀
㊀中国光学与应用光学 ㊀ ㊀㊀ ㊀ Ｃ ｈ ｉ ｎ ｅ ｓ ｅＪ ｏ ｕ ｒ ｎ ａ ｌ ｏ ｆ Ｏ ｐ ｔ ｉ ｃ ｓ ａ ｎ ｄＡ ｐ ｐ ｌ ｉ ｅ ｄＯ ｐ ｔ ｉ ｃ ｓ
Ｖ ｏ ｌ ． ２ ㊀Ｎ ｏ ． ５ ㊀ Ｏ ｃ ｔ ． ２ ０ ０ ９
第 ２卷㊀
也可以是非重叠的； 子块的大小可以是固定的， 也 可以是自适应的。 ２ ． ３ ㊀基于轨迹预测的遮挡目标跟踪算法 轨迹预测是指利用目标的运动信息， 如位置、 速度、 加速度等来预测目标在下一帧的位置。当 目标被遮挡时， 目标丢失大部分特征信息， 此时它 最可靠的信息是目标的运动信息， 因为目标运动 存在惯性， 它的运动速度和加速度在短时间内一 般不会发生很大变化。该算法假定目标运动遵从 一定的规律， 从而可以推测出目标在某一时刻的 位置。线性预测和最小二乘拟合等算法都可以用 来预测目标位置。卡尔曼滤波算法 是遮挡情况下的轨迹预测
Ｒ ｅ ｖ ｉ ｅ ｗｏ ｆ ｔ ｒ ａ ｃ ｋ ｉ ｎ ｇａ ｌ ｇ ｏ ｒ ｉ ｔ ｈ ｍｓ ｕ ｎ ｄ ｅ ｒｏ ｃ ｃ ｌ ｕ ｓ ｉ ｏ ｎ ｓ
１ ， ２ １ ３ Ｘ Ｕ ＥＣ ｈ ｅ ｎ ，Ｚ Ｈ ＵＭ ｉ ｎ ｇ ， Ｌ Ｉ ＵＣ ｈ ｕ ｎ ｘ ｉ ａ ｎ ｇ
（ １ ． Ｃ ｈ ａ ｎ ｇ ｃ ｈ ｕ ｎＩ ｎ ｓ ｔ ｉ ｔ ｕ ｔ ｅ ｏ ｆ Ｏ ｐ ｔ ｉ ｃ ｓ ， Ｆ ｉ ｎ ｅ Ｍ ｅ ｃ ｈ ａ ｎ ｉ ｃ ｓ ａ ｎ ｄＰ ｈ ｙ ｓ ｉ ｃ ｓ ， Ｃ ｈ ｉ ｎ ｅ ｓ ｅ Ａ ｃ ａ ｄ ｅ ｍ ｙ ｏ ｆ Ｓ ｃ ｉ ｅ ｎ ｃ ｅ ｓ ， Ｃ ｈ ａ ｎ ｇ ｃ ｈ ｕ ｎ１ ３ ０ ０ ３ ３ ， Ｃ ｈ ｉ ｎ ａ ； ２ ． Ｇ ｒ ａ ｄ ｕ ａ ｔ ｅ Ｕ ｎ ｉ ｖ ｅ ｒ ｓ ｉ ｔ ｙｏ ｆ Ｃ ｈ ｉ ｎ ｅ ｓ ｅ Ａ ｃ ａ ｄ ｅ ｍ ｙｏ ｆ Ｓ ｃ ｉ ｅ ｎ ｃ ｅ ｓ ， Ｂ ｅ ｉ ｊ ｉ ｎ ｇ１ ０ ０ ０ ３ ９ ， Ｃ ｈ ｉ ｎ ａ ； ３ ． Ｓ ｃ ｈ ｏ ｏ ｌ ｏ ｆ Ｅ ｌ ｅ ｃ ｔ ｒ ｏ ｎ ｉ ｃ ａ ｎ ｄＩ ｎ ｆ ｏ ｒ ｍ ａ ｔ ｉ ｏ ｎＥ ｎ ｇ ｉ ｎ ｅ ｅ ｒ ｉ ｎ ｇ ， Ｃ ｈ ａ ｎ ｇ ｃ ｈ ｕ ｎＵ ｎ ｉ ｖ ｅ ｒ ｓ ｉ ｔ ｙｏ ｆ ， Ｃ ｈ ａ ｎ ｇ ｃ ｈ ｕ ｎ１ ３ ０ ０ ２ ２ ， Ｃ ｈ ｉ ｎ ａ ） Ｓ ｃ ｉ ｅ ｎ ｃ ｅ ａ ｎ ｄＴ ｅ ｃ ｈ ｎ ｏ ｌ ｏ ｇ ｙ Ａ ｂ ｓ ｔ ｒ ａ ｃ ｔ ：Ｔ ｈ ｅｏ ｃ ｃ ｌ ｕ ｓ ｉ ｏ ｎ ｓ ｏ ｃ ｃ ｕ ｒ ｒ ｅ ｄｉ ｎｔ ｈ ｅｔ ａ ｒ ｇ ｅ ｔ ｔ ｒ ａ ｃ ｋ ｉ ｎ ｇｉ ｓ ｏ ｎ ｅｏ ｆ ｔ ｈ ｅｄ ｉ ｆ ｆ ｉ ｃ ｕ ｌ ｔ ｉ ｅ ｓ ｉ ｎｉ ｍ ａ ｇ ｅｐ ｒ ｏ ｃ ｅ ｓ ｓ ｉ ｎ ｇ ，ｗ ｈ ｉ ｃ ｈ ｈ ａ ｓｂ ｅ ｃ ｏ ｍ ｅａｃ ｒ ｕ ｃ ｉ ａ ｌ ｆ ａ ｃ ｔ ｏ ｒ ｏ ｆ ｔ ｈ ｅｒ ｏ ｂ ｕ ｓ ｔ ｎ ｅ ｓ ｓｏ ｆ ｔ ｒ ａ ｃ ｋ ｉ ｎ ｇａ ｌ ｇ ｏ ｒ ｉ ｔ ｈ ｍｔ ｏｄ ｅ ａ ｌ ｗ ｉ ｔ ｈｔ ｈ ｅｏ ｃ ｃ ｌ ａ ｓ ｉ ｏ ｎ ｓｅ ｆ ｆ ｅ ｃ ｔ ｉ ｖ ｅ ｌ ｙｉ ｎ ｔ ｒ ａ ｃ ｋ ｉ ｎ ｇ ，ｅ ｓ ｐ ｅ ｃ ａ ｌ ｌ ｙｓ ｅ ｖ ｅ ｒ ｅ ｏ ｃ ｃ ｌ ｕ ｓ ｉ ｏ ｎａ ｎ ｄｔ ｏ ｔ ａ ｌ ｏ ｃ ｃ ｌ ｕ ｓ ｉ ｏ ｎ ．Ｔ ｈ ｉ ｓ ｐ ａ ｐ ｅ ｒ ｓ ｕ ｍ ｍ ａ ｒ ｉ ｚ ｅ ｓ ａ ｎ ｄｃ ｌ ａ ｓ ｓ ｉ ｆ ｉ ｅ ｓ ｔ ｈ ｅ ｍ ａ ｉ ｎｔ ｒ ａ ｃ ｋ ｉ ｎ ｇａ ｌ ｇ ｏ ｒ ｉ ｔ ｈ ｍ ｓ ｕ ｎ ｄ ｅ ｒ ｏ ｃ ｃ ｌ ｕ ｓ ｉ ｏ ｎ ｓ ｃ ｏ ｍ ｍ ｏ ｎ ｌ ｙｕ ｓ ｅ ｄａ ｔ ｈ ｏ ｍ ｅａ ｎ ｄａ ｂ ｒ ｏ ａ ｄ ，ａ ｎ ｄｉ ｎ ｔ ｒ ｏ ｄ ｕ ｃ ｅ ｓ ｓ ｅ ｖ ｅ ｒ ａ ｌ ｋ ｉ ｎ ｄ ｓ ｏ ｆ ｐ ｏ ｐ ｕ ｌ ａ ｒ ｔ ｒ ａ ｃ ｋ ｉ ｎ ｇａ ｌ ｇ ｏ ｒ ｉ ｔ ｈ ｍ ｓ ｕ ｎ ｄ ｅ ｒ ｏ ｃ ｃ ｌ ｕ ｓ ｉ ｏ ｎ ｓ ｂ ａ ｓ ｅ ｄｏ ｎｃ ｅ ｎ ｔ ｒ ａ ｌ ｗ ｅ ｉ ｇ ｈ ｔ ｓ ，ｐ ａ ｒ ｔ ｍ ａ ｔ ｃ ｈ ｉ ｎ ｇ ，ｔ ｒ ａ ｃ ｋｐ ｒ ｅ ｄ ｉ ｃ ｔ ｉ ｏ ｎ ，ａ ｎ ｄＢ ａ ｙ ｅ ｓ ｉ ａ ｎ ｔ ｈ ｅ ｏ ｒ ｙ ，ｒ ｅ ｓ ｐ ｅ ｃ ｔ ｉ ｖ ｅ ｌ ｙ ．Ｅ ｓ ｐ ｅ ｃ ｉ ａ ｌ ｌ ｙ ，ｉ ｔ ｄ ｅ ｓ ｃ ｒ ｉ ｂ ｅ ｓ ａｆ ｕ ｓ ｉ ｏ ｎａ ｌ ｇ ｏ ｒ ｉ ｔ ｈ ｍｃ ｏ ｍ ｂ ｉ ｎ ｅ ｄｄ ｉ ｆ ｆ ｅ ｒ ｅ ｎ ｔ ａ ｄ ｖ ａ ｎ ｔ ａ ｇ ｅ ｓ ｏ ｆ ｓ ｏ ｍ ｅａ ｌ ｇ ｏ ，ａ ｎ ｄａ ｎ ａ ｌ ｙ ｚ ｅ ｓ ｔ ｈ ｅ ａ ｄ ｖ ａ ｎ ｒ ｉ ｔ ｈ ｍ ｓ ．Ｉ ｔ ａ ｌ ｓ ｏｇ ｉ ｖ ｅ ｓ ｔ ｈ ｅ ｂ ａ ｓ ｉ ｃ ｉ ｄ ｅ ａ ｓ ｏ ｆ ｔ ｈ ｅ ｓ ｅ ａ ｌ ｇ ｏ ｒ ｉ ｔ ｈ ｍ ｓ ａ ｎ ｄｔ ｈ ｅ ｉ ｒ ｐ ｒ ｏ ｃ ｅ ｓ ｓ ｉ ｎ ｇ ａ ｂ ｉ ｌ ｉ ｔ ｉ ｅ ｓ ｔ ａ ｇ ｅ ｓ ａ ｎ ｄｄ ｉ ｓ ａ ｄ ｖ ａ ｎ ｔ ａ ｇ ｅ ｓ ｏ ｆ ｔ ｈ ｅ ｓ ｅａ ｌ ｇ ｏ ｒ ｉ ｔ ｈ ｍ ｓ ．Ｆ ｉ ｎ ａ ｌ ｌ ｙ ，ｉ ｔ ｆ ｏ ｃ ｕ ｓ ｏ ｎｔ ｈ ｅｐ ｒ ｏ ｂ ｌ ｅ ｍ ｓ ａ ｎ ｄｐ ｏ ｉ ｎ ｔ ｓ ｏ ｕ ｔ ｔ ｈ ａ ｔ ｔ ｈ ｅｍ ｕ ｌ ｔ ｉ
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
关于遮挡处理的视频目标跟踪算法
目标的整体外观信息通过目标模板来描述,目标的几何信息则通过一组坐标变换参数来表述。
这组坐标变换参数对应于图像帧中的某一个区域,该区域的图像与目标模板之间的相似程度
由某一相似度衡量函数确定。
定位目标的任务等效于如下最优化问题找到这样一组坐标变换参数,使得其所对应的图像区域与目标模板之间的相似度最大,即
(1)
其中,I n是第n帧图像,是通过以为参数的坐标变换将模板T映射到图像帧坐标系后所对应的图像区域;代表任何能够反映图像I和图像T之间相似度的函数是在第n帧图像中最优的坐标变换参数,反映了目标在该帧图像中的几何信息。
在跟踪的一开始,通常在第一帧中划出一块图像区域作为要跟踪的目标可以是自动或手动的,并用该图像区域初始化模板。
模板匹配跟踪算法随后在每一帧中都通过(1)式确定该帧中目
标所在的图像区域。
由于模板匹配跟踪算法充分利用了目标的整个外观信息,因而具有较高
的目标定位鲁棒性。
遮挡分析与处理。