Meanshift和Camshift的比较及在目标追踪中的应用

直观描述meanshift算法
兴趣区域 质心
目标：寻找密度最大区域 Distribution of identical billiard balls
Mean Shifቤተ መጻሕፍቲ ባይዱ 优点 &缺点
优点 : 缺点:
Mean Shift作为一种高效 的模式匹配算法，由于不 需要进行全局搜索，而且 搜索精度高，已经广泛地 应用在各种模式识别、实 时可视跟踪等领域。
缺乏必要的模型更新方 法；整个跟踪过程中跟 踪窗口的大小保持不变， 当目标存在尺度变化的 时候会导致尺度定位不 准确。
CamShift 算法理论
Camshift算法
• Bradski根据Mean Shift算法的不足，提出了 Camshift算法。CamShift算法，即Continuously Adaptive Mean-Shift算法。 • 基本思想:就是对视频图像的多帧进行MeanShift 运算，将上一帧结果作为下一帧的初始值，迭代 下去。 • 该算法采用不变矩对目标的尺寸进行估算，实现 了连续自适应地调整跟踪窗口的大小和位置，并 将其应用在对连续彩色图像序列中的运动目标的 快速跟踪。
CamShift用于目标追踪
将MEANSHIFT算法扩展到连续 图像序列，就是CAMSHIFT算 法
Camshift用于目标追踪
• CamShift算法，基本思想就是对视频图像的多帧进行MeanShift运算 ，将上一帧结果作为下一帧的初始值，迭代下去。所以只展示 camshift用于追踪。 • CamShift算法，是一种运动跟踪算法。它主要通过视频图像中运动物 体的颜色信息来达到跟踪的目的。 • • • • Camshift算法用于追踪，可以简单分为三步： （1）直方图以及直方图的反投影的计算。 （2）Meanshift算法。 （3）Camshift算法。
MeanShift 算法理论
基本meanshift
• k表示在这n个样本点 中, 有k个点落入 区域中。
• 给定d维空间 中的n个样本 点 ,i=1,…,n,在 点的Mean Shift向量的基本形式定义 为上式子。 • 其中, Sh是一个半径为h的 高维球区域,满足第二个公 式的y点的集合。 • X是选定中心点
简单点说，Mean Shift是针对单张图片 寻找最优迭代结果，而Camshift则是针 对视频序列来处理，并对该序列中的每 一帧图片都调用Mean Shift来寻找最优 迭代结果。正是由于Camshift针对一个 视频序列进行处理，从而保证其可以不 断调整窗口的大小，如此一来，当目标 的大小发生变化的时候，该算法就可以 自适应地调整目标区域继续跟踪。
• 我们可以看到是样本点相对于选定中心点的偏移 向量 • (1)式定义的Mean Shift向量 就是对落入区域 中的 k个样本点相对于选定的中心点点 的偏移向量求 和然后再平均 • 从直观上看,如果样本点从一个概率密度函数 中采 样得到,由于非零的概率密度梯度指向概率密度增 加最大的方向,因此从平均上来说, 区域内的样本 点更多的落在沿着概率密度梯度的方向.因此,对应 的, Mean Shift向量应该指向概率密度梯度的方向
Camshift追踪步骤一：直方图及其反投影
• （1）直方图：直方图是一个简单的表，它给出了一幅图像或一组图 像中拥有给定数值的像素数量。因此，灰度图像的直方图有256个条 目（或称为容器）。0号容器给出值为0的像素数目，1号容器给出值 为1的像素个数，以此类推。 • （2）直方图反投影：把目标概率分布映射到观测图像的简单方法。 其作用是，替换一个输入图像中每一个像素值，使其变成感兴趣区域 （ROI）的直方图中对应的概率。 • （3）建立颜色概率模型：因为meanshift主要依靠颜色特性追踪的， 最容易受到光照等的影响。因此需要把样本中的每个像素从RGB空间 转换到HSV空间。统计其H分量的直方图，并对该直方图进行归一化 处理，就可以得到肤色在H空间的概率分布，该概率分布就是所需的 跟踪模式。
MeanShift和CamShift
MeanShift和CamShif 简介
MeanShift和CamShif 简介
Meanshift • 均值漂移 • Mean Shift算法,一般是指 一个迭代的步骤,即先算出 当前点的偏移均值,移动该 点到其偏移均值,然后以此 为新的起始点,继续移动, 直到满足一定的条件结束 。 Camshift • Continuously Adaptive Mean-Shift算法（连续的 自适应的meanshift算法） • CamShift算法，基本思想 就是对视频图像的多帧进 行MeanShift运算，将上一 帧结果作为下一帧的初始 值，迭代下去。
• 处理步骤： • (1)RGB颜色空间对光照亮度变化较为敏感，为了减少此变化对跟踪 效果的影响，首先将图像从RGB空间转换到HSV空间。 • (2)然后对其中的H分量作直方图，在直方图中代表了不同H分量值出 现的概率或者像素个数，就是说可以查找出H分量大小为h的概率或者 像素个数，即得到了颜色概率查找表。（H色调） • (3)将图像中每个像素的值用其颜色出现的概率对替换，就得到了颜色 概率分布图。这个过程就叫反向投影，颜色概率分布图是一个灰度图 像。
Camshift追踪步骤二：运行meanshift算法 • 算法过程为：
(1)在颜色概率分布图中选取搜索窗W (2)计算零阶距： 计算一阶距： 计算搜索窗的质心： (3)调整搜索窗大小：宽度为；长度为1.2s； (4)移动搜索窗的中心到质心，如果移动距离大于预设的固定 阈值，则重复2)3)4)，直到搜索窗的中心与质心间的移动 距离小于预设的固定阈值，或者循环运算的次数达到某一 最大值，停止计算。
Camshift追踪步骤三：运行Camshift算法
• 将meanshift算法扩展到连续图像序列，就是camshift算法 。它将视频的所有帧做meanshift运算，并将上一帧的结 果，即搜索窗的大小和中心，作为下一帧meanshift算法 搜索窗的初始值。如此迭代下去，就可以实现对目标的跟 踪。算法过程为： • (1).初始化搜索窗 • (2).计算搜索窗的颜色概率分布（反向投影） • (3).运行meanshift算法，获得搜索窗新的大小和位置。 • (4).在下一帧视频图像中用(3)中的值重新初始化搜索窗的 大小和位置，再跳转到(2)继续进行。
Meanshift示意图
直观描述meanshift算法
兴趣区域 质心
Mean Shift 向量
目标：寻找密度最大区域 Distribution of identical billiard balls
直观描述meanshift算法
兴趣区域 质心
Mean Shift 向量
目标：寻找密度最大区域 Distribution of identical billiard balls
CamShift 优点 &缺点
优点 : camshift能有效解决目标 变形和遮挡的问题，对系 统资源要求不高，时间复 杂度低，在简单背景下能 够取得良好的跟踪效果。 缺点:
当背景较为复杂，或 者有许多与目标颜色相 似像素干扰的情况下， 会导致跟踪失败。因为 它单纯的考虑颜色直方 图，忽略了目标的空间 分布特性，所以这种情 况下需加入对跟踪目标 的预测算法。
直观描述meanshift算法
兴趣区域 质心
Mean Shift 向量
目标：寻找密度最大区域 Distribution of identical billiard balls
直观描述meanshift算法
兴趣区域 质心
Mean Shift 向量
目标：寻找密度最大区域 Distribution of identical billiard balls