目标跟踪meanshift
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
f y f p y, q ?
Bhattacharyya 系数
q q1 , , qm
p y p1 y, , pm y
q
1
y
1
p y
f y cosy
p yT q p y q
m
u 1
• k表示在这n个样本点 中,有k个点落入Sh 区域中.
Mean Shift示意图
直观描述
感兴趣区域 质心
目的：找出最密集的区域 完全相同的桌球分布
Mean Shift 矢量
直观描述
感兴趣区域
质心
目的：找出最密集的区域 完全相同的桌球分布
Mean Shift 矢量
直观描述
感兴趣区域 质心
Objective : Find the densest region Distribution of identical billiard balls
数据最密集的地方，对应于概率密度最大的地方。我们可 以对概率密度求梯度，梯度的方向就是概率密度增加最大 的方向，从而也就是数据最密集的方向。
令
,假设除了有限个点，轮廓函数 的梯度对所
有
均存在 。将 作为轮廓函数，核函数 为：
fh,K
x
2ck ,d nhd 2
n i 1
目标跟踪——meanshift
Meanshift背景
Mean Shift 这个概念最早是由Fukunaga 于1975 年在一篇关于概率密 度梯度函数的估计中提出来的,其最初含义正如其名,就是偏移的均 值向量,在这里Mean Shift 是一个名词,它指代的是一个向量,但随着 Mean Shift 理论的发展,Mean Shift 的含义也发生了变化,如果我们说 Mean Shift 算法,一般是指一个迭代的步骤,即先算出当前点的偏移 均值,移动该点到其偏移均值,然后以此为新的起始点,继续移动,直到 满足一定的条件结束.
总得作用是判断目标区域中象素的值是否属于
第u个特征值。b(xi)是灰度值索引函数。属于该特征则值为1，
否则为0。
C是一个标准化的常量系数，使得
于是我们得到了基于图像灰度特征的颜色直方图。
候选模型的描述
运动目标在第二帧及以后的每帧中可能包含目标的区域称为候
选区域，其中心坐标为y，也是核函数的中心坐标。该区域中的
表示该空间中的
在计算机视觉中，最常用的是放射状对称核函数。
是放射状核函数 是 的轮廓函数 标准化常量 是个正数，保证 H为带宽矩阵。
积分为1
在实际中常采用H为单位矩阵的比例形式，即
KH
x
H
1 2
1 KH 2x
若再考虑到 这个表达式就是基于核函数 的概率密度函数的估计
怎样找到数据集合中数据最密集的地方呢？
目标区域的中心为 ，假设其中有n个象素用 特征值的个数为m个 ,则目标模型的特征值 度估计为：
表示， 的概率密
q qu u1..m
m
qu 1
u 1
为核函数的轮廓函数，由于遮挡或者背景的影响，目 标模型中心附近的象素比外物象素更可靠， 对中心的象素 给一个大的权值，而远离中心的象素一个小的权值
目标定位
为使 最大，将当前帧的目标中心先定位为前一帧中目标中的位 置 ，从这一点开始寻找最优匹配的目标，其中心为y。先计算目 标候选模型 ，对 在 处进行泰勒级数展开， Bhattachcyarya系数可近似为：
其中：
只要是落入 S的采样点,无论其离X 远近,对最终的 计算的贡献是一样的,然而我们知道,一般的说来, 离X 越近的采样点对估计 X周围的统计特性越有 效,因此我们引进核函数的概念,在计算Mean shift向量时可以考虑距离的影响;同时我们也可以 认为在这所有的样本点 中,重要性并不一样,因此 我们对每个样本都引入一个权重系数.
象素用
表示。对候选区பைடு நூலகம்的描述我们成为目标候
选模型，候选模型的特征值
的概率密度为：
p y pu y u1..m
m
pu 1
u 1
其中
是标准化常量
相似性函数的比较
模板区域: 候选区域: 相似性函数:
q q1, , qm
p y p1 y, , pm y
在Mean Shift中,有两类核函数经常用到,他们分别 是,单位均匀核函数:
F
(
x)
1
if
x 1
0 if x 1
单位高斯核函数:
N(x) e x 2
多维空间下的meanshift向量密度估计： 在d维欧式空间X中，x表示该空间中的一个点， 核函数, 空间中点x的概率密度估计值为:
2
x
基于核函数G(x)的 概率密度估计
Mean shift向量
Mean shift向量的物理意义的什么呢？
为了更好地理解这个式子的物理意义，假设上式中g(x)=1 平均的偏移量会指向样本点最密的方向，也 就是概率密度函数梯度方向
均值漂移在目标跟踪中应用
1：目标模型叙述 2：候选目标叙述 3: 相似型函数比较 4：目标定位 5：整个算法流程
直观描述
感兴趣区域 质心
目的：找出最密集的区域 完全相同的桌球分布
扩展的Mean Shift
• 核函数 • Mean Shift概率密度估计
为什么要引入核函数
1.克服了直方图估计对高维数据的失效性。 2.能够比较好的抑制噪声的影响 3.增强数据的有效性
核函数说明
对在d维欧式空间中，x表示该空间中的一个点，用一列
xi x g
x xi h
2
2ck ,d h2cg ,d
cg ,d nhd
n i1 g
x xi h
2
n i1 xi g
n i1 g
x xi h
x xi h
2
{p (y )} ; u 0 u=1，2…..m ②计算候选目标与目标的相似度：
③计算权值{w }i i=1，2…..m ④利用Mean-Shift算法，计算目标新位置
谢谢大家！
基本Mean Shift
• 给定d维空间Rd中的n个样本点 ,i=1,…,n,在 点的Mean Shift向量的基
本形式定义为:
Mh x
1 k
xi
xi Sh
x
• 其中, Sh是一个半径为h的高维球区域,满足以下关系的y 点的集合,
Sh x y : y xT y x h2
向量表示. X的模 x 2 xT x 。K (x)表示该空间的核函数，
其定义为：
K (x)= k（||X||）
(1)k 是非负的.
(2) k是非增的,即 如果 那么
(3)
k是分段连续的,并且
0 k(r)dr
• 常见的核函数
以上是均匀核、依潘涅契科夫核，双权核、高斯核、 双指数核、双依潘涅契科夫核。
Mean Shift 矢量
直观描述
感兴趣区域 质心
目的：找出最密集的区域 完全相同的桌球分布
Mean Shift
矢量
直观描述
感兴趣区域
质心
目的：找出最密集的区域 完全相同的桌球分布
Mean Shift
矢量
直观描述
感兴趣区域 质心
目的：找出最密集的区域 完全相同的桌球分布
Mean Shift
矢量
Meanshift背景
• 然而在以后的很长一段时间内Mean Shift 并没有引起人们的注意, 直到20 年以后,也就是1995 年,另外一篇关于Mean Shift 的重要文 献才发表.在这篇重要的文献中,Yizong Cheng对基本的Mean Shift 算法在以下两个方面做了推广,首先Yizong Cheng 定义了一族核函 数,使得随着样本与被偏移点的距离不同,其偏移量对均值偏移向 量的贡献也不同,其次YizongCheng 还设定了一个权重系数,使得不 同的样本点重要性不一样,这大大扩大了Mean Shift 的适用范围.另 外Yizong Cheng 指出了Mean Shift 可能应用的领域,并给出了具体 的例子.
类似于核函数密度估计，不过多了一个权值wi。使 式最大， 就是要求 式最大，可以计算 的Mean Shift向量，这样 我们就可以得到候选区域中心 移向真实目标区域y的向量:
=
其中 值得注意的是，一般在一帧中找到目标的位置，需要Mean Shift算法从开始若干次迭代才能得到。
• 整个算法流程 ①在当前帧以y0为起点，计算候选目标的特征
目标模型的描述
在起始帧，通过鼠标确定一个包含所有目标特征的椭圆， 称为被跟踪目标的目标区域，这个目标区域也是核函数作 用的区域，区域的大小等于核函数的带宽。
对目标区域进行描述，常用的方法是按照直方图的方式 将图像像素的值域等分成k个区间，每个区间按照值域的大 小对应一个特征值。然后求出图像的像素值取每个特征值 的概率。
pu y qu
相似性函数描述目标模型和候选模型之间的相似程度，在理想 情况下两个模型的概率分布是完全一样的。 我们使用Bhattacharyya系数作为相似性函数
其值在0到1之间。 的值越大，表示两个模型越相似，在 当前帧中不同的候选区域计算得到的候选模型，使得 最 大候选区域即是在本帧中目标的位置。
Bhattacharyya 系数
q q1 , , qm
p y p1 y, , pm y
q
1
y
1
p y
f y cosy
p yT q p y q
m
u 1
• k表示在这n个样本点 中,有k个点落入Sh 区域中.
Mean Shift示意图
直观描述
感兴趣区域 质心
目的：找出最密集的区域 完全相同的桌球分布
Mean Shift 矢量
直观描述
感兴趣区域
质心
目的：找出最密集的区域 完全相同的桌球分布
Mean Shift 矢量
直观描述
感兴趣区域 质心
Objective : Find the densest region Distribution of identical billiard balls
数据最密集的地方，对应于概率密度最大的地方。我们可 以对概率密度求梯度，梯度的方向就是概率密度增加最大 的方向，从而也就是数据最密集的方向。
令
,假设除了有限个点，轮廓函数 的梯度对所
有
均存在 。将 作为轮廓函数，核函数 为：
fh,K
x
2ck ,d nhd 2
n i 1
目标跟踪——meanshift
Meanshift背景
Mean Shift 这个概念最早是由Fukunaga 于1975 年在一篇关于概率密 度梯度函数的估计中提出来的,其最初含义正如其名,就是偏移的均 值向量,在这里Mean Shift 是一个名词,它指代的是一个向量,但随着 Mean Shift 理论的发展,Mean Shift 的含义也发生了变化,如果我们说 Mean Shift 算法,一般是指一个迭代的步骤,即先算出当前点的偏移 均值,移动该点到其偏移均值,然后以此为新的起始点,继续移动,直到 满足一定的条件结束.
总得作用是判断目标区域中象素的值是否属于
第u个特征值。b(xi)是灰度值索引函数。属于该特征则值为1，
否则为0。
C是一个标准化的常量系数，使得
于是我们得到了基于图像灰度特征的颜色直方图。
候选模型的描述
运动目标在第二帧及以后的每帧中可能包含目标的区域称为候
选区域，其中心坐标为y，也是核函数的中心坐标。该区域中的
表示该空间中的
在计算机视觉中，最常用的是放射状对称核函数。
是放射状核函数 是 的轮廓函数 标准化常量 是个正数，保证 H为带宽矩阵。
积分为1
在实际中常采用H为单位矩阵的比例形式，即
KH
x
H
1 2
1 KH 2x
若再考虑到 这个表达式就是基于核函数 的概率密度函数的估计
怎样找到数据集合中数据最密集的地方呢？
目标区域的中心为 ，假设其中有n个象素用 特征值的个数为m个 ,则目标模型的特征值 度估计为：
表示， 的概率密
q qu u1..m
m
qu 1
u 1
为核函数的轮廓函数，由于遮挡或者背景的影响，目 标模型中心附近的象素比外物象素更可靠， 对中心的象素 给一个大的权值，而远离中心的象素一个小的权值
目标定位
为使 最大，将当前帧的目标中心先定位为前一帧中目标中的位 置 ，从这一点开始寻找最优匹配的目标，其中心为y。先计算目 标候选模型 ，对 在 处进行泰勒级数展开， Bhattachcyarya系数可近似为：
其中：
只要是落入 S的采样点,无论其离X 远近,对最终的 计算的贡献是一样的,然而我们知道,一般的说来, 离X 越近的采样点对估计 X周围的统计特性越有 效,因此我们引进核函数的概念,在计算Mean shift向量时可以考虑距离的影响;同时我们也可以 认为在这所有的样本点 中,重要性并不一样,因此 我们对每个样本都引入一个权重系数.
象素用
表示。对候选区பைடு நூலகம்的描述我们成为目标候
选模型，候选模型的特征值
的概率密度为：
p y pu y u1..m
m
pu 1
u 1
其中
是标准化常量
相似性函数的比较
模板区域: 候选区域: 相似性函数:
q q1, , qm
p y p1 y, , pm y
在Mean Shift中,有两类核函数经常用到,他们分别 是,单位均匀核函数:
F
(
x)
1
if
x 1
0 if x 1
单位高斯核函数:
N(x) e x 2
多维空间下的meanshift向量密度估计： 在d维欧式空间X中，x表示该空间中的一个点， 核函数, 空间中点x的概率密度估计值为:
2
x
基于核函数G(x)的 概率密度估计
Mean shift向量
Mean shift向量的物理意义的什么呢？
为了更好地理解这个式子的物理意义，假设上式中g(x)=1 平均的偏移量会指向样本点最密的方向，也 就是概率密度函数梯度方向
均值漂移在目标跟踪中应用
1：目标模型叙述 2：候选目标叙述 3: 相似型函数比较 4：目标定位 5：整个算法流程
直观描述
感兴趣区域 质心
目的：找出最密集的区域 完全相同的桌球分布
扩展的Mean Shift
• 核函数 • Mean Shift概率密度估计
为什么要引入核函数
1.克服了直方图估计对高维数据的失效性。 2.能够比较好的抑制噪声的影响 3.增强数据的有效性
核函数说明
对在d维欧式空间中，x表示该空间中的一个点，用一列
xi x g
x xi h
2
2ck ,d h2cg ,d
cg ,d nhd
n i1 g
x xi h
2
n i1 xi g
n i1 g
x xi h
x xi h
2
{p (y )} ; u 0 u=1，2…..m ②计算候选目标与目标的相似度：
③计算权值{w }i i=1，2…..m ④利用Mean-Shift算法，计算目标新位置
谢谢大家！
基本Mean Shift
• 给定d维空间Rd中的n个样本点 ,i=1,…,n,在 点的Mean Shift向量的基
本形式定义为:
Mh x
1 k
xi
xi Sh
x
• 其中, Sh是一个半径为h的高维球区域,满足以下关系的y 点的集合,
Sh x y : y xT y x h2
向量表示. X的模 x 2 xT x 。K (x)表示该空间的核函数，
其定义为：
K (x)= k（||X||）
(1)k 是非负的.
(2) k是非增的,即 如果 那么
(3)
k是分段连续的,并且
0 k(r)dr
• 常见的核函数
以上是均匀核、依潘涅契科夫核，双权核、高斯核、 双指数核、双依潘涅契科夫核。
Mean Shift 矢量
直观描述
感兴趣区域 质心
目的：找出最密集的区域 完全相同的桌球分布
Mean Shift
矢量
直观描述
感兴趣区域
质心
目的：找出最密集的区域 完全相同的桌球分布
Mean Shift
矢量
直观描述
感兴趣区域 质心
目的：找出最密集的区域 完全相同的桌球分布
Mean Shift
矢量
Meanshift背景
• 然而在以后的很长一段时间内Mean Shift 并没有引起人们的注意, 直到20 年以后,也就是1995 年,另外一篇关于Mean Shift 的重要文 献才发表.在这篇重要的文献中,Yizong Cheng对基本的Mean Shift 算法在以下两个方面做了推广,首先Yizong Cheng 定义了一族核函 数,使得随着样本与被偏移点的距离不同,其偏移量对均值偏移向 量的贡献也不同,其次YizongCheng 还设定了一个权重系数,使得不 同的样本点重要性不一样,这大大扩大了Mean Shift 的适用范围.另 外Yizong Cheng 指出了Mean Shift 可能应用的领域,并给出了具体 的例子.
类似于核函数密度估计，不过多了一个权值wi。使 式最大， 就是要求 式最大，可以计算 的Mean Shift向量，这样 我们就可以得到候选区域中心 移向真实目标区域y的向量:
=
其中 值得注意的是，一般在一帧中找到目标的位置，需要Mean Shift算法从开始若干次迭代才能得到。
• 整个算法流程 ①在当前帧以y0为起点，计算候选目标的特征
目标模型的描述
在起始帧，通过鼠标确定一个包含所有目标特征的椭圆， 称为被跟踪目标的目标区域，这个目标区域也是核函数作 用的区域，区域的大小等于核函数的带宽。
对目标区域进行描述，常用的方法是按照直方图的方式 将图像像素的值域等分成k个区间，每个区间按照值域的大 小对应一个特征值。然后求出图像的像素值取每个特征值 的概率。
pu y qu
相似性函数描述目标模型和候选模型之间的相似程度，在理想 情况下两个模型的概率分布是完全一样的。 我们使用Bhattacharyya系数作为相似性函数
其值在0到1之间。 的值越大，表示两个模型越相似，在 当前帧中不同的候选区域计算得到的候选模型，使得 最 大候选区域即是在本帧中目标的位置。