什么是马氏距离?
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
❖设p维欧几里得空间Rp中的两点 X=(X1,X2, …,Xp)’和Y=(Y1,Y2, …,Yp)’,它们 之间的距离为
d2(X,Y)=(X1-Y1)2+…+(Xp-Yp)2
欧氏距离的缺陷
❖我们熟悉的欧氏距离虽然很有用,但在解决 多元数据的分析问题时,就显示出了它的不 足之处。一是它没有考虑到总体的变异对 “距离” 远近的影响,显然一个变异程度大 的总体可能与更多样品近些,即使它们的欧 几里得距离不一定最近;另外,欧几里得距 离受变量的量纲影响,这对多元数据的处理 是不利的。
❖4)在实际应用中“总体样本数大于样本的维 数”这个条件是很容易满足的,而所有样本点 出现3)中所描述的情况是很少出现的,所以在 绝大多数情况下,马氏距离是可以顺利计算的, 但是马氏距离的计算是不稳定的,不稳定的来 源是协方差矩阵,这也是马氏距离与欧式距离 的最大差异之处。
例题:
Thank You !
cov(xp,y1) cov(xp,y2)… cov(xp,yp)
Cov(x,y)=0时,x与y不相关。
马氏距离的其它பைடு நூலகம்义:
❖ 马氏距离也可以定义为两个服从同一分布 并且其协方差矩阵为∑的随机变量的差异程 度:如果协方差矩阵为单位矩阵,马氏距 离就简化为欧氏距离;如果协方差矩阵为 对角矩阵,则其也可称为正规化的欧氏距 离。
什么是马氏距离?
❖ 概念:马氏距离是由印度统计学家马哈 拉诺比斯提出的,表示数据的协方差距 离。它是一种有效的计算两个未知样本 集的相似度的方法。
❖ 与欧氏距离不同的是它考虑到各种特性 之间的联系,即独立于测量尺度。
马氏距离定义:
∑=cov(x,y)=E〔(X-EX)(Y-EY)〕 = cov(x1,y1) cov(x1,y2)… cov(x1,yp) cov(x2,y1) cov(x2,y2)… cov(x2,yp)
马氏距离优点
它不受量纲的影响,两点之间的马氏距 离与原始数据的测量单位无关;由标准 化数据和中心化数据(即原始数据与均值 之差)计算出的二点之间的马氏距离相 同。马氏距离还可以排除变量之间的相 关性的干扰。
欧氏距离与马氏距离的 区别与联系
❖ 欧式距离
❖ 马氏距离
❖ 1)马氏距离的计算是建立在总体样本的基础 上的,这一点可以从上述协方差矩阵的解释中可 以得出,也就是说,如果拿同样的两个样本,放 入两个不同的总体中,最后计算得出的两个样本 间的马氏距离通常是不相同的,除非这两个总体 的协方差矩阵碰巧相同;
距离判别法
距离判别的基本思想是: 样品和哪个总体距离最近,就判别它
属哪个总体。
距离判别也称为直观判别法
❖欧氏距离的定义与计算公式 ❖欧氏距离的优点与缺陷 ❖马氏距离的概念 ❖马氏距离的定义与计算公式 ❖马氏距离的优点与缺点 ❖欧氏距离与马氏距离的区别与联系
欧氏距离的定义与计算方法
❖概念:它是在m维空间中两个点之间的真实距 离。
❖ 2)在计算马氏距离过程中,要求总体样本数 大于样本的维数,否则得到的总体样本协方差矩 阵逆矩阵不存在,这种情况下,用欧式距离计算 即可。
❖3)还有一种情况,满足了条件总体样本数 大于样本的维数,但是协方差矩阵的逆矩阵 仍然不存在,比如三个样本点(3,4),(5, 6)和(7,8),这种情况是因为这三个样本 在其所处的二维空间平面内共线。这种情况 下,也采用欧式距离计算。
d2(X,Y)=(X1-Y1)2+…+(Xp-Yp)2
欧氏距离的缺陷
❖我们熟悉的欧氏距离虽然很有用,但在解决 多元数据的分析问题时,就显示出了它的不 足之处。一是它没有考虑到总体的变异对 “距离” 远近的影响,显然一个变异程度大 的总体可能与更多样品近些,即使它们的欧 几里得距离不一定最近;另外,欧几里得距 离受变量的量纲影响,这对多元数据的处理 是不利的。
❖4)在实际应用中“总体样本数大于样本的维 数”这个条件是很容易满足的,而所有样本点 出现3)中所描述的情况是很少出现的,所以在 绝大多数情况下,马氏距离是可以顺利计算的, 但是马氏距离的计算是不稳定的,不稳定的来 源是协方差矩阵,这也是马氏距离与欧式距离 的最大差异之处。
例题:
Thank You !
cov(xp,y1) cov(xp,y2)… cov(xp,yp)
Cov(x,y)=0时,x与y不相关。
马氏距离的其它பைடு நூலகம்义:
❖ 马氏距离也可以定义为两个服从同一分布 并且其协方差矩阵为∑的随机变量的差异程 度:如果协方差矩阵为单位矩阵,马氏距 离就简化为欧氏距离;如果协方差矩阵为 对角矩阵,则其也可称为正规化的欧氏距 离。
什么是马氏距离?
❖ 概念:马氏距离是由印度统计学家马哈 拉诺比斯提出的,表示数据的协方差距 离。它是一种有效的计算两个未知样本 集的相似度的方法。
❖ 与欧氏距离不同的是它考虑到各种特性 之间的联系,即独立于测量尺度。
马氏距离定义:
∑=cov(x,y)=E〔(X-EX)(Y-EY)〕 = cov(x1,y1) cov(x1,y2)… cov(x1,yp) cov(x2,y1) cov(x2,y2)… cov(x2,yp)
马氏距离优点
它不受量纲的影响,两点之间的马氏距 离与原始数据的测量单位无关;由标准 化数据和中心化数据(即原始数据与均值 之差)计算出的二点之间的马氏距离相 同。马氏距离还可以排除变量之间的相 关性的干扰。
欧氏距离与马氏距离的 区别与联系
❖ 欧式距离
❖ 马氏距离
❖ 1)马氏距离的计算是建立在总体样本的基础 上的,这一点可以从上述协方差矩阵的解释中可 以得出,也就是说,如果拿同样的两个样本,放 入两个不同的总体中,最后计算得出的两个样本 间的马氏距离通常是不相同的,除非这两个总体 的协方差矩阵碰巧相同;
距离判别法
距离判别的基本思想是: 样品和哪个总体距离最近,就判别它
属哪个总体。
距离判别也称为直观判别法
❖欧氏距离的定义与计算公式 ❖欧氏距离的优点与缺陷 ❖马氏距离的概念 ❖马氏距离的定义与计算公式 ❖马氏距离的优点与缺点 ❖欧氏距离与马氏距离的区别与联系
欧氏距离的定义与计算方法
❖概念:它是在m维空间中两个点之间的真实距 离。
❖ 2)在计算马氏距离过程中,要求总体样本数 大于样本的维数,否则得到的总体样本协方差矩 阵逆矩阵不存在,这种情况下,用欧式距离计算 即可。
❖3)还有一种情况,满足了条件总体样本数 大于样本的维数,但是协方差矩阵的逆矩阵 仍然不存在,比如三个样本点(3,4),(5, 6)和(7,8),这种情况是因为这三个样本 在其所处的二维空间平面内共线。这种情况 下,也采用欧式距离计算。