机器学习中距离与相似度度量ppt课件
knn 余弦相似度和欧式距离
KNN算法在机器学习领域中被广泛应用，它是一种监督学习算法，用于分类和回归。
KNN算法的核心思想是基于已知类别的数据集，通过测量新数据点与已知类别数据点之间的距离来进行分类。
在KNN算法中，常用的距离度量有欧氏距离和余弦相似度。
在本文中，我们将深入探讨这两种距离度量的特点和应用，以便更好地理解它们在KNN算法中的作用。
1. 欧氏距离欧氏距离是最常见的距离度量方式之一，它衡量的是两个点之间的直线距离。
在二维空间中，欧氏距离的计算公式为：\[d(x,y) = \sqrt{(x1-y1)^2 + (x2-y2)^2}\]其中，\(x\)和\(y\)分别是两个点的坐标，\(x1\)和\(y1\)是\(x\)和\(y\)的第一个维度的坐标，\(x2\)和\(y2\)是\(x\)和\(y\)的第二个维度的坐标。
2. 余弦相似度余弦相似度是衡量两个向量方向的夹角的相似程度，它不考虑向量的大小。
在KNN算法中，常用余弦相似度来衡量特征向量之间的相似程度。
余弦相似度的计算公式为：\[similarity = \frac{A \cdot B}{||A|| \times ||B||}\]其中，\(A\)和\(B\)分别是两个特征向量，\(A \cdot B\)是\(A\)和\(B\)的点积，\(||A||\)和\(||B||\)分别是\(A\)和\(B\)的范数。
3. 欧氏距离和余弦相似度的比较欧氏距离和余弦相似度在KNN算法中的作用略有不同。
欧氏距离更适用于数值型特征，它能够更好地反映不同特征之间的绝对距离。
而余弦相似度更适用于文本分类、推荐系统等领域，它能够更好地反映特征向量之间的相对方向。
4. 个人观点和理解在实际应用中，选择欧氏距离还是余弦相似度取决于数据的特征和具体情况。
在处理数值型特征时，欧氏距禿更能反映特征之间的绝对距离，更适合于KNN算法的分类。
而在处理文本分类、推荐系统等领域时，余弦相似度能更好地反映特征向量之间的相对方向，更适合于KNN算法的应用。
机器学习中的相似性度量
机器学习中的相似性度量在做分类时常常需要估算不同样本之间的相似性度量(Similarity Measurement)，这时通常采用的方法就是计算样本间的“距离”(Distance)。
采用什么样的方法计算距离是很讲究，甚至关系到分类的正确与否。
本文的目的就是对常用的相似性度量作一个总结。
本文目录：1. 欧氏距离2. 曼哈顿距离3. 切比雪夫距离4. 闵可夫斯基距离5. 标准化欧氏距离6. 马氏距离7. 夹角余弦8. 汉明距离9. 杰卡德距离&杰卡德相似系数10. 相关系数&相关距离11. 信息熵12. hausdorff距离13. Bhattacharyya距离1.欧氏距离(Euclidean Distance)欧氏距离是最易于理解的一种距离计算方法，源自欧氏空间中两点间的距离公式。
(1) 二维平面上两点a(x1,y1)与b(x2,y2)间的欧氏距离(2) 三维空间两点a(x1,y1,z1)与b(x2,y2,z2)间的欧氏距离(3) 两个n维向量a(x11,x12,…,x1n)与b(x21,x22,…,x2n)间的欧氏距离也可以用表示成向量运算的形式(4) Matlab计算欧氏距离Matlab计算距离主要使用pdist函数。
若X是一个M×N的矩阵，则pdist(X)将X矩阵M 行的每一行作为一个N维向量，然后计算这M个向量两两间的距离。
例子：计算向量(0,0)、(1,0)、(0,2)两两间的欧式距离X=［0 0 ; 1 0 ; 0 2］D=pdist(X,′euclidean′)结果：D=1.00002.0000 2.23612. 曼哈顿距离(Manhattan Distance)从名字就可以猜出这种距离的计算方法了。
想象你在曼哈顿要从一个十字路口开车到另外一个十字路口，驾驶距离是两点间的直线距离吗？显然不是，除非你能穿越大楼。
实际驾驶距离就是这个“曼哈顿距离”。
而这也是曼哈顿距离名称的来源，曼哈顿距离也称为城市街区距离(City Block distance)。
机器学习中距离和相似性度量方法
机器学习中距离和相似性度量方法距离和相似性度量是机器学习中一种重要的数学工具，用于衡量数据集中样本之间的相似性或差异。
在许多机器学习算法中，距离和相似性度量方法被广泛应用于分类、聚类、降维等任务中，帮助机器学习模型更好地理解和处理数据。
下面将介绍一些常见的距离和相似性度量方法。
1. 欧几里得距离(Euclidean distance)：欧几里得距离是最常用的距离度量方法之一，用于计算两个向量之间的直线距离。
对于两个n维向量x和y，欧几里得距离可以表示为：d(x, y) = sqrt((x1-y1)^2 + (x2-y2)^2 + ... + (xn-yn)^2)2. 曼哈顿距离(Manhattan distance)：曼哈顿距离是另一种常见的距离度量方法，用于计算两个向量之间的路径距离。
对于两个n维向量x和y，曼哈顿距离可以表示为：d(x, y) = ，x1-y1， + ，x2-y2， + ... + ，xn-yn3. 闵可夫斯基距离(Minkowski distance)：闵可夫斯基距离是欧几里得距离和曼哈顿距离的推广，可以根据参数p的不同取值决定使用欧几里得距离还是曼哈顿距离。
对于两个n维向量x和y，闵可夫斯基距离可以表示为：d(x, y) = ((，x1-y1，^p) + (，x2-y2，^p) + ... + (，xn-yn，^p))^1/p4. 切比雪夫距离(Chebyshev distance)：切比雪夫距离是曼哈顿距离的推广，用于计算两个向量之间的最大绝对差距。
对于两个n维向量x和y，切比雪夫距离可以表示为：d(x, y) = max(，x1-y1，, ，x2-y2，, ..., ，xn-yn，)5. 余弦相似度(Cosine similarity)：余弦相似度是一种广泛用于文本和稀疏数据的相似性度量方法。
对于两个n维向量x和y，余弦相似度可以表示为：sim(x, y) = (x·y) / (，x，*，y，)其中，x·y表示向量x和y的点积，x，和，y，表示向量x和y的范数。
机器学习中的相似性度量方法
机器学习中的相似性度量⽅法在机器学习和数据挖掘中，我们经常需要知道个体间差异的⼤⼩，进⽽评价个体的相似性和类别。
最常见的是数据分析中的相关分析，数据挖掘中的分类和聚类算法，如 K 最近邻（KNN）和 K 均值（K-Means）等等。
不同距离度量的应⽤场景根据数据特性的不同，可以采⽤不同的度量⽅法。
which one to use depends on what type of data we have and what our notion of similar is.各种“距离”的应⽤场景简单概括为，空间：欧⽒距离，路径：曼哈顿距离，国际象棋国王：切⽐雪夫距离，以上三种的统⼀形式:闵可夫斯基距离，加权：标准化欧⽒距离，排除量纲和依存：马⽒距离，向量差距：夹⾓余弦，编码差别：汉明距离，集合近似度：杰卡德类似系数与距离，相关：相关系数与相关距离。
距离度量公理Axioms of Distance Measures⼀般⽽⾔，定义⼀个距离函数 d(x,y), 需要满⾜下⾯⼏个准则：(即距离度量需要满⾜的性质)1) d(x,y) = 0 iff x = y // 到⾃⼰的距离为02) d(x,y) >= 0 // 距离⾮负3) d(x,y) = d(y,x) // 对称性: 如果 A 到 B 距离是 a，那么 B 到 A 的距离也应该是 a4) d(x,k)+ d(k,y) >= d(x,y) // 三⾓形法则triangle inequality: (两边之和⼤于第三边)Note: iff = if and only if基础知识：熵与互信息[]⽂本相似度量⽅法⼀览此处的“⽂本”⼀词涵盖以下两个对象:1. 字符串/序列2. 包含较多⽂本内容的⽂档相关的度量⽅法可以分为两⼤类，各类下⾯再有⼀些具体的分类，⽐较常⽤的⽅法如见下图Note: lz这⾥LCS也可以认为就是编辑距离吧。
总的来说，⽂本相似度量⽅法可以分为两⼤类:1. String Based，即基于待⽐较的⽂本本⾝中的信息，该类⽅法评估的是”词法“上的相似性，或说朴素的相似性2. Corpus Based，即基于⼀个较⼤的⽂本集合中的信息，该类⽅法评估的是“语义”上的相似性[]欧⽒距离度量欧拉距离，来⾃于欧式⼏何，在数学上也可以成为范数。
全面总结7种距离、相似度方法
全面总结7种距离、相似度方法距离(distance，差异程度)、相似度(similarity，相似程度)方法可以看作是以某种的距离函数计算元素间的距离，这些方法作为机器学习的基础概念，广泛应用于如：Kmeans聚类、协同过滤推荐算法、相似度算法、MSE损失函数、正则化范数等等。
本文对常用的距离计算方法进行归纳以及解析，分为以下几类展开：一、闵氏距离（Minkowski Distance）类二、相似度（Similarity)三、字符串距离(Distance of Strings)四、集合距离 (Distance of Sets)五、信息论距离 (Information Theory measures)六、时间系列、图结构的距离七、度量学习(Metric Learning)附、常用的度量方法汇总一、闵氏距离（Distance）类•闵氏距离（Minkowski Distance）对于点x=(x1,x2...xn) 与点y=(y1,y2...yn) , 闵氏距离可以用下式表示：闵氏距离是对多个距离度量公式的概括性的表述，p=1退化为曼哈顿距离；p=2退化为欧氏距离；切比雪夫距离是闵氏距离取极限的形式。
•曼哈顿距离（Manhattan Distance）VS 欧几里得距离（Euclidean Distance）曼哈顿距离公式：欧几里得距离公式：如下图蓝线的距离即是曼哈顿距离（想象你在曼哈顿要从一个十字路口开车到另外一个十字路口实际驾驶距离就是这个“曼哈顿距离”，此即曼哈顿距离名称的来源，也称为城市街区距离），红线为欧几里得距离：•切比雪夫距离（Chebyshev Distance）切比雪夫距离起源于国际象棋中国王的走法，国际象棋中国王每次只能往周围的8格中走一步，那么如果要从棋盘中A格(x1,y1)走到B格(x2,y2)最少需要走几步？你会发现最少步数总是max(|x2-x1|,|y2-y1|)步。
有一种类似的一种距离度量方法叫切比雪夫距离。
机器学习ppt课件
朴素贝叶斯的主要应用有文本分类、垃圾文本过滤，情感判别，多 分类实时预测等。
编辑版pppt
30
5. 决策树：构造熵值下降最快的分类树
• 一个简单的场景： 相亲时，可能首先检测相亲对方是否有时间。如果有，则考虑进一步 接触，再观察其是否有上进心，如果没有，直接Say Goodbye。如果有，
则在看帅不帅，帅的可以列入候选名单。
与日俱增的神经网络规模
• 自从引入隐藏单元，人工神经网络的规模 大约每 2.4 年翻一倍。
•
1.
感知机
（Rosenb编la辑版ttpp,pt
1958,
1962）；2.
自 43
• 目前深度学习的应用十分广泛，例如图像识别、语音识别、 机器翻译、自动驾驶、金融风控、智能机器人等。
编辑版pppt
44
五 算法案例介绍
编辑版pppt
32
进一步增加难度，当球没有明确的分界线，用一条直线已 经无法将球分开，该怎么解决？
SVM 可应用于垃圾邮件识别、手写识别、文本分类、选股等。
编辑版pppt
33
7. K-means：计算质心，聚类无标签数据
• 在上面介绍的分类算法中，需要被分类的数据集已经有标记，例如数 据集已经标记为○或者×，通过学习出假设函数对这两类数据进行划 分。而对于没有标记的数据集，希望能有一种算法能够自动的将相同 元素分为紧密关系的子集或簇，这就是聚类算法。
5
大数据特征定义
编辑版pppt
6
大数据时代要具备大数据思维
维克托·迈尔-舍恩伯格认为：
1-需要全部数据样本而不是抽样; 2-关注效率而不是精确度; 3-关注相关性而不是因果关系。
大数据并不在“大”，而在于“有用”。 价值含量、挖掘成本比数量更为重要。
距离与相似度
匹配测度
其它匹配距离定义方法 Rao测度
p t
Kulzinsky系数
p q+r
2 (p + s ) 2 (p + s )+ q + r
p p + 2 (q + r ) p+s p + s + 2 (q + r )
等等
相似度量
余弦相似度函数
X TY S ( X ,Y ) = X *Y
该函数反映了两个向量之间夹角的余弦值，对 放大和缩小相对变换无影响。一般在使用前需 要对个元素进行无量纲化处理。
几种距离定义
明可夫斯基距离 公式：
m n DM ' ( xi , yi ) = ∑ xik y kj k =1 1 m
总结：L-p范数空间的距离定义，m=2：欧式距 离相等，m=1：曼哈顿距离，m为无穷大：切 比雪夫距离
几种距离定义
曼哈顿距离
D ( x, y ) = ( ∑ xk y k )
相似度量
指数相关系数
3 ( xi y i )2 1 n e ( X , Y ) = ∑ exp 4 n i =1 σ i2
σ i2 为相应分量的协方差，n为矢量维数，不受
量纲变化的影响
相似度量
Tanimoto测度
X TY ST ( X , Y ) = T = T T X X +Y Y X Y X X, Y中共有的特征 = X，Y占有特征总数 X TY
相似度量
皮尔逊相关系数(Pearson correlation coefficient)
S ( X ,Y ) = = cov ( X , Y )
E X X Y Y E X X
机器学习中距离与相似度度量
•当 p 趋近于无穷大时，闵可夫斯基距离转化成切比雪
夫距离（Chebyshev distance）
A
7
缺点：
举个栗子 二维样本(身高,体重)，其中身高范围是150~190，体 重范围是50~60，有三个样本：a(180,50)，b(190,50)， c(180,60)。 那么a与b之间的闵氏距离（无论是曼哈顿距离、欧氏 距离或切比雪夫距离）等于a与c之间的闵氏距离， 但是身高的10cm等价于体重的10kg吗？ 因此用闵氏距离来衡量这些样本间的相似度有问题。
简单说来，闵氏距离的缺点主要有两个：
1. 将各个分量的量纲(scale)，也就是“单位”当作相
同的看待了。
2. 没有考虑各个分量的分布（期望，方差等)可能是不
同的。
A
8
标准化欧氏距离
引入标准化欧式距离的原因是一个数据xi的各个维度之间 的尺度不一样。
比如v1=(100,10,30),v2 = (500,40,10)。对所有维度分别 进行处理，使得各个维度分别满足标准正态分布。
机器学习中距离和相似度计算方法
A
1
A
2
在机器学习和数据挖掘中，我们经常需要知道个体间差 异的大小，进而评价个体的相似性和类别。根据数据特 性的不同，可以采用不同的度量方法。
一般而言，定义一个距离函数 d(x,y), 需要满足下面几个
基本准则：
1) d(x,x) = 0
// 到自己的距离为0
2) d(x,y) >= 0
A
6
闵可夫斯基距离
闵可夫斯基距离（Minkowski distance）不是一种距离， 而是一组距离的定义。
1
n
x1k x2k p p
机器学习之聚类分析(PPT48页)
欧氏距离：
聚类的相似性度量
2. 曼哈顿距离(Manhattan Distance) 想象你在曼哈顿要从一个十字路口开车到另外一个十字
路口，驾驶距离是两点间的直线距离吗？显然不是，除非 你能穿越大楼。实际驾驶距离就是这个“曼哈顿距离”， 也称为城市街区距离(City Block distance)。 两个n维向量a(x11,x12,…,x1n)与 b(x21,x22,…,x2n)间的曼 哈顿距离
密度聚类——DBSCAN
3）密度直达：如果xi位于xj的ε-邻域中，且xj是核心对象，则称xi由xj密 度直达。注意反之不一定成立， 除非且xi也是核心对象。
4）密度可达：对于xi和xj,如果存在样本序列p1,p2,...,pT满足 p1=xi,pT=xj且pt+1由pt密度直达，则称xj由xi密度可达。密度可达满足传递 性。此时序列中的传递样本p1,p2,...,pT−1均为核心对象，因为只有核心 对象才能使其他样本密度直达。 5）密度相连：对于xi和xj,如果存在核心对象样本xk，使xi和xj均由xk密度 可达，则称xi和xj密度相连。
什么是聚类？
• “物以聚类，人以群分” • 所谓聚类，就是将相似的事物聚集在一 起，而将不相似
的事物划分到不同的类别的过程，是数据分析之中十分 重要的一种手段。
什么是聚类？
•在图像分析中，人们希望将图像分割成具有类似性质的 区域 •在文本处理中，人们希望发现具有相同主题的文本子集 •在顾客行为分析中，人们希望发现消费方式类似的顾客 群，以便制订有针对性的客户管理方式和提高营销效率
G1
G2
《大数据处理与智能决策》教学课件-距离度量
0.3999 0.6410 1.3934 0.6021
D5 =
0.2147 0.3107 0.7919 0.3603
0.2147 0.3107 0.7919 0.3603
D6 =
0.1860 0.2395 0.7409 0.3406
D7 =
0.0253 0.0022 0.3904 0.0531
D8 =
7
曼哈顿距离
• 曼哈顿距离（Manhattan Distance）
• 曼哈顿距离来源于城市区块距离，是将多个维度上的距离 进行求和后的结果，公式如下：
n
dist(X,Y) = xi -yi
i =1
（4）
8
切比雪夫距离
• 切比雪夫距离（Chebyshev Distance） 切比雪夫距离起源于国际象棋中国王的走法。公式如下：
dist(X,Y)= n ( xi - yi )2
i 1
(2)
6
明可夫斯基距离
• 明可夫斯基距离（Minkowski Distance），明氏距离是欧 氏距离的推广，是对多个距离度量公式的概括性的表述。 公式如下：
1
n
p p
dist(X,Y) = i=1 xi -yi
（3）
• 这里的p值是一个变量，当p=2的时候就得到了上面的欧氏 距离。
14
运行结果如下：
x=
0.5225 0.3972 0.8135 0.6608
0.6382 0.5454 0.0440 0.5943
0.6837 0.2888 0.0690 0.8384
y=
0.5898 0.7848 0.4977
D1 =
0.2462 0.3716 0.8848 0.3967
《相似理论》课件 (2)
推荐系统
利用相似理论为用户提供个性化 的推荐服务，增强用户体验。
文本分类
通过相似度度量和聚类方法将文 本归类，加快信息处理速度。
图像处理
利用相似度度量和聚类方法提取 图像特征，实现图像分割和识别。
总结
广泛应用
相似理论在机器学习和数据 挖掘中得到广泛应用。
重要内容
相似度度量、相似降维和聚 类是相似理论的重要内容。
新兴领域
相似度网络是新兴领域，正 在快速发展和应用。
相似降维
主成分分析(PCA)
非负矩阵分解(NMF)
局部线性嵌入(LLeans聚类
2
层次聚类(Hierarchical Clustering)
3
DBSCAN聚类
相似度网络
1
社区检测(Community Detection)
2
网络嵌入(Network Embedding)
应用案例
《相似理论》PPT课件 (2)
相似理论课程旨在深入探讨相似度度量、相似降维和聚类方法，以及它们在 机器学习和数据挖掘中的应用。让我们一起开始这段精彩的学习之旅！
课程目的
理解相似理论的概念和基本原理 学会应用相似理论解决实际问题
掌握相似降维和聚类的方法
相似度度量
1 欧氏距离
2 余弦相似度
3 Jaccard相似系数
机器学习中的度量——向量距离
机器学习中的度量——向量距离机器学习是时下流⾏AI 技术中⼀个很重要的⽅向，⽆论是有监督学习还是⽆监督学习都使⽤各种“度量”来得到不同样本数据的差异度或者不同样本数据的相似度。
良好的“度量”可以显著提⾼算法的分类或预测的准确率，本⽂中将介绍机器学习中各种“度量”，“度量”主要由两种，分别为距离、相似度和相关系数，距离的研究主体⼀般是线性空间中点；⽽相似度研究主体是线性空间中向量；相关系数研究主体主要是分布数据。
本⽂主要介绍距离。
1 向量距离1.1 欧式距离¬——从勾股定理⽽来让我回忆⼀下中学时候学过的勾股定理，历史悠久的勾股定理告诉了如果在⼀个直⾓三⾓形中两条直⾓边分别为a 和b ，那么斜边c 和a 、b 的关系⼀定满⾜c 2=a 2+b 2图1 勾股定理图2 成书于宋⾦时期《测圆海镜》中的⼗五个勾股形从直观上将，图2中两个点距离是蓝线的长度，⽽使⽤勾股定理可以计算出如图2的两个数据点之间距离。
图3 可汗学院距离教程中样例根据勾股定理很容易求出上⾯两个点距离为如下式⼦表⽰：这个最直观的距离还有⼀个正式称呼，欧⼏⾥得距离(Euclidean distance)，上⾯是⼆维空间中欧式距离，更为⼀般的情况为：在笛卡尔坐标系(Cartesian Coordinates)中如果点x = (x1, x2,..., xn) 和点 y = (y1, y2, ..., yn) 是两个欧式空间的点，则点x 和点y 的欧式距离为:d Euclidean (x ,y )=d Euclidean (y ,x )=x 1−y 12+x 2−y 22+⋯+x n −y n 2=n∑i =1x i −y i 2 笛卡尔坐标系: ⼀种正交坐标系。
参阅图4，⼆维的直⾓坐标系是由两条相互垂直、相交于原点的数线构成的。
在平⾯内，任何⼀点的坐标是根据数轴上对应的点的坐标设定的图4 ⼀个直⾓坐标系1.2 曼哈顿距离¬¬——⾏⾛在纽约曼哈顿街道上曼哈顿距离(Manhattan distance)是由⼗九世纪的赫尔曼·闵可夫斯基所创辞汇，⽤以标明两个点上在标准坐标系上的绝对轴距之总和。
机器学习中距离和相似性度量方法
在机器学习和数据挖掘中，我们经常需要知道个体间差异的大小，进而评价个体的相似性和类别。
最常见的是数据分析中的相关分析，数据挖掘中的分类和聚类算法，如 K 最近邻（KNN）和 K 均值（K-Means）等等。
根据数据特性的不同，可以采用不同的度量方法。
一般而言，定义一个距离函数 d(x,y), 需要满足下面几个准则：1) d(x,x) = 0 // 到自己的距离为02) d(x,y) >= 0 // 距离非负3) d(x,y) = d(y,x) // 对称性: 如果 A 到 B 距离是 a，那么 B 到 A 的距离也应该是 a4) d(x,k)+ d(k,y) >= d(x,y) // 三角形法则: (两边之和大于第三边)这篇博客主要介绍机器学习和数据挖掘中一些常见的距离公式，包括：1.闵可夫斯基距离2.欧几里得距离3.曼哈顿距离4.切比雪夫距离5.马氏距离6.余弦相似度7.皮尔逊相关系数8.汉明距离9.杰卡德相似系数10.编辑距离11.DTW 距离12.KL 散度1. 闵可夫斯基距离闵可夫斯基距离（Minkowski distance）是衡量数值点之间距离的一种非常常见的方法，假设数值点 P 和 Q 坐标如下：那么，闵可夫斯基距离定义为：该距离最常用的 p 是 2 和 1, 前者是欧几里得距离（Euclidean distance），后者是曼哈顿距离（Manhattan distance）。
假设在曼哈顿街区乘坐出租车从 P 点到 Q 点，白色表示高楼大厦，灰色表示街道：绿色的斜线表示欧几里得距离，在现实中是不可能的。
其他三条折线表示了曼哈顿距离，这三条折线的长度是相等的。
当 p 趋近于无穷大时，闵可夫斯基距离转化成切比雪夫距离（Chebyshev distance）：我们知道平面上到原点欧几里得距离（p = 2）为 1 的点所组成的形状是一个圆，当 p 取其他数值的时候呢？注意，当 p < 1 时，闵可夫斯基距离不再符合三角形法则，举个例子：当 p < 1, (0,0) 到 (1,1) 的距离等于 (1+1)^{1/p} > 2, 而 (0,1) 到这两个点的距离都是 1。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
归一化（区间缩放）：基于边界值（最大值，最小值），将值的 区间缩放到某个特点的范围，如[0,1] 特点：1、对不同特征维度进行伸缩变换
2、改变原始数据的分布。使各个特征维度对目标函数的影 响权重是一致的）
切比雪夫距离
切比雪夫距离（Chebyshev distance）是向量空间中的一种 度量，二个点之间的距离定义 为其各坐标数值差的最大值。 从一个位置走到其他位置需要 的步数恰为二个位置的切比雪 夫距离，因此切比雪夫距离也 称为棋盘距离。
6
闵可夫斯基距离
闵可夫斯基距离（Minkowski distance）不是一种距离， 而是一组距离的定义。
d
n k 1
x1k
sk
x2k
2
n x1k x2k 2
k 1
sk 2
如果将方差的倒数看成是一个权重，这个公式可以看成是 一种加权欧氏距离(Weighted Euclidean distance)。
9
使不同规格的数据转换到同一规格
标准化
列
无量纲化
归一化
行
标准化：对不同特征维度的伸缩变换的目的是使得不同度量之间 的特征具有可比性。同时不改变原始数据的分布。
两个向量越相似，向量夹 角越小，余弦值的绝对值 越大；值为负，两向量负 相关。
应用：文本的相似度和推 荐系统等。
13
举个简单栗子：
句子A：这只皮靴号码大了。那只号码合适 句子B：这只皮靴号码不小，那只更合适 怎样计算上面两句话的相似程度？ 基本思路：如果这两句话的用词越相似，它们的内容就 应该越相似。因此，可以从词频入手，计算它们的相似 程度。 第一步，分词。 句子A：这只/皮靴/号码/大了。那只/号码/合适。 句子B：这只/皮靴/号码/不/小，那只/更/合适。 第二步，列出所有的词。 这只，皮靴，号码，大了。那只，合适，不，小，很
3、对目标函数的影响体现在数值上 10
4、把有量纲表达式变为无量纲表达式 。
马式距离
若协方差矩阵是单位矩阵（各个样本向量之间独立同分布）, 则公式就成了：
则Xi与Xj之间的马氏距离等于他们的欧氏距离。 即：若协方差矩阵是对角矩阵，公式变成了标准化欧氏距离。
标准化欧氏距离是在假设数据各
个维度不相关的情况下，利用数
7
缺点：
举个栗子 二维样本(身高,体重)，其中身高范围是150~190，体 重范围是50~60，有三个样本：a(180,50)，b(190,50)， c(180,60)。 那么a与b之间的闵氏距离（无论是曼哈顿距离、欧氏 距离或切比雪夫距离）等于a与c之间的闵氏距离， 但是身高的10cm等价于体重的10kg吗？ 因此用闵氏距离来衡量这些样本间的相似度有问题。
一般而言，定义一个距离函数 d(x,y), 需要满足下面几个
基本准则：
1) d(x,x) = 0
// 到自己的距离为0
2) d(x,y) >= 0
// 距离非负
3) d(x,y) = d(y,x) // 对称性: 如果 A 到 B 距离是a，那么
B 到 A 的距离也应该是 a
4) d(x,k)+ d(k,y) >= d(x,y)
1Hale Waihona Puke n x1k x2k p p
k 1
该距离最常用的 p 是 2 和 1, 无穷大 •P=2是欧几里得距离（Euclidean distance）， •P=1是曼哈顿距离（Manhattan distance）。 •当 p 趋近于无穷大时，闵可夫斯基距离转化成切比雪 夫距离（Chebyshev distance）
// 三角形法则: (两边之和 大于第三边)
3
欧式距离
即：所有点的对应维度之差的 平方的求和再开方。 欧式距离相似度算法需要保证 各个维度指标在相同的刻度级 别，比如对身高、体重两个单 位不同的指标使用欧氏距离可 能使结果失效。
4
曼哈顿距离
曼哈顿距离来源于城市区块距离，是将多个维度上的距离进行 5 求和后的结果
据分布的特性计算出不同的距离。
如果维度相互之间数据相关（例
如：身高较高的信息很有可能会
带来体重较重的信息，因为两者
是有关联的），就要用到马氏距
离
11
相似度度量
相似度度量（Similarity），即计算个体间的相似程度， 与距离度量相反，相似度度量的值越小，说明个体间 相似度越小，差异越大。
12
余弦相似度
机器学习中距离和相似度计算方法
1
距离与度量相关
闵可夫斯基 距离
距离
改进闵可夫 斯基距离
余弦相似度
相似度度量
皮尔森相关 系数
Jaccard相 似系数
欧式距离和余弦相 似度的比较
欧氏距离 曼哈顿距离
切比雪夫距离 标准化欧氏距离
（加权） 马氏距离 改进：调整余弦相
似度
2
在机器学习和数据挖掘中，我们经常需要知道个体间差 异的大小，进而评价个体的相似性和类别。根据数据特 性的不同，可以采用不同的度量方法。
14
第三步，计算词频。 句子A：这只1，皮靴1，号码2，大了1。那只1，合
适1，不0，小0，更0 句子B：这只1，皮靴1，号码1，大了0。那只1，合
适1，不1，小1，更1 第四步，写出词频向量。
句子A：(1，1，2，1，1，1，0，0，0) 句子B：(1，1，1，0，1，1，1，1，1) 第五步，使用公式计算相似度 计算结果：夹角的余弦值为0.81，非常接近于1，所 以，上面的句子A和句子B是基本相似的
15
补充：欧式距离和余弦相似度
（1）欧氏距离从向量间的绝对距离区分差异，计算得到的相似度 值对向量各个维度内的数值特征非常敏感，而余弦夹角从向量间 的方向夹角区分差异，对向量各个维度内的数值特征不敏感，所 以同时修正了用户间可能存在的度量标准不统一的问题。 （2）余弦夹角的值域区间为[-1,1]，相对于欧式距离的值域范围 [0,正无穷大],能够很好的对向量间的相似度值进行了量化。
简单说来，闵氏距离的缺点主要有两个： 1. 将各个分量的量纲(scale)，也就是“单位”当作相 同的看待了。 2. 没有考虑各个分量的分布（期望，方差等)可能是不 同的。
8
标准化欧氏距离
引入标准化欧式距离的原因是一个数据xi的各个维度之间 的尺度不一样。 比如v1=(100,10,30),v2 = (500,40,10)。对所有维度分别 进行处理，使得各个维度分别满足标准正态分布。 即