机器学习中距离和相似度度量专业知识讲座
knn 余弦相似度和欧式距离
KNN算法在机器学习领域中被广泛应用，它是一种监督学习算法，用于分类和回归。
KNN算法的核心思想是基于已知类别的数据集，通过测量新数据点与已知类别数据点之间的距离来进行分类。
在KNN算法中，常用的距离度量有欧氏距离和余弦相似度。
在本文中，我们将深入探讨这两种距离度量的特点和应用，以便更好地理解它们在KNN算法中的作用。
1. 欧氏距离欧氏距离是最常见的距离度量方式之一，它衡量的是两个点之间的直线距离。
在二维空间中，欧氏距离的计算公式为：\[d(x,y) = \sqrt{(x1-y1)^2 + (x2-y2)^2}\]其中，\(x\)和\(y\)分别是两个点的坐标，\(x1\)和\(y1\)是\(x\)和\(y\)的第一个维度的坐标，\(x2\)和\(y2\)是\(x\)和\(y\)的第二个维度的坐标。
2. 余弦相似度余弦相似度是衡量两个向量方向的夹角的相似程度，它不考虑向量的大小。
在KNN算法中，常用余弦相似度来衡量特征向量之间的相似程度。
余弦相似度的计算公式为：\[similarity = \frac{A \cdot B}{||A|| \times ||B||}\]其中，\(A\)和\(B\)分别是两个特征向量，\(A \cdot B\)是\(A\)和\(B\)的点积，\(||A||\)和\(||B||\)分别是\(A\)和\(B\)的范数。
3. 欧氏距离和余弦相似度的比较欧氏距离和余弦相似度在KNN算法中的作用略有不同。
欧氏距离更适用于数值型特征，它能够更好地反映不同特征之间的绝对距离。
而余弦相似度更适用于文本分类、推荐系统等领域，它能够更好地反映特征向量之间的相对方向。
4. 个人观点和理解在实际应用中，选择欧氏距离还是余弦相似度取决于数据的特征和具体情况。
在处理数值型特征时，欧氏距禿更能反映特征之间的绝对距离，更适合于KNN算法的分类。
而在处理文本分类、推荐系统等领域时，余弦相似度能更好地反映特征向量之间的相对方向，更适合于KNN算法的应用。
欧氏距离或余弦相似度
欧氏距离或余弦相似度标题：欧氏距离与余弦相似度：两种度量方法的比较与应用导言：在机器学习和数据挖掘领域中，度量两个向量之间的相似性是一项重要的任务。
欧氏距离和余弦相似度是常用的度量方法，本文将比较这两种方法的特点和应用，并讨论它们在实际问题中的优缺点。
一、欧氏距离的定义和应用欧氏距离是空间中两个点之间的直线距离。
它的计算方法简单直观，适用于多个领域。
例如，在图像识别中，我们可以通过计算图像像素之间的欧氏距离来判断它们的相似性。
然而，欧氏距离对于数据的尺度敏感，当数据具有不同的尺度时，可能导致结果不准确。
此外，在高维空间中，欧氏距离的计算复杂度也会增加，影响算法的效率。
二、余弦相似度的定义和应用余弦相似度衡量的是两个向量之间的夹角余弦值。
它不受数据尺度的影响，可以更好地反映向量之间的方向关系。
在文本挖掘中，我们可以利用余弦相似度来计算文档之间的相似性，从而实现文本分类和推荐系统等任务。
此外，余弦相似度的计算简单高效，特别适用于处理稀疏向量。
三、欧氏距离与余弦相似度的比较1. 效果比较：欧氏距离适用于数值型数据，能够提供更准确的相似性度量。
而余弦相似度则适用于文本、图像等高维稀疏数据，能够更好地反映向量之间的方向关系。
2. 计算复杂度比较：欧氏距离的计算复杂度为O(n)，其中n为向量的维度。
而余弦相似度的计算复杂度为O(1)，不受向量维度的影响。
3. 尺度敏感性比较：欧氏距离对数据的尺度敏感，需要进行归一化处理，以避免结果偏差。
而余弦相似度不受数据尺度影响，可以直接比较向量之间的相似性。
欧氏距离和余弦相似度在不同的场景下具有不同的优势和应用。
在选择度量方法时，我们需要根据具体问题的特点和需求来决定使用哪种方法。
在实际应用中，我们也可以结合这两种方法，根据实际情况来选择最合适的度量方式。
结论：欧氏距离和余弦相似度是常用的度量方法，它们在不同的领域和问题中具有各自的优势。
欧氏距离适用于数值型数据，提供准确的相似性度量；而余弦相似度适用于高维稀疏数据，能够更好地反映向量之间的方向关系。
机器学习中距离和相似性度量方法
机器学习中距离和相似性度量方法距离和相似性度量是机器学习中一种重要的数学工具，用于衡量数据集中样本之间的相似性或差异。
在许多机器学习算法中，距离和相似性度量方法被广泛应用于分类、聚类、降维等任务中，帮助机器学习模型更好地理解和处理数据。
下面将介绍一些常见的距离和相似性度量方法。
1. 欧几里得距离(Euclidean distance)：欧几里得距离是最常用的距离度量方法之一，用于计算两个向量之间的直线距离。
对于两个n维向量x和y，欧几里得距离可以表示为：d(x, y) = sqrt((x1-y1)^2 + (x2-y2)^2 + ... + (xn-yn)^2)2. 曼哈顿距离(Manhattan distance)：曼哈顿距离是另一种常见的距离度量方法，用于计算两个向量之间的路径距离。
对于两个n维向量x和y，曼哈顿距离可以表示为：d(x, y) = ，x1-y1， + ，x2-y2， + ... + ，xn-yn3. 闵可夫斯基距离(Minkowski distance)：闵可夫斯基距离是欧几里得距离和曼哈顿距离的推广，可以根据参数p的不同取值决定使用欧几里得距离还是曼哈顿距离。
对于两个n维向量x和y，闵可夫斯基距离可以表示为：d(x, y) = ((，x1-y1，^p) + (，x2-y2，^p) + ... + (，xn-yn，^p))^1/p4. 切比雪夫距离(Chebyshev distance)：切比雪夫距离是曼哈顿距离的推广，用于计算两个向量之间的最大绝对差距。
对于两个n维向量x和y，切比雪夫距离可以表示为：d(x, y) = max(，x1-y1，, ，x2-y2，, ..., ，xn-yn，)5. 余弦相似度(Cosine similarity)：余弦相似度是一种广泛用于文本和稀疏数据的相似性度量方法。
对于两个n维向量x和y，余弦相似度可以表示为：sim(x, y) = (x·y) / (，x，*，y，)其中，x·y表示向量x和y的点积，x，和，y，表示向量x和y的范数。
全面总结7种距离、相似度方法
全面总结7种距离、相似度方法距离(distance，差异程度)、相似度(similarity，相似程度)方法可以看作是以某种的距离函数计算元素间的距离，这些方法作为机器学习的基础概念，广泛应用于如：Kmeans聚类、协同过滤推荐算法、相似度算法、MSE损失函数、正则化范数等等。
本文对常用的距离计算方法进行归纳以及解析，分为以下几类展开：一、闵氏距离（Minkowski Distance）类二、相似度（Similarity)三、字符串距离(Distance of Strings)四、集合距离 (Distance of Sets)五、信息论距离 (Information Theory measures)六、时间系列、图结构的距离七、度量学习(Metric Learning)附、常用的度量方法汇总一、闵氏距离（Distance）类•闵氏距离（Minkowski Distance）对于点x=(x1,x2...xn) 与点y=(y1,y2...yn) , 闵氏距离可以用下式表示：闵氏距离是对多个距离度量公式的概括性的表述，p=1退化为曼哈顿距离；p=2退化为欧氏距离；切比雪夫距离是闵氏距离取极限的形式。
•曼哈顿距离（Manhattan Distance）VS 欧几里得距离（Euclidean Distance）曼哈顿距离公式：欧几里得距离公式：如下图蓝线的距离即是曼哈顿距离（想象你在曼哈顿要从一个十字路口开车到另外一个十字路口实际驾驶距离就是这个“曼哈顿距离”，此即曼哈顿距离名称的来源，也称为城市街区距离），红线为欧几里得距离：•切比雪夫距离（Chebyshev Distance）切比雪夫距离起源于国际象棋中国王的走法，国际象棋中国王每次只能往周围的8格中走一步，那么如果要从棋盘中A格(x1,y1)走到B格(x2,y2)最少需要走几步？你会发现最少步数总是max(|x2-x1|,|y2-y1|)步。
有一种类似的一种距离度量方法叫切比雪夫距离。
dml算法原理(二)
dml算法原理(二)DML算法原理在计算机科学和机器学习领域，DML（Discriminative Metric Learning）算法是一种用于学习距离度量的技术。
它在模式识别和图像检索等任务中具有广泛的应用。
本文将从浅入深地介绍DML算法的原理。
1. 距离度量在许多机器学习任务中，我们需要衡量不同样本之间的相似度或差异性。
而距离度量是评估样本之间差异的一种常用方式。
常见的距离度量方法包括欧氏距离、曼哈顿距离和余弦相似度等。
2. 判别性学习判别性学习是一种通过学习样本的类别信息来判断未知样本所属类别的方法。
与之相对的是生成模型，生成模型是通过学习样本的概率分布来预测新样本的方法。
判别性学习更加关注样本之间的类别差异，因此适用于许多需求准确预测类别的应用。
3. DML算法概述DML算法旨在通过学习距离度量来最大化类别之间的差异，从而提高判别性能力。
它通过学习一个映射函数，将输入样本映射到一个新的特征空间，并在新的空间中学习一个距离度量函数。
DML算法的过程可以简单概括为以下几个步骤：•输入：训练样本集合，包含样本的特征和类别信息。
•映射函数：将输入样本映射到一个新的特征空间，通常通过非线性变换实现。
•距离度量函数：在新的特征空间中学习一个距离度量函数，使同一类别样本之间的距离尽可能小，不同类别样本之间的距离尽可能大。
•损失函数：定义一个损失函数，衡量距离度量函数的性能。
常用的损失函数包括对比损失（contrastive loss）和三元组损失（triplet loss）等。
4. DML算法的训练过程DML算法的训练过程可以分为以下几个步骤：1.初始化距离度量函数，通常随机初始化或使用预训练模型参数。
2.选择一对样本，通常包括一个锚样本和一个正样本（同一类别）或负样本（不同类别）。
3.计算锚样本和正样本（或负样本）在新的特征空间中的距离。
4.根据距离计算损失函数，并更新距离度量函数的参数。
5.重复步骤2~4，直到达到收敛条件或训练次数达到预设值。
机器学习中距离和相似度度量专业知识讲座
马式距离 本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿。文档如有不 当之处，请联系本人或网站删除。
若协方差矩阵是单位矩阵（各个样本向量之间独立同分布）, 则公式就成了：
则Xi与Xj之间的马氏距离等于他们的欧氏距离。 即：若协方差矩阵是对角矩阵，公式变成了标准化欧氏距离。
标准化欧氏距离是在假设数据各 个维度不相关的情况下，利用数 据分布的特性计算出不同的距离。 如果维度相互之间数据相关（例 如：身高较高的信息很有可能会 带来体重较重的信息，因为两者 是有关联的），就要用到马氏距 离
补本文充档：所欧提式供距的信离息和仅余供弦参相考之似用度，不能作为科学依据，请勿模仿。文档如有不
当之处，请联系本人或网站删除。
（1）欧氏距离从向量间的绝对距离区分差异，计算得到的相似度 值对向量各个维度内的数值特征非常敏感，而余弦夹角从向量间 的方向夹角区分差异，对向量各个维度内的数值特征不敏感，所 以同时修正了用户间可能存在的度量标准不统一的问题。 （2）余弦夹角的值域区间为[-1,1]，相对于欧式距离的值域范围 [0,正无穷大],能够很好的对向量间的相似度值进行了量化。
(Adjusted Cosine Similarity)
虽然余弦相似度对个体间存在的偏见可以进行一定的修正，但 是因为只能分辨个体在维之间的差异，没法衡量每个维数值的 差异，会导致这样一个情况： 比如用户对内容评分，5分制。（此处是两个内容） X评分为(1,2)，Y评分为(4,5)，使用余弦相似度得出的结果是 0.98。两者极为相似，但从评 分上看X似乎不喜欢这2个内容， 而Y比较喜欢，余弦相似度对数值的不敏感导致了结果的误差。
Jaccard相似当系之处数，(请J联a系c本c人a或r网d站C删除o。efficient)
相似度度量
相似度度量之后准备进攻推荐算法，今天先从相似度度量开始。
总结了一下在机器学习时候用的所有用到的相似度度量以及使用代码，后续还会继续更新。
所介绍的相似度如下：1. 欧氏距离2. 曼哈顿距离3. 切比雪夫距离4. 闵可夫斯基距离5. 标准化欧氏距离6. 马氏距离7. 夹角余弦8. 汉明距离9. 杰卡德距离 & 杰卡德相似系数10. 相关系数 & 相关距离11. 信息熵曼哈顿距离曼哈顿距离也叫出租车距离，用来标明两个点在标准坐标系上的绝对轴距总和。
公式如下：想象你在曼哈顿要从一个十字路口开车到另外一个十字路口，驾驶距离是两点间的直线距离吗？显然不是，除非你能穿越大楼。
实际驾驶距离就是这个“曼哈顿距离”。
而这也是曼哈顿距离名称的来源，曼哈顿距离也称为城市街区距离(City Block distance)。
欧氏距离和曼哈顿距离的区别在于：它们对向量之间差异的计算过程中，各个维度差异的权值不同。
比如两个向量A(1,2),B(4,8)，它们的：欧氏距离 L_o = 6.7;曼哈顿距离 L_m = 9;向量各个属性之间的差距越大，则曼哈顿距离越接近欧式距离。
### 曼哈顿距离# 计算两点之间的距离def ManhattanDist(A,B):return sum(abs(A-B))# return math.sqrt(sum([(a - b)**2 for (a,b) in zip(A,B)]))X = np.array([1,2,3,4])Y = np.array([3,3,2,7])print(ManhattanDist(X,Y))欧氏距离欧氏距离就是欧几里得距离(Euclidean Distance)欧氏距离是最常见的距离度量，衡量的是多维空间中各个点之间的绝对距离。
公式如下：欧氏距离虽然很有用，但也有明显的缺点。
它将样本的不同属性（即各指标或各变量量纲）之间的差别等同看待，这一点有时不能满足实际要求。
距离测度与相似度测度的比较论文素材
距离测度与相似度测度的比较论文素材距离测度与相似度测度的比较在数据分析、机器学习和模式识别领域中，距离测度和相似度测度是两个常用的计算方法。
它们在寻找样本之间的关系、分类和聚类等任务中起着重要的作用。
本文将探讨距离测度和相似度测度的特点，并对它们进行比较。
一、距离测度距离测度是用来衡量两个样本之间的差异或相似性的方法。
常见的距离测度包括欧氏距离、曼哈顿距离和闵可夫斯基距离等。
欧氏距离是最常用的距离测度之一。
它通过计算两个样本间相应维度的差值的平方和的平方根来衡量其距离。
欧氏距离计算公式如下：d(x, y) = √[∑(xi - yi)²]其中，xi和yi分别代表样本x和样本y的某个特征的取值。
欧氏距离越小，说明两个样本的特征越相似。
曼哈顿距离是另一种常见的距离测度。
它通过计算两个样本间相应维度的差值的绝对值和来衡量其距离。
曼哈顿距离计算公式如下：d(x, y) = ∑|xi - yi|与欧氏距离相比，曼哈顿距离更适合于特征具有明显分割的情况。
闵可夫斯基距离是欧氏距离和曼哈顿距离的推广。
它可以根据具体需求调节参数来控制距离的形式。
闵可夫斯基距离计算公式如下：d(x, y) = (∑(|xi - yi|)ᵖ)^(1/p)其中，p是一个可调的参数。
当p=1时，等价于曼哈顿距离；当p=2时，等价于欧氏距离。
二、相似度测度相似度测度是用来衡量两个样本之间的相似程度的方法。
相似度测度的结果通常在0到1之间，越接近1表示两个样本越相似，越接近0表示两个样本越不相似。
常用的相似度测度包括余弦相似度、相关系数和Jaccard相似系数等。
余弦相似度是用来衡量两个样本在向量空间中的夹角的方法。
余弦相似度计算公式如下：sim(x, y) = (x·y) / (||x|| · ||y||)其中，x和y分别代表样本x和样本y在向量空间上的向量表示。
相关系数是用来衡量两个样本变量之间关联程度的方法。
《机器学习》（周志华）西瓜书读书笔记（完结）
《机器学习》（周志华）西⽠书读书笔记（完结）⼤部分基础概念知识已经在这篇博客中罗列,因此本⽂仅对感觉重要或不曾了解的知识点做摘记第1章绪论对于⼀个学习算法a,若它在某问题上⽐学习算法b好,则必然存在另⼀些问题,在那⾥b⽐a好.即"没有免费的午餐"定理(No FreeLunch Theorem,NFL).因此要谈论算法的相对优劣,必须要针对具体的学习问题第2章模型评估与选择m次n折交叉验证实际上进⾏了m*n次训练和测试可以⽤F1度量的⼀般形式Fβ来表达对查准率/查全率的偏好:偏差度量了学习算法的期望预测与真实结果的偏离程度,即学习算法本⾝的拟合能⼒,⽅差度量了同样⼤⼩的训练集的变动所导致的学习性能的变化,即数据扰动造成的影响.噪声表达了当前任务上任何学习算法所能达到的期望泛化误差的下界,即学习问题本⾝的难度.第3章线性模型线性判别分析(LDA)是⼀种经典的监督线性降维⽅法:设法将训练样例投影到⼀条直线上,使同类样例的投影点尽可能接近,异类样例的投影点尽可能远离.对新样本分类时根据投影点的位置来确定类别.多分类学习的分类器⼀般有以下三种策略:1. ⼀对⼀(OvO),N个类别产⽣N * (N - 1) / 2种分类器2. ⼀对多(OvR或称OvA),N个类别产⽣N - 1种分类器3. 多对多(MvM),如纠错输出码技术解决类别不平衡问题的三种⽅法:1. 过采样法,增加正例使正负例数⽬接近,如SMOTE:思想是合成新的少数类样本,合成的策略是对每个少数类样本a,从它的最近邻中随机选⼀个样本b,然后在a、b之间的连线上随机选⼀点作为新合成的少数类样本.2. ⽋采样法,减少负例使正负例数⽬接近,如EasyEnsemble:每次从⼤多数类中抽取和少数类数⽬差不多的重新组合,总共构成n个新的训练集,基于每个训练集训练出⼀个AdaBoost分类器（带阈值）,最后结合之前训练分类器结果加权求和减去阈值确定最终分类类别.3. 再缩放法第4章决策树ID3决策树选择信息增益最⼤的属性来划分:1. 信息熵:2. 信息增益:C4.5决策树选择增益率⼤的属性来划分,因为信息增益准则对可取值数⽬较多的属性有所偏好.但增益率会偏好于可取值数⽬较少的属性,因此C4.5算法先找出信息增益⾼于平均⽔平的属性,再从中选择增益率最⾼的.另外,C4.5决策树采⽤⼆分法对连续值进⾏处理,使⽤时将划分阈值t作为参数,选择使信息增益最⼤的t划分属性.采⽤样本权值对缺失值进⾏处理,含有缺失值的样本同时划⼊所有结点中,但相应调整权重.1. 增益率:2. a的固有值:CART决策树则选择基尼指数最⼩的属性来划分,基尼系数反映了从数据集中随机抽取的两个样本类别不⼀致的概率,注意CART是⼆叉树,其余两种都为多叉树.1. 基尼值衡量的纯度:2. 基尼指数:剪枝是决策树对付过拟合的主要⼿段,分为预剪枝和后剪枝.1. 预剪枝对每个结点在划分前先进⾏估计,若该结点的划分不能带来决策树泛化性能提升,则停⽌划分.预剪枝基于"贪⼼"本质,所以有⽋拟合的风险.2. 后剪枝是先⽣成⼀棵完整的决策树,然后⾃底向上对⾮叶结点考察,若该结点替换为叶结点能带来决策树泛化性能提升,则将⼦树替换为叶结点.缺点是时间开销⼤.决策树所形成的分类边界是轴平⾏的,多变量决策树(斜决策树)的每⼀个⾮叶结点都是⼀个线性分类器,因此可以产⽣斜的划分边界.第5章神经⽹络误差逆传播算法(BP算法)是迄今为⽌最成功的神经⽹络学习算法.关键点在于通过计算误差不断逆向调整隐层神经元的连接权和阈值.标准BP算法每次仅针对⼀个训练样例更新,累积BP算法则根据训练集上的累积误差更新.缓解BP神经⽹络过拟合有两种常见策略:1. 早停:若训练集误差降低但验证集误差升⾼则停⽌训练.2. 正则化:在误差⽬标函数中增加⼀个描述⽹络复杂度的部分(较⼩的连接权和阈值将使神经⽹络较为平滑).跳出局部最⼩,寻找全局最⼩的常⽤⽅法:1. 以多组不同参数初始化多个神经⽹络,选择最接近全局最⼩的2. 模拟退⽕3. 随机梯度下降典型的深度学习模型就是很深层的神经⽹络.但是多隐层神经⽹络难以直接⽤经典算法进⾏训练,因为误差在多隐层内逆传播时往往会发散.⽆监督逐层训练(如深层信念⽹络,DBN)和权共享(如卷积神经⽹络,CNN)是常⽤的节省训练开销的策略.第6章⽀持向量机⽀持向量机中的原始样本空间不⼀定存在符合条件的超平⾯,但是如果原始空间是有限维,则总存在⼀个⾼维特征空间使样本线性可分.核函数就是⽤来简化计算⾼维特征空间中的内积的⼀种⽅法.核函数选择是⽀持向量机的最⼤变数.常⽤的核函数有线性核,多项式核,⾼斯核(RBF核),拉普拉斯核,Sigmoid核.对⽂本数据常⽤线性核,情况不明时可先尝试⾼斯核.软间隔是缓解⽀持向量机过拟合的主要⼿段,软间隔允许某些样本不满⾜约束.⽀持向量回归可以容忍预测输出f(x)和真实输出y之间存在ε的偏差,仅当偏差绝对值⼤于ε时才计算损失.⽀持向量机中许多规划问题都使⽤拉格朗⽇对偶算法求解,原因在于改变了算法复杂度.原问题的算法复杂度与样本维度有关,对偶问题的样本复杂度与样本数量有关.如果使⽤了升维的⽅法,则此时样本维度会远⼤于样本数量,在对偶问题下求解会更好.第7章贝叶斯分类基于贝叶斯公式来估计后验概率的困难在于类条件概率是所有属性上的联合概率,难以从有限的训练样本直接估计⽽得.因此朴素贝叶斯分类器采⽤了"属性条件独⽴性假设"来避开这个障碍.朴素贝叶斯分类器中为了避免其他属性携带的信息被训练集中未出现的属性值"抹去",在估计概率值时通常要进⾏"平滑",常⽤拉普拉斯修正.属性条件独⽴性假设在现实中往往很难成⽴,于是半朴素贝叶斯分类器采⽤"独依赖估计(ODE)",即假设每个属性在类别之外最多仅依赖于⼀个其他属性.在此基础上有SPODE,TAN,AODE等算法.贝叶斯⽹⼜称信念⽹,借助有向⽆环图来刻画属性之间的依赖关系,并⽤条件概率表来描述属性的联合概率分布.半朴素贝叶斯分类器是贝叶斯⽹的⼀种特例.EM(Expectation-Maximization)算法是常⽤的估计参数隐变量的⽅法.基本思想是:若参数θ已知,则可根据训练数据推断出最优隐变量Z的值(E);若Z的值已知,则可⽅便地对参数θ做极⼤似然估计(M).第8章集成学习集成学习先产⽣⼀组个体学习器,再⽤某种策略将它们结合起来.如果集成中只包含同种类型的个体学习器则叫同质集成,其中的个体学习器称为基学习器,相应的学习算法称为基学习算法.如果包含不同类型的个体学习器则叫异质集成,其中的学习器常称为组件学习器.要获得好的集成,个体学习器应"好⽽不同".即要有⼀定的准确性,并且要有多样性.⽬前的集成学习⽅法⼤致分为两⼤类:1. 序列化⽅法:个体学习器间存在强依赖关系,必须串⾏⽣成.2. 并⾏化⽅法:个体学习器间不存在强依赖关系,可同时⽣成.Boosting先从初始训练集训练出⼀个基学习器,再根据基学习器的表现对训练样本分布进⾏调整,使做错的训练样本在后续受到更多关注(给予更⼤的权重或重采样).然后基于调整后的样本分布来训练下⼀个基学习器;直到基学习器的数⽬达到指定值T之后,将这T个基学习器加权结合.Boosting主要关注降低偏差,因此能基于泛化性能相当弱的学习器构建出很强的集成.代表算法有AdaBoost.Bagging是并⾏式集成学习⽅法最著名的代表.它基于⾃助采样法,采样出T个含m个训练样本的采样集,基于每个采样集训练出⼀个基学习器,再将这些基学习器进⾏简单结合.在对预测输出进⾏结合时,常对分类任务使⽤投票法,对回归任务使⽤平均法.Bagging主要关注降低⽅差,因此在不剪枝决策树,神经⽹络等易受样本扰动的学习器上效⽤更明显.代表算法有随机森林.随机森林在以决策树为基学习器构建Bagging的基础上,进⼀步引⼊了随机属性选择.即先从属性集合(假定有d个属性)中随机选择⼀个包含k个属性的⼦集,再从这个⼦集中选择⼀个最优属性进⾏划分.当k=d时,基决策树与传统决策树相同.当k=1时,则随机选择⼀个属性⽤于划分.⼀般推荐k=log2d.学习器结合可能会从三个⽅⾯带来好处:1. 统计:可能有多个假设在训练集上达到同等性能,单学习器可能因误选⽽导致泛化性能不佳,结合多个学习器会减⼩这⼀风险.2. 计算:通过多次运⾏之后进⾏结合,降低陷⼊糟糕局部极⼩点的风险.3. 表⽰:结合多个学习器,相应的假设空间有所扩⼤,有可能学得更好的近似.结合策略:1. 平均法:对数值型输出,最常见的策略是平均法.⼀般⽽⾔,在个体学习器性能相差较⼤时使⽤加权平均法,性能相近时使⽤简单平均法.权重⼀般也是从训练数据中学习⽽得.2. 投票法:对分类任务来说,最常见的策略是投票法.⼜可细分为绝对多数投票法,相对多数投票法,加权投票法.绝对多数投票法允许"拒绝预测",若必须提供预测结果则退化为相对多数投票法.若基学习器的类型不同,则类概率值不能直接⽐较,需要将类概率输出转化为类标记输出后再投票.3. 学习法:当训练数据很多时,⼀种更强⼤的策略是通过另⼀个学习器来结合.Stacking是学习法的典型代表.我们把个体学习器称为初级学习器,⽤于结合的学习器称为次级学习器或元学习器.Stacking⽤初级学习器的输出作为样例输⼊特征,⽤初始样本的标记作为样例标记,然后⽤这个新数据集来训练次级学习器.⼀般⽤初级学习器的输出类概率作为次级学习器的输⼊属性,⽤多响应线性回归(Multi-response Linear Regression,MLR)作为次级学习算法效果较好.多样性增强常⽤的⽅法有:数据样本扰动,输⼊属性扰动,输出表⽰扰动,算法参数扰动.第9章聚类聚类既能作为⼀个找寻数据内在分布结构的单独过程,也可以作为其他学习任务的前驱过程.我们希望"物以类聚",也就是聚类结果的"簇内相似度"⾼且"簇间相似度"低.聚类性能度量⼤致有两类.⼀类是将聚类结果与参考模型进⾏⽐较,称为外部指标,常⽤的有JC,FMI,RI;另⼀类是直接考察聚类结果,称为内部指标,常⽤的有DBI,DI.有序属性距离计算最常⽤的是闵可夫斯基距离,当p=2时即欧⽒距离,当p=1时即曼哈顿距离.对⽆序属性可采⽤VDM(Value Difference Metric),将闵可夫斯基距离和VDM结合即可处理混合属性,当不同属性的重要性不同时可使⽤加权距离.我们基于某种形式的距离来定义相似度度量,但是⽤于相似度度量的距离未必⼀定要满⾜距离度量的基本性质,尤其是直递性.在现实任务中有必要通过距离度量学习来基于数据样本确定合适的距离计算式.原型聚类假设聚类结构能通过⼀组原型刻画.通常算法先对原型进⾏初始化,然后对原型进⾏迭代更新求解.常⽤的原型聚类算法有k均值算法,学习向量量化,⾼斯混合聚类.密度聚类假设聚类结构能通过样本分布的紧密程度确定.通常从样本密度的⾓度来考察样本之间的可连接性,并基于可连接样本不断扩展聚类簇.常⽤算法有DBSCAN层次聚类试图在不同层次对数据集进⾏划分,从⽽形成树形的聚类结构.代表算法有AGNES.第10章降维与度量学习懒惰学习在训练阶段只把样本保存起来,训练时间开销为零,待收到测试样本后再进⾏处理,如k近邻学习(kNN).急切学习则在训练阶段就对样本进⾏学习处理.若任意测试样本x附近任意⼩的δ距离范围内总能找到⼀个训练样本,即训练样本的采样密度⾜够⼤,或称为密采样,则最近邻分类器(1NN)的泛化错误率不超过贝叶斯最优分类器的错误率的两倍.在⾼维情形下出现的数据样本稀疏,距离计算困难等问题称为"维数灾难".处理⾼维数据的两⼤主流技术是降维和特征选择.降维亦称维数约简,即通过某种数学变换将原始⾼维属性空间转变为⼀个低维⼦空间.能进⾏降维的原因是与学习任务密切相关的或许仅仅是数据样本的某个低维分布,⽽不是原始⾼维空间的样本点.多维缩放是⼀种经典的降维⽅法.它使原始空间中样本之间的距离在低维空间中得以保持.主成分分析(PCA)是最常⽤的⼀种降维⽅法.如果要⽤⼀个超平⾯对所有样本进⾏恰当的表达,这个超平⾯应该具有最近重构性和最⼤可分性两种性质.基于这两种性质可以得到主成分分析的等价推导.PCA可以使样本的采样密度增⼤,同时在⼀定程度上起到去噪的效果.线性降维⽅法有可能丢失低维结构,因此要引⼊⾮线性降维.⼀种常⽤⽅法是基于核技巧对线性降维⽅法进⾏核化.如核主成分分析(KPCA).流形学习(manifold learning)是⼀类借鉴了拓扑流形概念的降维⽅法.流形在局部具有欧⽒空间性质.将低维流形嵌⼊到⾼维空间中,可以容易地在局部建⽴降维映射关系,再设法将局部映射关系推⼴到全局.常⽤的流形学习⽅法有等度量映射和局部线性嵌⼊等.对⾼维数据进⾏降维的主要⽬的是找到⼀个合适的低维空间.事实上,每个空间对应了在样本属性上定义的⼀个距离度量,度量学习直接尝试学习出⼀个合适的距离度量.常⽤⽅法有近邻成分分析(NCA).第11章特征选择与稀疏学习对当前学习任务有⽤的属性称为相关特征,没什么⽤的属性称为⽆关特征.从给定特征集合中选择出相关特征⼦集的过程称为特征选择.特征选择是⼀个重要的数据预处理过程.冗余特征是指包含的信息可以从其他特征中推演出来的特征.冗余特征在很多时候不起作⽤,但若某个冗余特征恰好对应了完成学习任务所需的中间概念,则该冗余特征反⽽是有益的.⼦集搜索:可以采⽤逐渐增加相关特征的前向搜索,每次在候选⼦集中加⼊⼀个特征,选取最优候选⼦集.也可以采⽤每次去掉⼀个⽆关特征的后向搜索.这些策略是贪⼼的,但是避免了穷举搜索产⽣的计算问题.⼦集评价:特征⼦集A确定了对数据集D的⼀个划分,样本标记信息Y对应着对D的真实划分,通过估算这两个划分的差异就能对A进⾏评价.可采⽤信息熵等⽅法.过滤式选择先对数据集进⾏特征选择,然后再训练学习器,特征选择过程与后续学习器⽆关.Relief(Relevant Features)是⼀种著名的过滤式选择⽅法.该⽅法设计了⼀个相关统计量来度量特征的重要性.包裹式选择直接把最终将要使⽤的学习器的性能作为特征⼦集的评价标准.因此产⽣的最终学习器的性能较好,但训练时的计算开销也更⼤.LVW(Las Vegas Wrapper)是⼀个典型的包裹式特征选择⽅法,它在拉斯维加斯⽅法框架下使⽤随机策略来进⾏⼦集搜索,并以最终分类器的误差为特征⼦集评价准则.嵌⼊式选择是将特征选择过程与学习器训练过程融为⼀体,两者在同⼀个优化过程中完成.例如正则化.L1正则化(Lasso)是指权值向量w中各个元素的绝对值之和.L1正则化趋向选择少量的特征,使其他特征尽可能为0,可以产⽣稀疏权值矩阵,即产⽣⼀个稀疏模型,可以⽤于特征选择.L1正则化是L0正则化的最优凸近似.L2正则化(Ridge)是指权值向量w中各个元素的平⽅和然后再求平⽅根.L2正则化趋向选择更多的特征,让这些特征尽可能接近0,可以防⽌模型过拟合(L1也可以).字典学习也叫稀疏编码,指的是为普通稠密表达的样本找到合适的字典,将样本转化为合适的稀疏表达形式,从⽽使学习任务得以简化,模型复杂度得以降低的过程.压缩感知关注的是利⽤信号本⾝的稀疏性,从部分观测样本中恢复原信号.分为感知测量和重构恢复两个阶段,其中重构恢复⽐较重要.可利⽤矩阵补全等⽅法来解决推荐系统之类的协同过滤(collaborative filtering)任务.由于第⼀次阅读,12章开始的内容仅作概念性了解.第12章计算学习理论计算学习理论研究的是关于通过计算来进⾏学习的理论,⽬的是分析学习任务的困难本质,为学习算法提供理论保证,并提供分析结果指导算法设计.计算学习理论中最基本的是概率近似正确(Probably Approximately Correct,PCA)学习理论.由此可以得到PAC辨识,PAC可学习,PAC学习算法,样本复杂度等概念.有限假设空间的可分情形都是PAC可学习的.对于不可分情形,可以得到不可知PAC可学习的概念,即在假设空间的所有假设中找到最好的⼀个.对⼆分类问题来说,假设空间中的假设对数据集中⽰例赋予标记的每种可能结果称为对数据集的⼀种对分.若假设空间能实现数据集上的所有对分,则称数据集能被假设空间打散.假设空间的VC维是能被假设空间打散的最⼤数据集的⼤⼩.算法的稳定性考察的是算法在输⼊发⽣变化时,输出是否会随之发⽣较⼤的变化.第13章半监督学习主动学习是指先⽤有标记样本训练⼀个模型,通过引⼊额外的专家知识,将部分未标记样本转变为有标记样本,每次都挑出对改善模型性能帮助⼤的样本,从⽽构建出⽐较强的模型.未标记样本虽未直接包含标记信息,但若它们与有标记样本是从同样的数据源独⽴同分布采样⽽来,则它们所包含的关于数据分布的信息对建模⼤有裨益.要利⽤未标记样本,需要有⼀些基本假设,如聚类假设,流形假设.半监督学习可进⼀步划分为纯半监督学习和直推学习.前者假定训练数据中的未标记样本并⾮待预测的数据,⽽后者则假定学习过程中所考虑的未标记样本恰是待预测数据.⽣成式⽅法是直接基于⽣成式模型的⽅法.此类⽅法假设所有数据都是由同⼀个潜在的模型⽣成的.这个假设使得我们能通过潜在模型的参数将未标记数据与学习⽬标联系起来.半监督⽀持向量机(S3VM)是⽀持向量机在半监督学习上的推⼴.S3VM试图找到能将两类有标记样本分开,且穿过数据低密度区域的划分超平⾯.除此之外,还有图半监督学习,基于分歧的⽅法(如协同训练),半监督聚类等学习⽅法.第14章概率图模型机器学习最重要的任务,是根据⼀些已观察到的证据来对感兴趣的未知变量进⾏估计和推测.⽣成式模型考虑联合分布P(Y,R,O),判别式模型考虑条件分布P(Y,R|O).概率图模型是⼀类⽤图来表达变量相关关系的概率模型.若变量间存在显式的因果关系,常使⽤贝叶斯⽹.若变量间存在相关性但难以获取显式的因果关系,常使⽤马尔可夫⽹.隐马尔可夫模型(Hidden Markov Model,HMM)是结构最简单的动态贝叶斯⽹.主要⽤于时序数据建模,在语⾳识别,⾃然语⾔处理等领域有⼴泛应⽤.隐马尔可夫模型中有状态变量(隐变量)和观测变量两组变量.马尔可夫链:系统下⼀时刻的状态仅有当前状态决定,不依赖于以往的任何状态.马尔可夫随机场(Markov Random Field,MRF)是典型的马尔可夫⽹.每⼀个结点表⽰⼀个或⼀组变量,结点之间的边表⽰两个变量之间的依赖关系.条件随机场是判别式模型,可看作给定观测值的马尔可夫随机场.概率图模型的推断⽅法⼤致分为两类.第⼀类是精确推断,代表性⽅法有变量消去和信念传播.第⼆类是近似推断,可⼤致分为采样(如MCMC采样)和使⽤确定性近似完成近似推断(如变分推断).第15章规则学习规则学习是指从训练数据中学习出⼀组能⽤于对未见⽰例进⾏判别的规则.规则学习具有较好的可解释性,能使⽤户直观地对判别过程有所了解.规则学习的⽬标是产⽣⼀个能覆盖尽可能多的样例的规则集,最直接的做法是序贯覆盖,即逐条归纳:每学到⼀条规则,就将该规则覆盖的训练样例去除.常采⽤⾃顶向下的⽣成-测试法.规则学习缓解过拟合的常见做法是剪枝,例如CN2,REP,IREP等算法.著名的规则学习算法RIPPER就是将剪枝与后处理优化相结合.命题规则难以处理对象之间的关系,因此要⽤⼀阶逻辑表⽰,并且要使⽤⼀阶规则学习.它能更容易地引⼊领域知识.著名算法有FOIL(First-Order Inductive Learner)等.第16章强化学习强化学习的⽬的是要找到能使长期累积奖赏最⼤化的策略.在某种意义上可看作具有"延迟标记信息"的监督学习问题.每个动作的奖赏值往往来⾃于⼀个概率分布,因此强化学习会⾯临"探索-利⽤窘境",因此要在探索和利⽤中达成较好的折中.ε-贪⼼法在每次尝试时以ε的概率进⾏探索,以均匀概率随机选取⼀个动作.以1-ε的概率进⾏利⽤,选择当前平均奖赏最⾼的动作.Softmax算法则以较⾼的概率选取平均奖赏较⾼的动作.强化学习任务对应的马尔可夫决策过程四元组已知的情形称为模型已知.在已知模型的环境中学习称为"有模型学习".反之称为"免模型学习".从⼈类专家的决策过程范例中学习的过程称为模仿学习.。
机器学习中的度量学习理论与方法研究
机器学习中的度量学习理论与方法研究机器学习是当今信息时代的重要领域之一，它涉及到大量的算法和模型。
在机器学习领域中，度量学习是一种非常重要的理论和方法，它为我们提供了一种有效的方式来评估和比较不同的数据。
本文将简要介绍度量学习在机器学习中的作用及其研究现状。
一、度量学习的定义与意义度量学习（metric learning）是一种机器学习方法，它致力于通过学习距离或相似度度量（metric或distance）来使数据具有更好的分类性能、聚类性能、回归性能等等。
度量学习的重要性在于它可以将不同特征之间的距离（或相似度）转化为可操作的数据。
具体来说，度量学习通过学习对距离度量矩阵的优化，为不同的数据提供了精细的度量方式。
而且，度量学习还可以结合监督和无监督学习技术来提高模型的泛化性能，同时降低模型的复杂性。
二、度量学习的分类在机器学习中，度量学习可以分为多种。
以下是度量学习的几种典型分类。
1、基于实例的度量学习基于实例的度量学习（instance-based distance metric learning）是一种无监督学习方法，它通过学习数据实例之间的距离来支持分类等任务。
在这种方法中，每个数据实例都被看作是一个独立的元素，而且它们之间的距离可以被用来解释不同的数据。
这种方法可以允许我们通过考虑不同实例之间的相似性来实现迁移学习和多任务学习等任务。
2、度量学习流形度量学习流形（metric learning on manifolds）是一种拓扑方法，它被用来捕获数据的内在结构和减少维度。
这种方法既可以通过监督学习来生成标记数据，也可以通过学习无标记数据来构造几何流形。
这种方法特别适用于处理图像、语音以及自然语言处理等任务。
3、核度量学习核度量学习（kernel metric learning）是一种数据驱动方法，它根据核函数的性质构建度量矩阵，并对不同的数据点进行距离计算。
这种方法优点在于它能够灵活地选择核函数，同时避免了数据高维度问题，从而具有较好的性能和效率。
曼哈顿距离相似度
曼哈顿距离相似度曼哈顿距离相似度是一种常用的相似度度量方法，它是以曼哈顿距离为基础计算得出的相似度。
曼哈顿距离又称为城市街区距离或L1距离，它是两点在每个维度上距离的绝对值之和，可以用以下公式表示：d(x,y) = ∑|xi - yi |其中x和y为两个n维向量，|xi - yi|表示在第i维上x的值减去y的值取绝对值。
曼哈顿距离相似度计算的是两个向量之间的相似度。
当两个向量越相似，它们在曼哈顿距离相似度上的值越小，越接近0。
相反，当两个向量越不相似，它们在曼哈顿距离相似度上的值越大。
曼哈顿距离相似度的优点是计算简单，且不受维度的影响，在高维空间下仍然能够有效地计算相似度。
曼哈顿距离相似度的缺点是无法捕捉向量之间的方向信息，它只能计算向量之间的距离。
曼哈顿距离相似度在机器学习、数据挖掘、图像处理等领域广泛应用。
例如，在推荐系统中，可以将用户和商品的特征向量表示为n维向量，然后用曼哈顿距离相似度计算用户之间或商品之间的相似度，从而进行推荐。
在图像处理中，可以用曼哈顿距离相似度计算图像之间的相似度，从而进行图像检索和分类等任务。
曼哈顿距离相似度的计算可以通过numpy库中的pdist函数进行实现。
pdist函数可以计算一个矩阵中所有向量之间的距离，返回一个向量。
例如，下面的代码可以计算一个5个向量、每个向量长度为3的矩阵中所有向量之间的曼哈顿距离相似度：```pythonimport numpy as npfrom scipy.spatial.distance import pdist, squareform# 生成一个5x3的随机矩阵X = np.random.rand(5, 3)# 计算矩阵中所有向量之间的曼哈顿距离相似度distances = pdist(X, 'cityblock')# 将距离转换为矩阵形式distance_matrix = squareform(distances)print(distance_matrix)```输出的结果类似于：```[[0. 1.95165402 1.18311311 2.23343779 1.24511565][1.95165402 0. 1.10720753 1.30869075 1.62816432][1.18311311 1.10720753 0. 1.87501352 1.06419347][2.23343779 1.30869075 1.87501352 0. 1.92833393][1.24511565 1.62816432 1.06419347 1.92833393 0. ]]```其中，矩阵的每个元素表示矩阵中对应位置的向量之间的曼哈顿距离相似度。
常见的距离算法和相似度(相关系数)计算方法
常见的距离算法和相似度（相关系数）计算方法在统计学和机器学习中，距离算法和相似度计算是常用的工具。
它们用于测量样本之间的差异或相似程度，从而用于聚类、分类、回归等任务。
本文将介绍几种常见的距离算法和相似度计算方法。
一、距离算法1.闵可夫斯基距离：闵可夫斯基距离是一种广义的距离度量方法，包括欧几里德距离和曼哈顿距离作为特例。
对于两个n维样本x和y，闵可夫斯基距离的定义为：D(x,y) = √(Σ(xi-yi)^p)^1/p其中p是一个可调参数，当p=1时，闵可夫斯基距离等同于曼哈顿距离；当p=2时，闵可夫斯基距离等同于欧几里德距离。
2.曼哈顿距离：曼哈顿距离又称为城市街区距离，是指在笛卡尔坐标系中两点之间的水平方向和垂直方向的距离总和。
对于两个二维样本(x1,y1)和(x2,y2)，曼哈顿距离的定义为：D(x,y)=，x1-x2，+，y1-y23.欧几里德距离：欧几里德距离是最常见的距离度量方法，也称为直线距离。
对于两个n维样本x和y，欧几里德距离的定义为：D(x,y) = √(Σ(xi-yi)^2)4.切比雪夫距离：切比雪夫距离是指两个样本在每个维度上差值的最大绝对值。
对于两个n维样本x和y，切比雪夫距离的定义为：D(x,y) = max(，xi-yi，)5.杰卡德距离：杰卡德距离主要用于比较两个集合的相似度，特别适用于处理二元变量或稀疏数据。
对于两个集合A和B，杰卡德距离的定义为：D(A,B)=1-，A∩B，/，A∪B1.皮尔逊相关系数：皮尔逊相关系数是一种常用的方法，用于测量两个变量之间的线性关系程度。
对于两个n维向量x和y，皮尔逊相关系数的定义为：ρ(x,y) = Σ((xi-μx)(yi-μy))/(√(Σ(xi-μx)^2)√(Σ(yi-μy)^2))其中，μx和μy分别是向量x和y的均值。
2.余弦相似度：余弦相似度是一种常用的方法，用于测量两个向量之间的夹角余弦值。
对于两个n维向量x和y，余弦相似度的定义为：cosθ = (x·y)/(∥x∥∥y∥)其中，·表示向量的点积，∥x∥和∥y∥表示向量的模。
8种相似度度量方式的原理及实现
8种相似度度量方式的原理及实现相似度度量是比较两个对象之间相似程度的一种方法。
在机器学习、数据挖掘和自然语言处理中，相似度度量广泛应用于聚类、分类、检索等任务。
本文将介绍8种常用的相似度度量方式的原理及实现。
1. 欧氏距离(Euclidean Distance):原理：欧氏距离是最常见的相似度度量方式之一，它衡量两个向量之间的直线距离。
对于给定的向量a和b，欧氏距离的计算公式为：sqrt(sum((a[i]-b[i])**2))，其中i为维度的索引。
实现：可以使用numpy库中的`numpy.linalg.norm`函数来计算欧氏距离。
2. 曼哈顿距离(Manhattan Distance):原理：曼哈顿距离是另一种常见的相似度度量方式，它衡量两个向量之间的曼哈顿距离或城市街区距离，即两点之间沿坐标轴的绝对距离之和。
对于给定的向量a和b，曼哈顿距离的计算公式为：sum(abs(a[i]-b[i]))，其中i为维度的索引。
实现：可以使用numpy库中的`numpy.linalg.norm`函数，将参数`ord`设置为1来计算曼哈顿距离。
3. 余弦相似度(Cosine Similarity):原理：余弦相似度度量两个向量的夹角余弦值，而不是像欧氏距离一样衡量向量的绝对距离。
余弦相似度的计算公式为：dot(a, b) /(norm(a) * norm(b))，其中dot为向量的点积，norm为向量的范数或长度。
实现：可以使用numpy库中的`numpy.dot`函数和`numpy.linalg.norm`函数来计算余弦相似度。
4. 皮尔逊相关系数(Pearson Correlation Coefficient):原理：皮尔逊相关系数度量两个变量之间的线性关系强度和方向，其取值范围为[-1, 1]。
与余弦相似度不同，皮尔逊相关系数考虑了向量的线性相关性。
皮尔逊相关系数的计算公式为：cov(a, b) / (std(a) * std(b))，其中cov为协方差，std为标准差。
机器学习中的度量——向量距离
机器学习中的度量——向量距离机器学习是时下流⾏AI 技术中⼀个很重要的⽅向，⽆论是有监督学习还是⽆监督学习都使⽤各种“度量”来得到不同样本数据的差异度或者不同样本数据的相似度。
良好的“度量”可以显著提⾼算法的分类或预测的准确率，本⽂中将介绍机器学习中各种“度量”，“度量”主要由两种，分别为距离、相似度和相关系数，距离的研究主体⼀般是线性空间中点；⽽相似度研究主体是线性空间中向量；相关系数研究主体主要是分布数据。
本⽂主要介绍距离。
1 向量距离1.1 欧式距离¬——从勾股定理⽽来让我回忆⼀下中学时候学过的勾股定理，历史悠久的勾股定理告诉了如果在⼀个直⾓三⾓形中两条直⾓边分别为a 和b ，那么斜边c 和a 、b 的关系⼀定满⾜c 2=a 2+b 2图1 勾股定理图2 成书于宋⾦时期《测圆海镜》中的⼗五个勾股形从直观上将，图2中两个点距离是蓝线的长度，⽽使⽤勾股定理可以计算出如图2的两个数据点之间距离。
图3 可汗学院距离教程中样例根据勾股定理很容易求出上⾯两个点距离为如下式⼦表⽰：这个最直观的距离还有⼀个正式称呼，欧⼏⾥得距离(Euclidean distance)，上⾯是⼆维空间中欧式距离，更为⼀般的情况为：在笛卡尔坐标系(Cartesian Coordinates)中如果点x = (x1, x2,..., xn) 和点 y = (y1, y2, ..., yn) 是两个欧式空间的点，则点x 和点y 的欧式距离为:d Euclidean (x ,y )=d Euclidean (y ,x )=x 1−y 12+x 2−y 22+⋯+x n −y n 2=n∑i =1x i −y i 2 笛卡尔坐标系: ⼀种正交坐标系。
参阅图4，⼆维的直⾓坐标系是由两条相互垂直、相交于原点的数线构成的。
在平⾯内，任何⼀点的坐标是根据数轴上对应的点的坐标设定的图4 ⼀个直⾓坐标系1.2 曼哈顿距离¬¬——⾏⾛在纽约曼哈顿街道上曼哈顿距离(Manhattan distance)是由⼗九世纪的赫尔曼·闵可夫斯基所创辞汇，⽤以标明两个点上在标准坐标系上的绝对轴距之总和。
特征抽取中的距离度量与相似性计算指南
特征抽取中的距离度量与相似性计算指南在机器学习和数据挖掘领域，特征抽取是一个关键的步骤，它用于将原始数据转化为可供机器学习算法使用的特征向量。
而距离度量和相似性计算则是特征抽取中的重要环节，它们用于衡量不同样本之间的相似性或差异性。
本文将为您介绍特征抽取中的距离度量与相似性计算的一些指南。
一、欧氏距离欧氏距离是最常用的距离度量方法之一，它衡量了两个样本在特征空间中的几何距离。
对于两个n维特征向量x和y，欧氏距离的计算公式为：d(x, y) = sqrt((x1 - y1)^2 + (x2 - y2)^2 + ... + (xn - yn)^2)其中，xi和yi分别表示向量x和y在第i个维度上的取值。
欧氏距离越小，表示两个样本越相似。
二、曼哈顿距离曼哈顿距离是另一种常用的距离度量方法，它衡量了两个样本在特征空间中的城市街区距离。
对于两个n维特征向量x和y，曼哈顿距离的计算公式为：d(x, y) = |x1 - y1| + |x2 - y2| + ... + |xn - yn|曼哈顿距离也被称为L1距离，它忽略了特征之间的相关性，只考虑了各个维度上的差异。
曼哈顿距离越小，表示两个样本越相似。
三、余弦相似度余弦相似度是一种常用的相似性计算方法，它衡量了两个样本之间的夹角余弦值。
对于两个n维特征向量x和y，余弦相似度的计算公式为：sim(x, y) = (x * y) / (||x|| * ||y||)其中，sim(x, y)表示向量x和y的余弦相似度，x * y表示向量x和y的内积，||x||和||y||表示向量x和y的模长。
余弦相似度的取值范围在[-1, 1]之间，越接近1表示两个样本越相似。
四、编辑距离编辑距离是一种用于衡量两个字符串之间的相似性的距离度量方法，它衡量了通过插入、删除和替换操作将一个字符串转化为另一个字符串所需的最小操作次数。
编辑距离可以应用于文本分类、拼写纠错等任务中。
计算编辑距离的方法有多种，常见的有莱文斯坦距离和最长公共子序列距离。
机器学习基础之数字上的距离（一）：点在空间中的距离
机器学习基础之数字上的距离（一）：点在空间中的距离在机器学习中，一个基础的概念就是如何判断两个样本之间的差异，从而能够评价两个样本之间的相似性和类别等信息。
而判断这种相似性的度量就是两个样本在特征空间内的距离。
根据数据特征的不同，度量方法有很多种。
一般而言，对两个数据样本x，y，定义一个函数d（x，y），如果定义其为两个样本之间的距离，那么d（x，y）则需要满足以下几条基本性质：1、非负性：d（x，y）>=02、同一性：d（x，y）=0 ⇔ x=y3、对称性：d（x，y）= d（y，x）4、三角不等式：d（x，y）<= d（x，z）+d（z，y）通常来讲，常见的距离度量包括：点在空间中的距离、字符串间的距离、集合的相似度、变量/概念分布间的距离四种。
今天我们首先来介绍一下最为常用的点在空间中的距离。
点在空间中的距离包括以下几种：1、欧几里得距离（Ecllidean Distance）毫无疑问，欧氏距离是人们最熟悉的距离，它即是两点之间的直线距离。
学过初中数学的同学都知道在笛卡尔坐标系中如何计算二维空间两个点之间的距离其计算公式为：推广到N维空间的欧氏距离即为：2、曼哈顿距离（Manhattan Distance）曼哈顿距离又称为出租车距离，其概念来源于纽约曼哈顿区这样有很多横平竖直的街区，在这种街区中，出租车司机如果想从一个点走到另一个点的话，计算直线距离是没有用的，因为出租车不可能从建筑物上飞过去。
因此，这种距离通常是将两个点的东西向、南北向距离分别相减再相加，这也就是出租车实际要经过的距离。
如图所示，红线和黄线就是两种不同路径的曼哈顿距离。
数学上，二维空间的曼哈顿距离计算方法如下：3、切比雪夫距离（Chebyshev Distance）切比雪夫距离定义为两个点之间各坐标数值差的最大值。
其最直观的例子即是国际象棋中的国王，因为它可以横走直走斜走，但是每次都只能走一格，所以切比雪夫距离就是他要走到另一个格子所需要的最小距离。
knn算法常用距离
KNN算法常用距离介绍K近邻（K-Nearest Neighbors, KNN）是一种简单但非常有效的机器学习算法，通常用于分类和回归问题。
在KNN算法中，距离度量是其中一项重要的因素，它用于计算不同数据点之间的相似性或差异性。
本文将介绍KNN算法常用的距离度量方法，帮助读者更好地理解和应用KNN算法。
欧氏距离（Euclidean Distance）欧氏距离是最常用的距离度量方法之一，它衡量了两个点之间的直线距离。
欧氏距离可以通过以下公式计算：nd(p,q)=√∑(q i−p i)2i=1其中，p和q分别代表两个数据点的特征向量，n表示向量的维度。
欧氏距离的计算十分直观且易于理解，因此广泛应用于KNN算法中。
曼哈顿距离（Manhattan Distance）曼哈顿距离是另一种常用的距离度量方法，它衡量了两个点之间沿着坐标轴的距离之和。
曼哈顿距离可以通过以下公式计算：nd(p,q)=∑|q i−p i|i=1曼哈顿距离常用于计算城市街区之间的距离，因为它反映了在城市街区中沿着直角路径行走的距离。
曼哈顿距离适用于特征向量维度较高的情况。
切比雪夫距离（Chebyshev Distance）切比雪夫距离是一种用于衡量两个点之间的最大差异的距离度量方法。
切比雪夫距离可以通过以下公式计算：d (p,q )=max i |q i −p i |切比雪夫距离能够忽略其他维度的差异，只关注最大差异的维度，因此在处理异常值较多的情况下效果较好。
闵可夫斯基距离（Minkowski Distance ）闵可夫斯基距离是一个通用的距离度量方法，可以根据参数p 的不同取值衡量数据点之间的相似程度。
闵可夫斯基距离可以通过以下公式计算：d (p,q )=(∑|q i −p i |p n i=1)1p当p=1时，闵可夫斯基距离等同于曼哈顿距离；当p=2时，闵可夫斯基距离等同于欧氏距离；当p 趋近于无穷大时，闵可夫斯基距离等同于切比雪夫距离。
皮尔逊相关法和平方欧式距离
皮尔逊相关法和平方欧式距离引言皮尔逊相关法和平方欧式距离是数据分析和机器学习领域中常用的两种相似度度量方法。
它们可以用于比较和评估两个向量之间的相似程度。
本文将详细介绍这两种方法的原理、计算公式以及应用领域，并分析它们的优缺点。
一、皮尔逊相关法1.1 概述皮尔逊相关法是用来度量两个变量之间线性关系强度的一种统计方法。
它通过计算两个变量的协方差和各自的标准差，得到相关系数。
相关系数的取值范围在-1到1之间，接近1表示变量间存在强正相关关系，接近-1表示变量间存在强负相关关系，接近0表示变量间不存在线性关系。
1.2 计算公式皮尔逊相关系数的计算公式为：r=∑(X−X‾)n(Y−Y‾)√∑(X i−X‾)2ni=1√∑(Y i−Y‾)2ni=1其中，X i和Y i分别为两个变量的第i个观测值，X‾和Y‾分别为两个变量的均值。
1.3 应用领域皮尔逊相关法广泛应用于统计学、数据分析和机器学习领域。
它可以用来研究变量之间的关联性、评估预测模型的拟合程度，以及筛选特征变量等。
二、平方欧式距离2.1 概述平方欧式距离是一种计算两个向量之间距离的方法。
它基于欧式距离的思想，但对距离的计算进行了平方处理。
平方欧式距离的值越小，表示两个向量越接近。
2.2 计算公式平方欧式距离的计算公式为：nd=∑(X i−Y i)2i=1其中，X i和Y i分别为两个向量的第i个分量。
2.3 应用领域平方欧式距离常用于聚类分析、数据挖掘和模式识别等领域。
它可以用来度量数据点之间的相似度，从而帮助我们发现数据中的分组结构。
三、皮尔逊相关法与平方欧式距离的比较3.1 相似度与距离的区别皮尔逊相关法和平方欧式距离分别用于度量相似度和距离。
相似度越大表示两个变量或向量越相似，而距离越小表示两个变量或向量越接近。
3.2 公式差异皮尔逊相关系数通过计算协方差和标准差得到，而平方欧式距离只需计算各分量的差值平方和。
因此，皮尔逊相关法更加关注变量间的线性关系，而平方欧式距离更加关注变量间的差异程度。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
d
kn 1x1kskx2k2
n k1
x1kx2k sk2
2
如果将方差的倒数看成是一个权重，这个公式可以看成是 一种加权欧氏距离(Weighted Euclidean distance)。
本使文不档同所规提格供的的信数息据仅转当供换之参处考到，之同请用一联，规系不格能本作人为或科网学站依删据除，。请勿模仿。文档如有不
本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿。文档如有不 当之处，请联系本人或网站删除。
相似度度量
相似度度量（Similarity），即计算个体间的相似程度， 与距离度量相反，相似度度量的值越小，说明个体间 相似度越小，差异越大。
本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿。文档如有不
本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿。文档如有不
闵可夫斯基当距之处离，请联系本人或网站删除。
闵可夫斯基距离（Minkowski distance）不是一种距离， 而是一组距离的定义。
1
n
x1k x2k p p
k1
该距离最常用的 p 是 2 和 1, 无穷大 •P=2是欧几里得距离（Euclidean distance）， •P=1是曼哈顿距离（Manhattan distance）。 •当 p 趋近于无穷大时，闵可夫斯基距离转化成切比雪 夫距离（Chebyshev distance）
4) d(x,k)+ d(k,y) >= d(x,y)
// 三角形法则: (两边之和 大于第三边)
本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿。文档如有不
欧式距离 当之处，请联系本人或网站删除。
即：所有点的对应维度之差的 平方的求和再开方。 欧式距离相似度算法需要保证 各个维度指标在相同的刻度级 别，比如对身高、体重两个单 位不同的指标使用欧氏距离可 能使结果失效。
本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿。文档如有不
缺点：
当之处，请联系本人或网站删除。
举个栗子
二维样本(身高,体重)，其中身高范围是150~190，体 重范围是50~60，有三个样本：a(180,50)，b(190,50)， c(180,60)。 那么a与b之间的闵氏距离（无论是曼哈顿距离、欧氏 距离或切比雪夫距离）等于a与c之间的闵氏距离， 但是身高的10cm等价于体重的10kg吗？ 因此用闵氏距离来衡量这些样本间的相似度有问题。
本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿。文档如有不 当之处，请联系本人或网站删除。
本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿。文档如有不
在机器学习和数据当挖之掘处中，，请联我系们本经人常或需网站要删知除道。个体间差 异的大小，进而评价个体的相似性和类别。根据数据特
马式距离 本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿。文档如有不 当之处，请联系本人或网站删除。
若协方差矩阵是单位矩阵（各个样本向量之间独立同分布）, 则公式就成了：
则Xi与Xj之间的马氏距离等于他们的欧氏距离。 即：若协方差矩阵是对角矩阵，公式变成了标准化欧氏距离。
标准化欧氏距离是在假设数据各 个维度不相关的情况下，利用数 据分布的特性计算出不同的距离。 如果维度相互之间数据相关（例 如：身高较高的信息很有可能会 带来体重较重的信息，因为两者 是有关联的），就要用到马氏距 离
简单说来，闵氏距离的缺点主要有两个： 1. 将各个分量的量纲(scale)，也就是“单位”当作相 同的看待了。 2. 没有考虑各个分量的分布（期望，方差等)可能是不 同的。
本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿。文档如有不
标准化欧氏当距之处离，请联系本人或网站删除。
引入标准化欧式距离的原因是一个数据xi的各个维度之间 的尺度不一样。 比如v1=(100,10,30),v2 = (500,40,10)。对所有维度分别 进行处理，使得各个维度分别满足标准正态分布。 即
本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿。文档如有不
曼哈顿距离当之处，请联系本人或网站删除。
曼哈顿距离来源于城市区块距离，是将多个维度上的距离进行 求和后的结果
本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿。文档如有不
切比雪夫距当之离处，请联系本人或网站删除。
切比雪夫距离（Chebyshev distance）是向量空间中的一种 度量，二个点之间的距离定义 为其各坐标数值差的最大值。 从一个位置走到其他位置需要 的步数恰为二个位置的切比雪 夫距离，因此切比雪夫距离也 称为棋盘距离。
列
行
标准化：对不同特征维度的伸缩变换的目的是使得不同度量之间 的特征具有可比性。同时不改变原始数据的分布。 特点：1、保持各个特征维度对目标函数的影响权重
2、对目标函数的影响体现在几何分布上 3、在已有样本足够多的情况下比较稳定。 归一化（区间缩放）：基于边界值（最大值，最小值），将值的 区间缩放到某个特点的范围，如[0,1] 特点：1、对不同特征维度进行伸缩变换 2、改变原始数据的分布。使各个特征维度对目标函数的影 响权重是一致的） 3、对目标函数的影响体现在数值上 4、把有量纲表达式变为无量纲表达式 。
余弦相似度当之处，请联系本人或网站删除。
两个向量越相似，向量夹 角越小，余弦值的绝对值 越大；值为负，两向量负 相关。
应用：文本的相似度和推 荐系统等。
本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿。文档如有不
举个简单栗子： 当之处，请联系本人或网站删除。
句子A：这只皮靴号码大了。那只号码合适 句子B：这只皮靴号码不小，那只更合适 怎样计算上面两句话的相似程度？ 基本思路：如果这两句话的用词越相似，它们的内容就 应该越相似。因此，可以从词频入手，计算它们的相似 程度。 第一步，分词。 句子A：这只/皮靴/号码/大了。那只/号码/合适。 句子B：这只/皮靴/号码/不/小，那只/更/合适。 第二步，列出所有的词。 这只，皮靴，号码，大了。那只，合适，不，小，很
性的不同，可以采用不同的度量方法。
一般而言，定义一个距离函数 d(x,y), 需要满足下面几个基本准则：Biblioteka 1) d(x,x) = 0
// 到自己的距离为0
2) d(x,y) >= 0
// 距离非负
3) d(x,y) = d(y,x) // 对称性: 如果 A 到 B 距离是a，那么
B 到 A 的距离也应该是 a