统计学习方法习题笔记——第3章k近邻法

统计学习⽅法习题笔记——第3章k近邻法

思维导图

k近邻法

k是⼀种基本的回归与分类⽅法，本⽂主要讨论分类问题中的k近邻法。k近邻法输⼊为实例的特征空间，输出为实例的类别，可以为多类。k近邻法⼀个重要的特点是没有显式的学习过程，实际上是利⽤训练数据集对特征空间进⾏划分，并作为其分类的“模型”。k近邻算法简单直观，给定⼀个训练数据集，对于新的待分类实例，找到与其最近的k个实例，并以这k个类最多数的类作为该实例的类别。

显式VS隐式

但凡机器学习模型，应该有模型+策略+算法三个基本要素。也就是模型的假设空间、模型的选择准则以及模型学习的算法。既然k近邻没有显式的学习过程，那应该有隐式的学习过程。笔者认为k近邻⽅法的参数（k值、距离度量、分类决策规则）不是由训练集来确定，⽽是由验证集来确定，也就是根据验证集的分类准确率等来确定参数的选择，因⽽是隐式的。

k近邻算法的三要素

模型

k近邻模型有三个基本要素，距离度量、k值和分类决策规则。

1. 距离度量。特征空间中两个样本点的距离是两个实例点相似程度的反映。k近邻算法⼀般使⽤欧式距离。

2. k值。k值的选择直接对k近邻算法的结果产⽣重⼤影响。k值较⼩，“学习”的近似误差就会⼩，但是估计误差会增⼤，也就是对近邻的实例点特别敏感。k值较⼤，则近似误

差增⼤，估计误差减⼩。⼀般使⽤交叉验证法确定。

3. 分类决策规则。k近邻算法采⽤多数表决规则，等价于经验风险最⼩化。

策略

多数表决规则，等价于使⽤0-1损失函数下经验风险最⼩化。

算法

⼿动调整，交叉验证等。

具体实现：kd树

实现k近邻法，主要考虑的问题是如何对训练数据进⾏快速k近邻搜索，这点在特征空间的维数⼤及训练数据⼤时候⾮常有必要。例如kd树就是使⽤特殊数据结构存储训练数据，以减少计算距离的次数的⽅法。

平衡kd树构造算法

输⼊：k维空间数据集T={x1,x2,⋯,x n}，

其中x i=(x(1)i,x(2)i,⋯,x(k)i),i=1,2,⋯,n；

输出：kd 树.

（1）开始∶构造根结点，根结点对应于包含T的k维空间的超矩形区域。选择x(1)为坐标轴，以T中所有实例的X(1)坐标的中位数为切分点，将根结点对应的超矩形区域切分为两个⼦区域。切分由通过切分点并与坐标轴x垂直的超平⾯实现。

由根结点⽣成深度为1的左、右⼦结点：左⼦结点对应坐标x(1)⼩于切分点的⼦区域，右⼦结点对应于坐标x(1)⼤于切分点的⼦区域。

将落在切分超平⾯上的实例点保存在根结点。

（2）重复：对深度为j的结点，选择x(l)为切分的坐标轴，l=j(modk)+1，以该结点的区域中所有实例的x(l)坐标的中位数为切分点，将该结点对应的超矩形区域切分为两个⼦区域。切分由通过切分点并与坐标轴x(l)垂直的超平⾯实现。

由该结点⽣成深度为j+1的左、右⼦结点：左⼦结点对应坐标x(l)⼩于切分点的⼦区域，右⼦结点对应坐标x(l)⼤于切分点的⼦区域。

将落在切分超平⾯上的实例点保存在该结点.

（3）直到两个⼦区域没有实例存在时停⽌，从⽽形成kd树的区域划分.

⽤kd树的最近邻搜索

输⼊：已构造的kd树；⽬标点x；

输出∶x的最近邻。

（1）在kd树中找出包含⽬标点x的叶结点：从根结点出发，递归地向下访问kd树，若⽬标点x当前维的坐标⼩于切分点的坐标，则移动到左⼦结点，否则移动到右⼦结点.真到⼦结点为叶结点为⽌。

（2）以此叶结点为"当前最近点"。

（3）递归地向上回退，在每个结点进⾏以下操作：

（a）如果该结点保存的实例点⽐当前最近点距离⽬标点更近，则以该实例点为“当前最近点”。

（b）当前最近点⼀定存在于该结点⼀个⼦结点对应的区域.检查该⼦结点的⽗结点的另⼀⼦结点对应的区域是否有更近的点.具体地，检查另⼀⼦结点对应的区域是否与以⽬标点为球⼼、以⽬标点与“当前最近点”间的距离为半径的超球体相交。

如果相交，可能在另⼀个⼦结点对应的区域内存在距⽬标点更近的点，移动到另⼀个⼦结点。接着，递归地进⾏最近邻搜索；

如果不相交，向上回退.

（4）当回退到根结点时，搜索结束。最后的“当前最近点”即为x的最近邻点。

如果实例点是随机分布的，kd 树搜索的平均计算复杂度是O(logN)，这⾥N是训练实例数，kd树更适⽤于训练实例数远⼤于空间维数时的k近邻搜索。当空间维数接近训练实例数时，它的效率会迅速下降，⼏乎接近线性扫描。

习题

习题3.1 参照图3.1，在⼆维空间中给出实例点，画出k为1和2时的k近邻法构成的空间划分，并对其进⾏⽐较，体会k值选择与模型复杂度及预测准确率的关系。

习题3.2 利⽤例题3.2构造的kd树求点x=(3,4.5)T的最近邻点。

参考资料

1. 《统计学习⽅法》李航

2.

Processing math: 100%