机器学习与大数据技术第二章 机器学习的理论与方法

n
2
i 1
yi
0
1xi
xi
0
通过令偏导数为0，可求解函数的极值点，即：
0
xi2 yi n xi2
xi xi yi
2
xi
n
1
n
xi yi xi2
xi yi
2
xi
将样本数据 ( Xi ,Yi ) i 1, 2,L n 代入，即可得到ˆ0 和ˆ1 的具体指。
第二章 2.2 聚类
第一章 2.2聚类
创研选新究题与意背贡义景献
2.2.2 基本原理
聚类是按照相似性大小，将无标号的数据集划分为若干类或簇的过程。
聚类的结果是类内样本的相似度高，类间样本的相似度低。相似性的 度量通常采用样本间的距离来表示，距离函数值的大小反应相似的程度， 相似度越大两个样本间的距离函数的值越小，相似度越小两个样本间的距 离函数值越大。
i1
i1
i1
通过最小化来确定直线方程，即确定和，此时该问题变成了求函数
的极值的问题。根据高等数学的知识可知，极值通常是通过令导数或
者偏导数等于0而得到，因此，求关于未知参数和的偏导数：
第二章 2.1回归分析与最小二乘法
创研选新究题与意背贡义景献
Q
0
n
2 yi
i 1
0
1xi 1
0
Q
1
机器学习与大数据技术
作者：牟少敏教授
第二章 机器学习的理论 与方法
回归分析与最小二乘法 聚类 遗传算法 蚁群算法
粒子群算法 人工神经网络 支持向量机 隐马尔科夫模型
第二章
创研选新究题与意背贡义景献
学习是人类区别于低级动物，自身所具有的重要智能行为。
机器学习则是研究机器模仿人类的学习过程，进行知识和技 能获取，是一门涉及到计算机科学与技术、概率论与统计学和认 知科学等多个领域的交叉学科。
第二章 2.2 聚类
常用的距离计算方法有：
欧氏距离 曼哈顿距离 明氏距离 欧氏距离
创研选新究题与意背贡义景献
第二章 2.2 聚类
创研选新究题与意背贡义景献
1. 欧式距离（Euclidean Distance）
欧氏距离又叫欧几里得距离，是最常见的距离表示法。 假设 x {x1, x2,...., xn}，y {y1, y2,...., yn} ，则它们之间的距离为：
第二章 2.2 聚类
创研选新究题与意背贡义景献
分类的根本区别在于： 分类是需要有标号的样本进行训练。
聚类算法可分为：基于划分方法的、基于层次方法的、基于密度方 法的、基于网格方法的和基于模型方法的聚类。
基于层次的聚类主要有：平衡迭代削减聚类法（BIRCH算法）、基 于密度的聚类方法（DBSCAN算法）和使用代表点的聚类方法 （CURE算法）等；基于划分的聚类方法主要有：K均值聚类算法（Kmeans聚类算法）、K中心点算法（K-mediods聚类算法）和随机搜 索聚类算法（CLARANS聚类算法）等。
d(x, y) (x1 y1)2 (x2 y2)2 ... (xn yn )2
n(
i1
xiBiblioteka Baidu
yi
2
)
即两项间的差是每个变量值差的平方和再取平方根，目的是计算其
假设回归模型（拟合函数）为：
则样本的误差为：
f (xi ) 0 1xi
创研选新究题与意背贡义景献
ei yi f (xi ) yi 0 1xi
其中 f (xi ) 为 xi 的预测值Q（拟合值），yi 为 xi 对应的实际值。 最小二乘法的损失函数 也就是残差平方和，即：
n
n
2n
2
Q ei2 yi f (xi ) yi 0 1xi
第二章 2.1回归分析与最小二乘法
创研选新究题与意背贡义景献
回归分析的基本步骤如下：
分析预测目标，确定自变量和因变量； 建立合适的回归预测模型； 相关性分析； 检测回归预测模型，计算预测的误差； 计算并确定预测值。
第二章 2.1回归分析与最小二乘法
创研选新究题与意背贡义景献
最小二乘法又称为最小平方法，是一种常用的数学优化方法。
（1）用“残差和”表示总拟合误差，但“残差和”会出现相互抵 消的问题。
（2）用“残差绝对值”表示总拟合误差，但计算绝对值相对来说 较为麻烦。
（3）用“残差平方和”表示总拟合误差。最小二乘法采用的就是 “残差平方和最小”所确定的直线。用“残差平方和”计算方便，而 且对异常值会比较敏感。
第二章 2.1回归分析与最小二乘法
其应用十分广泛，如：数据挖掘、计算机视觉、自然语言处 理、语音和手写识别和机器人研发等各个领域。
第二章 2.1回归分析与最小二乘法
创研选新究题与意背贡义景献
分类问题： 在有监督学习任务中，预测变量为离散变量。
回归问题： 在有监督学习任务中，预测变量为连续变量。
第一章 2.1回归分析与最小二乘法
创研选新究题与意背贡义景献
最小二乘法的原理是通过最小化误差平方和寻找与数据匹配的最佳 函数。
最小二乘法的应用十分广泛，既可以用于参数估计，也可以用于曲 线拟合，以及一些其他的优化问题。
第二章 2.1回归分析与最小二乘法
创研选新究题与意背贡义景献
对于一元线性回归模型，假设从总体中获取了组观察值，其中。 那么这组观察值在二维平面直角坐标系中对应的就是平面中的个点， 此时有无数条曲线可以拟合这个点。通常情况下，希望回归函数能够 尽可能好地拟合这组值。综合来看，当这条直线位于样本数据的中心 位置时似乎最合理。因此，选择最佳拟合曲线的标准可确定为：总拟 合误差（即总残差）最小。对于总拟合误差，有三个标准可供选择：
2.2.1 简介
创研选新究题与意背贡义景献
作为一种无监督机器学习方法，聚类经常用于数据挖掘和模式识别。
聚类（Cluster Analysis）是将数据集中的所有样本根据相似度的 大小进行划分，形成两个或多个类（簇）的过程。
簇是数据集中相似的样本集合。聚类没有训练过程，是一种无标准 的学习，同时也是一种无监督学习。
回归分析是一种用于确定两种或两种以上变量间相互依赖关系的统 计分析方法。
按照问题所涉及变量的多少，可将回归分析分为一元回归分析和多 元回归分析。
按照自变量与因变量之间是否存在线性关系，分为线性回归分析和 非线性回归分析。
如果在某个回归分析问题中，只有两个变量，一个自变量和一个因 变量，且自变量与因变量之间的函数关系能够用一条直线来近似表示， 那么称其为一元线性回归分析。