中科院 国科大 黄庆明 模式识别与机器学习 期末考点 复习

分类方法
◦ 感知器算法：
perceptron criterion 随机梯度下降求解 缺点

分类方法
◦ Logistic regression
MLE+SGD求解 多类logistic regression: Cross Entropy Loss Function

产生式方法
◦ 高斯判别分析(GDA):用多变量正态分布对p(x|y)进行建模， 通过MLE求解。 ◦ GDA VS LR ◦ 朴素贝叶斯（Naï ve Bayes）：X是离散情况时的GDA ◦ NB VS LR
Bagging Boosting AdaBoost Active Learning

分类器设计时重采样技术

Estimating and comparing classifiers
◦ Cross validation

深度学习(DL)及其应用 前沿 DL在CV领域应用的启 示 关键算法介绍

层次聚类：
◦ agglomerative clustering：逐渐合并 ◦ divisive clustering：逐渐拆分

DBSCAN (Density-Based Spatial Clustering of Applications with Noise)思想


Mean-Shift Clustering： The main idea: iteratively locate the maxima of a density function given data samples A Recent Clustering Algorithm:
◦ 类概率密度是正态分布，均值向量和协方差矩阵

均值和协方差矩阵的非随机参数的估计
◦ 均值和协方差矩阵的估计量定义 ◦ 均值和协方差矩阵估计量的迭代运算

均值向量和协方差矩阵的贝叶斯学习
◦ 一般概念 ◦ 单变量正态密度函数的均值学习

贝叶斯判别别
ቤተ መጻሕፍቲ ባይዱ

贝叶斯最小风险判别：当考虑到对于某一类的错误判
决要比对另一类的判决更为关键时，就需要把最小错误概 率的贝叶斯判别做一些修正，提出条件平均风险rj(x)
第一章
概论 第二章 统计判别 第三章 判别函数 第四章 特征选择和提取 第五章 句法模式识别 第六章 统计学习理论基础 第七章 有监督学习基础算法 第八章 支持向量机 第九章 无监督学习与半监督学习 第十章 图模型基础 第十一章 集成学习 第十二章 神经网络与深度学习


◦ SMO: Sequential Minimal



SVR:一般形式及其对偶问题 Multi-class SVM:一对多。 VC dimension:一般而言, VC 维 越大, 学习能力就 越强,学习也越复杂；可以通过 VC 维 计算学习风 险的上界



概念 K-means:形式化，思想 高斯混合模型及EM算法（思想，步骤）
掌握相关的概念：模式、机器学习、基本构成 例如模式的概念：
◦ 广义地说，存在于时间和空间中可观察的物体，如果我 们可以区别它们是否相同或是否相似，都可以称之为模 式。 ◦ 模式所指的不是事物本身，而是从事物获得的信息，因 此，模式往往表现为具有时间和空间分布的信息。 ◦ 模式的直观特性:
可观察性 可区分性 相似性
◦ Perceptron及学习算法 ◦ 多层感知机(MLP)及其BP 算法 ◦ Auto-Encoder ◦ CNN及其主要变种

关于DL的思考与讨论

1.18日，13:30-15:30
◦ 从d维空间到一维空间的一般数学变换方法 ◦ Fisher准则函数的定义 ◦ 基于最佳变换向量的投影
◦ 线性判别函数的感知器赏罚训练算法

感知器算法 采用感知器算法的多类模式的分类 可训练的确定性分类器的迭代算法
◦ 梯度法 ◦ 固定增量的逐次调整算法 ◦ 最小平方误差算法

势函数法
◦ 判别函数的产生
经验风险最小化（Empirical Risk Minimization） 结构风险最小化(Structural Risk Minimization):所谓的结构风险最小 化就是在保证分类精度（经验风险）的同时，降低学习机器的 VC 维， 可以使学习机器在整个样本集上的期望风险得到控制。

Statistical Machine Learning

回归方法（regression method)
◦ 线性回归（Linear Regression）：
梯度下降求解：closed form solution 随机梯度下降：Stochastic Gradient Descent 在高斯噪声的情形下，最小化均方误差（LMS）的和与最大化似然 （MLE）得到的解是一样的。 Regularized LMS 与最大化后验MAP在先验为 时，等价。
◦ local density ◦ its distance from points of higher density:
◦ All points within the cluster are mutually densityconnected; ◦ If a point is density-reachable from any point of the cluster, it is part ofthe cluster as well.
分析步骤

势函数的选择
◦ 第一类势函数：对称的有限多项式展开 ◦ 第二类势函数：双变量的对称函数

决策树简介
◦ 概念 ◦ 二叉树


概念、意义 模式类别可分性的测度：类内散度矩阵、类间散度 矩阵

特征选择：定义可分性准则函数，如类内距离小， 类距离大
特征提取：K-L变换（PCA)
◦ 思想：选取变换矩阵，使得降维后的新向量在最小均方差条件下

模式识别系统的基本构成
数据 获取 预处理
分类器设 计
特征提取和 选择
分类决 策

机器学习的基本构成
环境 学习 知识库 执行与评价







数据聚类 统计分类 结构模式识别 神经网络 监督学习 无监督学习 半监督学习 集成学习 增强学习 深度学习

在贝叶斯分类器中，构造分类器需要知道类概率密 度函数。

离散的有限K-L展开 K-L展开式的性质
◦ K-L展开式系数的计算步骤

按K-L展开式选择特征
◦ 三条结论 ◦ 实例
不考


Machine Learning(概念、学习方法的分类、历史) Statistical Machine Learning ◦ 一般框架、形式化： ◦ 产生式、判别式模型：前者先推断p(x,y),再利用贝叶斯求p(y|x);后 者直接求解p(y|x) ◦ 过拟合和正则项（Overtting and Regularization）:

线性判别函数
◦ 用判别函数分类的概念 ◦ 线性判别函数的一般形式和分类问题
两类问题 多类情况：三类情况

广义线性判别函数
◦ 基本思想 ◦ 广义线性判别函数的意义
线性的判别函数 判别函数选用二次多项式函数 判别函数选用r次多项式函数

分段线性判别函数 模式空间和权空间

Fisher线性判别
◦ 偏差方差分解（Bias and Variance Decomposition）

Trade-off:
◦ A good insight into model complexity issue:
Very flexible models having low bias and high variance. Relatively rigid models having high bias and low variance. The model with the optimal predictive capacity is the one that leads to the best balance between bias and variance.
接近原来的向量x


离散K-L变换
◦ 将原来的特征做正交变换，获得的每个数据都是原来n个数 据的线性组合，然后从新的数据中选出少数几个，使其尽可 能多地反映各类模式之间的差异，而这些特征间又尽可能相 互独立，则比单纯的选择方法更灵活、更有效。 ◦ K-L变换就是一种适用于任意概率密度函数的正交变换。

流形学习
◦ ◦ ◦ ◦ ◦ Multidimensional Scaling(MDS): 点对距离 Kernel PCA Isomap：保持内在几何结构（测地距离） LLE：映射到低维空间时要保持局部线性结构 LPP：保持局部结构
半监督学习 假设：平滑假设 Disagreement-based 方法：Co-training Low-density separation方法：transductive SVM Graph-based SSL:加入不同的正则项得到不同的 方法
◦ Manifold regularization ◦ Laplacian Regularization least squares


Bayesian 网络：推断、分类 Markov 链：HMM
◦ Likelihood evaluation: －－前向、后向算法 ◦ 最佳路径求解－－动态规划，viterbi ◦ 参数估计 – Baum-Welch

Markov随机场
◦ 条件独立 ◦ 分解 ◦ 例子