华南理工模式识别期末考试总结self

华南理工模式识别期末考试总结

前言

本人是华工17级学生，作为对刚刚的模式识别课程学习的总结，此篇文章只供参考

借鉴使用。基本考纲就在本文章中，对于考纲内容，不分是做了解释，部分是想到哪写到哪。对于哪些是考试重点，已经标出，希望可以帮助到大家！

另，附联系方式QQ:2049945431，欢迎喜欢模式识别课程的同学们一起讨论。由于部分内容是截取课程PPT，所以如果有版权问题，也请按如上方式联系。

第一章绪论

✓监督模式识别与非监督模式识别

1)有监督模式识别——分类（classification）➢给出若干已知答案的样本（训练样本

training samples）➢由机器从这些样本中进行学习（训练training/learning）➢

学习的目的在于从这些样本中总结规律，使之能够对新的样本进行判断

2)无监督模式识别——聚类（clustering）➢所面对的只有未知答案的样本➢由机

器从这些样本中进行学习（自学习）➢学习的目的在于从这些样本中发现规律，这种规律应该是某种固有的关系，或者依据这种规律对对象的分类有某种功用

✓模式识别系统的典型构成

组成：信息获取与预处理、特征提取与选择、分类或聚类、后处理等四个部分。

第二章贝叶斯决策理论（必考）

✓多维正太分布（17级考点）

✓最小错误率贝叶斯决策（17级考点）

1)贝叶斯公式

2)各种概率样本x,类别ω

先验概率：除固有条件外没有其他条件情况下，类发生的概率，P(ω)。

后验概率：P(ω| x)，样本x出现的条件下，类发生的概率。

类概率：P(x | ω)，类ω条件下x的概率分布密度。

✓最小风险贝叶斯决策

第三章概率密度函数估计

✓最大似然估计

1)视参数为确定量，只是数值未知，最大化所观察样本概率得最优参数。

2)P(X | θ)＝∏P(x | θ)

✓贝叶斯估计与贝叶斯学习

1)贝叶斯估计是连续化了的相对于贝叶斯决策。

2)视参数为服从某一先验概率密度分布的随机变量，对样本进行观察的过程，就是把

先验概率密度转化为后验概率密度，后验概率密度在待估测参数值附近取最大。

3)与极大似然估计类似，均已后验概率表示分类准则。

✓概率密度的非参数方法

1)非参数估计的基本原理

P(x)＝k/(NV)；k为落在窗口中的样本数、N为样本总数、V为样本大小

2)K近邻估计方法

窗口点数一定

3)Parzen窗（17级考了计算，QAQ）

窗口大小一定

4)样本、数窗宽对估计结果的影响

第四章线性分类器

1.线性判别函数

G(x)＝(ω^T)x-ω0

| G(x) | ＝r‖w‖；r为x到G(x)的距离

2.Fisher线性判别分析（17级考点）

1）最佳法向量解：；常用阈值负的均值中点

✓感知器（17级考点）

1）增广——尾行添1（无论规范化正负）；

2）规范化——第二类样本向量取反（说白了，加负号）

3）感知准则函数；迭代公式

✓线性支持向量机

1）思想：边界距离最大；由此可得全局最优解，且鲁棒性好。

2）数学表示：

求解

✓对偶问题拉格朗日因子与支持向量的关系

1)转化为对偶问题可以简化计算；可以引入核函数。

2)支持向量的拉格朗日乘子不为0

第五章非线性分类器（17级未考察，但之前有考察计算）

✓多层感知神经网络

1)Kolmogorov定理：任何一个判决都可以用三层神经网络实现。

2)激活函数

3)学习率和隐藏层节点数，两者对训练的影响

✓支持向量机

1)核函数

2)应用举例

第六章其他分类方法

✓近邻法

最近邻（左图）；K-近邻法（右图，k＝5）

✓决策树（随机森林）

1）预剪枝时间短简单，但会带来欠拟合风险

后剪枝泛化能力较强，但逐一导致训练时间长

2）划分纯度依据：信息增益、增益率、基尼指数

3）ID3算法——信息增益

信息熵；信息增益

✓错误率问题错误率（贝叶斯P0 最近邻P1 k近邻P2）P0＜P1、P2＜2P0 在k趋近无穷时p2趋近贝叶斯误差率＝

第七章特征选择

✓特征子集的搜索

✓特征的评价准则

（可能是以有哪些判据，简要说明各判据方式考察）

1)类内类间距离的可分性判据（17级考察计算）

基于距离可分性准则J特征提取

1)概率分布的可分性判据

根据特征的概率密度分布曲线是否交叠，Jmax完全不交叠

2)熵的可分性判据

熵值越⼤，说明样本的类别不确定性越⼤

✓特征选择策论

1）过滤式特征选择发生在做脸至少。

2）包裹式将分类器的性能（维数、错误率）作为特征评估方法。

3）嵌入式特征选择可以学习器训练嵌入到一个过程完成。

✓总结

第八章特征提取

✓（特征提取与选择的区别）

✓基于类别可分判据的特征提取

✓主成分分析（PCA）——线性提取方法

方差最大化

✓KL变换（基于自相关矩阵的计算，17级考点）

1）基本原理

2）步骤

✓上述两种方法的关系

答：PCA是线性变换的特征提取方法达到降维目的；无监督；以方差最大化为评价标准。

KL是基于非线性KL变换，映射得到降维的特征空间；有监督；以均方误差的期望值最小为评价标准。两者都是在原有特征集中进行正交化的整合处理得到维数更小的特征集合。

✓两者各自的不足之处及优点

第九章非监督模式识别

✓非监督处理的样本无标签

✓动态聚类算法——C均值算法（17级考点计算+概念，重点内容）

1)流程图

2)误差平方和准则

目标：使其最小化

✓分级聚类方法

第十章模式识别系统的评价

✓监督模式识别方法的错误率估计（17级考察基本概念）

交叉验证

N倍交叉验证

K轮N倍交叉验证