模式识别实验指导书2015

6
深圳大学研究生课程“模式识别理论与方法”实验指导书(4th Edition 裴继红编)
(c) 用（b）中设计的分类器对测试点进行分类： (1, 2,1) ， (5,3, 2) ， (0, 0, 0) ， (1, 0, 0) ， 并且利用式（45）求出各个测试点与各个类别均值之间的 Mahalanobis 距离。 (d) 如果 P ( w1 ) 0.8, P ( w2 ) P ( w3 ) 0.1 ，再进行（b）和（c）实验。 (e) 分析实验结果。 表格 1
深圳大学研究生课程：模式识别理论与方法
课程作业实验指导
（4th Edition） （分数：5％10＝50％） （共 10 题）
实验参考教材：
a) 《Pattern Classification》by Richard O.Duda, Peter E.Hart, David G.Stork, 2nd Edition Wiley-Interscience, 2000. (机械工业出版社，2004 年, 影印版)。 b) 《模式分类》Richard O.Duda, Peter E.Hart, David G.Stork 著；李宏东， 姚天翔等译；机械工业出版社和中信出版社出版，2003 年。（上面 a 的 中文翻译版） c) 《模式识别（英文第四版）》Sergios Theodoridis, Konstantinos Koutroumbas 著；机械工业出版社，2009 年，影印版。 d) 《神经网络与机器学习（原书第三版）》Simon Haykin 著；申富 饶等译，机械工业出版社，2013 年。
裴继红 编
2015 年 2 月 深圳大学 信息工程学院
深圳大学研究生课程“模式识别理论与方法”实验指导书(4th Edition 裴继红编)
提交实验报告的格式要求
实验作业是本课程的重要组成部分，实验报告要简捷、明了，要有统一而 简单的格式。下面是实验报告的参考格式要求：
封面. 要求排版美观，内容包括： 实验名称（标题） 实验编号 签名 姓名 学号 截止提交日期 摘要 (不要超过 1/2 页)
贝叶斯分类器
2
最大似然估计与贝叶斯估计方法
3
PCA 主分量分析与 Fisher 线性判别分析
4
Parzen 窗估计和 k 最近邻估计5感知器的实现
6
三层 BP 神经网络的设计与实现
7
模拟退火算法的设计与实现
8
分类回归决策树 CART 的研究与实现
9
k 均值聚类的研究与实现
10
3
深圳大学研究生课程“模式识别理论与方法”实验指导书(4th Edition 裴继红编)
t
t
t
t
样本 1 2 3 4 5 6 7 8 9 10
w1 x1
-5.01 -5.43 1.08 0.86 -2.67 4.94 -2.51 -2.25 5.56 1.03
w2 x3
-3.68 -3.54 1.66 -4.11 7.39 2.08 -2.59 -6.94 -2.26 4.33
w3 x2 x3
技术论述. 约 1~4 页. 包括所使用的技术，如果在实验中涉及到公式的话，则要包括在 实验中用到的主要公式。 实验结果讨论. 1~2 页. 包括实验中主要的客观发现，以及对任何生成的图表、图形等的 清楚、明确的介绍和说明。 实验结果(页数不限). 包括实验中产生的所有图表、图形。每幅图表、图形要单独编号， 以利于在讨论过程中方便引用。 附录. 程序清单. 学生自己编写的所有程序的清单。 对于公认的有名称的标准例程， 其源 码程序不需要打印出清单，但需要注明出处。 实验报告版面要求. 整个报告打印在标准 A4(21 x 29.7 cm)纸张上，报告用订书机左 侧装订。 编程中注意的事项: 目前有很多可以完成本课程实验中的某些函数的现成程序包。但是 在本课程的实验中，若整个实验过程仅仅用已经存在的、现成的例程去实现是不允许的， 也不会有高分的。
x1
5.35 5.12 -1.34 4.48 7.11 7.17 5.75 0.77 0.90 3.52
x2
2.26 3.22 -5.31 3.42 2.39 4.33 3.97 0.27 -0.43 -0.36
截止提交日期：2015 年 3 月 13 日
摘要：包括实验内容、解决问题所用关键技术、实验所得结果分析等 (注意：摘要字体为五号宋体，摘要长度至少 100 字以上，但不宜超出本页)
2
深圳大学研究生课程“模式识别理论与方法”实验指导书(4th Edition 裴继红编)
实验内容概述
关于编程的一点说明：本课程实验的主要目的如下：(1) 理解和掌握模式识别的基本理论和 基本算法；(2) 帮助学生建立使用模式识别理论解决问题的感性概念，以及用计算机程序解决模 式识别问题的设计步骤。 本课程实验所需要的编程环境可以是 C、C++等常规程序开发环境，也可以是包含有已经 存在的具有可扩展能力的函数集合组成的集成编程环境。集成环境最典型的例子是 MATLAB 的 编程环境。建议实验中使用 MATLAB 集成编程环境。
(4) 下面的实验用以验证大数定理：大量独立的随机变量的整体分布近似为一个高斯分布。 以及在范围 0 n 1000 4.1) 写一个程序， 从范围 100 xl xu 100 中随机取 xl 和 xu ， 中随机取整数 n 的值（样本数）。 4.2) 在区间 xl , xu 中生成均匀分布的 n 个随机数。 4.3) 利用 4.1 和 4.2 的方法 10 次，将以上所述方式累计产生的样本点形成一个数据集合，绘 制该集合的直方图，计算该直方图的均值和标准差。 4.4) 分别利用 4.1 和 4.2 的方法 100、1000、10000 次重复 4.3 的实验。 4.5) 讨论并分析实验结果。
扩展实验 2，编写一个生成 N 个 d 维向量的混合高斯类数据集的函数。其中，生成的数据集中共 有 N 个模式向量，它们分成 c 类。各个类对应的样本数分别为 Ni，i = 1, 2, …, c,服从 N （mi，Si），i = 1, 2, …, c 的高斯分布, mi，Si 分别是第 i 类的均值向量和协方差矩阵。 取不同的值，在二维空间和三维空间中生成数据，并绘制出散点图进行验证。 扩展实验 3， 编写一个绘制由 c 类共 N 个 d 维模式向量构成的多模式类集合的二维投影绘图函数。 其中，模式的类别标记已知，不同类别的模式绘制时用不同的颜色表示。其中，d 维模式的 2 维子空间，简单来说就是由 d 维模式矢量中的其中 2 个分量构成向量空间，在作图时以这 两个分量做为坐标量。利用实验(4)中的函数生成不同的高维数据，在二维空间中绘制出子 空间投影图进行验证。绘图时注意添加数据和坐标的标记。
（2）进一步的 Bayes 分类器实验：本实验是在假设分类数据均满足高斯分布的情况下，设计一 个判别分类器，实验目的是为了初步了解和设计一个分类器。 (a) 编写一个高斯型的 Bayes 判别函数，该函数输入为：一给定正态分布的均值、协方差矩阵， 先验概率 P ( wi ) ，以及模式样本矢量 x，输出为判别函数值。 (b) 表格 1 为三类样本中的各 10 个样本点， 假设每一类均为正态分布， 三个类别的先验概率相 等均为 P ( w1 ) P ( w2 ) P ( w3 ) 1/ 3 。计算每一类样本的均值矢量和协方差矩阵，为这 三个类别设计一个分类器。


5
深圳大学研究生课程“模式识别理论与方法”实验指导书(4th Edition 裴继红编)
Proj02-01：贝叶斯分类器
（1） 基本的 Bayes 分类实验：编程实现一个可以对两类模式样本进行分类的贝叶斯分类器，假 设两个模式类的分布均为高斯分布。模式类 1 的均值矢量 m1 = (1, 3)t，协方差矩阵为 S1 =(1.5, 0; 0, 1)，模式类 2 的均值矢量 m2 = (3,1)t，协方差矩阵为 S2 =(1, 0.5; 0.5, 2)，先验概率 P1 = P2 = 1/2。 (a) 利用 proj01-01 中的函数为每个模式类各生成 100 个随机样本， 并在一幅图中画出这些样本 的二维散点图； (b) 仅用模式集合的第 1 个特征分量作为分类特征，对(a)中的 200 个样本进行分类，统计正确 分类的百分比，并在 2 维图上用不同的颜色画出正确分类和错分的样本； (c) 仅用模式的第 2 个特征分量作为分类特征，对(a)中的 200 个样本进行分类，统计正确分类 的百分比，并在 2 维图上用不同的颜色画出正确分类和错分的样本； (d) 同时用模式的 2 个分量作为分类特征，对(a)中的 200 个样本进行分类，统计正确分类的百 分比，并在 2 维图上用不同的颜色画出正确分类和错分的样本； (e) 对上述实验结果进行分析说明。
-0.05 -3.53 -0.95 3.92 -4.85 4.36 -3.65 -6.66 6.30 -0.31
x2
-8.12 -3.48 -5.52 -3.78 0.63 3.29 2.09 -2.13 2.86 -3.33
x1
-0.91 1.30 -7.75 -5.47 6.14 3.60 5.37 7.18 -7.39 -7.50
下一页是本课程试验报告的封面样例
1
深圳大学研究生课程“模式识别理论与方法”实验指导书(4th Edition 裴继红编)
深圳大学研究生课程：模式识别理论与方法
课程作业实验报告
(封面样例)
实验名称：利用 matlab 生成模式类 实验编号：Proj01-01 签 姓 学 名： 名：叶佩林 号：20140802
实验题目说明如下：
Proj01-01：利用 matlab 生成模式类
在 Matlab 中提供了很多产生随机数和随机向量的函数，以及计算随机函数的概率密度值的 函数。下面是几个较常用的函数： rand() 生成均匀分布随机数 randn() 生成高斯分布随机数 mvnrnd() 生成多元高斯分布的随机向量矩阵 mvnpdf() 计算多元高斯分布的概率密度函数值 认真阅读上述函数 Matlab 的在线帮助，以及 Matlab 中的绘图函数，完成下面的实验。 (1) 在一维区间[10,70]中，生成 1000 个均匀分布的随机数，然后统计并绘制这些数的直方图； 在二维区间[1,5]☓[20,30]中，生成 5000 个均匀分布的二维随机点，并绘制出它们的二维 散点图； 在三维区间[10,50]☓[30,60]☓[10,15]中， 生成 10000 个均匀分布的三维随机点量， 并绘制出它们的三维散点图。 扩展实验 1：利用均匀分布的随机数函数，编写可以生成具有三角分布、以及梯形分布的随机数 的函数。用它们生成一定数量的样本数据，并绘制数据分布图。 (2) 生成两组各 1000 个具有不同均值和方差的一维高斯分布的随机数，然后统计并绘制这些点 的直方图；生成三组各 1000 个具有不同均值矢量和协方差矩阵的二维随机矢量，并绘制出 它们的二维散点图；生成五组各 1000 个具有不同均值矢量和协方差矩阵的三维随机矢量， 并绘制出它们的三维散点图。进一步，绘制上述三维随机矢量数据集合的二维投影散点图。 可以指定模式向量的其中两个分量，将集合中每个向量的这两个分量提取出来构成一个 2 维模式子分量的向量集合，然后在二维平面上画出该子分量集合的二维散点图。
实验题目如下：
Project No. Proj01-01 Proj02-01 Proj03-01 Proj03-02 Proj04-01 Proj05-01 Proj06-01 Proj07-01 Proj08-01 Proj10-01 Title 利用 matlab 生成模式类 Chapter Comments 1 2 3 3 4 5 6 7 8 10 1
4
深圳大学研究生课程“模式识别理论与方法”实验指导书(4th Edition 裴继红编)
(3) 确定一个二维的均值矢量和协方差矩阵， 然后利用 matlab 中的 meshgrid 函数生成一个二维 网格，利用 mvnpdf 函数计算在每个网格点上的概率密度函数值，并绘制出这些函数值的三 维曲面图。