模式识别与人工智能

模式识别与人工智能原理

乔谊正教授

山东大学，控制科学与工程学院

2006年十二月

学而不思则罔；思而不学则殆。

- 孔子Learning without thought means labor lost; thought without

learning is perilous.

- Ｃｏｎｆｕｃｉｕｓ　

知识有两种，其一是我们自己精通的问题，其二是我们知道在哪里可以找到关于某问题的知识。

- 约翰逊Knowledge is of two kinds, we know a subject ourselves, or we

know we can find information upon it.

- Ｓａｍｕｅｌ　Ｊｏｈｎｓｏｎ　

第三章统计模式识别方法

3.1 引言

n 判别域代数方程法只能适合具有确定性特征的分类问题。然而，非确定性特征的分类问题大量存在。例如，通过物理测量手段获得的数据，一般是具有统计特性的统计量。许多用来描述模式的特征，在本质上讲是非确定性的。

n 不同类别的边界存在相互交叠或覆盖，也是实际分类问题中经常碰到的现象。该现象的实质是，模式类别在特征空间中呈现空间密度分布的事实。

n 分类结果的可靠性或可信度，常常与模式类别的分布形式密切相关，所以，进一步考虑模式样本的总体分布特点，有助于对模式分类机制的深入了解。

n 统计分类法的发展正是为了解决上述判别域代数方程法不能解决的问题。3.1.1 模式识别的统计模型

n 随机模型是用来描述自然界中不确定现象的数学模型。有大量自然现象可以用概率与统计规律很好地加以描述。

n 考察例 1.1 中的身高和体重两个特征量。一方面，由于测量过程具有不确定性。

另一方面，用身高和体重描述男生和女生，在本质上是一种运用统计规律的描述。

所以应当采用统计（随机）模型，而不是简单的确定性模型。

n 统计模型的要点是，将模式的特征量考虑为符合某种统计规律（概率密度分布）的随机量。而任一个模式样本是取自总体中的一个个体。

n 因此，在统计模式识别中主要要解决下列三个问题。

n 判别问题：已知若干总体分布，当给出一个个体样本时，要确定这个样本属于哪个总体？

n 训练问题：已知一些个体样本，分别属于某些总体，要确定这些总体的分布规律（或参数。）n 误判率问题：研究运用上述模型所造成的误判率的计算。

3.1.1 模式识别的统计模型

n 用下面简图表示该统计模型：

下面通过一个例子说明整个过程。

例 3.1 男生女生的分类问题（统计模型）

样本的特征数据和例 1.1 相同。假定男生和女生的身高和体重都符合正态分布，分别形成两维的类正态密度函数。

3.1.1 模式识别的统计模型

n 类分布密度函数：

假设：P(X i) = ( 1/ 2π |Σi|1/2 ) exp( -γi2/2) ; i =1,2 ;

P(X i) 分别为男生和女生的类分布密度函数（两维正态型）。其中Σi是 2*2 协方差矩阵;

|Σi| 是Σi的行列式。

γi2 = ( X i- µi )TΣi-1 ( X i- µi );

µi 为X i的均值矢量。

正态密度分布函数实际上只包含两个参数：µi 和Σi。他们的含义和图形，在一维条件下，大家一定很熟悉。两维也不难想象，但是三维以上就没有直观形象了。为了便于形象地描述，以后我们常举一维或两维特征为例。但是，应该清楚统计模型适合于有限维。

3.1.2 判别问题

n 判别问题是解决：已知若干总体分布，当给出一个个体样本时，要确定这个样本属于哪个总体。

右图表示已知三类分布，A, B, 和C。

当给出一个未知类别的样本x 时，

如何确定x 应当属于哪个类别总体？

n 一个可行的解决方案是计算x 到各

类总体的距离，选择最短距离的总体，

作为x 的最优归属类别。

n 这就需要规定一个点到一个类总体的距离。很显然，这个距离定义不是一般意义

下的那种。因为这个距离除了与点到总体的均值距离成正比之外，还应当与该总体的协方差成反比。所以，需要定义统计距离。

3.1.2 判别问题

n 常用的统计距离定义有许多，其中最著名的是马氏距离 ( Mahalanobis Distance )：d ij = [ (x i – x j )’ Σ-1 (x i – x j ) ]1/2。

n 利用马氏距离，可以确立判别问题的准则。称之为马氏距离分类法。

3.1.3 马氏距离分类法

首先讨论两类问题，分两种情况。然后推广到多类问题。

n 两类、等协方差：定义判别函数为任一点X 到两类总体µ(1)和µ(2)的马氏距离平方差。即d2(X, µ(1)) - d2(X, µ(2)) =

(X - µ(1))’ Σ-1 (X - µ(1)) - (X - µ(2))’ Σ-1 (X - µ(2)) = -2W(X); 其中

W(X) = [X – (µ(1) + µ(2) )/2 ]’ Σ-1 (µ(1) - µ(2) )；

判决条件为：当W(X)<0，判X 属于总体µ(1)；

W(X)>0，判X 属于总体µ(2)；

W(X)=0，不能/ 任意确定。

3.1.3 马氏距离分类法

n 两类、不等协方差：此时的判别函数是关于X 的二次函数。

W(X) = (X - µ(1))’ Σ1-1 (X - µ(1)) - (X - µ(2))’ Σ2-1 (X - µ(2)) ；判决条件与上述相同。

n 多类问题，等协方差：类似于判别域代数方程法，推广到多类问题时要用到多个判别函数。

W ij(X) = [X – (µ(i) + µ(j) )/2 ]’ Σ-1 (µ(i) - µ(j) )；

判决条件为：当W ij(X) < 0，∀ i≠j，判X 属于总体µ(i)；

n 多类问题，不等协方差：判别函数难以简化，只能直接应用距离公式，将X 到各类总体的距离分别计算出来，判X 属于距离最近的那一类。即判决条件为：若有d2(X, µ(i) ) = min k d2(X, µ(k) ) , 则判X 属于总体µ(i)。

3.1.4 训练问题

n 如果类别总体的均值和协方差阵未知，可以通过有限的个体样本进行估计。所以训练问题的实质是参数估计。

n 统计学中有关参数估计的公式可以方便地应用。

假设X i(1), X j(2)分别为两类训练样本集，其中i = 1, 2, …, n1;

j = 1, 2, …, n2。则（1）和（2）两类的数学期望分别为：

E(1) = (1/n1) Σ1n1X i; E(2) = (1/n2) Σ1n2X j。

协方差的估计值为：

V(1) = (1/(n1-1)) Σ1n1 (X i(1) – E(1)) (X i(1) – E(1))’= (1/(n1-1)) A1 ;

V(2) = (1/(n2-1)) Σ1n2 (X i(2) – E(2)) (X i(2) – E(2))’= (1/(n2-1)) A2。

3.1.4 训练问题

n 假如两类训练样本集的协方差估计值很接近，可以简化为等协方差。此时协方差的估计值取为：

V = (1/(n1+ n2 -2)) (A1+A2)。

n 用上述估计值代替类总体的均值和协方差阵，具有无偏估计的性质。则两类等协