模式识别复习重点总结材料

1．线性判别方法

（1）两类：二维及多维判别函数，判别边界，判别规则 二维情况：（a ）判别函数： ( ) （b ）判别边界：g(x)=0; （c

n 维情况：（a ）判别函数：

也可表示为：

（b ）判别边界：g 1(x ) =W T X

=0

（c ）判别规则：

（2）多类：3种判别方法（函数、边界、规则）

(A)第一种情况：(a)判别函数：M 类可有M 个判别函数

(b) 判别边界：ωi （i=1,2,…,n ）类与其它类之间的边界由 g i (x )=0确定 (c)

(B)第二种情况：(a)判别函数：有 M (M _ 1)/2个判别平面

(b) 判别边界：

(c)

判别规则：

(C)第三种情况：(a)判别函数： (b) 判别边界：

g i (x ) =g j (x ) 或g i (x ) -g j (x ) =0

(c)

判别规则：

32211)(w x w x w x g ++=为坐标向量为参数，21,x x w 12211......)(+++++=n n n w x w x w x w x g X W x g T =)(为增值模式向量。

，＝为增值权向量，T n n T n n x x x x X w w w w W )1,...,,(),,...,,(21121+=+X

W x g T

ij ij =)(0)(=x g ij j i x g ij ≠⎩

⎨⎧∈→<∈→>j i

x 0x 0)(ωω当当权向量。

个判别函数的

为第式中i w w w w W T in in i i i ),,,...,,(121+=X

W x g K k =)(⎩⎨⎧∈=小，其它最大，当i T

k

i x X W x g ω)(

2．分段线性判别方法

1）基于距离:（1）子类，类判别函数 （2）判别规则

（1）子类：把ωi 类可以分成l i 个子类:

∴ 分成l 个子类。 子类判别函数：

在同类的子类中找最近的均值 （2）判别规则： 这是在M 类中找最近均值。则把x 归于ωj 类完成分类

2）基于函数：（1）子类，类判别函数 （2）判别规则

（1）子类类判别函数：对每个子类定义一个线性判别函数为：

（2）判别规则：在各子类中找最大的判别函数作为此类的代表，则对于M 类，可定义M 个判别函数g i (x ),i =1,2,…..M,因此，决策规则

3）基于凹函数的并：（1）析取式，合取式，凹函数

判别规则

析取式：P=(L 11∧L 12∧…∧L 1m )∨…∨(L q 1∧L q 2∧…∧L q m )

合取式：Q= (L 11 ∨ L 12 ∨ … ∨ L 1m ) ∧ … ∧(L q 1 ∨ L q 2 ∨ … ∨ L q m ) 凹函数：P i =L i 1∧L i 2∧…∧L i m

判别规则：设第一类有q 个峰，则有q 个凹函数。 即P=P 1∨P 2∨……∨P q

3．非线性判别方法 （1）1ω集中，2ω分散

),...,,(21l

i i i i ωωωω=l

i l

l i x x g μ-==,...,2,1m in )(M

i x g x g i j ,...,2,1),(min )(==子类的权向量。为其中l

i l i l i l i w x w x g ω,)(=j

i M i j x x g x g ω∈==则),(max )(,.....,2,1⎩⎨⎧=∈<=∈>=。每个子类的判别函数数子类。

m j x q i x x w L ij ij ,...,2,1,,0,...,2,1,,021ωω⎩⎨

⎧∈≤∈>21

,0,0ωωx P x P 则则判别规则：协方差

为均值，为其中：大小。

的大小，决定超平面的判别函数定义111111

1121,)()()(:

ωωμμμω∑∑---=-k x x k x g T 判别规则：,0)(,0)(2

1⎩⎨

⎧∈<∈>x x g x x g ωω

（2）1ω, 2ω均集中

4．分类器的设计

（1）梯度下降法（迭代法）：准则函数，学习规则

（a ）准则函数：J(W)≈J(W k )+ ▽J T (W- W k )+(W- W k )T D(W- W k )T /2

其中D 为当W = W k 时 J(W)的二阶偏导数矩阵

（b ）学习规则：从起始值W 1开始，算出W 1处目标函数的梯度矢量▽J(W 1)，则下一步的w 值为：W 2 = W 1-ρ1▽J(W 1) 其中W 1为起始权向量， ρ1为迭代步长，J(W 1) 为目标函数，▽J(W 1)为W 1处的目标函数的梯度矢量 在第K 步的时候

W k+1 = W k -ρk ▽J(W k ) 最佳步长为ρk =||▽J||2/▽J T D ▽J 这就是梯度下降法的迭代公式。

（2）感知器法：准则、学习规则（批量，样本） （a ）准则函数： 其中x 0为错分样本

（b ）学习规则：

1.错误分类修正w k

如w k T x≤0并且x ∈ω1 w k+1= w k +ρk x

如w k T

x≥0并且x ∈ω2 w k+1= w k -ρk x 2.正确分类 ，w k 不修正 如w k T x ＞0并且x ∈ω1 如w k T x ＜0并且x ∈ω2 w k+1= w k

（3）最小平方误差准则法（MSE 法）（非迭代法）：准则、权向量解

(a)准则函数： (b)权向量解：

协方差，为均值，，为其中：，两个判别函数：都比较集中，那么定义，如果212112212,1)()()(ωωωωμμμωω∑

∑

=---=-i i i i T i i i i x x k x g 。可用来调整二类错误率判别规则：判别平面方程：212

12

221212211111

221111211221,,0,0)(0)()()(2)()()()(k k x x x g k k x x x x g x g x g T T T T ⎩⎨

⎧∈<∈>=-+---+--=-=∑

∑

∑

∑∑

∑

------ωωμμμμμμ(

)

∑∈-=0)(X X X W W J T (

)

∑-

==-==N i b i

X i W T b XW e W J 1

2

22||||||||)((

)

b X b X X X T W T +-==1

()

的伪逆（规范矩阵）

称为其中X X

X

X T X

T =-+1