模式识别复习重点总结85199

１．什么是模式及模式识别？模式识别的应用领域主要有哪些？
模式:存在于时间,空间中可观察的事物，具有时间或空间分布的信息; 模式识别：用计算机实现人对各种事物或现象的分析,描述,判断，识别。

模式识别的应用领域:（１)字符识别;(2) 医疗诊断；(3）遥感; （４)指纹识别 脸形识别；（5)检测污染分析,大气,水源，环境监测；
(6)自动检测；(7 )语声识别,机器翻译，电话号码自动查询,侦听，机器故障判断； （８)军事应用。

2.模式识别系统的基本组成是什么?
(1) 信息的获取:是通过传感器,将光或声音等信息转化为电信息；
（2） 预处理:包括A ＼Ｄ,二值化，图象的平滑,变换，增强,恢复，滤波等， 主要指
图象处理;
(3） 特征抽取和选择:在测量空间的原始数据通过变换获得在特征空间最能反映分类本
质的特征；
（4） 分类器设计：分类器设计的主要功能是通过训练确定判决规则,使按此类判决规则
分类时，错误率最低。

把这些判决规则建成标准库； （5） 分类决策：在特征空间中对被识别对象进行分类。

3．模式识别的基本问题有哪些？
（１）模式（样本）表示方法：(ａ)向量表示;(ｂ)矩阵表示;（c)几何表示;(4)基元（链码)表示;
（2)模式类的紧致性:模式识别的要求:满足紧致集,才能很好地分类;如果不满足紧致集,就要采取变换的方法,满足紧致集
（3)相似与分类;(a)两个样本x i ，x j 之间的相似度量满足以下要求: ① 应为非负值
② 样本本身相似性度量应最大 ③ 度量应满足对称性
④ 在满足紧致性的条件下,相似性应该是点间距离的 单调函数
(ｂ)
用各种距离表示相似性 （4）特征的生成:特征包括：（a)低层特征;(b)中层特征;(ｃ)高层特征 （5） 数据的标准化:(a)极差标准化;(b)方差标准化
4.线性判别方法
（1）两类：二维及多维判别函数,判别边界，判别规则 二维情况：(a)判别函数: ( )
（b)判别边界:g(x ）=0; (c)判别规则:
n 维情况：（ａ）判别函数:
也可表示为：
3
2211)(w x w x w x g ++=为坐标向量为参数，21,x x w 12211......)(+++++=n n n w x w x w x w x g X W x g T =)(为增值权向量，
T T n n w w w w W ),,...,,(1
21=+
（b)判别边界:ｇ1(x ) =W Ｔ
X =０ （c)判别规则:
(2）多类：3种判别方法（函数、边界、规则)
（A ）第一种情况:(ａ)判别函数：M 类可有M 个判别函数
(b) 判别边界：ωi (ｉ=1，2,…,n ）类与其它类之间的边界由 g ｉ(x ）＝0确定
(ｃ）
（B)第二种情况：(a)判别函数：有 M （M _
１)/2个判别平面
(ｂ) 判别边界: (c ）
判别规则：
(C)第三种情况：(a)判别函数: (b) 判别边界:
g i (x ) ＝ｇj （x ） 或g i (x ) -ｇj (x ） =0
(ｃ)
判别规则:
５．什么是模式空间及加权空间,解向量及解区？ （1)模式空间：由 构成的n 维欧氏空间;
（2)加权空间:以
为变量构成的欧氏空间； (3）解向量:分界面为H,W 与H 正交，Ｗ称为解向量; (４）解区：解向量的变动范围称为解区。

6.超平面的四个基本性质是什么？ 性质①:Ｗ与H 正交; 性质 ②:
X
W x g T
ij ij =)(0)(=x g ij
j
i x g ij ≠⎩⎨⎧∈→<∈→>j
i
x 0x 0)(ωω当当权向量。

个判别函数的
为第式中i w w w w W T in in i i i ),,,...,,(121+=X
W x g K k =)(⎩⎨
⎧∈=小，其它最大，当i T k i x X W x g ω
)(T n x x x x X ),...,,(321=121,...,,+n w w w
W
)x (g r =
其中, 为x 矢量到H 的正交投影； 性质③：
性质④：
7．二分法能力如何表示？
Ｎ个样品线性可分数目(条件:样本分布良好):
线性可分概率：
8.广义线性判别方法 (１）非线性→线性
一个非线性判别函数通过映射，变换成线性判别函数：
r 成正比
的距离与原点到11,++=n n W H W W q 通过原点。

，说明超平面则若在原点负侧。

则在原点正侧，若则若H x W x g W H W H W T n n n ==<>+++)(,
0,0,0111⎪⎩⎪
⎨⎧+>+<=∑
=-n k k
N N n N C n N n N D 011,21
,2),(若若为特征数为样本数其中n N k N k N C k
N ,,])!1(![)!1(1---=-强。

说明样本少时二分能力范围，即在。

时，线性可分概率为
时，即值，对于任意。

处出现明显的门限效应时，曲线急剧下降，在由当,1),(),1(22:)(2
1
),()1(22:)(21:)(≈+<<=+===∞→n N P n N c n N P n N n b n a λλλ.2),1(2:)(,),1(22:)(0是最好情况即二分能力）的估计：个样本的线性可分性（对多线性可分能力越差。

说明样品越线性可分概率急剧下降范围，即在=+=+>>λλn N N e n N d )(,)(...)()()(,...)()()(21211
1
增广模式向量。

广义权向量其中：空间变换空间⎥⎥
⎥⎥
⎦
⎤⎢⎢⎢⎢⎣⎡=⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡==−−−−−−→−=→→+=∑
x f x f x f Y w w w W Y g Y W x f w x g k k T y x k i i i
（２)线性判别
9.分段线性判别方法
1)基于距离:(1)子类，类判别函数 (2）判别规则
（1)子类:把ωi 类可以分成ｌｉ个子类:
∴ 分成l 个子类。

子类判别函数:
在同类的子类中找最近的均值 (２)判别规则： 这是在Ｍ类中找最近均值。

则把x 归于ωj 类完成分类
２）基于函数：(1)子类,类判别函数 (２)判别规则
(1）子类类判别函数:对每个子类定义一个线性判别函数为：
(2)判别规则:在各子类中找最大的判别函数作为此类的代表，则对于Ｍ类,可定义Ｍ个判别函数g ｉ(x ),ｉ=１,２,…..M,因此，决策规则
3）基于凹函数的并:（1）析取范式，合取范式，凹函数
（2） 判别规则
（1） 析取范式:P=(Ｌ11∧L 1２∧…∧
L 1m )∨…∨(L q 1∧L q ２∧…∧L ｑm ）
合取范式:Q ＝ （L １1 ∨ Ｌ1２ ∨ … ∨ L 1ｍ) ∧ … ∧(L q 1 ∨ L q 2 ∨ … ∨
L q m )
凹函数:P ｉ=L i 1∧L i 2∧…∧Ｌi ｍ （2） 判别规则：设第一类有q 个峰,
则有q 个凹函数。

即P=P 1∨P 2∨……∨P q
10．非线性判别方法 (1）1ω集中，2ω分散
0=Y W T 判别平面：⎩⎨⎧∈<∈>=2
1,0,0)(ωωx x Y g Y W T
),...,,(2
1l i i i i ωωωω=l
i l
l i x x g μ-==,...,2,1m in )(M
i x g x g i j ,...,2,1),(min )(==子类的权向量。

为其中l
i l i l i l i w x w x g ω,)(=j
i M i j x x g x g ω∈==则),(max )(,.....,2,1⎩⎨⎧=∈<=∈>=。

每个子类的判别函数数子类。

m j x q i x x w L ij ij ,...,2,1,,0,...,2,1,,021ωω⎩⎨
⎧∈≤∈>21
,0,0ωωx P x P 则则判别规则：
(２）1ω, 2ω均集中
1１．分类器的设计
（1）梯度下降法(迭代法):准则函数，学习规则
(a ）准则函数：Ｊ(W)≈J(W ｋ）+ ▽J Ｔ(W- W k )+(W- W k ）ＴＤ(W- Ｗk ）T
/2
其中D 为当W = W k 时 J （W ）的二阶偏导数矩阵
（ｂ)学习规则:从起始值W 1开始,算出Ｗ1处目标函数的梯度矢量▽J(W 1),则下一步的w 值为:W 2 = Ｗ1-ρ1▽J(W 1) 其中W 1为起始权向量， ρ1为迭代步长，J(W 1) 为目标函数，▽J(W 1)为W 1处的目标函数的梯度矢量 在第Ｋ步的时候
W k+1 = W ｋ-ρk ▽Ｊ(W k ) 最佳步长为ρk ＝||▽J ｜|2/▽J Ｔ
D ▽J 这就是梯度下降法的迭代公式。

(２）感知器法：准则、学习规则(批量,样本） （a ）准则函数: 其中x 0为错分样本
（ｂ)学习规则:
1.错误分类修正w ｋ
如w k T
ｘ≤0并且x ∈ω１ w ｋ+1= w k ＋ρｋx
如w k Ｔ
ｘ≥0并且x ∈ω2 w k+1= w ｋ-ρk x 2.正确分类 ,w k 不修正
如w k T
x ＞0并且x ∈ω1
如w k Ｔ
x ＜0并且x ∈ω２ w k ＋１= w ｋ
(3）最小平方误差准则法（MSE 法)（非迭代法）：准则、权向量解
（ａ)准则函数： 协方差
为均值，为其中：大小。

的大小，决定超平面的
判别函数定义1
11111
1121,)()()(:ωωμμμω∑
∑
---=-k x x k x g T 协方差，为均值，，为其中：，两个判别函数：都比较集中，那么定义，如果212112212,1)()()(ωωωωμμμωω∑
∑
=---=-i i i i T i i i i x x k x g 。

可用来调整二类错误率判别规则：判别平面方程：212
1
2
221212211111
221111211221,,0,0)(0)()()(2)()()()(k k x x x g k k x x x x g x g x g T T T T ⎩⎨⎧∈<∈>=-+---+--=-=∑
∑
∑
∑∑∑
------ωωμμμμμμ(
)
∑∈-=0)(X X X W W J T ()
∑-==-==N i b i
X i
W T b XW e W J 1
2
22||||||||)(
(b)权向量解：
（4)韦—霍氏法（L ＭS 法）(迭代法）:准则，学习规则 （a)准则函数: (b ）学习规则: W 1任意 ，W ｋ+1=W k +ρk (b k -W k T X ｋ) X k
ρｋ随迭代次数k 而减少，以保证算法收敛于满意的W 值
（5)何—卡氏法（Ｈ-Ｋ法)（迭代法):准则，b ,W 的学习规则
(a)准则: 它的解为:
（b)b,W 的学习规则：
其中 ｃ为矫正系数，e k 为误差矢量，e k =X Ｗk -b k
初始条件 W １＝X ＋
ｂ１并且b 1>0 迭代时检测
如果e k ≥０时，XW >ｂ，系统线性可分,迭代收敛 如果e k ＜0时,XW ＜ｂ，系统线性不可分，迭代不收敛
（６)F ｉsher 分类法:准则函数的建立,W 权值计算,0W 的选择
(a)准则函数的建立：投影样本之间的类间分离性越大越好，投影样本的总离散度越小越好。

即可表示为：
其中S w 为类内散布矩阵, S ｂ为类间散布矩阵
(b)W 权值计算:
()
b X b X X X T W T +-==1
()
的伪逆（规范矩阵）称为其中X X X X T X T =-+1
(
)
∑-
==-==N i b i
X i W T b XW e W J 12
22||||||||)(k
1K ρρ=取(
)
∑-
==-==N i b i X i W T b XW e W J 1
2
22||||||||)(()
b
X b X X X T W
T +
-==1
k k k b b b b δ+=+1前后两次迭代后，对的增量
为其中b b k δ]|[][|11k K k k K k K K k e e X c W b X b X b b X b X W ++=+=+==++++
+++δδ|]
|[k k k e e C b +=δ()2212212
||)(σσ+-=Y Y W J Fisher 准则函数有所以W
S W W
S W )(w T
b T
=W J (
)
X X S W W J w 211
)(-=-求极值得对12w S S S =+(
)()
1111T S X X X X X N =-∈-
∑(
)()
2222
T S X X X X X N =-∈-∑()()
1212T
b X X X X S =--
(c)W ０的选择 :
Y ki 表示第i 类中第ｋ个样本的投影值
N 1为ω1样本数 N 2为ω2样本数 （7）电位函数分类器：电位函数，累积电位的计算
(a)电位函数:电位分布函数有如下三种形式：
α为系数 ｘｋ为某一特定点
(b ）累计电位的计算： K k+１(x)＝ K k （x)+r ｋ＋1Ｋ(x ，ｘｋ)
其中: x k+1∈ω1并且Ｋk (ｘk+１)>０时 r k ＋1= 0 x k ＋1∈ω1并且K k (x k+1) ≤ 0时 r k+1＝ １ ｘｋ＋1∈ω2并且K ｋ(x ｋ＋1)<0时 r ｋ+１＝ 0 x k+1∈ω2并且K ｋ（x k+１) ≥ ０时 ｒk+1＝ -1
12．1)二类问题的贝叶斯判别
（1)判别函数的四种形式 （2)决策规则 （3）决策面方程 (４）决策系统的结构 （1)判别函数的四种形式: (2）判别规则：
2.121
0Y Y W +=2
1212121021
22.2N N X W N X W N N N Y N Y N W T
T ++=
++=()
()()∑
∑∑
===-+---+=N Y Y N Y Y N Y Y Y Y Y W k k k k k k 2
2111
11211
22112112
0)
(.3}||||ex p{- )K( 1.2k k x x XX -=α||||11
)K( 2.2
k k x x XX -+=α|||||||||sin |)K( 3.22k k k x x x x XX --=αα)(,)
()
(ln )()(ln )()()(,)
()
()()()()()(),()()()()()()
(),()()()(12211221221121取对数方法似然比形式类条件概率密度后验概率ωωωωωωωωωωωωωωP P x P x P x g D P P x P x P x g C P x P P x P x g B x P x P x g A -=-=-=-=1
2
1122121
22112121)
()()()()()
()()()()()()()()()(ωωω
ωωωωωωωωωωωωωωω>∈⇒<>∈⇒<>
∈
⇒<>P x P x P P x P x P C x P x P P x P B x x P x P A
(3)决策面方程：g(x ）＝0 (４）决策系统的结构
（Ａ）向量特征(B)判别计算(C ）阈值单元(D ）决策
2）多类问题的贝叶斯判别 (1)判别函数的四种形式 （2）决策规则 (３)决策面方程
（４)决策系统的结构
（1)判别函数的四种形式：M 类有Ｍ个判别函数g 1（x ), ｇ2（x ）,…, g ｍ(x ）.
(２）决策规则：
另一种形式：
(3)决策面方程：
（４）决策系统的结构：
(ａ)特征向量;(ｂ)判别计算；(c)最大选择器；(d)决策
)
(,)()
(ln )()(ln )()()(,)
()
()()()()()(),()()()()()()(),()()()(12211221221121取对数方法似然比形式类条件概率密度后验概率ωωωωωωωωωωωωωωP P x P x P x g D P P x P x P x g C P x P P x P x g B x P x P x g A -=-=-=-=),...,2,1(,)()(max )()()(1M i x P x P P x P x g i j j M j i i i =∈⇒==≤≤ωωωωω{}
i
i j M
j i i i x P x P P x P x g ωωωω∈⇒+=+=≤≤)(ln )(ln max )(ln )(ln )(10)()(),()(=-=x g x g x g x g j i j i 即
13．三种最小错误率贝叶斯分类器（正态分布）:判别函数,判别规则，决策面方程 (1）第一种情况：各个特征统计独立,且同方差情况。

（最简单情况)
(a)判别函数:
(ｂ)判别规则:
(ｃ)决策面方程：
（2）第二种情况:Σｉ＝ Σ相等，即各类协方差相等。

(a ）判别函数：
(ｂ)判别规则:
（c)决策面方程:
(3）第三种情况(一般情况）:Σί为任意，各类协方差矩阵不等,二次项x T
Σί ｘ与i 有关。

所以判别函数为二次型函数。

（a)判别函数: (b)判别规则: )
(ln 21,21)(,)(2
02
i i T i i i i i T i
i
P w w w x w x g ωμμδ
μδ
+-
==
+=其中：线性判别函数
{}
i
j T j M
w i T i i x w x w w x w x g ω∈⇒+=+=≤≤010max )(())()(ln
)(21
0)(0
)()(200j i j
i j i j i j i j i P P x W x x W x g x g ωωμμμμδμμμμ---+=-==-=-其中)(ln 21,)(101
0i i T i i i
i i T i i P w W w x W x g ωμμμ+-==+=∑
∑
--其中（线性函数）{}
i
j T j M j i T i i x w x W w x W x g ω∈⇒+=+=≤≤010m ax )(0)()(=-∴x g x g j
i j i 相邻与若ωω)()()
()()
(ln )(21)(,0)(1010j i T j i j i j
i j i j i T P P x W x x W μμμμμμωωμμμμ----
-=-==-∴∑∑--。

其中)(ln ln 2
121)()(,2
1,)(101
10i i i i T i i i i i i i i T
i i T i P w n W n n W w x W x W x x g ωμμμ+--==⨯-=++=∑
∑∑∑
---，维列向量矩阵其中T j T i T i i T i
x w x W x W x w
x W x W x x g ω∈⇒++=++=0
max )(
(c)决策面方程:
14．最小风险贝叶斯分类器:判别函数,判别规则 （1）判别函数： 条件风险:
αｉ：表示把模式x 判决为ωi 类的一次动作 期望风险:
（２)判别规则： :
１５．聂曼—皮尔逊判决:(二类）:准则，判别规则，阈值的确定 (1)准则: （２)判别规则:
(3)阈值的确定：
１6.最小最大损失准则判决(二类）：准则，判别规则,*
1()P ω的确定
(1）准则:讨论在P(ωi ）变化时如何使最大可能风险最小；
(2）判别规则:风险
通过最小风险与先验概率的关系曲线 ，确定最大风险,使最大风险最小。

(3）*
1()P ω的确定：
17.什么是序贯分类?
序贯:随着时间的推移可以得到越来越多的信息。

序贯分类决策规则
()()[]()()
).(,...,2,1,1
M a a i x P E x R j M j j i j i i <===∑=ωαλωαλα()()k i M
i k x x R x R ωαα∈==则若,min ,...,2,1()()())(,平均风险dx x P x x R R ⎰
=α最小，使为常数时在取1022,,εεεε=.)()(2121T x T x P x P 值皮尔逊规则归结为找阈∴∈⇒<
>
ωωωω最小一定这时可确定，为常数时，的函数在取为的分界线作时当1222222121,)(.,)()
(εεεεωεωωT T dx x P T T x P x P T
∴=ΩΩ=⎰
∞
-()()()()()()()()⎰
⎰
⎰
Ω
ΩΩ---+-=-+=+=1
2
2
2221211121221122212221dx x P dx x P b dx
x P a bP a R λλωλλλλλλλω其中：()()()()()()()()⎰
⎰
⎰ΩΩΩ-+===---+-=ΩΩ21
22221222222121112122111210
.,0,dx
x P a R dx x P dx x P P R b ωλλλωλλωλλλλω，这时候最大风险为最小即无关与使如果选择⎪
⎧∈-=≥时X e P A X P i )(1)(111ωω
18.什么是参数估计,非参数估计,监督学习，无监督学习？
参数估计：先假定研究的问题具有某种数学模型,如正态分布，二项分布,再用已知类别的学
习样本估计里面的参数；
非参数估计:不假定数学模型,直接用已知类别的学习样本的先验知识直接估计数学模型; 监督学习：在已知类别样本指导下的学习和训练，参数估计和非参数估计都属于监督学习。

无监督学习:不知道样本类别，只知道样本的某些信息去估计,如:聚类分析。

１9．(1)最大似然估计算法思想：准则，求解过程
（1)准则:第ｉ类样本的类条件概率密度：
P(X i /ωｉ)= P(X i /ωi ﹒θｉ) = P （X i /θｉ）
原属于i 类的学习样本为X i =(Ｘ1 , Ｘ2 ，…X N ，）T ｉ=1,２,…M
求θｉ的最大似然估计就是把P （X i /θi )看成θi 的函数，求出使它最大时的θ
i 值
(2）求解过程：
∵学习样本独立从总体样本集中抽取的
N 个学习样本出现概率的乘积 取对数：
对θi 求导,并令它为0：
(2）正态分布情况下：μ, ∑的计算 ① ∑已知, μ未知,估计μ
∏===N k i X k P i X P i i X P i i 1
)|()|().|(θθθω∑∏===N k i k i k N k X P X P 11)|(log )|(log θθ0
)|(log (1)
1=⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡∂∂∂∂∑=N k i k p X P θθθ⎪⎪⎪⎩⎪⎪⎪⎨⎧=∂∂=∂∂∑
∑==0)|(log ..................0)|(log 111θθθθi k N k p i k N k X P X P ∧∧θ
θθθ＝，即为的估值利用上式求出i i ∑=∧==N k k
X
N 11μμ
② ∑， μ均未知
Ａ一维情况:n=１对于每个学习样本只有一个特征的简单情况:
即学习样本的算术平均
样本方差 Ｂ多维情况:n 个特征 估计值:
20.（１)贝叶斯估计算法思想：准则,求解过程
(A)准则:通过对第i 类学习样本X i 的观察,使概率密度分布P(X i ／θ）转化为
后验概率Ｐ（θ/X i ） ，再求贝叶斯估计;
(B ）求解过程： ① 确定θ的先验分布Ｐ(θ)，待估参数为随机变量。

② 用第ｉ类样本x ｉ=（x 1， x ２,…. x N ）T 求出样本的联合概率密度分
布P(ｘｉ|θ），它是θ的函数。

③ 利用贝叶斯公式,求θ的后验概率 ④
(2）正态分布情况下:μ的计算 对μ的估计为
若令P(μ)=N(μ0, σ0２ )=N(0,1)
2１．(１)贝叶斯学习概念
求出μ的后验概率之后，直接去推导总体分布即
当N↑,μＮ就反映了观察到Ｎ个样本后对μ的最好推测,而σN 2反映了这种推测的不确定性，
Ｎ↑, σN 2↓，σN 2 随观察样本增加而单调减小,且当N →∞, σＮ2 →0
当N↑,P （μ|x i ）越来越尖峰突起;N→∞, Ｐ(μ|ｘi ）→σ函数,这个过程成为贝叶斯学
习。

(２)正态分布情况下()i
P x X 的计算
∑=∧
∧=
=N k k X N 1111μθ()
∑=∧∧∧-==N k X k N 122121μσθ∑=∧∧==N
k k X N 111μθ()()∧=∧∧∧--=∑=∑μμθX T X N k N
k k
121⎰=θθθθθθθd P X P P X P X P i i i )()|()().|()|(⎰
=∧θθθθθd X P i )|(求贝叶斯估计020********μσσσσσσμμ+++==∑=∧N X N N k k N N ∑=∧+=N
k k X N N 111μμμμθθθd X P X P d X P X P X X P i i i )|()|()|()|()|(⎰
⎰==
(A)一维正态:已知σ2,μ未知
(B)多维正态( 已知Σ,估计μ ）：
22．非参数估计的条件密度计算公式
(1)Parzen 窗口估计的三种形式，条件密度的计算
(A ）窗口的选择：(A)方窗函数;(B ）正态窗函数；（C ）指数窗函数
（Ｂ）条件密度的计算：
（2)K-近邻估计的基本思想及用K-近邻法作后验概率估计的方法
（Ａ）基本思想:以ｘ为中心建立空胞，使ｖ↑,直到捕捉到K N 个样本为止。

（B)用K-近邻法作后验概率估计的方法：由ＫN 近邻估计知Ｎ个已知类别样
本落入ＶN 内为ＫN 个样本的概率密度估计为
Ｎ个样本落入V Ｎ内有K N 个，K N 个样本内有K i 个样本属于ωｉ类，则联合概率密度: μμμθθθd x P x P d x P x P x x P i i i )|()|()|()|()|(⋅=⋅=⎰⎰()()⎰----=μσμμσπσμσπd x N N N ]21ex p[21]21ex p[2122()()
⎰++-⋅+-+--=μσ
σμσσμσσσσσσμσσπd x x N N N N N N N N ]21exp[21exp[21222222222222]21exp[2122222⎪⎭⎫ ⎝⎛+--+=σσμσσπN N N x 为正态函数),(22σσμ+=N N N μμ010101)1(1)1(01∑∑∑∑∑⎪⎭⎫ ⎝⎛∑∑+-=-++=N N x N N k k N N 分类器就可以设计
代入将Bayes d x P x P x x P i i N ⎰=μμμμ)|()|()|(⎪⎩⎪⎨⎧≤=其他.021||,1)(u u ϕ}21ex p{21)(2u u -=πϕ|}|exp{)(u u -=ϕ∑
=-==N i N
i N N N N h x x V N V N K x P 1)||(11)(ϕV N k x P N N N =)()()|(),(ωωωi i i
i N P x P N k x P ==
根据Bay ｅs 公式可求出后验概率:
23． 分类与聚类的区别是什么？
分类:用已知类别的样本训练集来设计分类器（监督学习)；
聚类（集群）：用事先不知样本的类别,而利用样本的先验知识来构造分类器(无监督学习）。

24．（1）聚合聚类(系统聚类）的算法
思想：先把每个样本作为一类,然后根据它们间的相似性和相邻性聚合。

若有n 个样本:(Ａ）设全部样本分为ｎ类;
（B ）作距离矩阵D （0);
（C)求最小元素;
（D)将距离平方最小的元素归为一类；
(E ）以新类从新分类，作距离矩阵Ｄ(１）;
(Ｆ)若合并的类数没有达到要求，转（C)，否则停止。

（２）分解聚类的算法
思想:把全部样本作为一类,然后根据相似性、相邻性分解。

目标函数：两类均值方差
N:总样本数， :ω１类样本数 ：ω２类样本数，
（3)动态聚类的算法（K-均值算法)
① 先选定某种距离作为样本间的相似性的度量;
② 确定评价聚类结果的准则函数;
③ 给出某种初始分类,用迭代法找出使准则函数取极值的最好的聚类结果。

２5.（１)什么是模糊集，α-水平截集?
(A ）模糊集:假设论域E={x }（讨论的区间)，模糊集A 是由隶属函数μＡ(x )描述。

其中,μA
∑∑===⋅⋅=M j i N i N N i i i i i i N x P x P P x P P x P x P 11)
,(),()()|()()|()|(ωωωωωωωk k x P N
i i N =)|(ω后验概率的估计：)
()(212121x x x x T N N N E --=1N 两类均值:,21x x 2N
（ｘ)是定义在Ｅ上在闭区间{0,1}中取值的一个函数,反映x 对模糊集的隶属程度。

（B)α-水平截集：设A 为Ｅ=(x )中的模糊集，则A={x ｜ μＡ(ｘ)≥α}称为模糊集Ａ的α水平集， α为阈值在(0,１）间取值。

(２）什么是模糊集的并，交，补运算?
设:Ａ,B 为Ｅ=(x ）上的两个模糊集
并集:μA ∪ B (x )=m ａx(μA (x ） ,μB (x ))
交集： μA ∩ B (ｘ)＝mi ｎ（μA (x ) ,μＢ(x ))
补集: =１－ μＡ(x ) , μA （x ) ,μＢ（x ) 分别为A 、B 的隶属函数
(3）什么是模糊关系及其变换运算?
（A)模糊关系:设U,Ｖ为两个模糊集，则u ,v 的笛卡儿乘积集记为：Ｕ×V=｛(u ，v ）|u ∈U,v ∈Ｖ}， (u ，v )是 U,V 元素间的一种无约束搭配，若把这种搭配加某种限制， U,V 间的这种特殊关系叫模糊关系R 。

(B)变换运算:
（4）什么是相似关系,等价关系?
(Ａ)相似关系:具有自反性对称性的模糊关系称为相似关系（或类似关系);
（B ）等价关系：具有自反性、对称性、传递性的模糊关系称为等价关系。

２6．模糊识别方法
(1)隶属原则识别法的基本思想
设： Ａ1, A 2,…. ,A ｎ是E 中的n 个模糊子集, x 0为Ｅ中的一个元素,若有隶属函数 μi （ｘo ) ＝ma ｘ（μ1(x o ）, μ2(ｘo ),….． μn (x o ))，则x ｏ∈ μｉ。

则x ｏ∈Ａi 若有了隶属函数μ (x )，我们把隶属函数作为判别函数使用即可。

(2)择近原则识别法的基本思想
(ａ)贴近度的计算:
(b ）设:E 上有ｎ个模糊子集 及另一模糊子集 。

若贴近度
)(x A μ()()维模糊矩阵是＝维模糊矩阵；是＝r m s S m n r R ik ij ⨯⨯~~[]
”表示求最小值”表示求最大值，“；式中“令∧∨==∧∨==),...,2,1;,...,2,1(,1
r k n i s r t jk ij m i ik 。

的最大－最小合成关系与上式表示S R ()~~~~~~S R T S R t T ik =的复合矩阵，记作对为＝)]1[21)(~~~~~~B A B A B A ⊙（-+=• ”表示求最小。

”表示求最大，“符号“的内积和外积。

与分别称为⊙式中∧∨∨∧=∧∨=∈∈~
~~~~~~~~~))()(()),()((,B A x B x A B A x B x A B A E x E x ~~2~1,......,,n A A A ~B 方法。

，这就是择近原则识别类则最贴近与则称＝..)(max )(~~~
~1~~i i j n j i A B A B A B A B ∈••≤≤
27．模糊聚类分析方法
1）基于等价关系
(1)α-水平截阵
(２)等价划分
(1)α水平截阵: R α =[ｘ| μA (ｘ)≥α]
(2)等价划分：若 是E 上的一个等价关系。

则对任意阈值α(0≤ α ≤1)则模糊水平集R α也是Ｅ上的一个等价关系;由小到大选取阈值α(0≤ α ≤1),将矩阵中相同的行的
特征归为一类，得到分类;逐渐增大阈值，则分类增多,知道满足分类数目为止。

２)基于相似关系
（１)求传递闭包→等价
（２)利用等价关系聚类
（1）把相似关系(相似矩阵） 变成等价关系方法为： 取 的乘幂为
(２)选择适当α值，取等价关系Ｒ的α水平集，根据水平集确定样本的类别
另:
1.所有作业涉及的计算问题！
2.分段线性判别方法中的基于凸函数的交方法？
３.结构模式识别中的形式语言、文法推断、句法分析、自动机理论等问题！ ﻩ
~R ~R ~R ......,,8~
4~2~R R R 4~4~8~2~2~4~~~2~~~2k ~k ~,.R R R R R R R R R R R R R ＝＝＝就是模糊等价关系。

且则＝＝若在某一步有。