(8)多类分类器的设计之 第五章 分段线性判别函数
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
l
0
把子类看作独立的类， 把子类看作独立的类，然后利用线性判别函数算法把各个 子类分开，自然也就把各类分开了． 子类分开，自然也就把各类分开了．这种方法必须以 已知子类划分为前提 为前提． 已知子类划分为前提．划分子类的一种方法是根据先 验知识直观判定. 如字符识别中， 验知识直观判定. 如字符识别中，可把同一字符看作 一类，而把其中不同的字体看作它的不同于类． 一类，而把其中不同的字体看作它的不同于类．另一 种方法则借助于聚类分析方法来解决。 种方法则借助于聚类分析方法来解决。
(超球面，超双曲面等） 超球面，超双曲面等） 二次决策面为超二次曲 面。 (1)若已知样本 ω 1分布比较集中，形成单 峰， ω 2分布分散。如下图： 分布比较集中， 分布分散。如下图：
定义 ω 1判别函数 :
− g ( x ) = k 2 − ( x − µ 1 )T ∑ 1 1 ( x − µ 1 ), k的大小，决定超平面的 大小。 的大小， 大小。
多类分类器的设计
5.1.1一种简单的基于距离的分段线性判别函数
多类分类器的设计
多类分类器的设计
5.1.3 分段线性分类器设计的一般考虑
设计线性分类器，就是确定权向量ω和阀值权ω0 设计线性分类器，就是确定权向量ω 或广义权向量α 而设计分段线性分类器， 或广义权向量α。而设计分段线性分类器， l 则是利用样本集确定一组 ωi 和 ωi 1) 已知样本的子类划分情况:
> 0, x ∈ ω 1 判别规则： g ( x ) < 0, x ∈ ω 2 k1 , k 2可用来调整二类错误率 。
x2
ω1 ω2
−
+
二次分界面
x1
判别平面方程： g ( x ) = g 1 ( x ) − g 2 ( x )
− = − x 2 (∑ 1 1 − ∑ −1 2 − ) x + 2 ( µ 1T ∑ 1 1 − µ 2T ∑ −1 2
)x −
− − ( µ 1T ∑ 1 1 µ 1 − µ 2T ∑ 21 µ 2 ) + ( k12 − k 22 ) = 0
多类分类器的设计
第五章 非线性判别函数
•分段线性判别函数法（分段LDA法） 分段线性判别函数法（分段LDA法）
多类分类器的设计
5.1 分段线性判别函数法
•问题的提出
利用线性判别函数设计 多类分类器有多种方法. 多类分类器有多种方法. 例如，可以把c 例如，可以把c类问题化 为c-1个两类问题，其中 第i个问题是用线性判别 个问题是用线性判别 函数把属于类的点同不属 于类的点分开， 见图4.14(a)． 见图4.14(a)．
(2)如何利用“交遇区” (2)如何利用“交遇区”中的样本设计线性分类 如何利用 器；
(3)如何进行分类决策。 (3)如何进行分类决策。 如何进行分类决策
prototype
prototype出来 ωi和ω j类中各取一个
互对原型对集合中， 互对原型对集合中， 相距最近的一对。 相距最近的一对。
5.4
再麻烦一些的方法是用c(c-1)／ 再麻烦一些的方法是用c(c-1)／2个线性判别函 数，把样本分为c 数，把样本分为c个类别，每个线性判别函数只 对其中的两个类别分类，如图4.14(b)所示。 对其中的两个类别分类，如图4.14(b)所示。
这两种方法都会产生 如图中的阴影区域， 对这个阴影区域中的 点，无法确定其类别。
子类。 > 0, x ∈ ω 1 , i = 1,2,..., q子类。 Lij = w ij x < 0, x ∈ ω 2 , j = 1,2,..., m 每个子类的判别函数数 。
P > 0,则x ∈ ω1 判别规则： 判别规则： P ≤ 0,则x ∈ ω 2
例、设如图
ω 1分三个峰， q = 3这样它有三个子类。 分三个峰， 这样它有三个子类。
其中： µ 1为 ω 1均值， 1为 ω 1协方差 其中： 均值， ∑
g ( x ) > 0, x ∈ ω1 判别规则： g ( x ) < 0, x ∈ ω 2 判别平面： g1 ( x ) = 0是个超球面 由k控制大小
ω2 ω1
ω1类比较集中
（2）如果 ω1， ω 2都比较集中，那么定义 两个判别函数： g i ( x ) = k i2 − ( x − µ i )T ∑ i−1 ( x − µ i )， i = 1,2 其中： µ i为 ω1， ω 2均值， i为 ω1， ω 2协方差 ∑
2) 已知子类数目li ，但不知子类划分情况时
多类分类器的设计 3) 未知子类数目 这是一般的情况 未知子类数目(这是一般的情况)
在这种情况下,设计分段线性分类器的方法很多, 在这种情况下,设计分段线性分类器的方法很多,在这里我们 仅举一例:树状分段线性分类器. 对于图5.5 5.5所示的两类 仅举一例:树状分段线性分类器. 对于图5.5所示的两类 情况,先用两类线性判别函数算法找一个权向量α 情况,先用两类线性判别函数算法找一个权向量α1，它 所对应的超平面H 把整个样本集分成两部分, 所对应的超平面H1把整个样本集分成两部分,我们称之为 样本子集.由于样本集不是线性可分的, 样本子集.由于样本集不是线性可分的,因而每一部分仍 然包含两类样本.接着,再利用算法找出第二个权向量α 然包含两类样本.接着,再利用算法找出第二个权向量α2, 第三个权向量α 超平面H 第三个权向量α3 超平面H2 ,H3分别把相应的样本子集 分成两部分.若每一部分仍然包含两类样本, 分成两部分.若每一部分仍然包含两类样本,则继续上述 过程,直到某一权向量(如图中α 过程,直到某一权向量(如图中α4 )把两类样本完全分开 为止.这样得到的分类器显然也是分段线性的， 为止.这样得到的分类器显然也是分段线性的，其决策面 如图中粗线所示. 表示权向量α 方向, 如图中粗线所示. 表示权向量αi方向,它指向超平面 的正侧.它的识别过程是一个树状结构,如图5.6所示. 5.6所示 Hi的正侧.它的识别过程是一个树状结构,如图5.6所示. 图中用虚线显示了对未知样本y的决策过程，经过三步， 图中用虚线显示了对未知样本y的决策过程，经过三步， 判断y∈ 判断y∈w1。
m1 = 5 判别函数个数：m 2 = 4 判别函数个数： m = 4 3 ∴有13个分段判别函数
l14 l 34 l 33
3 ω1
l15 ω
1 1
l11
l13 l12 l 31 l 23
2 ω1
ω2
l 24 l 21
l 32
l 22
∴P=(L11∧L12∧ L13 ∧ L14 ∧L15) ∨(L21∧L22∧ L23 ∧ L24) ∨(L31∧L32∧ L33 ∧ L34) ∴ P = max{min(l11 , l12 ,..., l15 ), min(l 21 ,..., l 24 ), min(l 31 ,..., l 34 )}
二次判别函数
g( x ) = X TW X + W T X + W 0 =
二次判别函数一般可表示成： 二次判别函数一般可表示成：
∑w
i =1
n
ii
x + 2∑
2 i
n −1
j =1 i = j +1
∑
w ji x j x i + ∑ w j x j + W 0
j =1
Fra Baidu bibliotek
n
其中： 维的权向量。 其中： W 是 n × n 维的权向量。 W 为 n 维权向量 g ( x )的系数一共有 l = 1 n ( n + 3 ) + 1(非常复杂 , 计算量很大） 计算量很大） 2
若P > 0,则x ∈ ω1。若P ≤ 0,则x ∈ ω 2。
多类分类器的设计
5.3 用交遇区的样本设计分段线性分类器
-----• 交遇区
一种实现最少分段线性分类器的方法
当两类样本非线性可分时,贝叶 斯分界面一般通过两类样本十分 靠近或相互交迭的区域,我们称 之为“交遇区”,如图5.10所示. 其中a,c是交迭区,b是靠近区
需要指出,这种方法对 初始权向量的选择很敏 感，其结果随初始权向 量的不同而大不相同. 此外，在每个节点上所 用的寻找权向量αi的方 α 法不同.结果也将各异. 通常可以选择分属两类 的欧氏距离最小的一对 样本，取其垂直平分面 的法向量作为α1的初始 α 值．然后求得局部最忧 解α1*作为第一段超平 α 面的法向量．对包含两 类样本的各子类的划分 也可以采用同样的方 法．
• 局部训练法 把这些区域找出来，利用这些 区域中的样本作为新的样本集 设计线性判别函数，然后把它 们连在一起，就构成了一个分 段线性判别函数. 这种方法称 为“局部训练法”
多类分类器的设计 需要解决的问题: 需要解决的问题 (1)如何从样本集中找出“交遇区” (1)如何从样本集中找出“交遇区”； 如何从样本集中找出
对于多峰二类问题：设第一类有 个峰 则有q个凹函数 个峰， 个凹函数。 对于多峰二类问题：设第一类有q个峰，则有 个凹函数。 即P=P1∨P2∨……∨Pq ∨ 每个凹函数P 个线性判别函数来构成。 每个凹函数 i由m 个线性判别函数来构成。 ∴Pi=Li1∧Li2∧…∧Lim ∧ 假设对于每个子类线性判别函数L 都设计成： 假设对于每个子类线性判别函数 ij都设计成：
1)、析取范式(这是经常采用的形式) 1)、析取范式(这是经常采用的形式) P=(L11∧L12∧…∧L1m)∨…∨(Lq1∧Lq2∧…∧Lqm) 2)、 2)、合取范式 Q=(L11∨L12∨…∨L1m)∧…∧(Lq1∨Lq2∨…∨Lqm) 每个(L 都称为凹函数。 每个(Li1 ∧ Li2 ∧ … ∧ Lim) 都称为凹函数。
多类分类器的设计
•分段线性判别函数的基本概念
多类分类器的设计
•用分段线性判别函数解决问题的思路 用分段线性判别函数解决问题的思路
1) 在各类中取若干个代表点（例wi类就取li个代表点）， 在各类中取若干个代表点（ 若干个代表点 类就取l 个代表点）， 代表点可以是w 类样本的均值，也可以是属于w 代表点可以是wi类样本的均值，也可以是属于wi类的 样本 类划分为l 个子类,每个子类包含 子类包含1 2) 将wi类划分为li个子类,每个子类包含1个代表点
5.2基于 5.2基于凹函数的并的分段线 性判别函数（针对多峰情况） 性判别函数（针对多峰情况）
为线性判别函数， =1,2,…..r ..r则 设Li为线性判别函数，i=1,2, ..r则：
(a)：L1,L2,……Lr都是分段线性判别函数 a)： 都是分段线性判别函数， (b)：若A,B都是分段线性判别函数，则： b)： A,B都是分段线性判别函数 A∨B也是分段线性判别函数 A∧B取最 也是分段线性判别函数。 A∧B ，A∨B也是分段线性判别函数。 A∧B取最 A∨B取最大 取最大。 小 ，A∨B取最大。 (c)： (c)：对任何分段线性函数都可以表示成如下二 种形式： 种形式：
每个子类定义一个判别函数 3) 每个子类定义一个判别函数
4) 定义wi类判别函数 定义w
多类分类器的设计
决策规则： 5) 决策规则：
决策面方程： 6) 决策面方程：
多类分类器的设计
•解决问题的关键 解决问题的关键
1. 如何确定各类的子类数目li? k 2. 如何求各子类的判别函数 gi ( x) ?
0
把子类看作独立的类， 把子类看作独立的类，然后利用线性判别函数算法把各个 子类分开，自然也就把各类分开了． 子类分开，自然也就把各类分开了．这种方法必须以 已知子类划分为前提 为前提． 已知子类划分为前提．划分子类的一种方法是根据先 验知识直观判定. 如字符识别中， 验知识直观判定. 如字符识别中，可把同一字符看作 一类，而把其中不同的字体看作它的不同于类． 一类，而把其中不同的字体看作它的不同于类．另一 种方法则借助于聚类分析方法来解决。 种方法则借助于聚类分析方法来解决。
(超球面，超双曲面等） 超球面，超双曲面等） 二次决策面为超二次曲 面。 (1)若已知样本 ω 1分布比较集中，形成单 峰， ω 2分布分散。如下图： 分布比较集中， 分布分散。如下图：
定义 ω 1判别函数 :
− g ( x ) = k 2 − ( x − µ 1 )T ∑ 1 1 ( x − µ 1 ), k的大小，决定超平面的 大小。 的大小， 大小。
多类分类器的设计
5.1.1一种简单的基于距离的分段线性判别函数
多类分类器的设计
多类分类器的设计
5.1.3 分段线性分类器设计的一般考虑
设计线性分类器，就是确定权向量ω和阀值权ω0 设计线性分类器，就是确定权向量ω 或广义权向量α 而设计分段线性分类器， 或广义权向量α。而设计分段线性分类器， l 则是利用样本集确定一组 ωi 和 ωi 1) 已知样本的子类划分情况:
> 0, x ∈ ω 1 判别规则： g ( x ) < 0, x ∈ ω 2 k1 , k 2可用来调整二类错误率 。
x2
ω1 ω2
−
+
二次分界面
x1
判别平面方程： g ( x ) = g 1 ( x ) − g 2 ( x )
− = − x 2 (∑ 1 1 − ∑ −1 2 − ) x + 2 ( µ 1T ∑ 1 1 − µ 2T ∑ −1 2
)x −
− − ( µ 1T ∑ 1 1 µ 1 − µ 2T ∑ 21 µ 2 ) + ( k12 − k 22 ) = 0
多类分类器的设计
第五章 非线性判别函数
•分段线性判别函数法（分段LDA法） 分段线性判别函数法（分段LDA法）
多类分类器的设计
5.1 分段线性判别函数法
•问题的提出
利用线性判别函数设计 多类分类器有多种方法. 多类分类器有多种方法. 例如，可以把c 例如，可以把c类问题化 为c-1个两类问题，其中 第i个问题是用线性判别 个问题是用线性判别 函数把属于类的点同不属 于类的点分开， 见图4.14(a)． 见图4.14(a)．
(2)如何利用“交遇区” (2)如何利用“交遇区”中的样本设计线性分类 如何利用 器；
(3)如何进行分类决策。 (3)如何进行分类决策。 如何进行分类决策
prototype
prototype出来 ωi和ω j类中各取一个
互对原型对集合中， 互对原型对集合中， 相距最近的一对。 相距最近的一对。
5.4
再麻烦一些的方法是用c(c-1)／ 再麻烦一些的方法是用c(c-1)／2个线性判别函 数，把样本分为c 数，把样本分为c个类别，每个线性判别函数只 对其中的两个类别分类，如图4.14(b)所示。 对其中的两个类别分类，如图4.14(b)所示。
这两种方法都会产生 如图中的阴影区域， 对这个阴影区域中的 点，无法确定其类别。
子类。 > 0, x ∈ ω 1 , i = 1,2,..., q子类。 Lij = w ij x < 0, x ∈ ω 2 , j = 1,2,..., m 每个子类的判别函数数 。
P > 0,则x ∈ ω1 判别规则： 判别规则： P ≤ 0,则x ∈ ω 2
例、设如图
ω 1分三个峰， q = 3这样它有三个子类。 分三个峰， 这样它有三个子类。
其中： µ 1为 ω 1均值， 1为 ω 1协方差 其中： 均值， ∑
g ( x ) > 0, x ∈ ω1 判别规则： g ( x ) < 0, x ∈ ω 2 判别平面： g1 ( x ) = 0是个超球面 由k控制大小
ω2 ω1
ω1类比较集中
（2）如果 ω1， ω 2都比较集中，那么定义 两个判别函数： g i ( x ) = k i2 − ( x − µ i )T ∑ i−1 ( x − µ i )， i = 1,2 其中： µ i为 ω1， ω 2均值， i为 ω1， ω 2协方差 ∑
2) 已知子类数目li ，但不知子类划分情况时
多类分类器的设计 3) 未知子类数目 这是一般的情况 未知子类数目(这是一般的情况)
在这种情况下,设计分段线性分类器的方法很多, 在这种情况下,设计分段线性分类器的方法很多,在这里我们 仅举一例:树状分段线性分类器. 对于图5.5 5.5所示的两类 仅举一例:树状分段线性分类器. 对于图5.5所示的两类 情况,先用两类线性判别函数算法找一个权向量α 情况,先用两类线性判别函数算法找一个权向量α1，它 所对应的超平面H 把整个样本集分成两部分, 所对应的超平面H1把整个样本集分成两部分,我们称之为 样本子集.由于样本集不是线性可分的, 样本子集.由于样本集不是线性可分的,因而每一部分仍 然包含两类样本.接着,再利用算法找出第二个权向量α 然包含两类样本.接着,再利用算法找出第二个权向量α2, 第三个权向量α 超平面H 第三个权向量α3 超平面H2 ,H3分别把相应的样本子集 分成两部分.若每一部分仍然包含两类样本, 分成两部分.若每一部分仍然包含两类样本,则继续上述 过程,直到某一权向量(如图中α 过程,直到某一权向量(如图中α4 )把两类样本完全分开 为止.这样得到的分类器显然也是分段线性的， 为止.这样得到的分类器显然也是分段线性的，其决策面 如图中粗线所示. 表示权向量α 方向, 如图中粗线所示. 表示权向量αi方向,它指向超平面 的正侧.它的识别过程是一个树状结构,如图5.6所示. 5.6所示 Hi的正侧.它的识别过程是一个树状结构,如图5.6所示. 图中用虚线显示了对未知样本y的决策过程，经过三步， 图中用虚线显示了对未知样本y的决策过程，经过三步， 判断y∈ 判断y∈w1。
m1 = 5 判别函数个数：m 2 = 4 判别函数个数： m = 4 3 ∴有13个分段判别函数
l14 l 34 l 33
3 ω1
l15 ω
1 1
l11
l13 l12 l 31 l 23
2 ω1
ω2
l 24 l 21
l 32
l 22
∴P=(L11∧L12∧ L13 ∧ L14 ∧L15) ∨(L21∧L22∧ L23 ∧ L24) ∨(L31∧L32∧ L33 ∧ L34) ∴ P = max{min(l11 , l12 ,..., l15 ), min(l 21 ,..., l 24 ), min(l 31 ,..., l 34 )}
二次判别函数
g( x ) = X TW X + W T X + W 0 =
二次判别函数一般可表示成： 二次判别函数一般可表示成：
∑w
i =1
n
ii
x + 2∑
2 i
n −1
j =1 i = j +1
∑
w ji x j x i + ∑ w j x j + W 0
j =1
Fra Baidu bibliotek
n
其中： 维的权向量。 其中： W 是 n × n 维的权向量。 W 为 n 维权向量 g ( x )的系数一共有 l = 1 n ( n + 3 ) + 1(非常复杂 , 计算量很大） 计算量很大） 2
若P > 0,则x ∈ ω1。若P ≤ 0,则x ∈ ω 2。
多类分类器的设计
5.3 用交遇区的样本设计分段线性分类器
-----• 交遇区
一种实现最少分段线性分类器的方法
当两类样本非线性可分时,贝叶 斯分界面一般通过两类样本十分 靠近或相互交迭的区域,我们称 之为“交遇区”,如图5.10所示. 其中a,c是交迭区,b是靠近区
需要指出,这种方法对 初始权向量的选择很敏 感，其结果随初始权向 量的不同而大不相同. 此外，在每个节点上所 用的寻找权向量αi的方 α 法不同.结果也将各异. 通常可以选择分属两类 的欧氏距离最小的一对 样本，取其垂直平分面 的法向量作为α1的初始 α 值．然后求得局部最忧 解α1*作为第一段超平 α 面的法向量．对包含两 类样本的各子类的划分 也可以采用同样的方 法．
• 局部训练法 把这些区域找出来，利用这些 区域中的样本作为新的样本集 设计线性判别函数，然后把它 们连在一起，就构成了一个分 段线性判别函数. 这种方法称 为“局部训练法”
多类分类器的设计 需要解决的问题: 需要解决的问题 (1)如何从样本集中找出“交遇区” (1)如何从样本集中找出“交遇区”； 如何从样本集中找出
对于多峰二类问题：设第一类有 个峰 则有q个凹函数 个峰， 个凹函数。 对于多峰二类问题：设第一类有q个峰，则有 个凹函数。 即P=P1∨P2∨……∨Pq ∨ 每个凹函数P 个线性判别函数来构成。 每个凹函数 i由m 个线性判别函数来构成。 ∴Pi=Li1∧Li2∧…∧Lim ∧ 假设对于每个子类线性判别函数L 都设计成： 假设对于每个子类线性判别函数 ij都设计成：
1)、析取范式(这是经常采用的形式) 1)、析取范式(这是经常采用的形式) P=(L11∧L12∧…∧L1m)∨…∨(Lq1∧Lq2∧…∧Lqm) 2)、 2)、合取范式 Q=(L11∨L12∨…∨L1m)∧…∧(Lq1∨Lq2∨…∨Lqm) 每个(L 都称为凹函数。 每个(Li1 ∧ Li2 ∧ … ∧ Lim) 都称为凹函数。
多类分类器的设计
•分段线性判别函数的基本概念
多类分类器的设计
•用分段线性判别函数解决问题的思路 用分段线性判别函数解决问题的思路
1) 在各类中取若干个代表点（例wi类就取li个代表点）， 在各类中取若干个代表点（ 若干个代表点 类就取l 个代表点）， 代表点可以是w 类样本的均值，也可以是属于w 代表点可以是wi类样本的均值，也可以是属于wi类的 样本 类划分为l 个子类,每个子类包含 子类包含1 2) 将wi类划分为li个子类,每个子类包含1个代表点
5.2基于 5.2基于凹函数的并的分段线 性判别函数（针对多峰情况） 性判别函数（针对多峰情况）
为线性判别函数， =1,2,…..r ..r则 设Li为线性判别函数，i=1,2, ..r则：
(a)：L1,L2,……Lr都是分段线性判别函数 a)： 都是分段线性判别函数， (b)：若A,B都是分段线性判别函数，则： b)： A,B都是分段线性判别函数 A∨B也是分段线性判别函数 A∧B取最 也是分段线性判别函数。 A∧B ，A∨B也是分段线性判别函数。 A∧B取最 A∨B取最大 取最大。 小 ，A∨B取最大。 (c)： (c)：对任何分段线性函数都可以表示成如下二 种形式： 种形式：
每个子类定义一个判别函数 3) 每个子类定义一个判别函数
4) 定义wi类判别函数 定义w
多类分类器的设计
决策规则： 5) 决策规则：
决策面方程： 6) 决策面方程：
多类分类器的设计
•解决问题的关键 解决问题的关键
1. 如何确定各类的子类数目li? k 2. 如何求各子类的判别函数 gi ( x) ?