第四章(4)非线性判别函数
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
4.7 非线性判别函数
4.7.1 分段线性判别函数的基本概念
分段线性判别函数是一种特殊的非线性判别 函数。它确定的决策面是由若干超平面段组 成的。
由于它的基本组成仍然是超平面，因此，与 一般超曲面(例如贝叶斯决策面)相比，仍然 是简单的；又由于它是由多段超平面组成的， 所以它能逼近各种形状的超曲面，具有很强 的适应能力。
1 || x μ1 || || x μ 2 || 0 x 2
2 2
这时的决策面是两类期望连线的垂直平分 面，如图4.7.2所示。这样的分类器叫做最 小距离分类。
4.7 非线性判别函数
x2 x
这一判别函数虽然是在
十分特殊的条件下推出
来的，但它却给了我们 一个相当重要的启示， 这就是可以把均值作为 x1 各类的代表点，用距离
这样的分类器叫做分段线性距离分类器。
4.7 非线性判别函数
4.7.2 分段线性判别函数
把上述基于距离的分段线性判别函数概念 加以推广。 在前面，把每一类都分为若干子区域，并 选择各子区域的均值向量作为代表点以设 计最小距离分类器。
但这种方法只在某些特殊情况下才能得到 较好的分类结果，在很多情况下往往不适 用。
ω22
ω 32 图 4.7.3
ω2
1
它是由多段超平面组成的， 其中每一段都是最小距离 分类器。这样的结果是令 人满意的。
Ⅱ：分段线性距离判别
4.7 非线性判别函数
一般地，如果对于ωi类取li个代表点，或者说， 把属于ωi类的样本区域Ri分为li个子区域， l 1 2 { , , , 即 i i i i }，
i
其中 表示第i类的第l个子区域，用m 表示该 子区域中样本的均值向量，并以此作为该子区 域的代表点，这样可以定义如下判别函数
l i
l i
gi (x) min || x m ||
i 1, 2,,l l i
g i (x) 则把x归到ω 类。 若有 g j (x) i min j 1, 2 ,,c
g (x) g (x)
n i m j
关键问题是如何利用样本集确定子类数目 以及如何求各子类的权向量和阈值权。
4.7 非线性判别函数
4.7.3分段线性分类器设计的一般考虑
分类器设计的基本问题是，在一定判别 函数类内利用训练样本集确定分类器的 参数，即确定判别函数中的系数。 设计线性分类器，就是确定权向量w和阈 值权w0或广义权向量 a。
4.7 非线性判别函数
图4.7.1中分别给出了采用线性判别函数，分 段线性判别函数和二次判别函数所得到的分 界面。
ω1 ω1 ω2 Ⅱ Ⅲ 图Leabharlann Baidu4.7.1 Ⅰ：线性判别 Ⅱ：分段线性判别 Ⅲ：二次判别
Ⅰ
4.7 非线性判别函数
当类条件概率密度函数为正态分布，各特 征统计独立且同方差时，贝叶斯决策规则 可得到线性判别函数，特别是当P(ω1) = P(ω2)时，决策规则可以写成
4.7 非线性判别函数
g (x) w x w
l i lT i
l i0
l=1，2，…，li， i=1，2，…，c
式中w 和w 阈值权。如果定义ωi的线性判别函数为
l i
l l 分别为子类 i 的权向量和 i0
gi (x) max g (x)
i 1, 2,,li l i
则对于c类问题可定义c个判别函数gi(x)， i=1，2，…，c，并得到决策规则： g j (x) max g i (x) 则决策x∈ωj i
这与贝叶斯决策相矛盾。
图 4.7.4
4.7 非线性判别函数
只考虑作为各类或各子区域代表点所提供 的信息是很不够的。
如何利用整个样本集所提供的全部信息是 需要考虑的问题。 把每一类分为若干个子类，即令
i { , ,, }
1 i 2 i li i
不是选择各子类的均值作为代表点设计最 小距离分类器，而是对于每个子类定义一个 线性判别函数
4.7 非线性判别函数
例如图4.4所示的样本分布情况。
图中各类样本服从正态但 非等协方差分布，其等概 率密度面为超椭球面，用 虚线表示。
利用贝叶斯决策规则对样 本x进行分类，应决策 x∈ω2类；
x2
μ2 x x1
μ1
0 但若以μi作为代表点，按 到μi的欧氏距离进行分类， 则应决策x∈ω1类。
而设计分段线性分类器，则是利用样本
l i
l i0
集确定一组 w 和 w 。
4.7 非线性判别函数
㈠利用多类线性判别函数算法设计分 段线性分类器
若已知样本的子类划分情况，可把子类看作独
立的类，然后利用多类线性判别函数算法把各
个子类分开，自然也就把各类分开了。
这种方法必须以已知子类划分为前提。 划分子类的一种方法是根据先验知识直观判定， 如字符识别中，可把同一字符看作一类，而把
μ1
g(x) = 0 0
μ2
图 4.7.2
作为判别函数进行分类。
4.7 非线性判别函数
现在考虑图4.7.3所示的两类分布情况。 ω1类和ω2类都是多峰分布。
ω11 ω22
ω 12 m1 m2 ω 32 ω21
如果利用上面方法， Ⅰ 把各类均值仍作为代 表点，设计最小距离 分类器，则得到分界 面Ⅰ。
其中不同的字体看作它的不同子类。
另一种方法则借助于聚类分析方法来解决。
4.7 非线性判别函数
㈡已知子类数目时的分段线性判别函数
当已知子类数目，但不知子类划分情况时， 可利用下面的错误修正算法设计分段线性 分类器，它与多类线性判别函数的固定增 量算法很相似，其步骤如下：
对于任意样本x，必有某个子类的判别函 数值较其它的判别函数值为最大。
4.7 非线性判别函数
假如具有最大值的判别函数是 g (x) ，则 n 把x归到子类所属的类 i ，即类i 。
n i
得到的决策面也是分段线性的，其决策 面方程是由各子类的判别函数确定的， 如果第i类的第n个子类和第j类的第m个子 类相邻，则该决策面方程是
Ⅰ：线性距离判别
缺点是错误率较大。
4.7 非线性判别函数
如果每类不是只取一个代表点，而是取多个代表点， 例如，ω1类取两个代表点，ω2类取三个代表点，仍 利用上面定义的距离判别函数， Ⅱ 把未知样本x归到离它最 近的代表点所属的类别， 1 ω 则可得到如图中折线(即 2 1 ω1 分界面Ⅱ所示的分段线 性分界面，
4.7.1 分段线性判别函数的基本概念
分段线性判别函数是一种特殊的非线性判别 函数。它确定的决策面是由若干超平面段组 成的。
由于它的基本组成仍然是超平面，因此，与 一般超曲面(例如贝叶斯决策面)相比，仍然 是简单的；又由于它是由多段超平面组成的， 所以它能逼近各种形状的超曲面，具有很强 的适应能力。
1 || x μ1 || || x μ 2 || 0 x 2
2 2
这时的决策面是两类期望连线的垂直平分 面，如图4.7.2所示。这样的分类器叫做最 小距离分类。
4.7 非线性判别函数
x2 x
这一判别函数虽然是在
十分特殊的条件下推出
来的，但它却给了我们 一个相当重要的启示， 这就是可以把均值作为 x1 各类的代表点，用距离
这样的分类器叫做分段线性距离分类器。
4.7 非线性判别函数
4.7.2 分段线性判别函数
把上述基于距离的分段线性判别函数概念 加以推广。 在前面，把每一类都分为若干子区域，并 选择各子区域的均值向量作为代表点以设 计最小距离分类器。
但这种方法只在某些特殊情况下才能得到 较好的分类结果，在很多情况下往往不适 用。
ω22
ω 32 图 4.7.3
ω2
1
它是由多段超平面组成的， 其中每一段都是最小距离 分类器。这样的结果是令 人满意的。
Ⅱ：分段线性距离判别
4.7 非线性判别函数
一般地，如果对于ωi类取li个代表点，或者说， 把属于ωi类的样本区域Ri分为li个子区域， l 1 2 { , , , 即 i i i i }，
i
其中 表示第i类的第l个子区域，用m 表示该 子区域中样本的均值向量，并以此作为该子区 域的代表点，这样可以定义如下判别函数
l i
l i
gi (x) min || x m ||
i 1, 2,,l l i
g i (x) 则把x归到ω 类。 若有 g j (x) i min j 1, 2 ,,c
g (x) g (x)
n i m j
关键问题是如何利用样本集确定子类数目 以及如何求各子类的权向量和阈值权。
4.7 非线性判别函数
4.7.3分段线性分类器设计的一般考虑
分类器设计的基本问题是，在一定判别 函数类内利用训练样本集确定分类器的 参数，即确定判别函数中的系数。 设计线性分类器，就是确定权向量w和阈 值权w0或广义权向量 a。
4.7 非线性判别函数
图4.7.1中分别给出了采用线性判别函数，分 段线性判别函数和二次判别函数所得到的分 界面。
ω1 ω1 ω2 Ⅱ Ⅲ 图Leabharlann Baidu4.7.1 Ⅰ：线性判别 Ⅱ：分段线性判别 Ⅲ：二次判别
Ⅰ
4.7 非线性判别函数
当类条件概率密度函数为正态分布，各特 征统计独立且同方差时，贝叶斯决策规则 可得到线性判别函数，特别是当P(ω1) = P(ω2)时，决策规则可以写成
4.7 非线性判别函数
g (x) w x w
l i lT i
l i0
l=1，2，…，li， i=1，2，…，c
式中w 和w 阈值权。如果定义ωi的线性判别函数为
l i
l l 分别为子类 i 的权向量和 i0
gi (x) max g (x)
i 1, 2,,li l i
则对于c类问题可定义c个判别函数gi(x)， i=1，2，…，c，并得到决策规则： g j (x) max g i (x) 则决策x∈ωj i
这与贝叶斯决策相矛盾。
图 4.7.4
4.7 非线性判别函数
只考虑作为各类或各子区域代表点所提供 的信息是很不够的。
如何利用整个样本集所提供的全部信息是 需要考虑的问题。 把每一类分为若干个子类，即令
i { , ,, }
1 i 2 i li i
不是选择各子类的均值作为代表点设计最 小距离分类器，而是对于每个子类定义一个 线性判别函数
4.7 非线性判别函数
例如图4.4所示的样本分布情况。
图中各类样本服从正态但 非等协方差分布，其等概 率密度面为超椭球面，用 虚线表示。
利用贝叶斯决策规则对样 本x进行分类，应决策 x∈ω2类；
x2
μ2 x x1
μ1
0 但若以μi作为代表点，按 到μi的欧氏距离进行分类， 则应决策x∈ω1类。
而设计分段线性分类器，则是利用样本
l i
l i0
集确定一组 w 和 w 。
4.7 非线性判别函数
㈠利用多类线性判别函数算法设计分 段线性分类器
若已知样本的子类划分情况，可把子类看作独
立的类，然后利用多类线性判别函数算法把各
个子类分开，自然也就把各类分开了。
这种方法必须以已知子类划分为前提。 划分子类的一种方法是根据先验知识直观判定， 如字符识别中，可把同一字符看作一类，而把
μ1
g(x) = 0 0
μ2
图 4.7.2
作为判别函数进行分类。
4.7 非线性判别函数
现在考虑图4.7.3所示的两类分布情况。 ω1类和ω2类都是多峰分布。
ω11 ω22
ω 12 m1 m2 ω 32 ω21
如果利用上面方法， Ⅰ 把各类均值仍作为代 表点，设计最小距离 分类器，则得到分界 面Ⅰ。
其中不同的字体看作它的不同子类。
另一种方法则借助于聚类分析方法来解决。
4.7 非线性判别函数
㈡已知子类数目时的分段线性判别函数
当已知子类数目，但不知子类划分情况时， 可利用下面的错误修正算法设计分段线性 分类器，它与多类线性判别函数的固定增 量算法很相似，其步骤如下：
对于任意样本x，必有某个子类的判别函 数值较其它的判别函数值为最大。
4.7 非线性判别函数
假如具有最大值的判别函数是 g (x) ，则 n 把x归到子类所属的类 i ，即类i 。
n i
得到的决策面也是分段线性的，其决策 面方程是由各子类的判别函数确定的， 如果第i类的第n个子类和第j类的第m个子 类相邻，则该决策面方程是
Ⅰ：线性距离判别
缺点是错误率较大。
4.7 非线性判别函数
如果每类不是只取一个代表点，而是取多个代表点， 例如，ω1类取两个代表点，ω2类取三个代表点，仍 利用上面定义的距离判别函数， Ⅱ 把未知样本x归到离它最 近的代表点所属的类别， 1 ω 则可得到如图中折线(即 2 1 ω1 分界面Ⅱ所示的分段线 性分界面，