模式分类之关于分类器错误率的估计问题

平均错误率 ＝ 90%
标准差 = 10%
例：两个测试样本集的错误率为 95% 和 85％
平均错误率 ＝ 90%
标准差 = 5%
在某些实际应用中，需要计算每一个类的错误率：
该类的错分样本数
类错误率 ＝ 该类的样本总数
例：有一个五类测试集，每一个类有200个样本。
其中四个类全部正确分类，而有一个类错分100
N P (1 ) P ( 2 ) 1, N i NP ( i ) 1 P (1 ) 2 P ( 2 )
[ 1 P (1 ) 1 2 P (1 ) P ( 2 ) 2 P ( 2 )
置信水平

真 实 值


估计值
图的使用方法
(1) 计算出测试样本集的错误率估计值
(2) 已知测试样本集的样本数 N
(3) 找出估计值 与两条标注 N 的曲线的交点

(4) 对应的两个纵轴坐标就是置信区间(ε1 , ε2) ， 即真实错误率的范围
0.5, N 10
(1 , 2 ) (0.18, 0.83)
设计集 = 测试集
设计集的参数是真实 参数 测试集的参数是某一 个估计值
0 (θ,θ) 0 (θ N ,θ)
0 (θ N ,θ N ) 0 (θ,θ N )
对它们取期望，则
0 (θ,θ) E[ 0 (θ N ,θ)]
E[ 0 (θ N ,θ N )] E[ 0 (θ,θ N )]
说明： (1) 对于c 类情况，我们只需要将上述连乘与求 和符号中的上限改成 c 即可 (2) 这里我们没有针对一个具体的分类器来讨论，
这些结果同样适合于后面介绍的分类器
3.7.2 关于未设计好分类器时错误率的估计问题
3.7.2.1 基本理论
面临的问题是：在只有有限的 N 个样本的条件下，
我们如何将样本集划分成设计集与测试集，用设计 集来设计分类器，用测试集来估计错误率，同时希
k N k
N k
ln P ( k ) ln C k ln
k N
( N k ) ln(1 )
则 ln P ( k )

N k 0 1 k
得
k ˆ N
k ˆ N
结论：错分样本数 k 与测试集样本总数 N 之比是 错误率 ε 的最大似然估计量
2 2 2 2
P (1 ) 1 P (1 ) 1 P ( 2 ) 2 P ( 2 ) 2 ]
2 2
其中：四个红线部分之和等于0 青颜色部分：
P(1 )1 1 P (1 ) P(1 )1 (1 P(1 )) P(1 ) P(2 )1
2 2 2 2
们倾向于选择方差较小的估计量，其含义是它的 值更加密集地聚集在真实值的附近
两个错误率估计量的比较
' Var[ ] Var[ ]
1 N
[ (1 ) P (1 ) 1 (1 1 ) P ( 2 ) 2 (1 2 )]
1 N1 2 N 2
测试集是随机抽取的，错分样本数 k 是随机变量
k N
它是随机变量 k 的函数，同样
也是随机变量
可以用期望、方差、置信区间来评估错误率估 计量的统计性质
二项分布的期望、方差为：
期望
E (k ) N
Var ( k ) N (1 )
方差
则
ˆ
的期望
k E[ k ] N ˆ) E E ( N N N
望错误率越小越好
针对两类问题，以最小错误率Bayes分类器为 例来分析如何划分样本集，以及如何快速地估
计错误率（减小错误率估计的计算量）
Bayes分类器的似然决策规则
P (1 ) p(x | 1 ) l (x, θ) 1 P (2 ) p(x | 2 )
1 x 2


ln P (k1 , k2 ) k1 N1 k1 0 1 1 1 1
ln P (k1 , k2 ) k2 N 2 k2 0 2 2 1 2
1

k1 N1
2

k2 N2
总错误率的估计
k1 k2 1 NP (1 ) 2 NP (2 ) N N N 2 1 P (1 ) 2 P ( 2 ) i P ( i ) ' N2
无偏估计量
方差
k Var[k ] ˆ ] Var Var[ 2 N N N (1 ) (1 ) 2 N N
随着 N 的增大而减小
95%置信系数下的置信区间(ε1 , ε2) 与 ˆ 和N 的 关系
P (1 2 ) 1 /100 0.95
[ P(1 ) P(2 )(1 2 ) ] 0
1 N 2
结论：选择性抽样时错误率的方差更小，其原因是 利用了先验信息
结论
错误率的估计量是最大似然估计意义下的最好 估计 错误率估计是无偏估计量。选择性抽样错误率
的方差更小。 随着样本数的增加，其置信区间（真实错误率
的范围）将减小
假设从 N 个实际样本得到的估计值
0 (θ,θ) 0 (θ,θ)
θN
0 (θ,θ) 0 (θ N ,θ)
具体值代入
设计集的参数是某一个估计值 测试集的参数是真实参数
0 (θ,θ) 0 (θ,θ)
0 (θ N ,θ N ) 0 (θ,θ N )

错误率=0.45
N=10（红色） N=100（绿色）
结果：随着样本数目的增加，置信区间（真实错 误率的范围）将变小
错误率 = 0.00
N=50， 真实错误率 < 0.08 N=250，真实错误率 < 0.02
2 先验概率已知的选择性抽样
当我们已知两类（ ω1，ω2 ）的先验概率 P(ω1) 和 P(ω2)，可以从两个类别的总体中分别抽取
机抽样
对于 N 个样本的测试集，结果出现了 k 个错分样 本，此时 k 是一个随机变量
假设真实的错误率为 ε ，k 的密度函数满足二
项分布
P(k ) C (1 )
k N k
N k
N! C k !( N k )!
k N
ε 的最大似然估计： max lnP (k )

P(k ) C (1 )
其中，θ 是概率密度函数中的参数
对于一个实际问题，θ 是未知的，只能用样本集 的估计量
ˆ θ
来代替
我们可以用设计集和测试集分别估计出两个估
计量
θ1 ,θ2
θ1 ,θ2
都有关
因为我们利用设计集的估计量来计算测试集错 误率，所以分类器的错误率与
记测试集的错误率为 0 (θ1 ,θ 2 )
N1= P(ω1) N
N2= P(ω2) N 个样本（其中N ＝ N1 + N2）作为测试集，这种样
本抽取方法称为选择性抽样
设 k1 和 k2 分别是 ω1，ω2 类的错分样本数，它们是
随机变量、并且相互独立，因此它们的联合概率为
ki ki N i ki P ( k1 , k2 ) P ( k1 ) P ( k2 ) C N (1 ) i i i i 1
(1) 错误率估计量是不是最好的？
(2) 估计量具有什么样的统计性质？
(3) 当考试样本增加时，估计量是否有改善？
针对两类问题，分两种情况来讨论这三个问题：
1 先验概率未知的随机抽样
2 先验概率已知的选择性抽样
1 先验概率未知的随机抽样
当我们不知道两类的先验概率时，只能随机抽取
N 个样本作为测试集，这种样本抽取方法称为随
标准差 ＝
1 M
2 ( e e ) i av i 1
M
第 i 个样本集的错误率 结果的表示：平均错误率 ± 标准差
平均错误率
说明： (1) 对训练集与测试集，都可以计算错误率、平
均错误率、标准差
(2) 三个指标越小越好
(3) 有时也使用正确率或者精度的概念
正确率= 1-错误率
例：两个测试样本集的错误率为 100% 和 80％
3.7 关于分类器错误率的估计问题
讨论的问题是： 如何利用样本集来估计错误率？
样本集分成两种: 检验（考试、测试）（样本）集：只用于估计分
类器错误率的样本集 训练（设计、学习）（样本）集：只用于设计分
类器的样本集 说明：两个集合不应该有相同的样本
对于已经设计好的分类器，我们只需要用测
试集来估计错误率 对于未设计好的分类器，我们要用设计集来
个样本。则总的错误率为 100/1000 = 10.00％，四
个类的类错误率为0.00%，一个类的类错误率为
50.00%
3.7.1 关于已设计好分类器时错误率的估
计问题
3.7.2 关于未设计好分类器时错误率的估 计问题
3.7.1 关于已设计好分类器时错误率的估计问题 关于测试集的错误率，讨论三个问题：
2
其中， εi 是 ωi 类的真实错误率
用最大似然法求εi 的估计量
ki ki N i ki P ( k1 , k2 ) C N (1 ) i i i i 1
2
2
ki ln P (k1 , k2 ) ln C N ki ln i ( N i ki )ln(1 i ) i i 1
从理论上来说，Bayes分类器可以是错误率达到 最小。但是，对于具体的问题，还需要检查设
计集的参数、测试集的参数、真实参数是否相 等