分类器的评估
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
• 抽样技术
– 过抽样技术
对稀有类重复抽样
– 欠抽样技术
对多数类随机抽样
– 混合抽样技术
• 阈值移动技术 • 组合技术
分类器性能指标
• • • • 运行速度 鲁棒性（对噪声和缺失值的适应性） 可伸缩性（对数据规模扩大的适应性） 可解释性
根据提升图和实际业务背景选择 合适的分组比例。
– 根据分组比例决定最终决策阈 值。
提高分类准确率技术—组合分类
组合分类方法
• 有放回抽样产生多个样本
– 装袋： 多数表决决定最终结果 – 提升（ada boost)
• 随机森林：
多颗决策树，随机属性选择
组合方法
• 联合方法
• 处理多类问题的方法
不平衡分布类处理技术
• 不对称误分类代价 成本或收益
模型评估方法
• Hold方法 将数据分成训练集和验证（测试）集，一般按照 2:1比例划分，以验证集指标进行评估； • 多次随机采样 进行N次上述（1）的随机采样，然后计算N个测试 精度的平均值 • 自助法（bootstrap)（最常用的.632自助法） 进行N次有放回的均匀采样，获得的数据集作为训 练集，原数据集中未被抽中的其它观测形成验证 集。可重复K次，计算准确率：
总
fp
tn
Rbad
N
绘制提升图
1.将验证集各观测按照p_good降序排列,等分成10组。 2.以10个分组为横坐标 以下指标分别为纵坐标： %response：每组中实际为GOOD的观测个数占本组总 个数的比例; %captured response:每组中实际为GOOD的观测个数 占RGOOD的比例;
真正率（灵敏度） =tp/(tp+fn) 真负率（特指度） =tn/(fp+tn) 假正率 =fp/(fp+tn) 假负率
=fn/(tp+fn)
tp+fp fn+tn tp+fn+ fp+tn
不平衡分布类
误分类率：9% 真正率：60%
二类分类问题的混淆矩 阵
预测结果类 +10 -90 +(fn)2 — (tn)88
模型评估方法
• 交叉验证 数据集小的时候，可将数据集分成K个不相 交的等大数据子集，每次将K-1个数据集作为训 练集，将1个数据集作为验证（测试）集，得 到K个测试精度，然后计算K个测试指标的平均 值。 留一交叉验证：K=N；
分层交叉验证：每个部分中保持目标变量的分 布。
不同分类器预测准确度差异的显 著性检验
+5
实 际 类
-95
++ (tp)3 -+ (fp)7
评估指标
2. 精度
P=tp / (tp+fp)
3. 召回率（真正率、灵敏 二分类问题的 预测结果类 混淆矩阵 度） + R=tp/(tp+fn) + tp fn 实 4.FSCORE 际 fp tn 精度和召回率 类 的调和均值： 召回率和精度的权重相同： tp+fp fn+tn 总 F = 2RP/(R+P)
• T检验（自由度为K-1） 以交叉验证为例（k为验证集观测分折数）：
相同验证集：
不同验证集：
分类器预测准确度置信区间
分类器预测真正准确度p=
其中：N：验证集观测个数； acc：基于当前验证集分类器的准确度；
ROC曲线（receiver operating characteristic)
二分类问题 预测结果类 的混淆矩阵
提升图
������
某公司发送了1000封广告邮件，有200个客户响应了邮件（即由于 收到邮件而在该公司产生了消费行为）。每个10分位（100个观测）的 响应者个数根据对验证数据集的计算得到。������
决策阈值选择
• 根据每个观测预测为每个目标类的 概率决定该观测的目标类值。 • 对二分类： 理论阈值p=1/(1+1/B) B=C（-，+）/C（+，-）
提升图
假定： • 目标变量的取值为GOOD 和BAD • N 为验证集观测个数； • RGOOD为验证集目标变量取 验证集的混 淆矩阵 值为GOOD的观测个数； • p_good为验证集目标变量 预测为GOOD的概率值； 实 good
Leabharlann Baidu际 类
预测 结果类 good bad tp fn
总 RGOOD
bad
将召回率的权重设为精度的β倍 ：
总
tp+fn fp+tn tp+fn+ fp+tn
评估指标
5. 误分类代价 （成本或收益） • 误分类代价对称 C(+,+)=C(-,-)=0 C(+,-)=C(-,+)=1 二分类问题的 预测结果类 混淆矩阵 + + tp fn 实 际 fp tn 类 总 tp+fn fp+tn
+ 总
真正率
实 际 类
+
-
tp
fp
fn
tn
tp+fn
fp+tn
假正率
总
tp+fp
fn+tn
tp+fn+ fp+tn
• 曲线下方面积越大，模型越好，即曲线与y轴正向的夹角越小 越好。
制作ROC曲线
• 验证集共有10个观测，其中正类（P类）5个，负类（N类）5个
• 将验证集各观测按照预测为正类的概率降序排列，每个观测计算对应 的真正率和假正率，形成一个点。
分类器的评估
张英
混淆矩阵与分类准确率
多分类问题 的混淆矩阵 准确率 误分类率 实 际 类 c1 c2 …… ck 总 n 预测结果类 c1 c2 …… ck 总
分类模型的评价指标
1. 准确率与误分类率
准确率 =(tp+tn) )/(tp+fn+fp+tn) 误分类率=(fn+fp)/(tp+fn+fp+tn) 二分类问题 的混淆矩阵 实 际 类 + 总 预测结果类 + tp fp fn tn 总 tp+fn fp+tn
%cumulative response:前面各组中实际为GOOD的观测 个数占前面各组总个数的比例 %cumulative captured response:前面各组中实际为 GOOD的观测个数占RGOOD的比例。
lift value=使用模型以后的% response/ 不使用任何模 型进行决策的% response
• 误分类代价不对称 关注预测为正类 • 成本角度 • 收益角度 二分类问 预测结果类 题的误分 + 类代价 实际 + 类 C(+,+)
C(-,+)
总
C(+,-) C(+,+)*TP+C(+,-)*FN
C(-,-) C(-,+)*FP+C(-,-)*TN
预测性能评估指标的选择
• 平衡分布类，对称误分类代价 准确率、误分类率，精度 • 不平衡分布类，对称误分类代价 精度，召回率，FSCORE
– 过抽样技术
对稀有类重复抽样
– 欠抽样技术
对多数类随机抽样
– 混合抽样技术
• 阈值移动技术 • 组合技术
分类器性能指标
• • • • 运行速度 鲁棒性（对噪声和缺失值的适应性） 可伸缩性（对数据规模扩大的适应性） 可解释性
根据提升图和实际业务背景选择 合适的分组比例。
– 根据分组比例决定最终决策阈 值。
提高分类准确率技术—组合分类
组合分类方法
• 有放回抽样产生多个样本
– 装袋： 多数表决决定最终结果 – 提升（ada boost)
• 随机森林：
多颗决策树，随机属性选择
组合方法
• 联合方法
• 处理多类问题的方法
不平衡分布类处理技术
• 不对称误分类代价 成本或收益
模型评估方法
• Hold方法 将数据分成训练集和验证（测试）集，一般按照 2:1比例划分，以验证集指标进行评估； • 多次随机采样 进行N次上述（1）的随机采样，然后计算N个测试 精度的平均值 • 自助法（bootstrap)（最常用的.632自助法） 进行N次有放回的均匀采样，获得的数据集作为训 练集，原数据集中未被抽中的其它观测形成验证 集。可重复K次，计算准确率：
总
fp
tn
Rbad
N
绘制提升图
1.将验证集各观测按照p_good降序排列,等分成10组。 2.以10个分组为横坐标 以下指标分别为纵坐标： %response：每组中实际为GOOD的观测个数占本组总 个数的比例; %captured response:每组中实际为GOOD的观测个数 占RGOOD的比例;
真正率（灵敏度） =tp/(tp+fn) 真负率（特指度） =tn/(fp+tn) 假正率 =fp/(fp+tn) 假负率
=fn/(tp+fn)
tp+fp fn+tn tp+fn+ fp+tn
不平衡分布类
误分类率：9% 真正率：60%
二类分类问题的混淆矩 阵
预测结果类 +10 -90 +(fn)2 — (tn)88
模型评估方法
• 交叉验证 数据集小的时候，可将数据集分成K个不相 交的等大数据子集，每次将K-1个数据集作为训 练集，将1个数据集作为验证（测试）集，得 到K个测试精度，然后计算K个测试指标的平均 值。 留一交叉验证：K=N；
分层交叉验证：每个部分中保持目标变量的分 布。
不同分类器预测准确度差异的显 著性检验
+5
实 际 类
-95
++ (tp)3 -+ (fp)7
评估指标
2. 精度
P=tp / (tp+fp)
3. 召回率（真正率、灵敏 二分类问题的 预测结果类 混淆矩阵 度） + R=tp/(tp+fn) + tp fn 实 4.FSCORE 际 fp tn 精度和召回率 类 的调和均值： 召回率和精度的权重相同： tp+fp fn+tn 总 F = 2RP/(R+P)
• T检验（自由度为K-1） 以交叉验证为例（k为验证集观测分折数）：
相同验证集：
不同验证集：
分类器预测准确度置信区间
分类器预测真正准确度p=
其中：N：验证集观测个数； acc：基于当前验证集分类器的准确度；
ROC曲线（receiver operating characteristic)
二分类问题 预测结果类 的混淆矩阵
提升图
������
某公司发送了1000封广告邮件，有200个客户响应了邮件（即由于 收到邮件而在该公司产生了消费行为）。每个10分位（100个观测）的 响应者个数根据对验证数据集的计算得到。������
决策阈值选择
• 根据每个观测预测为每个目标类的 概率决定该观测的目标类值。 • 对二分类： 理论阈值p=1/(1+1/B) B=C（-，+）/C（+，-）
提升图
假定： • 目标变量的取值为GOOD 和BAD • N 为验证集观测个数； • RGOOD为验证集目标变量取 验证集的混 淆矩阵 值为GOOD的观测个数； • p_good为验证集目标变量 预测为GOOD的概率值； 实 good
Leabharlann Baidu际 类
预测 结果类 good bad tp fn
总 RGOOD
bad
将召回率的权重设为精度的β倍 ：
总
tp+fn fp+tn tp+fn+ fp+tn
评估指标
5. 误分类代价 （成本或收益） • 误分类代价对称 C(+,+)=C(-,-)=0 C(+,-)=C(-,+)=1 二分类问题的 预测结果类 混淆矩阵 + + tp fn 实 际 fp tn 类 总 tp+fn fp+tn
+ 总
真正率
实 际 类
+
-
tp
fp
fn
tn
tp+fn
fp+tn
假正率
总
tp+fp
fn+tn
tp+fn+ fp+tn
• 曲线下方面积越大，模型越好，即曲线与y轴正向的夹角越小 越好。
制作ROC曲线
• 验证集共有10个观测，其中正类（P类）5个，负类（N类）5个
• 将验证集各观测按照预测为正类的概率降序排列，每个观测计算对应 的真正率和假正率，形成一个点。
分类器的评估
张英
混淆矩阵与分类准确率
多分类问题 的混淆矩阵 准确率 误分类率 实 际 类 c1 c2 …… ck 总 n 预测结果类 c1 c2 …… ck 总
分类模型的评价指标
1. 准确率与误分类率
准确率 =(tp+tn) )/(tp+fn+fp+tn) 误分类率=(fn+fp)/(tp+fn+fp+tn) 二分类问题 的混淆矩阵 实 际 类 + 总 预测结果类 + tp fp fn tn 总 tp+fn fp+tn
%cumulative response:前面各组中实际为GOOD的观测 个数占前面各组总个数的比例 %cumulative captured response:前面各组中实际为 GOOD的观测个数占RGOOD的比例。
lift value=使用模型以后的% response/ 不使用任何模 型进行决策的% response
• 误分类代价不对称 关注预测为正类 • 成本角度 • 收益角度 二分类问 预测结果类 题的误分 + 类代价 实际 + 类 C(+,+)
C(-,+)
总
C(+,-) C(+,+)*TP+C(+,-)*FN
C(-,-) C(-,+)*FP+C(-,-)*TN
预测性能评估指标的选择
• 平衡分布类，对称误分类代价 准确率、误分类率，精度 • 不平衡分布类，对称误分类代价 精度，召回率，FSCORE