数据挖掘模型选择PPT

2020/11/19
数据挖掘模型选择
8
模型选择
• 三个关键问题：
– 如何获得测试结果 – 如何评估性能优劣 – 如何判断实质差别
评估方法 性能度量 比较检验
2020/11/19
数据挖掘模型选择
9
性能度量
• 性能度量（performance measure）是衡量模型泛化能力的评价 标准，反映了任务需求
3
模型选择
• 三个关键问题：
• 如何获得测试结果 • 如何评估性能优劣 • 如何判断实质差别
评估方法 性能度量 比较检验
2020/11/19
数据挖掘模型选择
4
评估方法
• 关键：怎么获得“测试集”？
• 原则：测试集与训练集“互斥”
• 常见方法：
• 留出法（hold-out） • 交叉验证法（cross validation） • 自助法（bootstrap）
2020/11/19
数据挖掘模型选择
5
留出法
• 保持数据分布一致性（例如：分层采样） • 多次重复划分（例如：100次随机划分） • 测试集不能太大、不能太小（例如：1/5~1/3）
2020/11/19
数据挖掘模型选择
6
K-折交叉验证法
当K=m时，则得到“留一法”（leave-one-out, LOO）
• 错误率 • 精度
å E(
f ;D)
=
1 m
m i=1
I(
f
(xi )
¹
yi )
å acc(
f ;D)
=
1 m
m i=1
I(
f
(xi )
=
yi )
=1-
E(
f
; D)
2020/11/19
数据挖掘模型选择
12
性能度量－查准率与查全率
• 查准率：precision，准确率，P
• 预测结果中是正例的比率
23
此课件下载可自行编辑修改，供参考！ 感谢您的支持，我们努力做得更好！
数据挖掘模型选择
24
• 简单投票机制
– 一票否决(一致表决) – 少数服从多数
• 有效多数(加权)
– 阈值表决
• 贝叶斯投票机制
2020/11/19
数据挖掘模型选择
22
• 但也可以使用SVM、Logistic回归等其他分类器，习惯上，这些分 类器组成的“总分类器”，仍然叫做随机森林。
2020/11/19
数据挖掘模型选择
– 从样本集中用Bootstrap采样选出n个样本；
– 从所有属性中随机选择k个属性，选择最佳分 割属性作为节点建立CART决策树；
– 重复以上两步m次，即建立了m棵CART决策树
– 这m个CART形成随机森林，通过投票表决结 果，决定数据属于哪一类
2020/11/19
数据挖掘模型选择
21
投票机制
2020/11/19
数据挖掘模型选择
7
自助法
• 基于“自助采样”（bootstrap sampling）
• Pull up by your own bootstraps • 有放回采样、可重复采样 • 训练集与原样本集同规模 • 数据分布有所改变 • 约有36.8%的样本不出现
包外估计：out-of-bag estimation
• 查全率：recall，sensitivity, 召回率， R
• 所有的正例中被正确预测出的比列
P = TP TP + Fp
R = TP TP + FN
2020/11/19
数据挖掘模型选择
13
True Positive Rate, TPR, (Sensitivity)
True Negative Rate, TNR, (Specificity)
平衡点 (BEP)
（Break-Even Point, ） 学习器A优于学习器B 学习器A优于学习器C 学习器B优于学习器C
数据挖掘模型选择
15
性能度量－F1度量
2020/11/19
数据挖掘模型选择
16
性能度量－ROC与AUC
2020/11/19
数据挖掘模型选择
17
集成学习
• 定义：通过构建并结合多个学习器来完成学习任 务，又称为：多分类学习器系统、基于委员会的 学习等。
C4.5、CART、SVM、Logistic回归等) – 重复以上两步m次，即获得了m个分类器 – 将数据放在这m个分类器上，最后根据这m个
分类器的投票结果，决定数据属于哪一类
2020/11/19
数据挖掘模型选择
19
2020/11/19
数据挖掘模型选择
20
• 随机森林在bagging基础上做了修改。
模型评估与选择
2020/11/19
数据挖掘模型选择
1
泛化误差 vs 经验误差
• 泛化误差：在“未来”样本上的误差 • 经验误差：在训练集上的误差，亦称“训练误差”
训练数据
模型
新样本 数据
新样本 属于什 么类别？
2020/11/19
数据挖掘模型选择
2
过拟合 vs 欠拟合
2020/11/19
数据挖掘模型选择
Positive Predictive Value, PPV
False Positive Rate, FPR
False Negative Rate, FNR
2020/11/19 False Discovery Rate, FDR 数据挖掘模型选择
14
Байду номын сангаас
2020/11/19
PR图：
学习器A优于学习器C 学习器B优于学习器C 学习器A？？学习器B
• 使用不同的性能度量往往会导致不同的评判结果 • 什么样的模型是“好”的，不仅取决于算法和数据，还取决于任
务需求。
2020/11/19
数据挖掘模型选择
10
性能度量
• 回归任务
• 分类任务
• 错误率与精度 • 查准率、查全率与F1 • ……
2020/11/19
数据挖掘模型选择
11
性能度量－错误率与精度
• 两大类
• 个体学习器间存在强依赖关系，必须串行生产的序列化 方法： Boosting
• 个体学习器间不存在强依赖关系，可同时生成的并行化 方法：Bagging and Random Forest
2020/11/19
数据挖掘模型选择
18
集成学习－随机森林
• Bagging 策略
– bootstrap aggregation – 从样本集中重采样(有重复的)选出n个样本 – 在所有属性上，对这n个样本建立分类器(ID3、