机器学习之模型评估与模型选择

性能度量
回归任务
分类任务
错误率与精度 查准率、查全率与F1 ……
回归模型评估有三种方法，分别是：平均绝对值误差、均方误差和R平方 值 （1）平均绝对误差（MAE）就是指预测值与真实值之间平均相差多大
（2）均方误差是指参数估计值与参数真值之差平方的期望值，记为MSE 。值越小，说明预测模型描述实验数据具有更好的精确度。
投票机制
• 简单投票机制
– 一票否决(一致表决) – 少数服从多数
• 有效多数(加权)
– 阈值表决
• 贝叶斯投票机制
但也可以使用SVM、Logistic回归等其他 分类器，习惯上，这些分类器组成的“总 分类器”，仍然叫做随机森林。
查准率：pre全cis率ion，准确率，P
预测结果中是正例的比率
查全率：recall，sensitivity, 召
回率， R
P = TP
所有的正例中被正确预测出的TP比+ Fp
列
R = TP
TP + FN
True Positive Rate, TPR, (Sensitivity) True Negative Rate, TNR, (Specificity) Positive Predictive Value, PPV False Positive Rate, FPR False Negative Rate, FNR False Discovery Rate, FDR
• 随机森林在bagging基础上做了修改。
– 从样本集中用Bootstrap采样选出n个样本；
– 从所有属性中随机选择k个属性，选择最佳 分割属性作为节点建立CART决策树；
– 重复以上两步m次，即建立了m棵CART决 策树
– 这m个CART形成随机森林，通过投票表决 结果，决定数据属于哪一类
（3）R平方值，表征回归方程在多大程度上解释了因变量的变化，或者说 方程对观测值的拟合程度如何
性能度量－错误率与精度
错误率
å E(
f ; D)
=
1 m
m i=1
I(
f
(xi )
¹
yi )
精度
å acc( f ; D)
=
1 m
m i=1
I(
f
(xi )
=
yi ) = 1-
E(
f ;D)
性能度量－查准率与查
比较检验
评估方法
关键：怎么获得“测试集”？
原则：测试集与训练集“互斥”
常见方法：
留出法（hold-out） 交叉验证法（cross validation） 自助法（bootstrap）
留出法
保持数据分布一致性（例如：分层采样） 多次重复划分（例如：100次随机划分） 测试集不能太大、不能太小（例如：1/5~1/3）
PR图：
学习器A优于学习器C 学习器B优于学习器C 学习器A？？学习器B
平衡点 (BEP)
（Break-Even Point, ） 学习器A优于学习器B 学习器A优于学习器C 学习器B优于学习器C
性能度量－F1度量
性能度量－ROC与AUC
https://blog.csdn.net/shenxiaoming77/article/details/726 27882
集成学习
定义：通过构建并结合多个学习器来完成学习任务，又
称为：多分类学习器系统、基于委员会的学习等。
集成学习－随机森林
• Bagging 策略
– bootstrap aggregation – 从样本集中重采样(有重复的)选出n个样本 – 在所有属性上，对这n个样本建立分类器
(ID3、C4.5、CART、SVM、Logistic回归 等) – 重复以上两步m次，即获得了m个分类器 – 将数据放在这m个分类器上，最后根据这m 个分类器的投票结果，决定数据属于哪一类
机器学习的模型评估与选择
泛化误差 vs 经验误差
泛化误差：在“未来”样本上的误差
经验误差：在训练集上的误差，亦称“训练
误差”
新样
本数
据
训练数 据
模型
新样本
属于什
么类别？
过拟合 vs 欠拟合
模型选择
三个关键问题：
如何获得测试结果 评估方法
如何评估性能优劣
性能度量
如何判断实质差别
K-折交叉验证法
当K=m时，则得到“留一法”（leave-one-out, LOO）
自助法
基于“自助采样”（bootstrap sampling）
Pull up by your own bootstraps 有放回采样、可重复采样 训练集与原样本集同规模 数据分布有所改变 约有36.8%的样本不出现
包外估计：out-of-bag estimation
模型Biblioteka Baidu择
• 三个关键问题：
– 如何获得测试结果 – 如何评估性能优劣 – 如何判断实质差别
评估方法 性能度量 比较检验
性能度量
性能度量（performance measure）是衡量模型泛化能力的评价标准，反映了任 务需求
使用不同的性能度量往往会导致不同的评判结果 什么样的模型是“好”的，不仅取决于算法和数据，还取决于任务需求。