机器学习第2章 模型评估与选择
机器学习模型评估指标
机器学习模型评估指标机器学习是一种应用于计算机系统的人工智能技术，能够使计算机系统通过自动学习和改进来进行数据分析、模式识别和决策预测。
在机器学习过程中，评估模型的性能和效果是非常重要的。
本文将介绍几种常见的机器学习模型评估指标。
一、准确率（Accuracy）准确率是最直观和常见的机器学习模型评估指标之一。
它是指模型正确分类的样本数量与总样本数量之间的比率。
准确率越高，模型的性能越好。
然而，准确率并不能反映出模型在不同类别上的表现，当数据集存在类别不平衡的情况时，准确率可能会失真。
二、精确率（Precision）和召回率（Recall）精确率和召回率是常用于评估二分类模型的指标。
精确率指的是模型在预测为正例的样本中，真实为正例的比例。
召回率指的是模型能够正确预测为正例的样本数量与真实正例的数量之间的比例。
精确率和召回率之间存在一种权衡关系，提高其中一个指标可能会导致另一个指标的下降。
三、F1分数（F1 Score）F1分数是综合考虑精确率和召回率的指标。
它是精确率和召回率的调和平均值，可以反映模型在同时考虑到预测准确性和覆盖率时的整体性能。
四、ROC曲线和AUC（Area Under Curve）ROC曲线是一种绘制真正例率和假正例率之间关系的图形。
真正例率指的是模型能够正确预测为正例的样本数量与总真实正例数量之间的比例。
假正例率指的是模型将负例样本错误分类为正例的比例。
AUC是ROC曲线下的面积，用来衡量模型分类器的能力。
AUC值越接近1，模型性能越好。
五、平均精度均值（Average Precision）平均精度均值是一种广泛用于信息检索系统中的评估指标。
它能够衡量模型在不同召回率下的精确率表现。
通过计算不同召回率下精确率的平均值，可以得到模型的平均精度均值。
六、对数损失（Log Loss）对数损失是一种常用的度量分类器预测概率分布的指标。
它将模型对每个样本的预测概率与真实标签之间的差异加权求和。
机器学习课后习题答案
第二章 模型评估与选择1.数据集包含1000个样本，其中500个正例，500个反例，将其划分为包含70%样本的训练集和30%样本的测试集用于留出法评估，试估算共有多少种划分方式。
一个组合问题，从500500正反例中分别选出150150正反例用于留出法评估，所以可能取法应该是(C 500150)2。
2.数据集包含100个样本，其中正反例各一半，假定学习算法所产生的模型是将新样本预测为训练样本数较多的类别（训练样本数相同时进行随机猜测），试给出用10折交叉验证法和留一法分别对错误率进行评估所得的结果。
10折交叉检验：由于每次训练样本中正反例数目一样，所以讲结果判断为正反例的概率也是一样的，所以错误率的期望是5050%。
留一法：如果留下的是正例，训练样本中反例的数目比正例多一个，所以留出的样本会被判断是反例；同理，留出的是反例，则会被判断成正例，所以错误率是100%。
3.若学习器A 的F1值比学习器B 高，试析A 的BEP 值是否也比B 高。
4.试述真正例率（TPR ）、假正例率（FPR ）与查准率（P ）、查全率（R ）之间的联系。
查全率: 真实正例被预测为正例的比例真正例率: 真实正例被预测为正例的比例显然查全率与真正例率是相等的。
查准率:预测为正例的实例中真实正例的比例假正例率: 真实反例被预测为正例的比例两者并没有直接的数值关系。
第一章 绪论（略）机器学习（周志华）参考答案9.试述卡方检验过程。
第三章线性模型2.试证明，对于参数w，对率回归（logistics回归）的目标函数（式1）是非凸的，但其对数似然函数（式2）是凸的。
如果一个多元函数是凸的，那么它的Hessian矩阵是半正定的。
3.编程实现对率回归，并给出西瓜数据集3.0α上的结果/icefire_tyh/article/details/520688444.选择两个UCI数据集，比较10折交叉验证法和留一法所估计出的对率回归的错误率。
/icefire_tyh/article/details/520689005.编程实现线性判别分析，并给出西瓜数据集3.0α上的结果。
机器学习——模型评估
机器学习——模型评估 “没有测量，就没有科学。
”这是科学家门捷列夫的名⾔。
在计算机科学特别是机器学习领域中，对模型的评估同样⾄关重要。
只有选择与问题相匹配的评估⽅法，才能快速地发现模型选择或训练过程中出现的问题，迭代地对模型进⾏优化。
模型评估主要分为离线评估和在线评估两个阶段。
针对分类、排序、回归、序列预测等不同类型的机器学习问题，评估指标的选择也有所不同。
知道每种评估指标的精确定义、有针对性地选择合适的评估指标、根据评估指标的反馈进⾏模型调整，这些都是机器学习在模型评估阶段的关键问题，也是⼀名合格的算法⼯程师应当具备的基本功。
在模型评估过程中，分类问题、排序问题、回归问题往往需要使⽤不同的指 标进⾏评估。
在诸多的评估指标中，⼤部分指标只能⽚⾯地反映模型的⼀部分性 能。
如果不能合理地运⽤评估指标，不仅不能发现模型本⾝的问题，⽽且会得出 错误的结论。
下⾯以Hulu的业务为背景，假想⼏个模型评估场景，看看⼤家能否 触类旁通，发现模型评估指标的局限性。
1 模型评估指标1.1 准确率 Hulu的奢侈品⼴告主们希望把⼴告定向投放给奢侈品⽤户。
Hulu通过第三⽅ 的数据管理平台（Data ManagementPlatform，DMP）拿到了⼀部分奢侈品⽤户的 数据，并以此为训练集和测试集，训练和测试奢侈品⽤户的分类模型。
该模型的 分类准确率超过了95%，但在实际⼴告投放过程中，该模型还是把⼤部分⼴告投给 了⾮奢侈品⽤户，这可能是什么原因造成的？在解答该问题之前，我们先回顾⼀下分类准确率的定义。
准确率是指分类正确的样本占总样个数的⽐例： Accuracy = \frac{n_{correct}}{n_{total}} 其中 n_{correct }为被正确分类的样本个数， n_{total } 为总样本的个数。
准确率的局限性：准确率是分类问题中最简单也是最直观的评价指标，但存在明显的缺陷，当不同总类的样本⽐例⾮常不均衡时，占⽐⼤的类别往往成为影响准确率的最主要因素。
《机器学习》（周志华）西瓜书读书笔记（完结）
《机器学习》（周志华）西⽠书读书笔记（完结）⼤部分基础概念知识已经在这篇博客中罗列,因此本⽂仅对感觉重要或不曾了解的知识点做摘记第1章绪论对于⼀个学习算法a,若它在某问题上⽐学习算法b好,则必然存在另⼀些问题,在那⾥b⽐a好.即"没有免费的午餐"定理(No FreeLunch Theorem,NFL).因此要谈论算法的相对优劣,必须要针对具体的学习问题第2章模型评估与选择m次n折交叉验证实际上进⾏了m*n次训练和测试可以⽤F1度量的⼀般形式Fβ来表达对查准率/查全率的偏好:偏差度量了学习算法的期望预测与真实结果的偏离程度,即学习算法本⾝的拟合能⼒,⽅差度量了同样⼤⼩的训练集的变动所导致的学习性能的变化,即数据扰动造成的影响.噪声表达了当前任务上任何学习算法所能达到的期望泛化误差的下界,即学习问题本⾝的难度.第3章线性模型线性判别分析(LDA)是⼀种经典的监督线性降维⽅法:设法将训练样例投影到⼀条直线上,使同类样例的投影点尽可能接近,异类样例的投影点尽可能远离.对新样本分类时根据投影点的位置来确定类别.多分类学习的分类器⼀般有以下三种策略:1. ⼀对⼀(OvO),N个类别产⽣N * (N - 1) / 2种分类器2. ⼀对多(OvR或称OvA),N个类别产⽣N - 1种分类器3. 多对多(MvM),如纠错输出码技术解决类别不平衡问题的三种⽅法:1. 过采样法,增加正例使正负例数⽬接近,如SMOTE:思想是合成新的少数类样本,合成的策略是对每个少数类样本a,从它的最近邻中随机选⼀个样本b,然后在a、b之间的连线上随机选⼀点作为新合成的少数类样本.2. ⽋采样法,减少负例使正负例数⽬接近,如EasyEnsemble:每次从⼤多数类中抽取和少数类数⽬差不多的重新组合,总共构成n个新的训练集,基于每个训练集训练出⼀个AdaBoost分类器（带阈值）,最后结合之前训练分类器结果加权求和减去阈值确定最终分类类别.3. 再缩放法第4章决策树ID3决策树选择信息增益最⼤的属性来划分:1. 信息熵:2. 信息增益:C4.5决策树选择增益率⼤的属性来划分,因为信息增益准则对可取值数⽬较多的属性有所偏好.但增益率会偏好于可取值数⽬较少的属性,因此C4.5算法先找出信息增益⾼于平均⽔平的属性,再从中选择增益率最⾼的.另外,C4.5决策树采⽤⼆分法对连续值进⾏处理,使⽤时将划分阈值t作为参数,选择使信息增益最⼤的t划分属性.采⽤样本权值对缺失值进⾏处理,含有缺失值的样本同时划⼊所有结点中,但相应调整权重.1. 增益率:2. a的固有值:CART决策树则选择基尼指数最⼩的属性来划分,基尼系数反映了从数据集中随机抽取的两个样本类别不⼀致的概率,注意CART是⼆叉树,其余两种都为多叉树.1. 基尼值衡量的纯度:2. 基尼指数:剪枝是决策树对付过拟合的主要⼿段,分为预剪枝和后剪枝.1. 预剪枝对每个结点在划分前先进⾏估计,若该结点的划分不能带来决策树泛化性能提升,则停⽌划分.预剪枝基于"贪⼼"本质,所以有⽋拟合的风险.2. 后剪枝是先⽣成⼀棵完整的决策树,然后⾃底向上对⾮叶结点考察,若该结点替换为叶结点能带来决策树泛化性能提升,则将⼦树替换为叶结点.缺点是时间开销⼤.决策树所形成的分类边界是轴平⾏的,多变量决策树(斜决策树)的每⼀个⾮叶结点都是⼀个线性分类器,因此可以产⽣斜的划分边界.第5章神经⽹络误差逆传播算法(BP算法)是迄今为⽌最成功的神经⽹络学习算法.关键点在于通过计算误差不断逆向调整隐层神经元的连接权和阈值.标准BP算法每次仅针对⼀个训练样例更新,累积BP算法则根据训练集上的累积误差更新.缓解BP神经⽹络过拟合有两种常见策略:1. 早停:若训练集误差降低但验证集误差升⾼则停⽌训练.2. 正则化:在误差⽬标函数中增加⼀个描述⽹络复杂度的部分(较⼩的连接权和阈值将使神经⽹络较为平滑).跳出局部最⼩,寻找全局最⼩的常⽤⽅法:1. 以多组不同参数初始化多个神经⽹络,选择最接近全局最⼩的2. 模拟退⽕3. 随机梯度下降典型的深度学习模型就是很深层的神经⽹络.但是多隐层神经⽹络难以直接⽤经典算法进⾏训练,因为误差在多隐层内逆传播时往往会发散.⽆监督逐层训练(如深层信念⽹络,DBN)和权共享(如卷积神经⽹络,CNN)是常⽤的节省训练开销的策略.第6章⽀持向量机⽀持向量机中的原始样本空间不⼀定存在符合条件的超平⾯,但是如果原始空间是有限维,则总存在⼀个⾼维特征空间使样本线性可分.核函数就是⽤来简化计算⾼维特征空间中的内积的⼀种⽅法.核函数选择是⽀持向量机的最⼤变数.常⽤的核函数有线性核,多项式核,⾼斯核(RBF核),拉普拉斯核,Sigmoid核.对⽂本数据常⽤线性核,情况不明时可先尝试⾼斯核.软间隔是缓解⽀持向量机过拟合的主要⼿段,软间隔允许某些样本不满⾜约束.⽀持向量回归可以容忍预测输出f(x)和真实输出y之间存在ε的偏差,仅当偏差绝对值⼤于ε时才计算损失.⽀持向量机中许多规划问题都使⽤拉格朗⽇对偶算法求解,原因在于改变了算法复杂度.原问题的算法复杂度与样本维度有关,对偶问题的样本复杂度与样本数量有关.如果使⽤了升维的⽅法,则此时样本维度会远⼤于样本数量,在对偶问题下求解会更好.第7章贝叶斯分类基于贝叶斯公式来估计后验概率的困难在于类条件概率是所有属性上的联合概率,难以从有限的训练样本直接估计⽽得.因此朴素贝叶斯分类器采⽤了"属性条件独⽴性假设"来避开这个障碍.朴素贝叶斯分类器中为了避免其他属性携带的信息被训练集中未出现的属性值"抹去",在估计概率值时通常要进⾏"平滑",常⽤拉普拉斯修正.属性条件独⽴性假设在现实中往往很难成⽴,于是半朴素贝叶斯分类器采⽤"独依赖估计(ODE)",即假设每个属性在类别之外最多仅依赖于⼀个其他属性.在此基础上有SPODE,TAN,AODE等算法.贝叶斯⽹⼜称信念⽹,借助有向⽆环图来刻画属性之间的依赖关系,并⽤条件概率表来描述属性的联合概率分布.半朴素贝叶斯分类器是贝叶斯⽹的⼀种特例.EM(Expectation-Maximization)算法是常⽤的估计参数隐变量的⽅法.基本思想是:若参数θ已知,则可根据训练数据推断出最优隐变量Z的值(E);若Z的值已知,则可⽅便地对参数θ做极⼤似然估计(M).第8章集成学习集成学习先产⽣⼀组个体学习器,再⽤某种策略将它们结合起来.如果集成中只包含同种类型的个体学习器则叫同质集成,其中的个体学习器称为基学习器,相应的学习算法称为基学习算法.如果包含不同类型的个体学习器则叫异质集成,其中的学习器常称为组件学习器.要获得好的集成,个体学习器应"好⽽不同".即要有⼀定的准确性,并且要有多样性.⽬前的集成学习⽅法⼤致分为两⼤类:1. 序列化⽅法:个体学习器间存在强依赖关系,必须串⾏⽣成.2. 并⾏化⽅法:个体学习器间不存在强依赖关系,可同时⽣成.Boosting先从初始训练集训练出⼀个基学习器,再根据基学习器的表现对训练样本分布进⾏调整,使做错的训练样本在后续受到更多关注(给予更⼤的权重或重采样).然后基于调整后的样本分布来训练下⼀个基学习器;直到基学习器的数⽬达到指定值T之后,将这T个基学习器加权结合.Boosting主要关注降低偏差,因此能基于泛化性能相当弱的学习器构建出很强的集成.代表算法有AdaBoost.Bagging是并⾏式集成学习⽅法最著名的代表.它基于⾃助采样法,采样出T个含m个训练样本的采样集,基于每个采样集训练出⼀个基学习器,再将这些基学习器进⾏简单结合.在对预测输出进⾏结合时,常对分类任务使⽤投票法,对回归任务使⽤平均法.Bagging主要关注降低⽅差,因此在不剪枝决策树,神经⽹络等易受样本扰动的学习器上效⽤更明显.代表算法有随机森林.随机森林在以决策树为基学习器构建Bagging的基础上,进⼀步引⼊了随机属性选择.即先从属性集合(假定有d个属性)中随机选择⼀个包含k个属性的⼦集,再从这个⼦集中选择⼀个最优属性进⾏划分.当k=d时,基决策树与传统决策树相同.当k=1时,则随机选择⼀个属性⽤于划分.⼀般推荐k=log2d.学习器结合可能会从三个⽅⾯带来好处:1. 统计:可能有多个假设在训练集上达到同等性能,单学习器可能因误选⽽导致泛化性能不佳,结合多个学习器会减⼩这⼀风险.2. 计算:通过多次运⾏之后进⾏结合,降低陷⼊糟糕局部极⼩点的风险.3. 表⽰:结合多个学习器,相应的假设空间有所扩⼤,有可能学得更好的近似.结合策略:1. 平均法:对数值型输出,最常见的策略是平均法.⼀般⽽⾔,在个体学习器性能相差较⼤时使⽤加权平均法,性能相近时使⽤简单平均法.权重⼀般也是从训练数据中学习⽽得.2. 投票法:对分类任务来说,最常见的策略是投票法.⼜可细分为绝对多数投票法,相对多数投票法,加权投票法.绝对多数投票法允许"拒绝预测",若必须提供预测结果则退化为相对多数投票法.若基学习器的类型不同,则类概率值不能直接⽐较,需要将类概率输出转化为类标记输出后再投票.3. 学习法:当训练数据很多时,⼀种更强⼤的策略是通过另⼀个学习器来结合.Stacking是学习法的典型代表.我们把个体学习器称为初级学习器,⽤于结合的学习器称为次级学习器或元学习器.Stacking⽤初级学习器的输出作为样例输⼊特征,⽤初始样本的标记作为样例标记,然后⽤这个新数据集来训练次级学习器.⼀般⽤初级学习器的输出类概率作为次级学习器的输⼊属性,⽤多响应线性回归(Multi-response Linear Regression,MLR)作为次级学习算法效果较好.多样性增强常⽤的⽅法有:数据样本扰动,输⼊属性扰动,输出表⽰扰动,算法参数扰动.第9章聚类聚类既能作为⼀个找寻数据内在分布结构的单独过程,也可以作为其他学习任务的前驱过程.我们希望"物以类聚",也就是聚类结果的"簇内相似度"⾼且"簇间相似度"低.聚类性能度量⼤致有两类.⼀类是将聚类结果与参考模型进⾏⽐较,称为外部指标,常⽤的有JC,FMI,RI;另⼀类是直接考察聚类结果,称为内部指标,常⽤的有DBI,DI.有序属性距离计算最常⽤的是闵可夫斯基距离,当p=2时即欧⽒距离,当p=1时即曼哈顿距离.对⽆序属性可采⽤VDM(Value Difference Metric),将闵可夫斯基距离和VDM结合即可处理混合属性,当不同属性的重要性不同时可使⽤加权距离.我们基于某种形式的距离来定义相似度度量,但是⽤于相似度度量的距离未必⼀定要满⾜距离度量的基本性质,尤其是直递性.在现实任务中有必要通过距离度量学习来基于数据样本确定合适的距离计算式.原型聚类假设聚类结构能通过⼀组原型刻画.通常算法先对原型进⾏初始化,然后对原型进⾏迭代更新求解.常⽤的原型聚类算法有k均值算法,学习向量量化,⾼斯混合聚类.密度聚类假设聚类结构能通过样本分布的紧密程度确定.通常从样本密度的⾓度来考察样本之间的可连接性,并基于可连接样本不断扩展聚类簇.常⽤算法有DBSCAN层次聚类试图在不同层次对数据集进⾏划分,从⽽形成树形的聚类结构.代表算法有AGNES.第10章降维与度量学习懒惰学习在训练阶段只把样本保存起来,训练时间开销为零,待收到测试样本后再进⾏处理,如k近邻学习(kNN).急切学习则在训练阶段就对样本进⾏学习处理.若任意测试样本x附近任意⼩的δ距离范围内总能找到⼀个训练样本,即训练样本的采样密度⾜够⼤,或称为密采样,则最近邻分类器(1NN)的泛化错误率不超过贝叶斯最优分类器的错误率的两倍.在⾼维情形下出现的数据样本稀疏,距离计算困难等问题称为"维数灾难".处理⾼维数据的两⼤主流技术是降维和特征选择.降维亦称维数约简,即通过某种数学变换将原始⾼维属性空间转变为⼀个低维⼦空间.能进⾏降维的原因是与学习任务密切相关的或许仅仅是数据样本的某个低维分布,⽽不是原始⾼维空间的样本点.多维缩放是⼀种经典的降维⽅法.它使原始空间中样本之间的距离在低维空间中得以保持.主成分分析(PCA)是最常⽤的⼀种降维⽅法.如果要⽤⼀个超平⾯对所有样本进⾏恰当的表达,这个超平⾯应该具有最近重构性和最⼤可分性两种性质.基于这两种性质可以得到主成分分析的等价推导.PCA可以使样本的采样密度增⼤,同时在⼀定程度上起到去噪的效果.线性降维⽅法有可能丢失低维结构,因此要引⼊⾮线性降维.⼀种常⽤⽅法是基于核技巧对线性降维⽅法进⾏核化.如核主成分分析(KPCA).流形学习(manifold learning)是⼀类借鉴了拓扑流形概念的降维⽅法.流形在局部具有欧⽒空间性质.将低维流形嵌⼊到⾼维空间中,可以容易地在局部建⽴降维映射关系,再设法将局部映射关系推⼴到全局.常⽤的流形学习⽅法有等度量映射和局部线性嵌⼊等.对⾼维数据进⾏降维的主要⽬的是找到⼀个合适的低维空间.事实上,每个空间对应了在样本属性上定义的⼀个距离度量,度量学习直接尝试学习出⼀个合适的距离度量.常⽤⽅法有近邻成分分析(NCA).第11章特征选择与稀疏学习对当前学习任务有⽤的属性称为相关特征,没什么⽤的属性称为⽆关特征.从给定特征集合中选择出相关特征⼦集的过程称为特征选择.特征选择是⼀个重要的数据预处理过程.冗余特征是指包含的信息可以从其他特征中推演出来的特征.冗余特征在很多时候不起作⽤,但若某个冗余特征恰好对应了完成学习任务所需的中间概念,则该冗余特征反⽽是有益的.⼦集搜索:可以采⽤逐渐增加相关特征的前向搜索,每次在候选⼦集中加⼊⼀个特征,选取最优候选⼦集.也可以采⽤每次去掉⼀个⽆关特征的后向搜索.这些策略是贪⼼的,但是避免了穷举搜索产⽣的计算问题.⼦集评价:特征⼦集A确定了对数据集D的⼀个划分,样本标记信息Y对应着对D的真实划分,通过估算这两个划分的差异就能对A进⾏评价.可采⽤信息熵等⽅法.过滤式选择先对数据集进⾏特征选择,然后再训练学习器,特征选择过程与后续学习器⽆关.Relief(Relevant Features)是⼀种著名的过滤式选择⽅法.该⽅法设计了⼀个相关统计量来度量特征的重要性.包裹式选择直接把最终将要使⽤的学习器的性能作为特征⼦集的评价标准.因此产⽣的最终学习器的性能较好,但训练时的计算开销也更⼤.LVW(Las Vegas Wrapper)是⼀个典型的包裹式特征选择⽅法,它在拉斯维加斯⽅法框架下使⽤随机策略来进⾏⼦集搜索,并以最终分类器的误差为特征⼦集评价准则.嵌⼊式选择是将特征选择过程与学习器训练过程融为⼀体,两者在同⼀个优化过程中完成.例如正则化.L1正则化(Lasso)是指权值向量w中各个元素的绝对值之和.L1正则化趋向选择少量的特征,使其他特征尽可能为0,可以产⽣稀疏权值矩阵,即产⽣⼀个稀疏模型,可以⽤于特征选择.L1正则化是L0正则化的最优凸近似.L2正则化(Ridge)是指权值向量w中各个元素的平⽅和然后再求平⽅根.L2正则化趋向选择更多的特征,让这些特征尽可能接近0,可以防⽌模型过拟合(L1也可以).字典学习也叫稀疏编码,指的是为普通稠密表达的样本找到合适的字典,将样本转化为合适的稀疏表达形式,从⽽使学习任务得以简化,模型复杂度得以降低的过程.压缩感知关注的是利⽤信号本⾝的稀疏性,从部分观测样本中恢复原信号.分为感知测量和重构恢复两个阶段,其中重构恢复⽐较重要.可利⽤矩阵补全等⽅法来解决推荐系统之类的协同过滤(collaborative filtering)任务.由于第⼀次阅读,12章开始的内容仅作概念性了解.第12章计算学习理论计算学习理论研究的是关于通过计算来进⾏学习的理论,⽬的是分析学习任务的困难本质,为学习算法提供理论保证,并提供分析结果指导算法设计.计算学习理论中最基本的是概率近似正确(Probably Approximately Correct,PCA)学习理论.由此可以得到PAC辨识,PAC可学习,PAC学习算法,样本复杂度等概念.有限假设空间的可分情形都是PAC可学习的.对于不可分情形,可以得到不可知PAC可学习的概念,即在假设空间的所有假设中找到最好的⼀个.对⼆分类问题来说,假设空间中的假设对数据集中⽰例赋予标记的每种可能结果称为对数据集的⼀种对分.若假设空间能实现数据集上的所有对分,则称数据集能被假设空间打散.假设空间的VC维是能被假设空间打散的最⼤数据集的⼤⼩.算法的稳定性考察的是算法在输⼊发⽣变化时,输出是否会随之发⽣较⼤的变化.第13章半监督学习主动学习是指先⽤有标记样本训练⼀个模型,通过引⼊额外的专家知识,将部分未标记样本转变为有标记样本,每次都挑出对改善模型性能帮助⼤的样本,从⽽构建出⽐较强的模型.未标记样本虽未直接包含标记信息,但若它们与有标记样本是从同样的数据源独⽴同分布采样⽽来,则它们所包含的关于数据分布的信息对建模⼤有裨益.要利⽤未标记样本,需要有⼀些基本假设,如聚类假设,流形假设.半监督学习可进⼀步划分为纯半监督学习和直推学习.前者假定训练数据中的未标记样本并⾮待预测的数据,⽽后者则假定学习过程中所考虑的未标记样本恰是待预测数据.⽣成式⽅法是直接基于⽣成式模型的⽅法.此类⽅法假设所有数据都是由同⼀个潜在的模型⽣成的.这个假设使得我们能通过潜在模型的参数将未标记数据与学习⽬标联系起来.半监督⽀持向量机(S3VM)是⽀持向量机在半监督学习上的推⼴.S3VM试图找到能将两类有标记样本分开,且穿过数据低密度区域的划分超平⾯.除此之外,还有图半监督学习,基于分歧的⽅法(如协同训练),半监督聚类等学习⽅法.第14章概率图模型机器学习最重要的任务,是根据⼀些已观察到的证据来对感兴趣的未知变量进⾏估计和推测.⽣成式模型考虑联合分布P(Y,R,O),判别式模型考虑条件分布P(Y,R|O).概率图模型是⼀类⽤图来表达变量相关关系的概率模型.若变量间存在显式的因果关系,常使⽤贝叶斯⽹.若变量间存在相关性但难以获取显式的因果关系,常使⽤马尔可夫⽹.隐马尔可夫模型(Hidden Markov Model,HMM)是结构最简单的动态贝叶斯⽹.主要⽤于时序数据建模,在语⾳识别,⾃然语⾔处理等领域有⼴泛应⽤.隐马尔可夫模型中有状态变量(隐变量)和观测变量两组变量.马尔可夫链:系统下⼀时刻的状态仅有当前状态决定,不依赖于以往的任何状态.马尔可夫随机场(Markov Random Field,MRF)是典型的马尔可夫⽹.每⼀个结点表⽰⼀个或⼀组变量,结点之间的边表⽰两个变量之间的依赖关系.条件随机场是判别式模型,可看作给定观测值的马尔可夫随机场.概率图模型的推断⽅法⼤致分为两类.第⼀类是精确推断,代表性⽅法有变量消去和信念传播.第⼆类是近似推断,可⼤致分为采样(如MCMC采样)和使⽤确定性近似完成近似推断(如变分推断).第15章规则学习规则学习是指从训练数据中学习出⼀组能⽤于对未见⽰例进⾏判别的规则.规则学习具有较好的可解释性,能使⽤户直观地对判别过程有所了解.规则学习的⽬标是产⽣⼀个能覆盖尽可能多的样例的规则集,最直接的做法是序贯覆盖,即逐条归纳:每学到⼀条规则,就将该规则覆盖的训练样例去除.常采⽤⾃顶向下的⽣成-测试法.规则学习缓解过拟合的常见做法是剪枝,例如CN2,REP,IREP等算法.著名的规则学习算法RIPPER就是将剪枝与后处理优化相结合.命题规则难以处理对象之间的关系,因此要⽤⼀阶逻辑表⽰,并且要使⽤⼀阶规则学习.它能更容易地引⼊领域知识.著名算法有FOIL(First-Order Inductive Learner)等.第16章强化学习强化学习的⽬的是要找到能使长期累积奖赏最⼤化的策略.在某种意义上可看作具有"延迟标记信息"的监督学习问题.每个动作的奖赏值往往来⾃于⼀个概率分布,因此强化学习会⾯临"探索-利⽤窘境",因此要在探索和利⽤中达成较好的折中.ε-贪⼼法在每次尝试时以ε的概率进⾏探索,以均匀概率随机选取⼀个动作.以1-ε的概率进⾏利⽤,选择当前平均奖赏最⾼的动作.Softmax算法则以较⾼的概率选取平均奖赏较⾼的动作.强化学习任务对应的马尔可夫决策过程四元组已知的情形称为模型已知.在已知模型的环境中学习称为"有模型学习".反之称为"免模型学习".从⼈类专家的决策过程范例中学习的过程称为模仿学习.。
周志华 机器学习ppt Chap02模型评估与选择
(BEP)
PR图： • 学习器 A 优于 学习器 C • 学习器 B 优于 学习器 C • 学习器 A ?? 学习器 B
BEP： • 学习器 A 优于 学习器 B • 学习器 A 优于 学习器 C • 学习器 B 优于 学习器 C
F1
比 BEP edman 检验图
横轴为平均序值，每个算法圆点为其平均序值，线段为临界阈值的大小
若两个算法有交叠 (A 和 B)，则说明没有显著差别; 否则有显著差别 (A 和 C)，算法 A 显著优于算法 C
“误差”包含了哪些因素 ?
换言之，从机器学习的角度看， “误差”从何而来?
偏差-方差分解 (bias-variance decomposition)
& Swets, Book 66; Spackman, IWML’89]
The bigger, the better
非均等代价
犯不同的错误往往会造成不同的损失 此时需考虑“非均等代价”
(unequal cost)
代价敏感(cost-sensitive)错误率：
模型选择 (model selection)
模型选择 (model selection)
三个关键问题: 如何获得测试结果？ 如何评估性能优劣？ 如何判断实质差别？
评估方法 性能度量 比较检验
性能度量
性能度量(performance measure)是衡量模型泛化能力的 评价标准，反映了任务需求 使用不同的性能度量往往会导致不同的评判结果
k-折交叉验证法
若 k = m，则得到“留一法” (leave-one-out, LOO)
自助法
基于“自助采样” (bootsrap sampling) 亦称“有放回采样”、“可重复采样”
机器学习之模型评估与模型选择PPT课件
2019/10/21
16
PR图：
学习器A优于学习器C 学习器B优于学习器C 学习器A？？学习器B
平衡点 (BEP)
（Break-Even Point, ） 学习器A优于学习器B 学习器A优于学习器C 学习器B优于学习器C
2019/10/21
17
性能度量－F1度量
2019/10/21
18
性能度量－ROC与AUC
outofbagestimation20191227模型选择如何获得测试结果评估方法如何评估性能优劣性能度量如何判断实质差别比较检验20191227性能度量性能度量performancemeasure是衡量模型泛化能力的评价标准反映了任务需求使用不同的性能度量往往会导致不同的评判结果什么样的模型是好的不仅取决于算法和数据还取决于任务需求
（2）均方误差是指参数估计值与参数真值之差平方的期望值，记为MSE。 值越小，说明预测模型描述实验数据具有更好的精确度。
（3）R平方值，表征回归方程在多大程度上解释了因变量的变化，或者说 方程对观测值的拟合程度如何
2019/10/21
13
性能度量－错误率与精度
错误率 精度
å E(
f ;D)
2019/10/21
19
https:///shenxiaoming77/article/details/72627882
2019/10/21
集成学习
20
定义：通过构建并结合多个学习器来完成学习任务，又 称为：多分类学习器系统、基于委员会的学习等。
两大类
个体学习器间存在强依赖关系，必须串行生产的序列化方法： Boosting 个体学习器间不存在强依赖关系，可同时生成的并行化方法：Bagging and Random Forest
模型选择和模型评估
04
模型选择和模型评估的挑战与解决方
案
过拟合与欠拟合问题
过拟合问题
当模型在训练数据上表现过于优 秀，但在测试数据或实际应用中 表现较差时，就出现了过拟合。
欠拟合问题
当模型在训练数据和测试数据上 表现都较差时，就出现了欠拟合。
解决方案
针对过拟合，可以采用早停法、 正则化、增加数据量、简化模型 等方法；针对欠拟合，可以采用 增加特征、增加模型复杂度、提
通过调整模型参数，使用交叉验证来 评估不同参数组合下的模型性能，以 找到最佳参数组合。
模型选择的步骤
数据探索
了解数据的分布、特征间的关系等信 息，为模型选择提供依据。
确定评估指标
根据问题的需求，选择适当的评估指 标，如准确率、召回率、F1分数等。
尝试不同的模型
尝试不同类型的模型，如线性回归、 决策树、神经网络等，并评估它们的 性能。
可解释性
在数据科学领域，模型的可解释性是一个关键要求。通过模型选择和评 估，可以选择具有良好解释性的模型，帮助理解数据背后的规律和趋势。
03
数据集划分
在数据科学中，将数据集划分为训练集、验证集和测试集是模型选择和
评估的重要步骤。通过合理的划分，可以更好地评估模型的泛化能力和
稳定性。
统计学领域
假设检验
模型选择和模型评估
• 模型选择 • 模型评估 • 模型选择和模型评估的应用场景 • 模型选择和模型评估的挑战与解决方
案 • 模型选择和模型评估的未来发展
01
模型选择
模型选择的重要性
01
02
03
提高预测精度
选择合适的模型能够更好 地捕捉数据中的复杂关系， 从而提高预测精度。
周志华机器学习pptChap02模型评估与选择
k-折交叉验证法
若 k = m，则得到“留一法” (leave-one-out, LOO)
自助法
基于“自助采样” (bootsrap sampling) 亦称“有放回采样”、“可重复采样”
约有 36.8% 的样本不出现
训练集与原样本集同规模 数据分布有所改变
“包外估计”(out-of-bag estimation)
一般而言，偏差与方差存在冲突：
训练不足时，学习器拟合能 力不强，偏差主导
随着训练程度加深，学习器 拟合能力逐渐增强，方差逐 渐主导
训练充足后，学习器的拟合 能力很强，方差主导
前往第三站……
知识回顾 Knowledge Review
模型选择 (model selection)
三个关键问题: 如何获得测试结果？ 如何评估性能优劣？ 如何判断实质差别？
评估方法 性能度量 比较检验
性能度量
性能度量(performance measure)是衡量模型泛化能力的 评价标准，反映了任务需求 使用不同的性能度量往往会导致不同的评判结果
“调参”与最终模型
算法的参数：一般由人工设定，亦称“超参数” 模型的参数：一般由学习确定
调参过程相似：先产生若干模型，然后基于某种评估 方法进行选择 参数调得好不好对性能往往对最终性能有关键影响
区别：训练集 vs. 测试集 vs. 验证集 (validation set)
算法参数选定后，要用“训练集+验证集”重新训练最终模型
2010年图灵奖
常用方法
统计假设检验 (hypothesis test) 为学习器性能比较提供了 重要依据
两学习器比较
统计显著性
交叉验证 t 检验 (基于成对 t 检验)
机器学习中的模型复杂度评估与选择方法
机器学习中的模型复杂度评估与选择方法在机器学习中，选择合适的模型的复杂度是一个重要的任务。
模型的复杂度指的是模型对训练数据的拟合能力，即模型能否很好地捕获数据中的结构和模式。
如果模型过于简单，它可能无法捕获数据的复杂结构，从而导致欠拟合。
而如果模型过于复杂，它可能过拟合数据，无法泛化到新的未见过的数据。
要评估和选择模型的复杂度，我们可以采用以下几种方法。
1. 经验风险最小化原则（ERM）：ERM原则是机器学习中广泛使用的一种方法，它试图通过最小化训练误差来选择模型。
训练误差是模型在训练集上的错误率。
我们可以训练一系列复杂度不同的模型，并选择训练误差最低的模型作为最终模型。
然而，单纯地使用训练误差来选择模型存在一定的问题。
训练误差会随着模型复杂度的增加而降低，但这并不意味着模型的性能也会得到改善。
因此，还需要结合其他评估方法来选择模型的复杂度。
2. 验证集方法：验证集方法是一种常用的模型选择方法。
它将数据集分成训练集和验证集两部分。
我们使用训练集来训练模型，并使用验证集来评估模型的性能。
通过在一系列不同的复杂度模型上进行训练和验证，我们可以选择在验证集上性能最好的模型作为最终模型。
在使用验证集方法时，我们需要注意验证集的选择。
验证集应该与训练集有尽可能的独立性，以确保模型选择的准确性。
可以采用交叉验证的方法来解决验证集的选择问题。
3. 正则化方法：正则化是一种常见的降低过拟合风险的方法。
正则化通过加入正则化项来惩罚模型的复杂度。
正则化项是一个与模型参数相关的函数，它使模型的参数尽可能小。
通过调整正则化参数，我们可以控制模型的复杂度。
较高的正则化参数会导致模型趋向于较简单的模型，从而减少过拟合的风险。
常见的正则化方法包括L1正则化和L2正则化。
L1正则化通过将模型参数中的一些参数设置为零来实现特征选择。
L2正则化通过对模型的参数平方和进行惩罚来控制模型的复杂度。
4. 复杂度曲线分析：复杂度曲线分析是一种直观的模型选择方法。
说明模型选择和模型评估的概念、关系和区别
说明模型选择和模型评估的概念、关系和区别说明模型选择和模型评估的概念、关系和区别
模型选择和模型评估是机器学习领域中的两个重要的概念。
模型选择是从多种模型中选择一种能够解决特定问题的最佳模型，而模型评估则是对模型的效果进行评估，为模型的实际应用提供可靠的参考依据。
模型选择是机器学习中一种重要的技术，它需要在多种模型中选择最佳的模型来解决实际问题，通常是通过交叉验证和正则化来进行选择。
通过交叉验证，可以比较不同模型的性能，从而进行模型选择。
正则化可以有效地防止过拟合，并让模型更加稳定。
模型评估是机器学习过程的一个重要环节，模型评估通常是通过使用多种指标来对模型的效果进行评估，从而为模型的实际应用提供可靠的参考依据。
常用的模型评估指标有准确率、精确率、召回率、F1值等。
总的来说，模型选择和模型评估都是机器学习中的重要概念，他们之间有着密不可分的关系，模型选择可以用以识别最佳的模型，而模型评估则可以用以评估模型的效果。
机器学习模型评估指标
机器学习模型评估指标
机器学习模型是人工智能和机器学习领域的核心研究主题，在今天的社会中广
泛应用。
而机器学习模型的评估也是机器学习过程中必不可少的一环。
下面就机器学习模型评估指标进行深入探讨。
有几种流行的机器学习模型评估指标：准确率，召回率，精确率，灵敏度，F1 score，AUC，ROC和调和均值等。
其中准确率是最常见的模型评估指标，它衡量模
型是否能够正确对样本进行预测，并获得较高的精度。
召回率则是评估模型实际
预测结果和样本总体结果之间差距的指标，其中精确率和召回率可以结合使用，得出F1 score，它可以反映模型的判断准确性，即假正确率，更能说明模型的性能。
AUC（曲线下面积）和ROC（接受者操作特征）更具有普遍性，他们可以用于衡量
模型对正例判断的性能，其测量模型易于知道正例和负例之间的区分能力。
调和均值是常被应用于多分类研究中，用于衡量每个类别模型的表现，从而反映整体模型的准确性。
以上就是简要介绍机器学习模型评估指标的内容。
了解这些指标的同时，我们
还要搞清楚选择使用哪些指标的标准。
在实际应用中，一般考虑一下几点：评估指标要符合模型的目标；要根据不同的实际应用来选择合适的指标；最后，需要考量评估指标的可解释性、可操作性和优化可能性。
在正确应用机器学习模型评估指标的方法和原则之后，我们就可以准确度量机器学习模型的精度，用最好的方法去应用机器学习技术，提升我们的生活娱乐品质。
机器学习中的模型选择与交叉验证技巧
机器学习中的模型选择与交叉验证技巧机器学习是一种通过构建和训练模型来实现自动化学习的方法。
模型选择是机器学习过程中的关键步骤，它决定了我们使用哪个模型来对数据进行建模。
而交叉验证技巧则是一种评估模型性能的方法。
本文将讨论机器学习中的模型选择与交叉验证的技巧和方法。
在机器学习中，我们通常有多个候选模型可供选择。
这些模型可能具有不同的复杂度、参数数量和特征表达能力。
为了选择最佳模型，我们需要考虑以下几个因素：1. 模型的复杂度：模型的复杂度是指模型对数据的拟合能力。
过于简单的模型可能无法捕捉到数据中的复杂模式，而过于复杂的模型则可能过度拟合训练数据，导致在新数据上的预测性能下降。
因此，选择适度复杂的模型是一个重要的问题。
2. 参数数量：模型通常具有一些可调整的参数，例如神经网络的层数和隐藏单元的数量，支持向量机的正则化强度等。
参数的数量会影响模型的灵活性和学习能力。
然而，参数数量越多，模型的复杂度也越高。
因此，在选择模型时需要平衡模型的复杂度和参数数量。
3. 特征选择：特征选择是指选择对于目标变量具有预测能力的特征。
在训练集中，我们可能有大量的特征，但并不是所有的特征都对模型的性能有贡献。
过多的特征可能导致模型过拟合，而过少的特征则可能导致模型欠拟合。
因此，在模型选择中，特征选择是一个重要的环节。
为了评估候选模型的性能，交叉验证成为了一种普遍应用的技术。
交叉验证将训练数据集分成K个子集，称为折。
然后，我们使用K-1个折进行训练，剩下的一个折进行验证。
这个过程重复K次，每次都选择不同的验证折。
最后，我们将K次验证的结果取平均，作为模型的性能评估。
交叉验证有几个重要的优点：1. 充分利用数据：通过将数据集划分为训练和验证集，我们可以更充分地利用数据。
这对于数据量较小的问题尤为重要。
2. 准确评估模型：交叉验证提供了一种准确评估模型的方法。
通过多次验证并取平均，我们可以更可靠地估计模型的性能。
3. 检测过拟合：交叉验证可以帮助我们检测模型是否过拟合。
机器学习模型评估指标总结
机器学习模型评估指标总结机器学习模型评估指标是衡量模型性能的重要指标，能够帮助我们判断模型的优劣并进行模型的选择、优化和比较等。
在机器学习中，常用的模型评估指标包括准确率、精确度、召回率、F1值、AUC-ROC、AUC-PR、平均绝对误差（MAE）、均方误差（MSE）、对数损失（Log Loss）等。
下面将对这些指标逐一进行介绍和总结。
1. 准确率（Accuracy）：准确率是最常见也是最直观的评估指标，其表示模型预测正确的样本数占总样本数的比例。
准确率的计算公式为：(预测正确的样本数)/(总样本数)。
2. 精确度（Precision）：精确度是指模型在所有预测为正类的样本中，实际为正类的样本占比。
精确度的计算公式为：(真正类的样本数)/(真正类的样本数+假正类的样本数)。
3. 召回率（Recall）：召回率是指模型找到的正类样本占实际为正样本的比例，也称为查全率。
召回率的计算公式为：(真正类的样本数)/(真正类的样本数+假负类的样本数)。
4.F1值：F1值是综合考虑了精确度和召回率的指标，用于衡量模型的综合性能。
F1值的计算公式为：2*(精确度*召回率)/(精确度+召回率)。
5. AUC-ROC（Area Under the Receiver Operating Characteristic curve）：AUC-ROC是用于评估二分类模型的性能指标，表示ROC曲线下的面积。
ROC曲线是以假正类率（False Positive Rate）为横轴，真正类率（True Positive Rate）为纵轴的曲线，AUC-ROC越接近于1，模型的性能越好。
6. AUC-PR（Area Under the Precision-Recall curve）：AUC-PR是另一种用于评估二分类模型性能的指标，表示Precision-Recall曲线下的面积。
PR曲线是以召回率为横轴，精确度为纵轴的曲线，AUC-PR越接近于1，模型的性能越好。
人工智能训练中的模型评估与验证方法详解
人工智能训练中的模型评估与验证方法详解
一、模型评估
模型评估是指为了验证机器学习算法在训练过程中的表现，使用不同的数据集来评估模型的性能。
通常，数据集可以分为训练集，验证集和测试集。
3.测试集：测试集可以看做是不参与训练的第三数据集。
通常，它的样本数量比训练集和验证集都要少，它用于验证模型在特定场景下的表现能力。
训练集、验证集和测试集通常是从同一个原始数据集中取得，它们之间的关系可以通过如下方式表示：
原始数据集=训练集+验证集+测试集
以上是模型评估中三个数据集的基本介绍，下面介绍模型评估中常见的方法。
二、模型评估的方法
模型评估有多种方法，可以根据任务的不同而有不同的方法，下面仅列出主要评估方法，详情请参考专业文献。
1.准确率：准确率是指模型正确预测正样本的占比。
机器学习模型的建立与评估方法
机器学习模型的建立与评估方法随着计算机技术和算法的不断进步，机器学习技术已经广泛应用于各行各业。
在机器学习中，模型的建立和评估是非常重要的环节。
一、模型的建立模型的建立是机器学习中的一个非常关键的环节。
在建立模型之前，需要进行数据的预处理，包括数据清洗、数据变换等步骤。
数据预处理的好坏会直接影响到模型的建立效果。
在建立模型时，需要选择合适的算法，并根据实际应用场景灵活调整算法参数。
在选择算法时，需要考虑算法的效率和准确性。
常用的机器学习算法包括线性回归、逻辑回归、决策树、随机森林等。
在模型建立之后，还需要对模型进行调优和优化。
通常，可以使用交叉验证、网格搜索等方法，寻找最优的参数组合。
另外，还可以使用正则化方法来防止模型过拟合，提高模型的泛化能力。
二、模型的评估模型的评估是机器学习中另一个非常重要的环节。
在评估模型时，需要使用一定的指标来衡量模型的性能。
常用的指标包括准确率、召回率、F1-score等。
在进行模型评估时，需要使用测试数据集或交叉验证数据集来验证模型的性能。
通常，测试数据集是从原有数据集中划分出来的，用于模型的评估。
交叉验证是一种更加严谨的评估方法，它可以有效避免过拟合的问题。
除了指标和数据集的选择，模型评估还需要考虑模型的复杂度和可解释性。
模型的复杂度过高可能导致过拟合的问题，而过低则可能导致欠拟合的问题。
模型的可解释性对于实际应用非常重要，因为它可以帮助我们理解模型的工作原理，并采取相应的措施来提高模型的性能。
三、总结在机器学习中，模型的建立和评估是非常重要的环节。
在建立模型时，需要注意数据的预处理，选择合适的算法，并调整算法参数。
在模型的评估过程中，需要使用一定的指标和数据集来验证模型的性能，并考虑模型的复杂度和可解释性。
只有通过不断改进模型建立和评估方法，才能提高机器学习的应用效果。
机器学习课后习题答案(周志华)
第二章模型评估与选择1.数据集包含1000个样本，其中500个正例，500个反例，将其划分为包含70%样本的训练集和30%样本的测试集用于留出法评估，试估算共有多少种划分方式。
一个组合问题，从500500正反例中分别选出150150正反例用于留出法评估，所以可能取150)2。
法应该是(C5002.数据集包含100个样本，其中正反例各一半，假定学习算法所产生的模型是将新样本预测为训练样本数较多的类别（训练样本数相同时进行随机猜测），试给出用10折交叉验证法和留一法分别对错误率进行评估所得的结果。
10折交叉检验：由于每次训练样本中正反例数目一样，所以讲结果判断为正反例的概率也是一样的，所以错误率的期望是5050%。
留一法：如果留下的是正例，训练样本中反例的数目比正例多一个，所以留出的样本会被判断是反例；同理，留出的是反例，则会被判断成正例，所以错误率是100%。
3.若学习器A的F1值比学习器B高，试析A的BEP值是否也比B高。
4.试述真正例率（TPR）、假正例率（FPR）与查准率（P）、查全率（R）之间的联系。
查全率: 真实正例被预测为正例的比例真正例率: 真实正例被预测为正例的比例显然查全率与真正例率是相等的。
查准率:预测为正例的实例中真实正例的比例假正例率: 真实反例被预测为正例的比例两者并没有直接的数值关系。
9.试述卡方检验过程。
第三章线性模型2.试证明，对于参数w，对率回归（logistics回归）的目标函数（式1）是非凸的，但其对数似然函数（式2）是凸的。
如果一个多元函数是凸的，那么它的Hessian矩阵是半正定的。
3.编程实现对率回归，并给出西瓜数据集3.0α上的结果/icefire_tyh/article/details/520688444.选择两个UCI数据集，比较10折交叉验证法和留一法所估计出的对率回归的错误率。
/icefire_tyh/article/details/520689005.编程实现线性判别分析，并给出西瓜数据集3.0α上的结果。
模型估计与选择
FAM(cont.)
Conclusions: • The solution to minimize PRSS is cubic splines, however without further restrictions the solution is not unique. N • If 1 f j ( xij ) 0 holds, it is easy to see that :
old
Additive Logistic Regression
The generalized additive logistic model has the form
log
Pr(Y 1 | X1 ,, X p ) Pr(Y 0 | X1 ,, X p )
f1 ( X1 ) f p ( X p )
G( x) arg maxkg k ( x)
Logistic Regression con’t
• Parameters estimation
– Objective function
arg max i 1 log Pr ( yi | xi )
N
– Parameters estimation IRLS (iteratively reweighted least squares) Particularly, for two-class case, using Newton-Raphson algorithm to solve the equation, the objective function:
p( x, ) Pr ( y 1 | x); Pr ( y 0 | x) 1 p( x, )
exp( T x) p( x, ) Pr ( y 1 | x) ; T 1 exp( x)
机器学习模型的评估指标
机器学习模型的评估指标机器学习是人工智能领域中的一种重要技术，可以通过训练模型来实现自动化的决策和预测功能。
对于机器学习模型的评估，评估指标是一种重要的衡量标准。
本文将介绍常用的机器学习模型评估指标及其应用场景。
一、准确率（Accuracy）准确率是机器学习中最常用的评估指标之一，用于衡量分类模型在所有样本中分类正确的比例。
它的计算公式如下：准确率 = 分类正确的样本数 / 总样本数准确率适用于分类任务，特别是当类别分布均匀或者不同类别的重要性相同时。
然而，当数据存在不均衡问题时，仅使用准确率可能会导致评估结果的偏差。
二、精确率（Precision）和召回率（Recall）精确率和召回率是用于衡量分类模型在不同类别上的表现的指标。
精确率计算了分类模型判断为正的样本中真正为正的比例，它的计算公式如下：精确率 = 真正为正的样本数 / 判断为正的样本数召回率计算了分类模型识别出真正为正的样本的能力，它的计算公式如下：召回率 = 真正为正的样本数 / 实际为正的样本数精确率适用于需要尽量减少误报的场景，如垃圾邮件分类。
召回率适用于需要尽量减少漏报的场景，如癌症检测。
三、F1值（F1 Score）F1值综合了精确率和召回率的指标，用于评估模型在分类任务中的综合性能。
它的计算公式如下：F1 = 2 * (精确率 * 召回率) / (精确率 + 召回率)F1值适用于需要综合考虑精确率和召回率的场景，特别是当数据存在不均衡问题时。
四、ROC曲线和AUC值ROC曲线（Receiver Operating Characteristic curve）是一种用于评估二分类模型性能的指标。
它通过绘制模型在不同阈值下的真正阳率（TPR）和假正阳率（FPR）之间的关系曲线来衡量模型的预测准确性。
ROC曲线越靠近左上角，即TPR较高，FPR较低，模型的性能越好。
AUC值（Area Under Curve）是ROC曲线下的面积值，范围在0.5到1之间。
模型选择流程
模型选择流程一、引言在机器学习领域，模型选择是一个非常重要的环节。
选择合适的模型可以提高模型的准确率和泛化能力，从而更好地解决实际问题。
但是，在众多的机器学习算法中，如何选择最佳的模型却是一个很困难的问题。
本文将介绍一些常见的模型选择方法和流程。
二、数据预处理在进行模型选择之前，需要对数据进行预处理。
数据预处理包括数据清洗、特征工程等步骤。
其中，数据清洗是指删除无效数据、填补缺失值等操作；特征工程则是指对原始特征进行转换、组合等操作，以提高特征的表达能力。
三、划分训练集和测试集为了评估不同模型的性能，需要将原始数据集划分为训练集和测试集。
训练集用于训练模型，测试集用于评估模型性能。
通常采用随机抽样的方式将原始数据集按照一定比例划分为训练集和测试集。
四、选择评价指标在进行模型选择时，需要先确定评价指标。
评价指标应该与实际问题相关，并且能够客观地反映出不同模型的性能。
例如，在分类问题中，常用的评价指标包括准确率、精度、召回率、F1值等。
五、选择候选模型在确定评价指标后，可以根据实际问题和数据特征，选择一些常见的机器学习算法作为候选模型。
常见的机器学习算法包括线性回归、逻辑回归、决策树、支持向量机等。
六、交叉验证交叉验证是一种常用的模型选择方法。
它将原始数据集划分为K个子集，每次使用K-1个子集作为训练集，剩余1个子集作为测试集，重复K次，最后将K次结果取平均值作为模型性能的评价指标。
交叉验证可以有效地避免过拟合问题。
七、网格搜索网格搜索是一种常用的调参方法。
它通过遍历给定参数组合来寻找最佳参数组合。
对于每一组参数组合，都进行交叉验证来评估模型性能，并记录下最佳参数组合及其对应的性能指标。
八、选择最优模型经过以上步骤后，可以得到多个候选模型及其对应的性能指标。
根据预先确定的评价指标和具体应用场景，选择最优模型。
在选择最优模型时，需要综合考虑模型的性能、复杂度、可解释性等因素。
九、测试最优模型在选择最优模型后，需要使用测试集对最优模型进行测试。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第2章模型评估与选择
主要内容
• 经验误差与过拟合 • 评估方法 • 性能度量 • 比较检验 • 偏差与方差
误差
• 误差（error）：学习器实际预测输出与样本真实输出之间的差异
• 训练集：训练误差（training error），（经验误差，empirical error） • 训练集的补集：泛化误差（generalization error）
留出法 （hold-out）
数学表达
注意事项
分层采样（stratified sampling） 重复试验取平均评估结果
优缺点
测试集小，评估结果方差较大 训练集小，评估结果偏差较大
交叉验证法 （cross validation）
留一法 （Leave-One-Out，LOO）
每次使用一个样本验证
不受随机样本划分方式影响 数据量大时计算量大
• 我们希望泛化误差小的学习器
过拟合
• 过拟合（overfitting）：训练过度使泛化能力下降 • 欠拟合（underfitting）：未能学好训练样本的普遍规律
• 过拟合是机器学习的关键障碍 且不可避免！ • 模型误差包含了数据误差， 或者说模型信息中包含了噪声。
学习器泛化评估——实验测试
测试方法
自助法 （bootstrapping）
可重复采样/有放回采样
数据集较小有用 改变初始数据集的分布，引入偏差
调参与最终模型
性能度量
任务需求——以二分类为例
多混淆矩阵
ROC与AUC
代价敏感错误率与代价曲线
比较检验
单个学习器
一个数据集多个学习器
多个数据集和多个学习器
偏差与方差
• 谢谢！