周志华 机器学习ppt Chap02模型评估与选择
(精品)机器学习第2章-模型评估与选择
• 假设测试样本是从真实分布中采样而得，避免因数据划分引入偏 差。
• 测试集应与训练集互斥。
测试方法
留出法 （hold-out）
数学表达
注意事项
优缺点
������ = ������ ∪ ������ ������ ∩ ������ = ∅
•
微查准率（micro−������）：micro−������
=
������������ ������������+������������
•
微查全率（micro−������）：micro−������
=
����������ห้องสมุดไป่ตู้� ������������+������������
• 微������1（micro−������1）
• P-R曲线
• 面积、平衡点（Break-Even-Point，BEP）
• ������1度量：������, ������的调和平均
• ������������度量： ������, ������的加权调和平均
多混淆矩阵
• 先分别计算查准率和查全率，再平均
•
宏查准率（macro−������）：macro−������
• 我们希望泛化误差小的学习器
过拟合
• 过拟合（overfitting）：训练过度使泛化能力下降 • 欠拟合（underfitting）：未能学好训练样本的普遍规律
• 过拟合是机器学习的关键障碍 且不可避免！ • 模型误差包含了数据误差， 或者说模型信息中包含了噪声。
学习器泛化评估——实验测试
• 测试集：测试误差（testing error）
南京大学周志华老师的一个讲普适机器学习的ppt【精品-ppt】
以Tom Mitchell的经典教科书（McGraw Hill出版社，1997）为例，很难看到基础 学科（例如数学、物理学）教科书中那种 贯穿始终的体系，也许会让人感到这不过 是不同方法和技术的堆砌
历史回顾(2)
主要范式的发展：
一方面可以促进和丰富ML本身的发展，另一方面可以促进 使用ML技术的学科领域本身的发展
作为“应用基础”，与“ML应用”有根本的区别： • 基础性：不是直接做应用，而是做“更广泛的应用” 或“更成功的应用”所需要的方法和技术
• 广泛性：重点不是去解决单一应用所面临的问题，而 是要解决众多应用领域所面临的共性问题
2004
例子2：不平衡数据
医疗：以乳腺癌诊断为例，“健康人”样本远远多于
“病人”样本
金融：以信用卡盗用检测为例，“正常使用”样本远远
多于“被盗用”样本
传统的ML技术基本上只考虑平衡数据 如何处理数据不平衡性？
在教科书中找不到现成的答案
例子3：可理解
医疗：以乳腺癌诊断为例，需要向病人解释“为什么做
医疗：以乳腺癌诊断为例，“将病人误诊为健康人的代
价”与“将健康人误诊为病人的代价”是不同的
金融：以信用卡盗用检测为例，“将盗用误认为正常使
用的代价”与“将正常使用误认为盗用的代价”是不同 的
传统的ML技术基本上只考虑同一代价
如何处理代价敏感性？
在教科书中找不到现成的答案，例如：
Tom Mitchell, Machine Learning, McGraw-Hill, 1997 Nils J. Nilsson, Introduction to Machine Learning, draft 1996 -
机器学习知识点总结周志华
机器学习知识点总结周志华一、引言随着计算机技术的不断发展，机器学习作为一种重要的人工智能技术，被广泛应用于各个领域。
机器学习旨在让计算机通过学习能够自动地从数据中识别模式、进行预测和决策，从而实现智能化的任务处理。
本文将对机器学习的相关知识点进行总结，包括基本概念、常见算法、应用领域以及发展趋势等内容。
二、机器学习基础知识1. 机器学习概念机器学习是一种通过数据和统计方法使计算机系统具有学习能力的技术。
它可以帮助计算机利用数据进行自动学习，从而提高计算机处理任务的智能化水平。
机器学习的应用范围非常广泛，包括自然语言处理、计算机视觉、数据挖掘、推荐系统等领域。
2. 机器学习的分类根据学习方式的不同，机器学习可以分为监督学习、无监督学习、半监督学习和强化学习等不同类型。
通过不同的学习方式，使得机器学习可以应用于各种不同类型的问题。
3. 监督学习监督学习是机器学习中最常用的一种学习方式，它通过已有的标记数据来进行学习，从而能够进行预测和分类等任务。
监督学习包括分类和回归两种类型，用于解决各种实际问题。
4. 无监督学习无监督学习是一种用于无标记数据的学习方式，它可以帮助计算机从数据中发现模式和结构，并进行聚类和降维等任务。
无监督学习的应用非常广泛，包括数据挖掘、图像处理等领域。
5. 强化学习强化学习是一种通过与环境进行交互学习，从而使智能体能够选择行动以最大化预期奖励的学习方式。
强化学习可以应用于自动控制、游戏策略等领域。
6. 机器学习的评估机器学习的评估是非常重要的一部分，它可以帮助我们评价模型的性能，并进行模型的选择和改进。
常用的评估指标包括准确率、精确率、召回率、F1值等。
三、常见机器学习算法1. 线性回归线性回归是一种用于建立输入特征和输出标记之间线性关系的算法，它可以帮助预测连续性变量的数值。
线性回归的模型包括简单线性回归和多元线性回归，可以通过最小二乘法等方法进行参数学习。
2. 逻辑回归逻辑回归是一种用于建立输入特征和输出标记之间的概率关系的算法，它可以进行二分类和多分类任务。
第七章模型选择和模型评估
模型选择和模型评估
为了进行模型选择，我们只需知道不同模型的测试误差的相对 值。渐近近似有时对比较不同模型的测试误差很有用。
通常对误差的真值没有很好的估计。当样本有限时，渐近近似通 常还不能得到足够好的估计。这种情况下我们可以采用重采样 (resampling )方法 。
当然如过我们对测试误差有一种很好的方法来直接估计，我们可 以用它来进行模型选择。
第七章模型选择和模 型评估
第1页，共39页。
MLE
3-1
上节课内容总结
后验的仿真模拟
贝叶斯推理与MLE
例
令 为 的极大似然估计，在合适的正则条件下， 后验均值为
贝叶斯推理的优点
可以方便的结合先验信息 数据和先验同等对待
由后验可以同时推出点估计和区间估计
第2页，共39页。
MLE
3-2
第七章：模型选择和模型评估
至少存在一个θ
则该估计 是不可接受的。 否则， 是可接受的。
第14页，共39页。
MLE 3-14
可接受性
可接受性是与其他表示估计好坏的方法有何关系？
在一些正则条件下，如果 为贝叶斯规则且有有限 风险，则它是可接受的。
如果 的风险为常数且是可接受的，则它是最小最 大估计。
第15页，共39页。
第26页，共39页。
MLE 3-26
训练误差的乐观性
训练误差的乐观性定义为
也就是说， 欠估计R(M)的量取决于 yi 影响其预 测的强度。我们越难拟合数据，乐观性越大。
第27页，共39页。
MLE 3-27
训练误差的乐观性
通常我们有
欠拟合程度 + 复杂性惩罚
因此，为了选择模型，我们可以
机器学习7周志华ppt课件.ppt
根据贝叶斯定理，有
Thomas Bayes (1701?-1761)
先验概率（prior ） 样本空间中各类样本所占的 比例，可通过各类样本出现 的频率估计（大数定律）
样本相对于类标记的 类条 件概率 (class-conditional probability) , 亦称 4似然
(likelihood)
2
? h* 称为 贝叶斯最优分类器(Bayes optimal classifier)，其总体风险称为 贝叶斯 风险 (Bayes risk)
? 反映了 学习性能的理论上限
2
判别式 vs. 生成式
在现实中通常难以直接获得
从这个角度来看，机器学习所要实现的是基于有限的训练样本 尽可能准确地估计出后验概率
条件概率表 ( CPT,
Conditional Probability Table )
贝叶斯网
结构
参数
1985年 J. Pearl 命名为贝叶斯网，
为了强调： ? 输入信息的主观本质 ? 对贝叶斯条件的依赖性 ? 因果与证据推理的区别
概率图模型 (Probabilistic graphical model )
13
? 训练样本非常充分 ? 性能可能提升
? 有限训练样本 ? 高阶联合概率估计困难
考虑属性间的高阶依赖，需要其他办法
13
贝叶斯网 （Bayesian network; Bayes network）
亦称“信念网” (brief network )
有向无环图( DAG,
Directed Acyclic Graph )
为属性数xi个属性上的取值对所有类别相同于是对离散属性令表示dc个属性上取值为xi的样本组成的集合则拉普拉斯修正laplaciancorrection若某个属性值在训练集中没有与某个类同时出现过则直接计算会出现问题因为概率连乘将抹去其他属性提供的信息例如若训练集中未出现敲声清脆的好瓜则模型在遇到敲声清脆的测试样本时中可能的类别数ni表示第个属性可能的取值数假设了属性值与类别的均匀分布这是额外引入的bias不进行任何训练收到预测请求时再估值懒惰学习lazylearning基于现有估值对新样本涉及的概率估值进行修正增量学习incrementallearning半朴素贝叶斯分类器朴素贝叶斯分类器的属性独立性假设在现实中往往难以成立半朴素贝叶斯分类器seminavebayesclassifier基本思路
人工智能开发技术中的模型评估和选择指南
人工智能开发技术中的模型评估和选择指南随着人工智能技术的发展，越来越多的人工智能模型被应用于各行各业。
然而，如何评估和选择一个适合的模型成为了许多从事人工智能开发的人的难题。
模型评估是人工智能开发过程中至关重要的一步。
通过评估模型的性能和准确度，我们可以判断模型是否能够满足我们的需求，并从中选择最合适的模型。
下面，我将介绍一些常用的模型评估指标。
首先，我们可以使用精确度（Accuracy）来评估一个分类模型的性能。
精确度是指模型给出的预测结果与实际结果相符的比例。
当我们需要处理二分类问题时，可以使用混淆矩阵（Confusion Matrix）来计算精确度。
混淆矩阵包括四个指标：真正例（True Positive）、真反例（True Negative）、假正例（False Positive）和假反例（False Negative）。
从这些指标中，我们可以计算出精确度、召回率（Recall）和F1值（F1-Score）。
精确度越高，模型的性能越好。
另一个重要的模型评估指标是AUC-ROC曲线。
AUC-ROC曲线是一种用于评估二分类模型性能的方法。
它涉及到真正例率（True Positive Rate）和假正例率（False Positive Rate）。
通过计算不同阈值下的真正例率和假正例率，我们可以绘制出AUC-ROC曲线。
AUC-ROC曲线的面积越大，说明模型的性能越好。
在模型选择方面，我们可以考虑使用交叉验证（Cross Validation）来评估模型的泛化能力。
交叉验证是一种将数据集划分为训练集和验证集的方法，通过多次划分和训练，我们可以得到模型在不同数据集上的性能表现。
在选择模型时，我们可以比较不同模型在交叉验证中的表现，选择性能最好的模型。
除了上述的评估指标和方法外，还有其他一些在模型评估和选择中常用的技术和方法，如分类器组合（Ensemble）和正则化（Regularization）等。
《机器学习（周志华）》笔记--决策树（1）--决策树模型、决策树简史、基本流程
《机器学习（周志华）》笔记--决策树（1）--决策树模型、决策树简史、基本流程⼀、决策树模型 决策树(decision tree)是⼀种常⽤的机器学习⽅法，是⼀种描述对实例进⾏分类的树形结构。
决策树是⼀种常⽤的机器学习⽅法，以⼆分类为例，假设现在我们要对是否买西⽠进⾏判断和决策，我们会问⼀些问题，根据回答，我们决断是买还是不买，或者还拿补丁主意，这时会继续问问题，直到可以确定为⽌。
决策树基于“树”结构进⾏决策： （1）内部结点：属性 （2）分⽀：属性值 （3）p叶结点：分类结果 学习过程：通过对训练样本的分析来确定“划分属性”（即内部结点所对应的属性） 预测过程：将测试⽰例从根结点开始，沿着划分属性所构成的“判定测试序列”下⾏，直到叶结点 学习的过程就是通过划分属性构建决策树的过程，预测过程就是将测试样本从根节点开始，沿着划分属性构成的“判定序列”下⾏，直到叶结点。
结构举例： 从代码⾓度来看，决策树其实可以看成是⼀堆if-else语句的集合，例如引例中的决策树完全可以看成是如下代码：if isRed:if isCold:if hasSeed:print("buy")else:print("don't buy")else:if isCheap:print("buy")else:print("don't buy")else:print("don't buy") 由决策树的根结点(root node)到叶结点(leaf node)的每⼀条路径构建⼀条规则：路径上内部结点的特征对应着规则的条件，⽽叶结点的类对应着规则的结论。
决策树的路径或其对应的if-then规则集合具有⼀个重要的性质：互斥并且完备。
这就是说，每⼀个实例都被⼀条路径或⼀条规则所覆盖，⽽且只被⼀条路径或⼀条规则所覆盖。
人工智能PPT第6章模型评估与选择
recall_score(y_true, y_pred,average)
F1 score
F1分数（F1 Score）用于衡量二分类模型精确 度,是精确率和召回率的调和值，变化范围在01。F1计算公式如下所示： sklearn.metrics模块提供f1_score函数，形式如 下所示：
F1
2TP
r2_score(y_true, y_pred)
损失函数
损失函数（loss function）用来估量模型的预测值与真实值 的不一致程度，是一个非负实值函数。损失函数在统计学和机 器学习中被用于模型的参数估计，即通过最小化损失函数求解 和评估模型。 损失函数又称为代价函数（Cost Function），或成本函数。 成本函数和损失函数是同义词 并且可以互换使用，但稍有不同。 损失函数有时也称为误差函数(error function)，用于单个训 练样本。 代价函数，是整个训练数据集的所有样本误差的平均损失。
AUC面积
AUC（Area Under Curve）是指ROC曲线下的 面积，由于ROC曲线一般都处于y=x这条直线的上方 ，所以AUC的取值范围在0.5和1之间。AUC只能用于 评价二分类，直观的评价分类器的好坏，值越大越好 sklearn.metrics模块提供roc_auc_score函数，形式如 下所示： sklearn.metrics.roc_auc_score(y_true, y_score)
周志华 机器学习ppt Chap02模型评估与选择
(BEP)
PR图： • 学习器 A 优于 学习器 C • 学习器 B 优于 学习器 C • 学习器 A ?? 学习器 B
BEP： • 学习器 A 优于 学习器 B • 学习器 A 优于 学习器 C • 学习器 B 优于 学习器 C
F1
比 BEP 更常用的 F1 度量：
若对查准率/查全率有不同偏好：
一般而言，偏差与方差存在冲突：
训练不足时，学习器拟合能 力不强，偏差主导
随着训练程度加深，学习器 拟合能力逐渐增强，方差逐 渐主导
训练充足后，学习器的拟合 能力很强，方差主导
前往第三站……
机器学习导论 (2016 春季学期)
二、模型评估与选择
主讲教师：周志华
典型的机器学习过程
什么模型好？
泛化能力强！
能很好地适用于 unseen instance
例如，错误率低、精度高
然而，我们手上没有 unseen instance，……
泛化误差 vs. 经验误差
泛化误差：在“未来”样本上的误பைடு நூலகம் 经验误差：在训练集上的误差，亦称“训练误差”
“调参”与最终模型
算法的参数：一般由人工设定，亦称“超参数” 模型的参数：一般由学习确定
调参过程相似：先产生若干模型，然后基于某种评估 方法进行选择 参数调得好不好对性能往往对最终性能有关键影响
区别：训练集 vs. 测试集 vs. 验证集 (validation set)
算法参数选定后，要用“训练集+验证集”重新训练最终模型
& Swets, Book 66; Spackman, IWML’89]
The bigger, the better
非均等代价
犯不同的错误往往会造成不同的损失 此时需考虑“非均等代价”
机器学习笔记模型选择与评估(Modelselectionandevaluation)
机器学习笔记模型选择与评估（Modelselectionandevaluation）前言在机器学习中，我们需要用一些方法去衡量我们选择的模型效果的优劣。
这里我记录了一些比较常见的方法，以此来评估我们选择的模型在此场景下的优劣程度。
一、介绍我们将学习器预测输出与样本真实输出的差异称为误差。
预测正确的样本数占样本总数比例称为准确率（accuracy），相反错误样本数占样本总数的比例称为错误率（error rate）。
但是准确率并不能有效说明机器学习性能，实际上达到准确率100%的学习器在大多数情况都不好。
我们实际希望得到的是能够在新样本上表现很好的机器。
在新样本上的误差，我们称为泛化误差。
训练学习器的时候，学习器学习训练集“太好”，导致将训练集的一些特点当成所有样本的普遍规律，这样会导致泛化性能下降，这种现象在机器学习中被称为“过拟合”（overfitting）。
相反的学习器学习训练集太差，训练集一般的性质都没有学好，称为“欠拟合”（underfitting）。
二、评估方法现实任务中，我们需要选择合适的模型和合适的参数。
那么我们方案通常是，对候选的模型进行泛化误差评估，选取泛化误差最少的模型。
所以在我们模型训练之前对数据集进行划分，分成训练集和测试集。
我们会根据数据集的情况（数据量，分布是否均匀等）来选择合适的划分方式。
我们需要使用一个测试集来测试学习器对新样本的泛化能力。
测试样本也是从样本真实分布中独立同分布采样而得。
测试集和训练集尽可能互斥。
以下是常用的几种方式：2.1 留出法•把数据集分成互不相交的两部分，一部分是训练集，一部分是测试集。
•保持数据分布大致一致，类似分层抽样•训练集数据的数量应占2/3~4/5•为了保证随机性，将数据集多次随机划分为训练集和测试集，然后在对多次划分结果取平均。
•将数据集随机分为互斥的k个子集，为保证随机性，P次随机划分取平均。
•将k个子集随机分为k-1个一组剩下一个为另一组，有k种分法。
机器学习ppt课件
当数据在原始空间线性不可分时，可通过核函数将数据映 射到更高维的特征空间，使得数据在新的特征空间下线性 可分。
SVM优缺点
优点包括在高维空间中有效、在特征维度高于样本数时依 然有效等；缺点包括对参数和核函数的选择敏感、处理大 规模数据效率低等。
决策树与随机森林
决策树
一种树形结构，其中每个内部节点表示一个属性上的判断条件，每 个分支代表一个可能的属性值，每个叶节点代表一个类别。
优化算法（如SGD、Adam、RMSprop等 ）及其超参数调整
05 强化学习与迁移 学习
强化学习基本原理
智能体（Agent）与环境（Environment）…
智能体通过执行动作（Action）改变环境状态（State），并获得环境反馈的奖励（ Reward）。
学习目标
最大化累积奖励，即找到最优策略（Policy）使得智能体在未来获得的奖励总和最大。
循环神经网络（RNN）
循环神经网络的基本原理 序列建模与语言模型
RNN的结构与变体（如 LSTM、GRU等）
RNN在自然语言处理领域 的应用
训练技巧与优化方法
01
激活函数的选择与比较
02
批归一化（Batch Normalization）
03
正则化方法（如L1、L2正则化、Dropout 等）
04
交叉验证
使用K折交叉验证等方法评估模型稳定性。
可视化展示
绘制ROC曲线、混淆矩阵等图表展示评估结果。
模型对比
将不同模型的结果进行对比分析，选择最优模型。
挑战与未来发展趋势
01
数据挑战
处理大规模、高维度、非结构化等 数据问题。
应用挑战
将机器学习技术应用到更多领域， 解决实际问题。
机器学习模型的建立和评估方法
机器学习模型的建立和评估方法随着大数据时代的到来，机器学习在各个领域的应用也越来越广泛，如何建立和评估机器学习模型成为了一个重要的问题。
在本文中，我们将探讨机器学习模型的建立和评估方法，以及如何选择和调整模型参数。
一、数据准备在建立机器学习模型之前，首先需要收集和准备数据集。
数据集的质量和数量对于模型的准确性和可靠性至关重要，因此需要注意以下几个方面：1.数据的可靠性。
数据应该是真实、可靠、完整、准确和无歧义的。
2.数据的多样性。
数据集中应该包含各种类型的数据，如类别型、数值型、文本型、图像型等，以充分涵盖不同的情况和场景。
3.数据的数量。
数据集的大小直接影响模型的性能。
通常情况下，数据集越大，模型的准确性越高。
二、模型建立在准备好数据集之后，需要选择一个合适的机器学习模型。
常见的机器学习模型包括线性回归、决策树、支持向量机、神经网络等。
选择模型的关键是要确定问题类型和数据类型，并从中选择一个合适的算法。
1.确定问题类型。
问题类型可以分为分类问题和回归问题两种。
分类问题是要将数据分为不同的类别，回归问题是要将数据映射到连续的输出变量上。
2.确定数据类型。
数据可以分为结构化数据和非结构化数据两种。
结构化数据是指可以用表格或矩阵来表示的数据，如数字、日期、文字、价值等。
非结构化数据是指无法用表格或矩阵来表示的数据，如声音、图像和视频等。
3.选择合适的算法。
根据问题类型和数据类型，选择一个合适的算法进行建模。
常用的算法包括朴素贝叶斯、K近邻、随机森林、深度学习等。
三、模型评估完成模型的建立后，需要对其进行评估。
分类模型和回归模型通常使用不同的评估指标。
1.分类模型指标。
分类指标通常使用精确度（Accuracy）、召回率（Recall）、F1值等，用来评估模型的分类效果。
精确度指分类正确的样本数与总样本数之比；召回率指模型正确分类的正样本数与真实正样本数之比；F1值是精确率和召回率的加权平均数。
2.回归模型指标。
机器学习之第5章 算法的评估与比较 PPT
• 如果另外收集40个随机抽取的样例S’，样本错误率errorS’(h) 将与原来的errorS(h)存在一些差别
• 如果不断重复这一实验，每次抽取一个包含40样例的样本， 将会发现约95%的实验中计算所得的区间包含真实错误率
n errorS (h)(1 errorS (h)) 5
统计学中的基本定义和概念
• 随机变量 • 某随机变量Y的概率分布 • 随机变量Y的期望值或均值 • 随机变量的方差 • Y的标准差 • 二项分布 • 正态分布 • 中心极限定理 • 估计量 • Y的估计偏差 • N%置信区间
错误率估计和二项比例估计
• 设想要运行k个这样的随机实验，得到k个随 机变量值，以图表的形式显示观察到的每个 错误率值的频率；
• 当k不断增长，该图表将呈现二项分布。
二项分布
• 有一非均质硬币，要估计在抛硬币时出现正面的概 率p；
• 投掷硬币n次并计算出现正面的次数r，那么p的一 个合理估计是r/n；
• 如果重新进行一次实验，生成一个新的n次抛硬币 的集合，出现正面的次数r可能与前不同，得到对p 的另一个估计；
• 定义：某个参数p的N%置信区间是一个以N%的概率包含p 的区间
• 由于估计量errorS(h)服从二项分布，这一分布的均值为 errorD(h)，标准差可由式5.9计算，因此，为计算95%置信 区间，只需要找到一个以errorD(h)为中心的区间，它的宽 度足以包含该分布全部概率的95%
• 这提供了一个包围errorD(h)的区间，使errorS(h)有95%机 会落入其中，同样它也指定了errorD(h)有95%的机会落入 包围errorS(h)的区间的大小
周志华机器学习pptChap02模型评估与选择
k-折交叉验证法
若 k = m，则得到“留一法” (leave-one-out, LOO)
自助法
基于“自助采样” (bootsrap sampling) 亦称“有放回采样”、“可重复采样”
约有 36.8% 的样本不出现
训练集与原样本集同规模 数据分布有所改变
“包外估计”(out-of-bag estimation)
一般而言，偏差与方差存在冲突：
训练不足时，学习器拟合能 力不强，偏差主导
随着训练程度加深，学习器 拟合能力逐渐增强，方差逐 渐主导
训练充足后，学习器的拟合 能力很强，方差主导
前往第三站……
知识回顾 Knowledge Review
模型选择 (model selection)
三个关键问题: 如何获得测试结果？ 如何评估性能优劣？ 如何判断实质差别？
评估方法 性能度量 比较检验
性能度量
性能度量(performance measure)是衡量模型泛化能力的 评价标准，反映了任务需求 使用不同的性能度量往往会导致不同的评判结果
“调参”与最终模型
算法的参数：一般由人工设定，亦称“超参数” 模型的参数：一般由学习确定
调参过程相似：先产生若干模型，然后基于某种评估 方法进行选择 参数调得好不好对性能往往对最终性能有关键影响
区别：训练集 vs. 测试集 vs. 验证集 (validation set)
算法参数选定后，要用“训练集+验证集”重新训练最终模型
2010年图灵奖
常用方法
统计假设检验 (hypothesis test) 为学习器性能比较提供了 重要依据
两学习器比较
统计显著性
交叉验证 t 检验 (基于成对 t 检验)
机器学习第2章模型评估指标与选择
机器学习第2章模型评估指标与选择2.1 经验误差与过拟合通常我们把分类错误的样本数占样本总数的比例称为“错误率”，即如果在m个昂本中有a个样本分类错误，则错误率E=a/m；相应的，1-a/m称为“精度”，即“精度=1-错误率”。
更一般的，我们把学习器的实际预测输出与样本的真实输出之间的差异称为“误差”，学习器在训练集上的误差称为“训练误差”或“经验误差”，在新样本上的误差称为“泛化误差”。
显然，我们希望得到得到泛化误差小的学习器。
然而，我们事先并不知道新样本是什么样的，实际能做的是努力使经验误差最小化。
我们实际希望的，是在新样本上能够表现得很好的学习器，为了达到这个目的，希望从训练样本中尽可能学出适用于潜在样本的“普遍规律”，这样才能遇到新样本时做出正确的判别。
然而，当学习器把训练样本学得“太好”了的时候，很可能已经把训练样本自身的一些特点当作了所在潜在样本都会具有的一般性质，这样就会导致泛化性能下降。
这种现象在机器学习中称为“ 过拟合”。
与“过拟合”相对的是“欠拟合”，这是指对训练样本的一般性质尚未学好。
有很多因素可能导致过拟合，其中最常见的情况是由于学习能力过于强大，以至于把训练样本所包含的不太一般的特性都能学到了，而过拟合则通常是由于学习能力低下而造成的。
欠拟合比较容易克服，例如在决策树学习中扩展分支、在神经网络学习中增加训练轮数等，而过拟合则比较麻烦，在后面的学习中我们将看到，过拟合是机器学习面临的关键障碍，各类学习算法都必然带有一些针对过拟合的措施；但是过拟合是无法彻底避免的。
机器学习面临的问题通常是NP难甚至更难。
在显示任务中我们往往有很多学习算法可供选择，甚至对同一个学习算法，当使用不同的参数配置时，也会产生不同的模型。
那么，我们该选择哪一种学习算法，使用哪一种参数配置呢？这就是机器学习中的“模型选择”问题。
理想的解决方案当然是对候选模型的泛化误差进行评估，然后选择泛化误差最小的那个模型。
机器学习之评估假设文稿演示
• 当k不断增长，该图表将呈现二项分布。
二项分布
• 有一非均质硬币，要估计在抛硬币时出现正面的概 率p；
• 投掷硬币n次并计算出现正面的次数r，那么p的一 个合理估计是r/n；
• 如果重新进行一次实验，生成一个新的n次抛硬币 的集合，出现正面的次数r可能与前不同，得到对p 的另一个估计；
• 二项分布描述的是对任一可能的r值，这个正面概 率为p的硬币抛掷n次恰好出现r次正面的概率。
二项分布（2）
• 当给定的数据集有限时，要学习一个概念并估计其将 来的精度，存在两个很关键的困难：
– 估计的困难
• 使用与训练样例和假设无关的测试样例
– 估计的方差
• 即使假设精度在独立的无偏测试样例上测量，得到的精度仍可能与 真实精度不同。
• 测试样例越少，产生的方差越大
• 重点讨论对学到的假设的评估、对两个假设精度的比 较、两个学习算法精度的比较
学习问题的框架
• 有一所有可能实例的空间X，其中定义了多 个目标函数，假定X中不同实例具有不同的 出现频率。一种合适的建模方式是，假定存 在一未知的概率分布D，它定义了X中每一 实例出现的概率。
• 学习任务是在假设空间上学习一个目标概念， 训练样例的每一个实例按照分布D独立地抽 取，然后连同正确的目标值提供给学习器。
• 公式5.1只提供了近似的置信区间，这一近似在至 少包含30个样例，并且errorS(h)不太靠近0或1时很 接近真实情况
• 判断这种近似是否接近真实的更精确规则是：
nerS(r h )1 o ( errS(r h )o )5r
统计学中的基本定义和概念
机器学习模型的选择与应用
选择和应用机器学习模型时需要考虑以下几个因素：
1. 数据类型和规模：选择适合处理数据类型的模型，例如，如果你的数据是文本或图像，可能需要使用深度学习模型。
同时，根据数据规模选择适当的模型，大型数据集可能需要更复杂的模型。
2. 任务类型：确定需要完成的任务类型，例如分类、回归、聚类或异常检测。
这将帮助选择适合的模型。
3. 可用的资源：考虑可用的计算资源（如时间、内存和存储）和可用的数据工程师技能。
在应用机器学习模型时，可以遵循以下步骤：
1. 数据准备：清理、转换和整合数据以适应模型训练。
2. 模型训练：使用适当的学习算法（如梯度下降）和优化器（如Adam）来训练模型。
3. 评估和选择模型：使用验证数据集和评估指标（如准确率、召回率、AUC-ROC等）来选择最佳模型。
4. 预测和部署：使用训练好的模型对新数据进行预测，并考虑如何将模型部署到生产环境中。
一些常见的机器学习模型包括线性回归、决策树、支持向量机、神经网络、随机森林和梯度提升机等。
具体选择哪种模型取决于你的特定需求和数据集。
每种模型都有其优点和缺点，以及在特定任务上的表现。
因此，需要通过试错或咨询专家的意见来找到最适合你数据的模型。
另外，许多机器学习库和工具（如TensorFlow、PyTorch、
Scikit-learn、Keras和H2O等）提供了用于选择和训练模型的强大功能，这可以大大简化机器学习过程。
这些工具通常还包含用于评估模型性能的自动化工具，这可以帮助你更快地找到最佳模型。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
(BEP)
PR图： • 学习器 A 优于 学习器 C • 学习器 B 优于 学习器 C • 学习器 A ?? 学习器 B
BEP： • 学习器 A 优于 学习器 B • 学习器 A 优于 学习器 C • 学习器 B 优于 学习器 C
F1
比 BEP edman 检验图
横轴为平均序值，每个算法圆点为其平均序值，线段为临界阈值的大小
若两个算法有交叠 (A 和 B)，则说明没有显著差别; 否则有显著差别 (A 和 C)，算法 A 显著优于算法 C
“误差”包含了哪些因素 ?
换言之，从机器学习的角度看， “误差”从何而来?
偏差-方差分解 (bias-variance decomposition)
& Swets, Book 66; Spackman, IWML’89]
The bigger, the better
非均等代价
犯不同的错误往往会造成不同的损失 此时需考虑“非均等代价”
(unequal cost)
代价敏感(cost-sensitive)错误率：
模型选择 (model selection)
模型选择 (model selection)
三个关键问题: 如何获得测试结果？ 如何评估性能优劣？ 如何判断实质差别？
评估方法 性能度量 比较检验
性能度量
性能度量(performance measure)是衡量模型泛化能力的 评价标准，反映了任务需求 使用不同的性能度量往往会导致不同的评判结果
k-折交叉验证法
若 k = m，则得到“留一法” (leave-one-out, LOO)
自助法
基于“自助采样” (bootsrap sampling) 亦称“有放回采样”、“可重复采样”
约有 36.8% 的样本不出现
训练集与原样本集同规模 数据分布有所改变
“包外估计”(out-of-bag estimation)
泛化误差越小越好 经验误差是否越小越好？
NO! 因为会出现“过拟合”(overfitting)
过拟合 (overfitting) vs. 欠拟合 (underfitting)
模型选择 (model selection)
三个关键问题: 如何获得测试结果？ 如何评估性能优劣？ 如何判断实质差别？
宏xx vs. 微xx
若能得到多个混淆矩阵:
(例如多次训练/测试的结果，多分类的两两混淆矩阵)
宏(macro-)查准率、查全率、F1
微(micro-)查准率、查全率、F1
ROC, AUC
AUC: Area Under the ROC Curve
Area Under ROC Curve
ROC (Receiver Operating Characteristic) Curve [Green
机器学习导论 (2016 春季学期)
二、模型评估与选择
主讲教师：周志华
典型的机器学习过程
什么模型好？
泛化能力强！
能很好地适用于 unseen instance
例如，错误率低、精度高
然而，我们手上没有 unseen instance，……
泛化误差 vs. 经验误差
泛化误差：在“未来”样本上的误差 经验误差：在训练集上的误差，亦称“训练误差”
机器学习
“概率近似正确”
机器学习的理论基础
计算学习理论
Computational learning theory
PAC (Probably Approximately Correct)
learning model
[Valiant, 1984]
Leslie Valiant
(莱斯利 维利昂特) (1949- )
三个关键问题: 如何获得测试结果？ 如何评估性能优劣？ 如何判断实质差别？
评估方法 性能度量 比较检验
比较检验
在某种度量下取得评估结果后，是否可以直接比较以评判优劣？
NO ! 因为： • 测试性能不等于泛化性能 • 测试性能随着测试集的变化而变化 • 很多机器学习算法本身有一定的随机性
“调参”与最终模型
算法的参数：一般由人工设定，亦称“超参数” 模型的参数：一般由学习确定
调参过程相似：先产生若干模型，然后基于某种评估 方法进行选择 参数调得好不好对性能往往对最终性能有关键影响
区别：训练集 vs. 测试集 vs. 验证集 (validation set)
算法参数选定后，要用“训练集+验证集”重新训练最终模型
一般而言，偏差与方差存在冲突：
训练不足时，学习器拟合能 力不强，偏差主导
随着训练程度加深，学习器 拟合能力逐渐增强，方差逐 渐主导
训练充足后，学习器的拟合 能力很强，方差主导
前往第三站……
什么样的模型是“好”的，不仅取决于算法和数据， 还取决于任务需求
回归(regression) 任务常用均方误差：
错误率 vs. 精度
错误率：
精度：
查准率 vs. 查全率
查准率： 查全率：
PR图, BEP
根据学习器的预测结果按正例可能性大小对样例 进行排序，并逐个把样本作为正例进行预测
对回归任务，泛化误差可通过“偏差-方差分解”拆解为：
期望输出与真实 输出的差别
同样大小的训练集 的变动，所导致的 性能变化
表达了当前任务上任何学习算法 所能达到的期望泛化误差下界
训练样本的标记与 真实标记有区别
泛化性能是由学习算法的能力、数据的充分性以及学习任务 本身的难度共同决定
偏差-方差窘境 (bias-variance dillema)
2010年图灵奖
常用方法
统计假设检验 (hypothesis test) 为学习器性能比较提供了 重要依据
两学习器比较
统计显著性
交叉验证 t 检验 (基于成对 t 检验)
k 折交叉验证； 5x2交叉验证
McNemar 检验 (基于列联表，卡方检验)
多学习器比较 Friedman + Nemenyi • Friedman检验 (基于序值，F检验; 判断”是否都相同”) • Nemenyi 后续检验 (基于序值，进一步判断两两差别)
评估方法 性能度量 比较检验
评估方法
关键：怎么获得“测试集”(test set) ？
测试集应该与训练集“互斥”
常见方法：
留出法 (hold-out) 交叉验证法 (cross validation) 自助法 (bootstrap)
留出法
拥有的数据集
训练集
测试集
注意： 保持数据分布一致性 （例如: 分层采样) 多次重复划分 (例如: 100次随机划分) 测试集不能太大、不能太小 (例如：1/5~1/3)