第4章 支持向量机及其学习算法
支持向量机算法与应用
支持向量机算法与应用支持向量机(Support Vector Machine, SVM)是一种很常用的分类算法，它在分类和回归问题中表现出极高的性能，被广泛应用于机器学习和数据挖掘中。
本文将介绍支持向量机的基本概念、算法原理和应用场景。
一、基本概念1. SVM分类器SVM分类器是一种基于二分类的监督学习算法。
其主要原理是利用数据集进行训练，通过对数据的分析来建立一个模型，并用此模型来对新样本进行分类。
2. 超平面在SVM中，超平面是指将一个n维空间划分为两个部分的一个n-1维的平面。
在二维空间中，超平面就是一条直线。
在多维空间中，由于难以想象，所以通常使用非常高维度的空间来表示超平面。
3. 分类边界在SVM中，分类边界是指位于超平面两侧的两个边界。
这两个边界是可以调节的，可以根据数据点的分布来设置。
分类边界的目标是使位于不同分类的数据点最大化间隔，并尽可能地避免分类错误。
4. 支持向量在SVM中，支持向量是指与分类边界最接近的那些点。
这些点是分类边界的构成要素，也是构建分类器的关键。
二、算法原理支持向量机的核心思想是通过最大化分类边界的间隔来实现分类。
具体来说，原始的线性可分SVM问题可以表述为：在n维空间中，找到一个超平面，将不同类别的点尽可能分开。
这个超平面可以表示如下：w·x+b=0其中，w表示超平面的法向量，x表示数据点，b表示平面的截距。
当两类点都被正确分类时，超平面的分类间隔为2/‖w‖。
在这种情况下，数据点的分类可以表示为：y(w·x+b)>0其中y表示数据点的类别，+1或-1。
当数据集不能被完全分开时，就需要使用软间隔。
软间隔允许一些数据点被错误分类，并对公式进行修改。
具体来说，我们添加一个松弛变量ξi，使得y(w·x+b)≥1-ξi。
此时分类器的目标就是最小化误差的总和：min ||w||²/2+C∑ξis.t. y(w·x+b)≥1-ξi其中C是超参数，我们可以通过交叉验证等方法来确定它的值。
第4章 支持向量机及其学习算法
Slide 15
欠学习 风险
过学习 实际风险的界
置信范围
经验风险
h S1 S2 S3
S1 S 2 S3 函数集子集：
h1 h2 h3 VC维：
结构风险最小化示意图
File: /ram/wgchairs.sxi Date: 2014年5月14日星期三
保证置信范围最 小
File: /ram/wgchairs.sxi Date: 2014年5月14日星期三
Slide 20
i 1, 设训练样本输入为 xi ， 对应的期望输出为 yi 1,1
,l
d x R ， i
如果训练集中的所有向量均能被某超平面正确 划分，并且距离平面最近的异类向量之间的距 离最大（即边缘margin最大化），则该超平面 为最优超平面（Optimal Hyperplane ） 。
协同形成结构
竞争促进发展
支持向量机及其学习算法
合肥工业大学图像信息处理研究室
/organ/images/
File: /ram/wgchairs.sxi Date: 2014年5月14日星期三
Slide 1
主要内容
一、 二、 三、 四、 五、 六、 七、 历史背景 统计学习理论 支持向量机 支持向量机的分类学习算法 用于函数拟合的支持向量机 支持向量机算法的研究与应用 仿真实例
Slide 16
支持向量机 （Support Vector Machine，SVM）
90年代中期，在统计学习理论的基础上发展出 了一种通用的学习方法－－支持向量机。它根 据有限的样本信息在模型的复杂性和学习能力 之间寻求最佳折衷，以获得最好的泛化能力。
支持向量机算法的原理和应用
支持向量机算法的原理和应用支持向量机(Support Vector Machine, SVM)是一种基于统计学习理论的机器学习算法，它可以在数据集中找到一个最优超平面，将不同类别的样本分割开来。
在分类问题中，SVM通过构建一个超平面来对不同类别的样本进行分类；在回归问题中，SVM可以用来拟合非线性关系的数据。
SVM的核心思想是最大化间隔，即找到一个能够将不同类别的样本分隔开的超平面，使得两侧最近的样本点到超平面的距离最大。
这些最近的样本点被称为支持向量，它们决定了最终划分超平面的位置。
SVM的基本原理可以分为以下几个步骤：1.数据准备：首先需要对数据进行预处理，包括数据清洗、归一化、特征提取等。
2.特征选择：选择与分类问题相关的特征。
3.模型构建：构建SVM模型，选择适当的核函数、设置参数。
4.模型训练：使用已标记的训练样本进行模型训练，找到最佳的超平面。
5.模型预测：用训练好的模型对新样本进行预测，即将新样本进行分类。
SVM算法的应用非常广泛，主要包括以下几个方面：1.二分类问题：SVM在二分类问题中表现出色，特别适用于具有较大类别间距离且样本数目较少的情况。
例如，在垃圾邮件分类中，SVM可以将垃圾邮件和正常邮件进行有效地区分。
2.多分类问题：通过将多个二分类器组合起来，SVM可以用于解决多分类问题。
例如，在手写数字识别中，可以使用SVM对不同的数字进行分类。
3.异常检测：SVM可以用于异常检测，通过将异常样本与正常样本分开。
例如，在网络入侵检测中，SVM可以帮助识别潜在的入侵行为。
4.文本分类：SVM在文本分类问题中也有广泛的应用。
例如，在垃圾短信识别中，可以使用SVM对短信进行分类。
5.图像识别：SVM在图像识别问题中有很好的表现。
例如，在人脸识别中，可以使用SVM对不同人脸进行分类。
除了以上几个应用领域，SVM还可以应用于生物信息学、计算机视觉、自然语言处理等问题的解决。
尽管SVM算法在许多问题中都表现出色，但也存在一些限制。
支持向量机算法和应用
支持向量机算法和应用支持向量机（SVM）是一种非常具有优势的机器学习算法，可用于分类和回归任务。
它使用一种称为“核技巧”的方法将数据映射到高维空间，并在这些空间中查找超平面，以将数据集分为两类。
SVM算法已经在许多实际应用中成功应用，包括图像识别、文本分类、金融预测和医学诊断等领域。
SVM算法的原理支持向量机算法的基本原理是将数据点映射到高维空间中，然后找到一个超平面来区分它们。
超平面是一个n维空间（其中n表示特征维数）中的线性分隔面，可以将其视为一个二分类器。
在二维空间中，超平面是一条直线，可用于将两组数据分开。
但是，许多数据集不是线性可分的，这意味着无法在特征空间中找到一个超平面，以将数据集分成两类。
在这种情况下，SVM使用核技巧将数据映射到高维空间中，更准确地找到一个超平面。
SVM的支持向量是指离超平面最近的数据点。
它们在算法中发挥着重要的作用，因为它们可以确定超平面的位置。
支持向量机算法使用这些支持向量来最大化超平面和每个类之间的距离，从而实现最佳分类。
SVM算法的应用支持向量机算法已广泛应用于各个领域，以下是其中一些成功的案例。
1. 图像识别SVM算法在图像识别中独树一帜，因为它能够处理高维数据。
图像可以表示为像素点的向量，而每个像素点都可以表示为颜色或灰度值。
这些像素值可以用于训练SVM，从而识别不同的物体。
例如，支持向量机算法可以用于检测医学图像中的病变和肿瘤，并对其进行分类。
SVM也可以识别CAD图像中的零件，并将其分为不同的类别。
2. 文本分类支持向量机算法还可以用于文本分类。
它能够学习不同文本的特征，并在其文本分类时使用这些特征。
例如，当使用SVM将电子邮件分类为垃圾邮件或非垃圾邮件时，SVM算法会查找特定单词或短语，并将垃圾邮件与非垃圾邮件区分开来。
SVM也可以用于文本情感分析，例如，对于Twitter数据进行分析，判断用户发言是否为正面或负面情感。
在金融领域，SVM的应用范围也很广，可以帮助预测某家公司的股票是否值得购买。
支持向量机
支持向量机支持向量机，英文名为support vector machine，一般简称SVM，通俗来讲，它是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，其学习策略便是间隔最大化，最终可转化为一个凸二次规划（convex quadratic programming）问题的求解,支持向量机的学习算法是求解凸二次规划的最优化算法。
其方法包含构建由简到繁的模型：线性可分支持向量机、线性支持向量机和非线性支持向量机。
线性可分支持向量机假定一特征空间上的训练数据集T={(x1,y1),(x2,y2),⋯,(x N,y N)}，其中x i∈χ= R n,y i∈Y={+1,−1}，i=1,2,⋯,N，x i为第i个特征向量，也就是实例，y i为x i的类标记，当y i=+1时，称x i为正例；当y i=−1时，称x i为负例，(x i,y i)称为样本点。
再假设训练数据集是线性可分的，即存在某个超平面能够将正例和负例完全正确的分开，不妨设分离超平面方程为w∙x+b=0，法向量为w、截距为b。
一般地，当训练数据集线性可分时，存在无穷多个分离超平面可将两类数据正确分开，线性可分支持向量机利用间隔最大化求最优分离超平面，这是解是唯一的。
若最优分离超平面为w∗∙x+b∗=0,则分类决策函数为f(x)=sign(w∗∙x+b∗)。
在上图中，有A、B、C三个点，表示三个实例，设“。
”表示正类，“×”表示负类，则这三个点全在正类。
A距分类超平面较远，若预测该点为正类就比较确信预测是正确的；C距分类超平面较近，若预测该点为负类就不那么确信；B介于AC两者之间，预测为正类的确信度也在A与C之间。
故一般来说，点距离分离超平面的远近可以表示分类预测的确信程度。
在超平面w ∙x +b =0确定的情况下，|w ∙x +b |能够相对地表示点x 到超平面的远近，而w ∙x +b 的符号与类标记y 的符号是否一致可表示分类是否正确，所以y (w ∙x +b )可以来表示分类的真确性及确信度，我们称之为函数间隔。
支持向量机算法及其应用
支持向量机算法及其应用机器学习是一门研究如何让机器“学习”的科学，它通过计算机模拟人类学习的过程，来实现对数据的分析和预测。
在机器学习领域中，有一种重要的算法叫做支持向量机(Support Vector Machine，SVM)。
SVM是一种二分类模型，常用于分类和回归分析。
SVM的核心思想是将不同的样本点在高维空间中进行间隔最大化的分类。
这样可以减少误差，提高预测准确率。
当训练集中存在多于两类的样本时，SVM可以引入一些特殊的技巧来进行多分类。
对于线性可分的情况，SVM的分类效果是最好的。
但对于非线性可分的情况，SVM需要进行核函数变换，使得数据能够在更高维度下进行分类。
常用的核函数有多项式核函数、径向基函数、Sigmoid核函数等。
在实际应用中，SVM有许多成功的应用案例，下面介绍一些典型应用。
1. 图像识别图像识别是SVM的代表性的应用之一。
在动态人脸识别中，SVM常常被用来判断人脸是否领先背景。
通过选取适当的核函数和参数，SVM可以有效地提高识别率。
2. 文本分类SVM在文本分类任务中也表现出色。
它可以根据文本特征分析，将文本分为不同的类别。
比如，基于SVM算法的垃圾邮件过滤系统可以准确地识别垃圾邮件并将其加入黑名单。
3. 生物医学数据处理生物医学数据处理是SVM的更为紧密运用之一。
SVM可以通过处理生物医学数据，例如基因表达数据、疾病诊断数据等，来辅助医生进行诊断和治疗。
4. 金融数据预测SVM还常被用来处理金融数据。
通过对股票的走势进行分析和预测，SVM可以帮助投资者制定更加科学合理的投资策略。
总的来说，SVM作为一种监督学习算法，早已成为机器学习领域的重要存在。
它不仅在理论上提出了支持向量分类算法，而且在应用上已经被证明是一种非常有效的分类算法。
未来，SVM在数据挖掘、推荐系统、网络安全等领域，还有着广阔的应用前景。
支持向量机原理
支持向量机原理支持向量机（Support Vector Machine，SVM）是一种二分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器。
支持向量机的学习策略是间隔最大化，可形式化为一个求解凸二次规划问题。
SVM是一种分类算法，它的基本原理是找到一个超平面，将不同类别的数据分隔开来，使得两个类别的数据点到超平面的距离最大化。
支持向量机的原理主要包括间隔、支持向量、对偶问题和核函数等几个方面。
首先，我们来看支持向量机的间隔。
在支持向量机中，间隔是指两个异类样本最近的距离，而支持向量机的目标就是要找到一个超平面，使得所有样本点到这个超平面的距离最大化。
这个距离就是间隔，而支持向量机的学习策略就是要最大化这个间隔。
其次，支持向量机的支持向量。
支持向量是指离超平面最近的那些点，它们对超平面的位置有影响。
支持向量决定了最终的超平面的位置，而其他的点对超平面的位置没有影响。
因此，支持向量是支持向量机模型的关键。
然后，我们来看支持向量机的对偶问题。
支持向量机的原始问题是一个凸二次规划问题，可以通过求解对偶问题来得到最终的分类超平面。
通过对偶问题，我们可以得到支持向量的系数，从而得到最终的分类超平面。
最后，我们来看支持向量机的核函数。
在实际应用中，很多时候样本不是线性可分的，这时就需要用到核函数。
核函数可以将原始特征空间映射到一个更高维的特征空间，使得样本在这个高维特征空间中线性可分。
常用的核函数有线性核、多项式核和高斯核等。
综上所述，支持向量机是一种非常强大的分类算法，它通过最大化间隔来得到最优的分类超平面，支持向量决定了最终的超平面的位置，对偶问题可以通过求解对偶问题来得到最终的分类超平面，而核函数可以处理非线性可分的情况。
支持向量机在实际应用中有着广泛的应用，是一种非常重要的机器学习算法。
希望本文对支持向量机的原理有所帮助，让读者对支持向量机有更深入的理解。
支持向量机作为一种经典的机器学习算法，有着重要的理论意义和实际应用价值。
支持向量机(SVM)原理详解
支持向量机（SVM）原理详解支持向量机(Support Vector Machine, SVM)是一种机器学习算法，用于二分类和多分类问题。
它的基本思想是寻找一个超平面，能够将不同类别的数据分隔开来，并且与最近的数据点之间的间隔最大。
一、原理概述：SVM的基本原理是将原始数据映射到高维空间中，使得在该空间中的数据能够线性可分，然后在高维空间中找到一个最优的超平面。
对于线性可分的情况，SVM通过最大化分类边界与最近数据点之间的距离，并将该距离定义为间隔，从而使分类边界具有更好的泛化能力。
二、如何确定最优超平面：1.线性可分的情况下：SVM寻找一个能够将不同类别的数据分开的最优超平面。
其中，最优超平面定义为具有最大间隔(margin)的超平面。
间隔被定义为超平面到最近数据点的距离。
SVM的目标是找到一个最大化间隔的超平面，并且这个超平面能够满足所有数据点的约束条件。
这可以通过求解一个凸二次规划问题来实现。
2.线性不可分的情况下：对于线性不可分的情况，可以使用一些技巧来将数据映射到高维空间中，使其线性可分。
这种方法被称为核技巧(kernel trick)。
核技巧允许在低维空间中计算高维空间的内积，从而避免了直接在高维空间中的计算复杂性。
核函数定义了两个向量之间的相似度。
使用核函数，SVM可以在高维空间中找到最优的超平面。
三、参数的选择：SVM中的参数有两个主要的方面：正则化参数C和核函数的选择。
1.正则化参数C控制了分类边界与数据点之间的权衡。
较大的C值将导致更少的间隔违规，增加将数据点分类正确的权重，可能会导致过拟合；而较小的C值将产生更宽松的分类边界，可能导致欠拟合。
2.核函数选择是SVM中重要的一步。
根据问题的特点选择合适的核函数能够更好地处理数据，常用的核函数有线性核函数、多项式核函数和高斯核函数等。
四、优缺点：SVM有以下几个优点：1.在灵活性和高扩展性方面表现出色，尤其是在高维数据集上。
2.具有良好的泛化能力，能够很好地处理样本数量较少的情况。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Slide 18
保证最终所获得的分割平面位于两个类别的中 心对于分类问题的实际应用是很重要的。支持 向量机方法很巧妙地解决了这一问题。 该方法的机理可以简单描述为：寻找一个满足 分类要求的最优分类超平面，使得该超平面在 保证分类精度的同时，能够使超平面两侧的空 白区域最大化；从理论上来说，支持向量机能 够实现对线性可分数据的最优分类。为了进一 步解决非线性问题，Vapnik等人通过引入核映 射方法转化为高维空间的线性可分问题来解 决。
File: /ram/wgchairs.sxi Date: 2014年5月14日星期三
Slide 21
支持向量 Support Vector
最优分类面示意图
File: /ram/wgchairs.sxi Date: 2014年5月14日星期三
Slide 22
其中距离超平面最近的异类向量被称为支持向 量（Support Vector），一组支持向量可以唯 一确定一个超平面。SVM是从线性可分情况下 的最优分类面发展而来，其超平面记为： wxb 0
其中 i ＞ 0为Lagrange乘数。约束最优化问题的解由Lagrange函 数的鞍点决定。
File: /ram/wgchairs.sxi Date: 2014年5月14日星期三
File: /ram/wgchairs.sxi Date: 2014年5月14日星期三
Slide 19
最优分类超平面
（Optimal Hyperplane ）
对于两类线性可分的情形，可以直接构造最优 超平面，使得样本集中的所有样本满足如下条 件： （1）能被某一超平面正确划分； （2）距该超平面最近的异类向量与超平面之间 的距离最大，即分类间隔（margin ）最大； 以上两个条件体现了结构风险最小化（SRM） 的原则。 保证经验风险最小
Slide 16
支持向量机 （Support Vector Machine，SVM）
90年代中期，在统计学习理论的基础上发展出 了一种通用的学习方法－－支持向量机。它根 据有限的样本信息在模型的复杂性和学习能力 之间寻求最佳折衷，以获得最好的泛化能力。
支持向量机在很多机器学习问题的应用中已初 步表现出很多优于已有方法的性能。
File: /ram/wgchairs.sxi Date: 2014年5月14日星期三
Slide 15
欠学习 风险
过学习 实际风险的界
置信范围
经验风险
h S1 S2 S3
S1 S 2 S3 函数集子集：
h1 h2 h3 VC维：
结构风险最小化示意图
File: /ram/wgchairs.sxi Date: 2014年5月14日星期三
Slide 5
机器学习问题的表示
基于数据的机器学习是现有智能技术中的重要 方面，其研究的实质是根据给定的训练样本求 出对系统输入输出之间依赖关系的估计，使它 能对未知样本的输出做出尽可能准确的预测。
File: /ram/wgchairs.sxi Date: 2014年5月14日星期三
Slide 6
保证置信范围最 小
File: /ram/wgchairs.sxi Date: 2014年5月14日星期三
Slide 20
i 1, 设训练样本输入为 xi ， 对应的期望输出为 yi 1,1
,l
d x R ， i
如果训练集中的所有向量均能被某超平面正确 划分，并且距离平面最近的异类向量之间的距 离最大（即边缘margin最大化），则该超平面 为最优超平面（Optimal Hyperplane ） 。
Return
Slide 4
File: /ram/wgchairs.sxi Date: 2014年5月14日星期三
统计学习理论
（ Statistical Learning Theory ，SLT）
机器学习的基本问题 统计学习理论
File: /ram/wgchairs.sxi Date: 2014年5月14日星期三
File: /ram/wgchairs.sxi Date: 2014年5月14日星期三
Slide 11
函数集的VC维 （Vapnik Chervonenkis Dimension ）
模式识别方法中VC维的直观定义是：对于一 个指标函数集，如果存在n个样本能够被函数 集中的函数按所有可能的2h 种形式分开， 则称 函数集能够把n个样本打散；函数集的VC维就 是它能打散的最大样本数目h。有界实函数的 VC维可以通过用一定的阈值将其转化为指示 函数来定义。 VC维反映了函数集的学习能力，VC维越大则 学习机器越复杂（学习能力越强）。
协同形成结构
竞争促进发展
支持向量机及其学习算法
合肥工业大学图像信息处理研究室
/organ/images/
File: /ram/wgchairs.sxi Date: 2014年5月14日星期三
Slide 1
主要内容
一、 二、 三、 四、 五、 六、 七、 历史背景 统计学习理论 支持向量机 支持向量机的分类学习算法 用于函数拟合的支持向量机 支持向量机算法的研究与应用 仿真实例
File: /ram/wgchairs.sxi Date: 2014年5月14日星期三
Slide 8
事实上，从期望风险最小化到经验风险最小化 并没有可靠的理论依据，只是直观上合理的想 当然做法。 经验风险最小化原则不成功的一个例子就是神 经网络的过学习问题:训练误差（经验风险） 过小反而会导致推广能力的下降，即真实误差 （期望风险）的增加。 出现过学习现象的原因主要是由于学习样本不 充分和学习机器设计不合理。
File: /ram/wgchairs.sxi Date: 2014年5月14日星期三
Slide 12
推广性的界
统计学习理论系统地研究了各种类型函数集的 经验风险（即训练误差）和实际风险（即期望 风险）之间的关系，即推广性的界。 关于两类分类问题有如下结论：对指示函数集 中的所有函数，经验风险和实际风险之间至少 以概率1 满足如下关系：
File: /ram/wgchairs.sxi Date: 2014年5月14日星期三
Slide 17
支持向量机的理论最初来自于对数据分类问题 的处理。对于线性可分数据的二值分类，如果 采用多层前向网络来实现，其机理可以简单描 述为：系统随机的产生一个超平面并移动它， 直到训练集合中属于不同类别的点正好位于该 超平面的不同侧面，就完成了对网络的设计要 求。但是这种机理决定了不能保证最终所获得 的分割平面位于两个类别的中心，这对于分类 问题的容错性是不利的。
F x,al Risk Minimization ，ERM）
实际应用中，一般根据概率论中的大数定理， 即采用下式的算术平均来逼近期望风险。
1 n Remp L yi , f xi , n i 1
用对参数 求经验风险 Remp 的最小值代替求 期望风险 R 的最小值。
File: /ram/wgchairs.sxi Date: 2014年5月14日星期三
h R Remp 可以简单的表示为： l
Slide 14
结构风险最小化
（Structural Risk Minimization，SRM） 经验风险最小化原则在样本有限（即 h l 较大）时 是不合理的，此时一个小的经验风险值并不能保 证小的实际风险值。为解决此问题，就需要在保 证分类精度（即减小经验风险）的同时，降低学 习机器的VC维，从而使得学习机器在整个样本集 上的期望风险得到控制，这就是结构风险最小化 （SRM）原则的基本思想。 结构风险最小化为我们提供了一种不同于经验风 险最小化的更科学的学习机器设计原则，显然， 利用结构风险最小化原则的思想，就可以完美解 决神经网络中的过学习问题。支持向量机方法实 际上就是这种思想的具体实现。
File: /ram/wgchairs.sxi Date: 2014年5月14日星期三
Slide 2
传统统计学是一种渐进理论，研究的是样本数 目趋于无穷大时的极限特性。 现有的学习方法多基于传统统计学理论，但在 实际应用中，样本往往是有限的，因此一些理 论上很优秀的学习方法在实际中的表现却不尽 人意，存在着一些难以克服的问题，比如说如 何确定网络结构的问题、过学习问题、局部极 小值问题等，从本质上来说就是因为理论上需 要无穷样本与实际中样本有限的矛盾造成的。
Slide 23
可以计算出分类间隔为 2 w ，因此构造最优超平面的 问题就转化为在约束式下求：
1 min w w 2
2
1 w w 2
为了解决这个约束最优化问题，引入下式所示的 Lagrange函数： l l 1 2 L w i yi xi w b i 2 i 1 i 1
定义期望风险：
R L y, f x , dF x , y
f x,
L y, f x,
－－预测函数集 －－广义参数 －－损失函数 －－联合概率分布
File: /ram/wgchairs.sxi Date: 2014年5月14日星期三
实际 风险
hln2l h 1 ln 4 R Remp l
其中h是函数集的VC维，l是样本数。
置信范围
File: /ram/wgchairs.sxi Date: 2014年5月14日星期三
Slide 13
学习机器的实际风险由两部分组成：
经验风险Remp ，即训练误差； 置信范围（Confidence Interval） 它表明在有限样本训练下，学习机VC维越高 （机器的复杂性越高），则置信范围越大， 导致真实风险与经验风险之间可能的差别越 大。这就是为什么出现过学习现象的原因。