(完整版)第七章机器学习人工智能课程北京大学
(完整版)第七章机器学习
第七章机器学习7-1 什么是学习和机器学习?为什么要研究机器学习?按照人工智能大师西蒙的观点，学习就是系统在不断重复的工作中对本身能力的增强或者改进，使得系统在下一次执行同样任务或类似任务时，会比现在做得更好或效率更高。
机器学习是研究如何使用机器来模拟人类学习活动的一门学科，是机器学习是一门研究机器获取新知识和新技能，并识别现有知识的学问。
这里所说的“机器”，指的就是计算机。
现有的计算机系统和人工智能系统没有什么学习能力，至多也只有非常有限的学习能力，因而不能满足科技和生产提出的新要求。
7-2 试述机器学习系统的基本结构，并说明各部分的作用。
环境向系统的学习部分提供某些信息，学习部分利用这些信息修改知识库，以增进系统执行部分完成任务的效能，执行部分根据知识库完成任务，同时把获得的信息反馈给学习部分。
影响学习系统设计的最重要的因素是环境向系统提供的信息。
更具体地说是信息的质量。
7-3 试解释机械学习的模式。
机械学习有哪些重要问题需要加以研究?机械学习是最简单的机器学习方法。
机械学习就是记忆，即把新的知识存储起来，供需要时检索调用，而不需要计算和推理。
是最基本的学习过程。
任何学习系统都必须记住它们获取的知识。
在机械学习系统中，知识的获取是以较为稳定和直接的方式进行的，不需要系统进行过多的加工。
要研究的问题：(1) 存储组织信息只有当检索一个项目的时间比重新计算一个项目的时间短时，机械学习才有意义，检索的越快，其意义也就越大。
因此，采用适当的存储方式，使检索速度尽可能地快，是机械学习中的重要问题。
(2) 环境的稳定性与存储信息的适用性问题机械学习基础的一个重要假定是在某一时刻存储的信息必须适用于后来的情况(3) 存储与计算之间的权衡如果检索一个数据比重新计算一个数据所花的时间还要多，那么机械学习就失去了意义。
7-4 试说明归纳学习的模式和学习方法。
归纳是一种从个别到一般，从部分到整体的推理行为。
归纳学习的一般模式为：给定：观察陈述(事实)F，假定的初始归纳断言(可能为空)，及背景知识求：归纳断言(假设)H，能重言蕴涵或弱蕴涵观察陈述，并满足背景知识。
AI7章机器学习.ppt
规则1：花色(c1，x) ∧ 花色(c2，x) ∧ 花色(c3，x) ∧ 花色(c4，x)∧ 花色(c5， x)→ 同花(c1, c2, c3, c4, c5)
15
7.3.1 示例学习
3. 示例学习的解释方法(4/5)
11
7.3.1 示例学习
2. 示例学习的模型
示例空间 是我们向系统提供的示教例子的集合。研究问题：例子质量，搜索方法。 解释过程 是从搜索到的示例中抽象出一般性的知识的归纳过程。解释方法：常量转 换为变量，去掉条件，增加选择，曲线拟合等。 规则空间 是事务所具有的各种规律的集合。研究问题：对空间的要求，搜索方法 验证过程 是要从示例空间中选择新的示例，对刚刚归纳出的规则做进一步的验证和 修改。
17
7.3.2 决策树学习
1. 决策树的概念(1/2)
是一种由节点和边构成的用来描述分类过程的层次数据结构。该树的根接 点表示分类的开始，叶节点表示一个实例的结束，中间节点表示相应实例中 的某一属性，而边则代表某一属性可能的属性值。
在决策树中，从根节点到叶节点的每一条路径都代表一个具体的实例，并 且同一路径上的所有属性之间为合取关系，不同路径（即一个属性的不同属 性值）之间为析取关系。
2
7.1.1 学习和机器学习
2. 机器学习的概念
一般性解释 机器学习就是让机器（计算机）来模拟和实现人类的学习功能。 主要研究内容 认知模拟 主要目的是要通过对人类学习机理的研究和模拟，从根本上解决 机器学习方面存在的种种问题。 理论性分析 主要目的是要从理论上探索各种可能的学习方法，并建立起独立 于具体应用领域的学习算法。 面向任务的研究 主要目的是要根据特定任务的要求，建立相应的学习系统。
AI第7章-机器学习
2、机械学习的主要问题
存储组织信息：采用适当的存储方式，使检索速度尽可能地快。
提高检索效率：索引、排序、杂凑。 环境的稳定性与存储信息的适用性问题：必须保证所保存的信息要适应
于外界环境变化的需要。
知识过时：设臵有效期。 存储与计算之间的权衡：不能降低系统的效率。 重新计算比检索更有效率时，检索失去意义。 方法：设臵存储量阀值，选择忘却。
顾名思义,机器学习是研究如何使用机器，来模拟人类 学习活动的一门学科。 稍为严格的提法：机器学习是一门研究机器获取新知 识和新技能，并识别现有知识的学问。
综上所述，机器学习的基本定义：
机器学习是研究机器模拟人类的学习活动、获取知识 和技能的理论和方法，以改善系统性能的学科。
7.1.2 机器学习的发展史
Artificial Intelligence (AI)
人工智能
第七章 机器学习
Machine Learning
内容提要
1、机器学习的基本概念
2、机器学习策略与基本结构 3、机械学习 4、归纳学习 5、决策树 6、类比学习 7、解释学习 8、神经网络学习 9、其他
从人工智能的发展过程看，机器学习是继专家系统之 后，人工智能应用的又一重要领域，也是人工智能和神经 计算的核心研究课题之一。 现有的计算机系统和人工智能系统，大多数没有什么 学习能力，至多也只有非常有限的学习能力，因而无法满 足科技和生产提出的新要求。
用“小”、“中”、“大”分别代表：
“＜21”、“≥21且≤25”、“＞25” 三个年龄段。
对于S，我们按属性“性别”的不同取值将其分类。这 时S 应被分类为两个子集： S1={(3,C),(4,B),(7,C),(8,B),(11,B),(12,B)} 男
第-07-章--机器学习-人工智能课件.
作业
消除候选者算法应用示例
例 7.2
对例7.1给出的概念空间，应用消除候选者学习 算法，说明学习得到一般概念“圆”的学习步骤和 学习结果。
已知概念空间：
消除候选者算法应用示例
(x y)
square)
(x circle)
从属性表中删去检测属性height，故新的属性表为： AttrList={hair, eyes}
至此，生成的决策树如图所示：
height
short
tall
T1
T2
2）由于T1和T2中的实例的分类结果仍有两种，故需按新的属性表递归构造T1和T2的子树。 若选取新属性表中的属性hair作为第2个检测属性，由于hair的值域ValueType(hair) = {blond,
G = { (small y), (x circle) }
消除候选者算法应用示例
4）此时有G≠S，若再提供一个正例(large circle) 直接删去 G 中与提供的正例 (large circle) 不相容的元素 (small y)，
故有：G={(x circle)} 对S中的元素尽可能小地一般化，使其与提供的正例相容，删去S中
假设需要根据人员的外貌特征对人员进行分类，用于人员分类的外 貌特征有3个，它们组成人员分类属性表为： AttrList = { height, hair, eyes }
各属性的值域分别为： ValueType(height) = { short, tall } ValueType(hair) = { blond, red, dark } ValueType(eyes) = { blue, brown }
red, dark}，有3个取值，故将T1分为3个子集：T11、T12和T13，将T2也分为3个子集T21、T22和 T23 ： T11={< (short, blond, blue), + >, < (short, blond, brown), — >} T12={ } T13={< (short, dark, blue), — >} T21={< (tall, blond, brown), — >, < (tall, blond, blue), + >} T22={< (tall, red, blue), + >} T23={< (tall, dark, blue), — >, < (tall, dark, brown), — >}
人工智能7第七章机器学习
2019/11/28
14
第七章机器学习 确定参数 w
如何训练模型（确定w） 因为是线性模型 风险函数选择误差平方和 我们要确定w，使风险最小
R(w)
1 2
N n 1
( y(xn , w)
tn )2
2019/11/28
7.1概述
15
第七章机器学习
7.1概述
多项式次数M的选择
欠拟合：
其主要内容包括如下四个方面：
①经验风险最小化原则下统计学习一致性的条件； ②在这些条件下关于统计学习方法推广性的界的结论； ③在这些界的基础上建立的小样本归纳推理原则； ④实现这些新的原则的实际方法。
2019/11/28
21
第七章机器学习
7.1概述
学习过程一致性
学习一致性的结论是统计学习理论的基础 一致性条件，保证在经验风险最小化原则下得到的最优方法当 样本无穷大时趋近于使期望风险最小的最优结果。 学习过程的一致性：
31
第七章机器学习 对推广性界的说明
7.1概述
推广性的界是对于最坏情况的结论
给出的界在很多情况下是松弛的，尤其当VC维比较 高时更是如此。
VC维无穷大时这个界就不再成立
2019/11/28
11
第七章机器学习
7.1概述
推广能力（泛化能力）
学习机器对未来输出进行正确预测的能力称为
推广能力（或泛化能力）。
在某些情况下，当训练误差过小反而会导致推广能 力的下降
这就是过学习问题。
出现过学习现象的原因：
一是因为学习样本不充分； 二是学习机器设计不合理。 这两个问题是互相关联的。
第七章机器学习
7.1概述
VC维
北大人工智能课程设置
北京大学的人工智能课程设置，主要包括以下几个方面：
1. 人工智能专业课程：包括人工智能导论、机器学习、深度学习、自然语言处理、计算机视觉等。
这些课程是人工智能专业的基础课程，涵盖了人工智能的基本概念、算法、技术及应用。
2. 数学基础课程：包括概率论、统计学、线性代数、微积分等。
这些课程为人工智能专业提供了数学基础，是进行人工智能研究和应用的重要支撑。
3. 编程基础课程：包括Python编程、数据结构与算法等。
这些课程为学生提供了编程基础，帮助学生掌握人工智能领域的编程技能。
4. 其他相关课程：包括人工智能伦理、人工智能法律法规等。
这些课程有助于学生了解人工智能的社会影响和法律责任。
此外，北京大学还设置了跨学科的人工智能课程，如“人工智能+X”系列课程，这些课程将人工智能与其他学科领域相结合，如医学影像分析、智能交通等，以促进跨学科的人工智能研究和应用。
总之，北京大学的人工智能课程设置旨在为学生提供全面的知识和技能，以培养具有国际视野和创新能力的人工智能人才。
人工智能基础 第7章 机器学习
07 PART/
机器学习
机器学习（Machine Learning）属于人工智能领域，其重 点是开发用于自动获取知识的原理和技术。人工智能是研究人 类智能活动规律的一门学科。
学习目标 1. 了解机器学习的概念以及研究目标。 2. 熟知机器学习常用的方法。 3. 了解机器学习的发展历史。 4. 理解监督学习、无监督学习、半监督学习等常见 机器学习方法。
7.3 机器学习的发展
7.3.3 学习期
80 年代，R.S.Michalski 等人和 E.A.Feigenbaum 等人在著名的《人工智能手册》中把机器学 习划分为如下部分： （1）R.S.Michalsk 等人提出从样例中学习，在问题求解和规划中学习，通过观察和发现学习，从 指令中学习。 （2）E.A.Feigenbaum 等人提出归纳学习、机械学习、类比学习、示教学习。从样例中学习对应 广义的“归纳学习”，即从训练样本中归纳出学习结果。
7.3 机器学习的发展
7.3.3 学习期 3. 统计学习支持向量 SVM
90 年代中期，统计学习迅速崛起，支持向量机 SVM 成为其代表性技术。21 世纪初，深度学习 快速发展，深度学习狭义的解释就是多层神经网络。计算机硬件处理技术与数据存储技术的发展， 给深度学习带来了更加广阔的发展和应用，深度学习技术快速席卷了整个人工智能领域。处理器技 术的发展也使得人工智能能够在数据和高运算能力下发挥它的作用。
4 专家系统 Expert system.
5 自然语言处理 Natural language processing.
6 深度学习 Deep learning.
人工智能7第七章机器学习
2019/11/18
11
第七章机器学习
7.1概述
推广能力（泛化能力）
学习机器对未来输出进行正确预测的能力称为
推广能力（或泛化能力）。
在某些情况下，当训练误差过小反而会导致推广能 力的下降
这就是过学习问题。
出现过学习现象的原因：
一是因为学习样本不充分； 二是学习机器设计不合理。 这两个问题是互相关联的。
0 L( y, f (x, w)) 1
if x f (x, w) if x f (x, w)
207.1概述
函数逼近问题的损失函数
y是连续变量，是x的函数 f(x,w)是实函数 损失函数可定义为
L( y, f (x, w)) ( y f (x, w))2
H(n)=E(In(N(Zn))) (与样本无关)
由于VC熵与样本的分布有关
生长函数： G(n)=In(max(N(Zn)))
2019/11/18
25
第七章机器学习
退火的VC熵
定义为：Hann(n)=In(E(N(Zn))) ∵Jensen不等式∑aiInxi≤In(∑aixi) ∴H(n)≤Hann(n)≤G(n)≤nIn2
数据集越大，拟合数据的模型就越灵活
2019/11/18
19
第七章机器学习
7.1概述
预测函数复杂性与泛化能力
从前例可以看出：
“最优拟合函数”不一定能正确代表原来的函数模型。
原因是：
用一个复杂的模型去拟合有限的样本， 结果就会丧失推广能力。
有限样本下学习机器的复杂性与推广性之间的矛盾。 有时，已知问题是某个比较复杂的模型：
对数据拟合差
表示性差 过拟合：
《人工智能》课程教案完整版
一、教学内容二、教学目标2. 学会运用机器学习算法解决实际问题，了解神经网络的优缺点。
3. 培养学生的动手实践能力，提高编程技能。
三、教学难点与重点1. 教学难点：神经网络的结构与工作原理，反向传播算法。
2. 教学重点：机器学习算法的应用，神经网络的训练与优化。
四、教具与学具准备1. 教具：PPT、黑板、粉笔。
2. 学具：计算机、Python编程环境、相关库（如numpy、matplotlib等）。
五、教学过程2. 知识讲解：（2）介绍机器学习的基本概念、分类及常用算法。
（3）讲解神经网络的基本结构、工作原理及反向传播算法。
3. 例题讲解：（1）运用机器学习算法解决分类问题。
（2）神经网络在手写数字识别中的应用。
4. 随堂练习：让学生动手编写代码，实现机器学习算法和神经网络模型。
六、板书设计1. 机器学习基本概念、分类及算法。
2. 神经网络结构、工作原理及反向传播算法。
3. 例题及代码框架。
七、作业设计1. 作业题目：（1）运用机器学习算法，实现一个简单的分类器。
（2）搭建一个简单的神经网络，进行手写数字识别。
2. 答案：见附件。
八、课后反思及拓展延伸1. 反思：关注学生在课堂上的表现，及时发现问题，调整教学方法。
2. 拓展延伸：（1）深入学习其他机器学习算法，如支持向量机、决策树等。
（2）研究神经网络在图像识别、自然语言处理等领域的应用。
重点和难点解析1. 神经网络的结构与工作原理2. 反向传播算法3. 机器学习算法的应用4. 神经网络的训练与优化5. 作业设计与实践操作详细补充和说明：一、神经网络的结构与工作原理1. 神经元模型：每个神经元接收来自其他神经元的输入信号，经过加权求和后，通过激活函数产生输出。
2. 层次结构：神经网络通常分为输入层、隐藏层和输出层。
输入层接收外部数据，隐藏层进行特征提取和转换，输出层输出预测结果。
3. 激活函数：常用的激活函数有Sigmoid、ReLU等，它们决定了神经元的输出特性。
(2024年)(完整版)人工智能介绍课件
多层感知器（MLP）
由多个神经元组成的多层网络，具有 强大的分类和回归能力。
2024/3/26
12
卷积神经网络（CNN）
01
02
03
卷积层
通过卷积核提取输入数据 的局部特征，实现参数共 享和稀疏连接。
2024/3/26
池化层
降低数据维度，提高模型 泛化能力，如最大池化、 平均池化等。
全连接层
将卷积层和池化层提取的 特征进行整合，输出最终 结果。
13
循环神经网络（RNN）
01
循环神经单元
具有记忆功能，能够处理序列数 据，如LSTM、GRU等。
02
时间步
将序列数据按照时间顺序输入到 循环神经单元中，实现信息的传 递和积累。
03
序列到序列（ Seq2Seq）
由编码器和解码器组成的模型结 构，实现输入序列到输出序列的 映射。
2024/3/26
14
深度确定性策略梯度（ Deep Deterministic Policy Gradient, DDPG ）
10
2024/3/26
03
CATALOGUE
深度学习技术与应用
11
神经网络模型
神经元模型
模拟生物神经元结构和功能，实现输 入到输出的非线性映射。
激活函数
引入非线性因素，提高神经网络的表 达能力，如ReLU、Sigmoid等。
第二次浪潮
20世纪90年代至21世纪初，随着计算机技术的飞速发展 和大数据时代的到来，机器学习、深度学习等算法取得重 大突破，人工智能开始进入快速发展阶段。
第三次浪潮
21世纪初至今，人工智能技术在语音识别、图像识别、 自然语言处理等领域取得显著成果，并开始渗透到金融、 医疗、教育等各行各业。
人工智能机器学习课件
进入21世纪后，随着大数据和深度学习技术的快速发 展，机器学习得到了广泛的应用和推广，成为了人工
智能领域最热门的研究方向之一。
机器学习的应用领域
计算机视觉
自然语言处理
数据挖掘
医学诊断
机器学习在计算机视觉领域有 着广泛的应用，如图像分类、 目标检测、人脸识别等。
机器学习也被广泛应用于自然 语言处理领域，如机器翻译、 情感分析、智能问答等。
机器学习可以帮助企业从海量 数据中挖掘出有价值的信息， 如用户行为分析、市场趋势预 测等。
机器学习在医学领域也得到了 广泛的应用，如疾病预测、医 学影像分析等。此外，机器学 习还可以应用于金融风控、智 能推荐、农业智能化等领域。
模型鲁棒性
模型对输入数据的微小变化应具有一定的稳定性， 以保证泛化能力。
迁移学习能力
将在一个任务上学到的知识迁移到其他相关任务 上的能力，有助于提高模型泛化性。
计算资源与效率问题
计算资源需求
深度学习模型通常需要大量的计算资源，包括高性能计算机、 GPU和TPU等。
模型训练时间
大型模型训练时间长，需要优化算法和分布式计算等技术来提高效 率。
详细讲解协同过滤、内容推荐、 混合推荐等推荐算法的原理和实
现。
实例分析
阐述用户画像的构建方法和精准 营销的策略，包括用户分群、个
性化推荐等。
用户画像与精准营销
介绍推荐系统的评估指标和优化方 法，如准确率、召回率、F1值等， 以及A/B测试等实验设计方法。
推荐系统评估与优化
通过具体案例，如电商推荐系统、 广告投放系统等，展示机器学习在 推荐系统与精准营销领域的实践应 用。
《人工智能》课程精品教案
一、教学内容二、教学目标1. 理解机器学习的定义，掌握其主要类型和基本过程。
2. 了解机器学习在实际应用场景中的作用，提高学生的实际操作能力。
3. 培养学生的创新意识和团队协作精神。
三、教学难点与重点难点：机器学习的类型及其应用场景。
重点：机器学习的定义、基本过程。
四、教具与学具准备1. 教具：PPT、黑板、粉笔。
2. 学具：笔记本电脑、教材、笔记本。
五、教学过程（1）展示案例：人脸识别、智能语音等。
（2）提问：这些应用是如何实现的？2. 基本概念讲解（1）讲解机器学习的定义。
（2）介绍机器学习的类型：监督学习、无监督学习、半监督学习、增强学习。
（3）阐述机器学习的基本过程：数据预处理、特征工程、模型选择与训练、模型评估与优化。
3. 实践情景引入（1）以垃圾分类为例，介绍机器学习在现实生活中的应用。
（2）引导学生思考：如何利用机器学习解决垃圾分类问题？4. 例题讲解（1）讲解监督学习中的线性回归。
（2）通过具体例题，演示线性回归模型的建立、训练和预测过程。
5. 随堂练习（1）让学生在纸上手推线性回归公式。
（2）利用教材中的数据，让学生进行实际操作，训练并评估线性回归模型。
（2）拓展：介绍机器学习在其他领域的应用，如计算机视觉、自然语言处理等。
六、板书设计1. 机器学习的定义、类型、基本过程。
2. 线性回归模型的建立、训练和预测过程。
3. 课堂练习：线性回归公式推导。
七、作业设计1. 作业题目：利用机器学习实现手写数字识别。
2. 作业要求：提交代码和实验报告。
八、课后反思及拓展延伸1. 反思：本节课的教学效果，学生掌握程度，教学过程中的不足。
2. 拓展延伸：引导学生了解机器学习的前沿技术，如深度学习、神经网络等，激发学生的科研兴趣。
重点和难点解析1. 教学目标中的难点和重点。
2. 实践情景引入的选择与应用。
3. 例题讲解的深度和广度。
4. 作业设计的针对性和实践性。
详细补充和说明：一、教学目标中的难点和重点（1）难点：机器学习的类型及其应用场景。
(完整版)人工智能基础课程
(完整版)基础课程----------------------------------------------------基础课程----------------------------------------------------1.课程介绍1.1.课程目标1.2.学习内容概述1.3.学习时间安排2.概述2.1.定义2.2.的发展历程2.3.的应用领域3.机器学习基础3.1.机器学习概述3.2.监督学习3.3.无监督学习3.4.强化学习4.深度学习基础4.1.深度学习概述4.2.神经网络原理4.3.常见的深度学习模型4.4.深度学习在视觉任务中的应用5.自然语言处理5.1.自然语言处理概述5.2.文本预处理5.3.词袋模型与TF-IDF特征表示5.4.词嵌入与文本分类6.图像处理与计算机视觉6.1.图像处理与计算机视觉概述6.2.图像特征提取6.3.目标检测与图像分类6.4.图像与风格迁移7.伦理与法律7.1.伦理7.2.法律法规概述7.3.的隐私和安全问题7.4.道德准则与规范附件：附件1.机器学习算法代码示例附件2.深度学习框架安装指南附件3.自然语言处理数据集法律名词及注释：1.：指通过模拟人类智能的技术和方法，使机器能够完成类似于人类智能的任务，包括知识获取、推理、决策、感知和语言处理等。
2.监督学习：一种机器学习方法，通过给定输入数据和对应的标签，让机器学习模型从中学习并进行预测。
3.无监督学习：一种机器学习方法，不需要给定标签，通过学习数据的内在结构和模式进行数据处理和预测。
4.强化学习：一种机器学习方法，通过试错与奖惩的机制进行学习，使得智能体能够自主地从环境中学习并做出决策。
5.词袋模型：一种文本表示方法，将文本中的单词作为特征，并统计其出现的频次，将文本转化为向量表示。
6.TF-IDF：Term Frequency-Inverse Document Frequency，一种文本特征表示方法，结合单词在文本中的频次和在整个语料库中的重要程度。
《人工智能与机器学习》教学大纲精选全文完整版
可编辑修改精选全文完整版（一）教学内容结构关系图（二）具体教学内容（2）教学要求了解人工智能的研究方法、发展简史。
理解人工智能的基本概念、基本技术。
掌握人工智能研究的基本内容和应用领域。
（3）重点人工智能概念（4）难点人工智能的研究方法（5）对毕业要求的支撑本知识点的讲授和学习，可以支撑“毕业要求5 能够针对本学科领域复杂问题，开发、选择与使用恰当的技术、方法、现代工程工具和信息技术工具，包括对本学科领域问题的预测与模拟，并能够理解其局限性。
”中的“指标点5.2掌握管理学理论与研究的前沿知识，培养具有持续适应社会和能力和及时了解新准则、新法规的能力。
”2.知识工程（1）教学内容知识工程概述、谓词逻辑表示法、产生式表示法、层次结构表示法、网络结构表示法、知识获取与管理、基于知识的系统（2）教学要求了解基于知识的系统、知识获取与管理。
理解知识工程的概念。
掌握逻辑谓词表示法及其应用，会用框架去描述一些具体问题，能用脚本来描述特定范围内的一些事件的发生顺序。
（3）重点经典谓词逻辑表示法、产生式表示法、层次结构表示法、网络结构表示法。
（4）难点层次结构表示法、网络结构表示法（5）对毕业要求的支撑本知识点的讲授和学习，可以支撑“毕业要求5 能够针对本学科领域复杂问题，开发、选择与使用恰当的技术、方法、现代工程工具和信息技术工具，包括对本学科领域问题的预测与模拟，并能够理解其局限性。
”中的“指标点5.2掌握管理学理论与研究的前沿知识，培养具有持续适应社会和能力和及时了解新准则、新法规的能力。
”3.确定性推理（1）教学内容推理的基本概念及归结、演绎等确定性推理方法。
推理的基本概念，了解正向推理、逆向推理、混合推理及其推理的冲突消解策略、推理的逻辑基础、自然演绎推理、归结演绎推理、基于规则的演绎推理、规则演绎推理的剪枝策略。
（2）教学要求理解推理的概念，了解正向推理、逆向推理、混合推理及其推理的冲突消解策略，了解自然演绎推理的概念以及三段论推理规则。
人工智能导论课件第7章第1节
何以及为什么）。
如果答案错了怎么办？
只需搅拌一下，直到它们开始 向右锁定。
图7-2 什么是机器学习
7.1.1 机器学习的发展
• 机器学习最早的发展可以追溯到英国数学家贝叶斯（1701年~1761年）在1763 年发表的贝叶斯定理，这是关于随机事件A和B的条件概率（或边缘概率）的一 则数学定理，是机器学习的基本思想。其中，P(A | B) 是在B发生的情况下A发 生的可能性，即寻求根据以前的信息寻找最可能发生的事件。
• 为了便于进行讨论和估计学科的进展，有必要对机器学习给出定义，即使这种 定义是不完全的和不充分的。顾名思义，机器学习是研究如何使用机器来模拟 人类学习活动的一门学科。稍为严格的提法是：机器学习是一门研究机器获取 新知识和新技能，并识别现有知识的学问。这里所说的“机器”，指的就是计 算机，电子计算机，中子计算机、光子计算机或神经计算机等等。
• 苹果手机提供了一个智能语音助手Siri，而亚马逊公司的子公司Alexa是一家专 门发布网站世界排名的网站，其目的是让互联网网友们在分享虚拟资源的同时， 更多地参与互联网资源的组织。那么，日常生活中，你是否已经在使用像Siri 或Alexa这样的个人助理客户端呢？你是否依赖垃圾邮件过滤器来保持你的电子 邮件收件箱的清洁呢？你是否订阅了类似Netflix的服务并依赖它惊人的准确推 荐来寻找你喜欢的新电影或书刊呢？如果你对这些问题回答说“是”，那么， 事实上，你已经在很好地利用机器学习了！
• 机器学习的发展过程大体上可分为4个时期（参见图7-3）。
7.1.1 机器学习的发展
人工智能
早期的人工智能激动人心
机器学习
机器学习开始蓬勃发展
深度学习
深度学习突破，
推动人工智能发展
人工智能导论课件第7章第4-6节
7.5.2 基于所获取知识的表示形式分类
– （3）形式文法。在识别一个特定语言的学习中，通过对该语言的一系列表 达式进行归纳，形成该语言的形式文法。
– （4）产生式规则。表示为条件-动作对，已被极为广泛地使用。学习系统 中的学习行为主要是：生成、泛化、特化或合成产生式规则。
– （5）形式逻辑表达式。基本成分是命题、谓词、变量、约束变量范围的语 句以及嵌入的逻辑表达式。
1
应用于物联网
2
应用于聊天机器人
3
应用于自动驾驶
7.6 机器学习的应用
• 机器学习有巨大的潜力来改变和改善世界，使我们正朝着真正的人工智能迈进 一大步。机械学习的主要目的是为了从使用者和输入数据等处获得知识或技能， 重新组织已有的知识结构使之不断改善自身的性能。从而可以减少错误，帮助 解决更多问题，提高解决问题的效率。它是人工智能的核心，是使计算机具有 智能的根本途径，其应用遍及人工智能的各个领域，它主要使用归纳、综合而 不是演绎。
– （9）神经网络。这主要用在联接学习中。学习所获取的知识，最后归纳为 一个神经网络。
– （10）多种表示形式的组合。有时一个学习系统中获取的知识需要综合应 用上述几种知识表示形式。
7.5.2 基于所获取知识的表示形式分类
• 根据表示的精细程度，可将知识表示形式分为两大类：泛化程度高的粗粒度符 号表示、泛化程度低的精粒度亚符号表示。像决策树、形式文法、产生式规则、 形式逻辑表达式、框架和模式等属于符号表示类；而代数表达式参数、图和网 络、神经网络等则属亚符号表示类。
7.5.1 基于学习策ຫໍສະໝຸດ 的分类– 类比学习需要比上述三种学习方式更多的推理。它一般要求先从知识源 （源域）中检索出可用的知识，再将其转换成新的形式，用到新的状况 （目标域）中去。类比学习在人类科学技术发展史上起着重要作用，许多 科学发现就是通过类比得到的。例如著名的卢瑟福类比就是通过将原子结 构（目标域）同太阳系（源域）作类比，揭示了原子结构的奥秘。
大学课程《人工智能导论》PPT课件：第7章 深度学习
c. 风格迁移结果
深度学习的展望
• 深度学习的应用会越来越广泛，越来越深入。
• 深度学习的定义
• 和传统的机器学习（称之为浅层学习）相比较，深度学习更接近人类处
理信息的方式。
• 深度学习通过构造深层结构的人工神经网络，模拟这种多层表示，每层
对应于一类特定特征，高层特征取决于底层特征，每类特征由一个隐含
层表示，隐含层从最初的几层发展到十多层，甚至目前的上千层。
• 以图像处理为例，低层提取边缘特征，更高层在此基础上形成简单图形，
?对于离散情形定义f和g的卷积????????为?????????????????????????????????????????????????几种深度学习模型?卷积神经网络?卷积的执行过程几种深度学习模型?卷积神经网络?特征往往拥有平移和标度不变性因此在cnn中对空间位置相邻的特征一般是卷积层的输出选取最大值或平均值作为输出从而实现降维处理该过程由池化pooling层完成
• 飞桨框架的核心技术，主要体现在前端语言、组网编程范式、核心架构、
算子库以及高效率计算核心等五个方面。
深度学习主要开发框架
• Keras
• Keras是一个高级的神经网络API，用Python编写，能够运行在TensorFlow、
CNTK或Theano等深度学习框架之上，可以作为这些框架的前端API使用。
象而来，是关于特征的特征，因此更接近于参数的理论值。
• 第二阶段的学习采用有监督学习，通过BP算法，进一步优化无监督学习
阶段得到的参数，由于第一阶段的学习，该阶段只需要进行少量修正即
可使模型收敛。
几种深度学习模型
• 卷积神经网络
• 1959年，神经科学家提出猫的初级视觉皮层中神经元的感受野的概念，
人工智能第7章机器学习
常见算法
Q-学习、策略梯度方法、深度强 化学习等。
应用场景
强化学习适用于需要与环境进行交 互并做出决策的场景，如机器人控 制、游戏AI、自动驾驶等。
03
机器学习常用算法
线性回归
原理
通过最小化预测值与 真实值之间的平方误 差，求解最优参数，
得到线性模型。
应用场景
预测连续型数值，如 房价、销售额等。
02 近年来，随着大数据和计算能力的提升，机器学 习在各个领域的应用越来越广泛，成为推动人工 智能发展的重要力量。
机器学习的应用领域
计算机视觉
通过训练图像识别模型，实现对图像和视 频的理解和分析，应用于安防、自动驾驶 等领域。
医疗诊断
通过训练诊断模型，实现对医学影像和病 历数据的自动分析和诊断，应用于医疗健 康和远程医疗等领域。
编程。
机器学习的核心是数据驱动，通过对大量数据的 03 分析和挖掘，发现数据中的内在规律和模式，从
而实现对新数据的预测和决策。
机器学习的历史与发展
01 机器学习的起源可以追溯到20世纪50年代，当时 科学家们开始研究如何让计算机具有学习和识别 的能力。
02 在随后的几十年里，机器学习经历了从符号学习 到统计学习再到深度学习的发展历程，不断推动 着人工智能技术的进步。
循环神经网络（RNN）
循环神经网络是一种用于处理序列数据的神经网络，它能 够记忆之前的信息，并根据当前输入和之前的记忆进行预 测或分类。RNN在语音识别、自然语言处理等领域有着广 泛的应用。
深度学习在图像识别、自然语言处理等领域的应用
图像识别
深度学习在图像识别领域取得了显著的成果，通过训练深度卷积神经网络模型，可以实现对图像中物体、场景、 人脸等的自动识别和分类。目前，深度学习已经成为图像识别领域的主流方法。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第七章机器学习教学内容：机器学习是继专家系统之后人工智能应用的又一重要研究领域。
本章主要介绍机器学习的有关知识及其主要的几种学习方法，并介绍了知识发现的相关内容。
教学重点：机器学习的基本结构、类比学习、神经学习、知识发现教学难点：学习系统的结构，知识发现的处理过程，教学方法：课堂教学为主。
注意结合学生已学的内容。
及时提问、收集学生学习情况，多实用具体实例来加以说明，注意难易结合，将课程讲述得较为浅显易懂。
教学要求：重点掌握类比学习和知识发现，掌握机器学习的发展史和神经学习，了解解释学习、归纳学习，一般了解机械学习。
7.1 机器学习的定义和发展历史教学内容：本小节主要介绍了机器学习的定义以及其发展的过程，为后面的进一步学习打下基础。
教学重点：机器学习的定义教学难点：对定义的准确把握和理解教学方法：通过举例引入机器学习的定义，在讲述发展历史时，简介各阶段的具体产物，让学生有较为具体的感受和体会。
教学要求：重点掌握机器学习的定义，了解机器学习的发展史。
7.1.1 机器学习的定义1.机器学习的基本概念：按照人工智能大师西蒙的观点，学习就是系统在不断重复的工作中对本身能力的增强或者改进，使得系统在下一次执行同样任务或类似任务时，会比现在做得更好或效率更高。
2.机器学习的定义机器学习是研究如何使用机器来模拟人类学习活动的一门学科。
稍为严格的提法是：机器学习是一门研究机器获取新知识和新技能，并识别现有知识的学问。
举例：列举1959年美国的塞缪尔设计的一下棋程序，由这一事件引出关于机器学习的概念的相关讨论。
提问：讨论关于机器学习的各种概念的提出以及其区别。
7.1.2机器学习的发展史机器学习是人工智能应用研究较为重要的分支，它的发展过程大体上可分为4个时期：1.第一阶段是在50年代中叶到60年代中叶，属于热烈时期。
在这个时期，所研究的是“没有知识”的学习，即“无知”学习；其研究目标是各类自组织系统和自适应系统；指导本阶段研究的理论基础是早在40年代就开始研究的神经网络模型。
在这个时期，我国研制了数字识别学习机。
2.第二阶段在60年代中叶至70年代中叶，被称为机器学习的冷静时期。
本阶段的研究目标是模拟人类的概念学习过程，并采用逻辑结构或图结构作为机器内部描述。
这个时期正是我国“史无前例”的十年，对机器学习的研究不可能取得实质进展。
3.第三阶段从70年代中叶至80年代中叶，称为复兴时期。
在这个时期，人们从学习单个概念扩展到学习多个概念，探索不同的学习策略和各种学习方法。
本阶段已开始把学习系统与各种应用结合起来，中国科学院自动化研究所进行质谱分析和模式文法推断研究，表明我国的机器学习研究得到恢复。
1980年西蒙来华传播机器学习的火种后，我国的机器学习研究出现了新局面。
4.机器学习的最新阶段始于1986年。
一方面，由于神经网络研究的重新兴起，另一方面，对实验研究和应用研究得到前所未有的重视。
我国的机器学习研究开始进入稳步发展和逐渐繁荣的新时期。
讨论：根据对四个时期的划分和分段了解，讨论机器学习在现实生活中的具体运用及其影响。
7.2 机器学习的主要策略与基本结构内容与作用：本小节概括了机器学习的主要策略，同时给出了机器学习的基本结构，让学生对机器学习的机制有了基本的认识。
教学重点：机器学习的基本结构。
教学难点：机器学习基本结构的内在联系。
教学方法：通过概括介绍让学生了解几种基本的策略，按从易到难的顺序，层层铺垫，为后面的学习埋下伏笔。
详细讲述机器学习的基本结构，通过图示让更为形象的说明。
教学要求：重点掌握机器学习的基本结构，了解机器学习的几种主要策略，一般了解影响学习系统设计的因素。
7.2.1 机器学习的主要策略学习过程与推理过程是紧密相连的，按照学习中使用推理的多少，机器学习所采用的策略大体上可分为4种棗机械学习、示教学习、类比学习和示例学习。
学习中所用的推理越多，系统的能力越强。
1.机械学习就是记忆，是最简单的学习策略。
这种学习策略不需要任何推理过程。
2.比机械学习更复杂一点的学习是示教学习策略。
系统在接受外部知识时需要一点推理，翻译和转化工作。
3.类比学习系统只能得到完成类似任务的有关因此，他比上述两种学习策略需要更多的推理。
4.采用示例学习策略的计算机系统，事先完全没有完成任务的任何规律性的信息，因此需要推理是最多的。
讨论：通过对比四种主要策略，讨论其各自的优缺点以及其适用的环境。
7.2.2 机器学习系统的基本结构1.基本结构图7.1表示学习系统的基本结构：图 7.1 学习系统的基本结构通过对这个简单模型的讨论，总结出设计学习系统应当注意的某些总的原则：环境向系统的学习部分提供某些信息，学习部分利用这些信息修改知识库，以增进系统执行部分完成任务的效能，执行部分根据知识库完成任务，同时把获得的信息反馈给学习部分。
在具体的应用中，环境，知识库和执行部分决定了具体的工作内容，学习部分所需要解决的问题完全由上述3部分确定。
举例：以人为例，说明机器学习和人学习一样，有着其自身的规律和基本过程。
而且，其学习过程也有着共性。
提问：能否就机器学习的基本结构，举出相关的例子，并参照其基本结构对其进行分析。
2.影响学习系统设计的重要因素(1).影响学习系统设计的最重要的因素是环境向系统提供的信息。
整个过程要遵循“取之精华，弃之糟粕”的原则，同时谨记“实践是检验真理的唯一标准”。
(2).知识库是影响学习系统设计的第二个因素。
知识的表示有多种形式，在选择表示方式时要兼顾以下4个方面：表达能力强。
所选择的表示方式能很容易地表达有关的知识。
易于推理。
为了使学习系统的计算代价比较低，希望知识表示方式能使推理较为容易。
容易修改知识库。
学习系统的本质要求它不断地修改自己的知识库，当推广得出一般执行规则后，要加到知识库中。
知识表示易于扩展。
学习系统不能在全然没有任何知识的情况下凭空获取知识，每一个学习系统都要求具有某些知识理解环境提供的信息，分析比较，做出假设，检验并修改这些假设。
因此，更确切地说，学习系统是对现有知识的扩展和改进。
举例：可举特征向量的例子来说明表达能力和推理的问题。
7.3机械学习教学内容：本小节详细介绍了机械学习，对机械学习模式和一种数据化简模式以及机械学习的主要缺点都有较为细致的讲解。
通过对这种最基本的机器学习的了解，为以后学习更为复杂的策略打下良好的基础。
教学重点：机械学习的模式和其数据化简模式教学难点：基本原理教学方法：用较为通俗的语言将机械学习的模式讲通彻，同时通过图表对其数据化简过程进行讲解。
多结合日常生活中常有的学习过程，和机械学习参照，让学生更容易接受。
教学要求：重点掌握机械学习模式，了解机械学习的数据化简模式以及机械学习的优缺点。
1、机械学习的模式机械学习是最简单的机器学习方法。
机械学习就是记忆，即把新的知识存储起来，供需要时检索调用，而不需要计算和推理。
机械学习又是最基本的学习过程。
任何学习系统都必须记住它们获取的知识。
在机械学习系统中，知识的获取是以较为稳定和直接的方式进行的，不需要系统进行过多的加工。
举例：可用婴儿刚开始学东西时所才用的学习方式和成人的思维方式比较。
2、数据化简Lenat,Hayes Roth，和Klahr等人于1979年关于机械学习提出一种有趣的观点。
他们指出，可以把机械学习看成是数据化简分级中的第一级。
数据化简与计算机语言编译类似；其目的是把原始信息变成可执行的信息。
在机械学习中我们只记忆计算的输入输出，忽略了计算过程，这样就把计算问题化简成存取问题。
见图7.2：图 7.2 数据化简级别图3、主要问题对于机械学习，需要注意3个重要的问题：存储组织，稳定性和存储与计算之间的权衡。
（1）存储组织信息：采用适当的存储方式，使检索速度尽可能地快，是机械学习中的重要问题。
（2）环境的稳定性与存储信息的适用性问题：机械学习系统必须保证所保存的信息适应于外界环境变化的需要，这也就是所谓的信息适用性问题。
（3）存储与计算之间的权衡：对于机械学习来说很重要的一点是它不能降低系统的效率。
讨论：机械学习中存在的主要问题以及对学习模型的影响。
7.4 归纳学习教学内容：本小节详细介绍了归纳学习，对归纳学习的模式有较为细致的讲解，对其定义有详细的介绍，后半部分介绍了几种常见的归纳学习的方法。
教学重点：归纳学习的定义和其学习模式教学难点：归纳学习的基本原理教学方法：仍然使用到图表对归纳学习的模式进行讲授，结合几种常用的归纳学习方法，让学生形成系统的认识。
教学要求：重点掌握归纳学习的定义及其模式，了解归纳学习的几种常见方法。
归纳学习的定义（1）归纳（induction）是人类拓展认识能力的重要方法，是一种从个别到一般的，从部分到整体的推理行为。
（2）归纳推理是应用归纳方法，从足够多的具体事例中归纳出一般性知识，提取事物的一般规律；它是一种从个别到一般的推理。
（3）归纳学习（induction learning）是应用归纳推理进行学习的一种方法。
根据归纳学习有无教师指导，可把它分为示例学习和观察与发现学习。
前者属于有师学习，后者属于无师学习。
7.4.1 归纳学习的模式和规则归纳学习的一般模式为：给定：(1) 观察陈述（事实）F，用以表示有关某些对象、状态、过程等的特定知识；(2) 假定的初始归纳断言（可能为空）；(3) 背景知识，用于定义有关观察陈述、候选归纳断言以及任何相关问题领域知识、假设和约束，其中包括能够刻画所求归纳断言的性质的优先准则。
求：归纳断言（假设）H，能重言蕴涵或弱蕴涵观察陈述，并满足背景知识。
假设H永真蕴涵事实F，说明F是H的逻辑推理，则有：H |> F（读作H特殊化为F）或F |< H（读作F一般化或消解为H）这里，从H推导F是演绎推理，因此是保真的；而从事实F推导出假设H是归纳推理，因此不是保真的，而是保假的。
归纳学习系统的模型如图7.3所示。
图7.3 归纳学习系统模型实验规划过程通过对实例空间的搜索完成实例选择，并将这些选中的活跃实例提交解释过程。
解释过程对实例加以适当转换，把活跃实例变换为规则空间中的特定概念，以引导规则空间的搜索。
思考：引导学生通过对归纳学习模型的学习，结合身边的实例加以分析。
7.4.2 归纳学习方法1、示例学习示例学习（learning from examples）又称为实例学习，它是通过环境中若干与某概念有关的例子，经归纳得出一般性概念的一种学习方法。
在这种学习方法中，外部环境提供的是一组例子（正例和反例），示例学习就是要从这些特殊知识中归纳出适用于更大范围的一般性知识，以覆盖所有的正例并排除所有反例。
2、观察发现学习观察发现学习又称为描述性概括，其目标是确定一个定律或理论的一般性描述，刻画观察集，指定某类对象的性质。