第7章 机器学习

I S I C
Central South University Artificial Intelligence
11
归纳学习的规则
在归纳推理过程中，需要引用一些归纳规则。
这些规则分为选择性概括规则和构造性概括规则 两类。
7.3.2 Pattern & Rules of Induction Learning 归纳学习方法
7.1.1 Definition of Machine Learning 机器学习的定义 机器学习的定义
顾名思义,机器学习是研究如何使用机器来模拟人类 学习活动的一门学科。稍为严格的提法是：机器学习是一 门研究机器获取新知识和新技能,并识别现有知识的学问。
IC S I C
Central South University Artificial Intelligence
IC S I C
Central South University Artificial Intelligence
9
7.4 Induction Learning 归纳学习
归纳学习（induction learning）是从特定的实事和数据出 发，应用归纳规则进行学习的一种方法。根据归纳学习有 无教师指导，可把它分为示例学习和观察与发现学习。
CI
Central South University Artificial Intelligence
16
7.5 类比学习 Learning by Analogy
Analogy is a method of reasoning or learning that infers by comparing the current situation to other situations that are in some sense similar. 7.5.1 Analogy Inference and Forms of Analogy Learning 类比推理和类比学习方式 类比学习（learning by analogy）就是通过类 比，即通过对相似事物加以比较所进行的一种学 习 。如，新物种的鉴定。 其推理过程如下 ： 回忆与联想→选择→建立对应关系→转换 ISIC
7.3.1 Pattern & Rules of Induction Learning 归纳学习的模式和规则
归纳学习的模式
解释过程 实例空间 规则空间
规划过程
IC S I C
10
Central South University Artificial Intelligence
归纳学习的一般模式为：给定： (1) 观察陈述（事实）F，用以表示有关某些 对象、状态、过程等的特定知识； (2) 假定的初始归纳断言（可能为空）； (3) 背景知识，用于定义有关观察陈述、候选 归纳断言以及任何相关问题领域知识、假设和约 束，其中包括能够刻画所求归纳断言的性质的优 先准则。 求：归纳断言（假设）H，能重言蕴涵或弱蕴 涵观察陈述，并满足背景知识。 C
IC S I C
Central South University Artificial Intelligence
14
7.4 决策树学习 Learning by decision tree
7.4.1 决策树和决策树构造算法方式
算法7.1 决策树的构造算法CLS 如果TR中所有实例分类结果均为Ci,则返回Ci ； 从属性表中选择某一属性A作为检测属性； 假定|ValueType(Ai)|=k，根据A取值不同，将TR划分为k 个集TR1，…,TRk，其中TRi ={〈X,C〉|〈X,C〉TR且V(X,A) 为属性A的第i个值}； 从属性表中去掉已做检验的属性A； 对每一个i（1≤i≤k），用TRi和新的属性表递归调用 CLS，生成TRi的决策树DTRi ； 返回以属性A为根，以DTR1,…,DTRk为子树的决策树。 ISIC
IC S I C
8
Central South University Artificial Intelligence
7.3 归纳学习 Induction Learning
Induction A inference that proceeds from specific facts and examples to deriving abstract principles and rules Induction Learning A type of automated knowledge acquisition that makes the assumption that object descriptions are available and a computer program then uses examples concerning the object to construct a decision tree which can then be used to produce rules.
C
Central South University Artificial Intelligence
15
7.4.2 决策树学习算法ID3
算法7.2 决策树学习算法ID3 创建树的Root（根）节点。 若Examples均为正，则返回label= ＋ 的单节点树Root。 若Examples都为反，则返回label= －的单节点树Root。 若Attributes为空，则返回单节点树Root，label = Examples 中最普遍的 Target_attribute值。 否则开始 结束。 返回Root。 ISIC
Central South University Artificial Intelligence
IC S I C
7
Βιβλιοθήκη Baidu
影响学习系统设计的要素
影响学习系统设计的最重要因素是环境向系 统提供的信息，或者更具体地说是信息的质 量。 知识库是影响学习系统设计的第二个因素。 知识的表示有特征向量、一阶逻辑语句、产 生式规则、语义网络和框架等多种形式。在 选择知识表示方法时，要兼顾表达能力强、 推理方便、知识库易于修改、知识表示易于 扩展等方面。
Central South University Artificial Intelligence
3
7.1.2 Development of Machine Learning 机器学习的发展史
机器学习的发展分为4个时期 第一阶段是在50年代中叶到60年代中叶， 属于热烈时期。 第二阶段在60年代中叶至70年代中叶，被 称为机器学习的冷静时期。 第三阶段从70年代中叶至80年代中叶，称 为复兴时期。 机器学习的最新阶段始于1986年 。 C
IC S I C
2
Machine Learning The capability of a program to acquire or develop new knowledge or skills. The study of Machine Learning focuses on developing computational methods for discovering (acquiring) new knowledge or skills in data, or for reorganizing existing knowledge or skills. A field of AI that attempts to build programs which learn from experience. This includes learning by induction, concept learning, learning in NN, discovery learning, learning by interaction, learning from instruction, learning by analogy, model-driven learning and data-driven learning, etc. In any type of machine learning the program makes C I S I improvement in its choices. C
示例学习 如动物分类 观察发现学习 如蚁群算法的发现
Central South University Artificial Intelligence
IC S I C
12
示例学习（learning from examples）
又称为实例学习，它是通过环境中若干与某概念有 关的例子，经归纳得出一般性概念的一种学习方法。在 这种学习方法中，外部环境（教师）提供的是一组例子 （正例和反例），它们是一组特殊的知识，每一个例子 表达了仅适用于该例子的知识。示例学习就是要从这些 特殊知识中归纳出适用于更大范围的一般性知识，以覆 盖所有的正例并排除所有反例。 如马的识别、疾病诊断
Ch.7 Machine Learning 第七章 机器学习
7.1 机器学习的定义和发展历史 7.2 机器学习的主要策略与基本结构 7.3–7.7 几种常用的学习方法 7.8 知识发现 7.9 增强学习 7.10 小结
7.1 机器学习的定义和发展历史 Definition and Development of Machine Learning
IC S I C
Central South University Artificial Intelligence
5
7. 2 机器学习的主要策略和基本结构 Strategies and Architecture of Machine Learning
7.2.1 Strategies of Machine Learning 机器学习的策略
Central South University Artificial Intelligence
IC S I C
4
机器学习进入新阶段的表现
机器学习已成为新的边缘学科并在高校形成课程。 综合各种学习方法。 机器学习与人工智能问题的统一性观点正在形成。 各种学习方法的应用范围不断扩大。 数据挖掘和知识发现的研究已形成热潮。 与机器学习有关的学术活动空前活跃。
C
Central South University Artificial Intelligence
17
7.5.2 Analogy Inference and Forms of Analogy Learning 类比学习过程与研究类型
类比学习主要包括如下四个过程：
输入一组已知条件和一组未完全确定的条件。 对两组输入条件寻找其可类比的对应关系。 根据相似转换的方法，进行映射。 对类推得到的知识进行校验。
IC S I C
Central South University Artificial Intelligence
13
观察发现学习（learning from observation and discovery）又称为描述性概括，其目标是确 定一个定律或理论的一般性描述，刻画观察 集，指定某类对象的性质。观察发现学习可 分为观察学习与机器发现两种。前者用于对 事例进行聚类，形成概念描述；后者用于发 现规律，产生定律或规则。 例如，鸟的分类
环境向系统的学习部分提供某些信息，学习部分利用 这些信息 修改知识库，以增进系统执行部分完成任务的效能， 执行部分根据 知识库完成任务，同时把获得的信息反馈给学习部分。 环境，知识库和执行部分决定了具体的工作内容，学 习部分所需要解决的问题 完全由上述3部分确定。 环境 学习 知识库 执行
图7.1 学习系统的基本结构
按照学习中使用推理的多少，机器学习所采用的策略 大体上可分为四种———机械学习、通过传授学习、类比 学习和通过事例学习。 机械学习 传授学习策略 类比学习系统 通过事例学习策略 IC
CIS
Central South University Artificial Intelligence
6
7.2.2 Architecture of Machine Learning 机器学习系统的基本结构 学习系统的基本结构