第7章 机器学习
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
a L a 已知 a1，2， ，n 都有属性 P，并且没有发现反例。
当 n 足够大时，可得出：“ A中所有事物都有属性 P” 。
26
7.4.1 归纳推理
1. 枚举归纳
例如，设有如下已知事例： 张三是足球运动员，他的体格健壮。 张三是足球运动员，他的体格健壮。 李四是足球运动员，他的体格健壮。 李四是足球运动员，他的体格健壮。 …… ……
2
第7章 机器学习
7.1 机器学习的基本概念 7.2 机械式学习 7.3 指导式学习 7.4 归纳学习 7.5 类比学习 7.6 基于解释的学习 7.7 学习方法的比较与展望
3
7.1 机器学习的基本概念
7.1.1 学习 7.1.2 机器学习 7.1.3 机器学习系统 7.1.4 机器学习的发展 7.1.5 机器学习的分类
归纳推理
从个别到一般 或然性推理 结论适用于更大的范围
33
7.4.2 示例学习
示例学习（learning from examples）又称为实例学习 示例学习 或从例子中学习：通过从环境中取得若干与某概念有 关的例子，经归纳得出一般性概念的一种学习方法。 示例学习中，外部环境（教师）提供一组例子（正 例和反例），然后从这些特殊知识中归纳出适用于更 大范围的一般性知识，它将覆盖所有的正例并排除所 有反例。
例如，由“麻雀会飞”、“鸽子会飞”、“燕子会 “麻雀会飞” 鸽子会飞” 飞”…… 归纳出“有翅膀的动物会飞”、“长羽毛的动物会飞”等结 “有翅膀的动物会飞” 长羽毛的动物会飞” 论。
25
7.4.1 归纳推理
1. 枚举归纳
从个别事例归纳出一般性知识的方法： 从个别事例归纳出一般性知识的方法 设 a1，2， ，n ：某类事物 A中的具体事物。 a L a
21
7.3 指导式学习
2. 把征询意见转换为可执行的内部形式
学习系统应具有把用约定形式表示的征询意见转化为计算机 内部可执行形式的能力，并且能在转化过程中进行语法检查及 适当的语义分析。
3. 加入知识库
在加入过程中要对知识进行一致性检查，以防止出现矛盾、 冗余、环路等问题。
4. 评价
评价方法：对新知识进行经验测试，即执行一些标准例子， 然后检查执行情况是否与已知情况一致。
刘六是足球运动员，他的体格健壮。 刘六是足球运动员，他的体格健壮。 事例足够多时，可归纳出一般性知识： 凡是足球运动员，他的体格一定健壮。 凡是足球运动员，他的体格一定健壮。 (0.9)
27
7.4.1 归纳推理
2. 联想归纳
已知两个事物 a与 b有 n个属性相似或相同，即： a具有属性 P1， b也具有属性 P1。 具有属性 也具有属性 。 a具有属性 P1， b也具有属性 2。 具有属性 也具有属性P 也具有属性 。 …… ……
7
7.1.3 机器学习系统
2. 机器学习系统的条件和能力
（1）具有适当的学习环境 ） （2）具有一定的学习能力 ） （3）能应用学到的知识求解问题 ） （4）能提高系统的性能 ）
8
7.1.3 机器学习系统
3. 机器学习系统的基本模型
环境
学习
知识库
执行与评价
学习系统的基本结构
9
7.1.4 机器学习的发展
5. 消除归纳
消除归纳：通过不断否定原先的假设来得出结论。 消除归纳 已知： 已知： A1 ∨ A 2 ∨ L ∨ A i ∨ L ∨ A n ¬ A1 M ¬ A i −1 ¬ A i +1 M ¬ An 结论： 结论： Ai
32
7.4.1 归纳推理
演绎推理
从一般到个别 必然性推理 结论不会超出前提所断定 的范围 不能获取新知识 可获取新知识
13
7.1.5 机器学习的分类
2. 按学习能力分类： 按学习能力分类： 再励学习（强化学习或增强学习） 再励学习（强化学习或增强学习）
14
7.1.5 机器学习的分类
2. 按学习能力分类： 按学习能力分类： 非监督学习（无教师学习） 非监督学习（无教师学习）
3. 按推理方式分类： 按推理方式分类： 基于演绎的学习（解释学习）。 基于演绎的学习（解释学习）。 示例学习、 基于归纳的学习 （示例学习、发现学习等 ）。 4. 按综合属性分类： 按综合属性分类： 归纳学习、分析学习、连接学习等。 归纳学习、分析学习、连接学习等。
Artificial Intelligence Principles and Applications
第 7 章 机器学习
教材： 教材：
王万良《人工智能及其应用》 王万良《人工智能及其应用》（第2版） 版 高等教育出版社， 高等教育出版社，2008. 6
第7章 机器学习
7.1 机器学习的基本概念 7.2 机械式学习 7.3 指导式学习 7.4 归纳学习 7.5 类比学习 7.6 基于解释的学习 7.7 学习方法的比较与展望
12
7.1.5 机器学习的分类
1. 按学习方法分类（温斯顿，1977 ）： 按学习方法分类（温斯顿， 机械式学习、指导式学习、示例学习、类比学习、 机械式学习、指导式学习、示例学习、类比学习、 解释学习等。 解释学习等。 2. 按学习能力分类： 按学习能力分类： 监督学习（有教师学习） 监督学习（有教师学习）
22
第7章 机器学习
7.1 机器学习的基本概念 7.2 机械式学习 7.3 指导式学习 7.4 归纳学习 7.5 类比学习 7.6 基于解释的学习 7.7 学习方法的比较与展望
23
7.4 归纳学习
7.4.1 归纳推理 7.4.2 示例学习 7.4.3 观察与发现学习
24
7.4.1 归纳推理
归纳推理：应用归纳方法所进行的推理，即从足够 归纳推理 多的事例中归纳出一般性的知识。 它是一种从个别到一般 从部分到整体 从个别到一般、从部分到整体 从个别到一般 从部分到整体的推理。 归纳推理的重要特征：归纳出的结论不能绝对保证 归纳推理的重要特征 它的正确性，只能以某种程度相信它为真。
1. 神经元模型的研究（20世纪 年代中期） 神经元模型的研究（ 世纪50年代中期） 世纪 年代中期
主要研究工作： 主要研究工作 ： 应用决策理论的方法研制可适应环境的 通用学习系统（ 通用学习系统（general purpose learning system）。 ） 1957年，罗森勃拉特（F. Rosenblatt）提出感知器模型。 年 罗森勃拉特（ ）提出感知器模型。 1969 年 ， 明 斯 基 和 佩 珀 特 （ Papert ） 发 表 了 论 著 《Perceptron》 ， 对神经元模型的研究作出了悲观的论断 。 》 对神经元模型的研究作出了悲观的论断。
5
7.1.2 机器学习
机器学习：计算机能模拟人的学习行为， 机器学习：计算机能模拟人的学习行为，自动地 通过学习获取知识和技能，不断改善性能， 通过学习获取知识和技能，不断改善性能，实现自 我完善。 我完善。
（1）学习机理 ） 人类获取知识、技能和抽象概念的天赋能力。 （2）学习方法 ） （3）学习系统 ）
17பைடு நூலகம்
7.2 机械式学习
塞缪尔的跳棋程序 CHECKERS
6 A Q
2
B
6
C
2
4
8
6
9
1
2
3
4
3
8
6 5 6 4 9
6
A 以 A 为结点的博弈树
18
博弈搜索树
第7章 机器学习
7.1 机器学习的基本概念 7.2 机械式学习 7.3 指导式学习 7.4 归纳学习 7.5 类比学习 7.6 基于解释的学习 7.7 学习方法的比较与展望
H →E E H
cf1 cf2 cf
30
7.4.1 归纳推理
4. 逆推理归纳（续） 逆推理归纳（
cf 的计算方法 ： cf 1′ = P (H E ) = P (E H ) × P (H ) P (H ) = cf 1 × P (E ) P (E )
cf = c f 1′ × cf 2
31
7.4.1 归纳推理
15
第7章 机器学习
7.1 机器学习的基本概念 7.2 机械式学习 7.3 指导式学习 7.4 归纳学习 7.5 类比学习 7.6 基于解释的学习 7.7 学习方法的比较与展望
16
7.2 机械式学习
机械式学习 机械式学习（rote learning）又称记忆学习，或死 学习 记式学习：通过直接记忆或者存储外部环境所提供 的信息达到学习的目的，并在以后通过对知识库的 检索得到相应的知识直接用来求解问题。 机械式学习实质是用存储空间来换取处理时间。
a具有属性 P1， b也具有属性 n。 具有属性 也具有属性P 也具有属性 且 a具有属性 Pn+1 ，则当 n足够大时，可归纳出 具有属性 b也具有属性 n+1。 也具有属性P 。 也具有属性
28
7.4.1 归纳推理
3. 类比归纳
设： A = {a 1 , a 2 , L} 且
B = {b1 , b 2 , L}
19
7.3 指导式学习
指导式学习（learning by being told）又称嘱咐式学 指导式学习 习或教授式学习：由外部环境向系统提供一般性的 指示或建议，系统把它们具体地转化为细节知识并 送入知识库中。在学习过程中要反复对形成的知识 进行评价，使其不断完善。 指导式学习的学习过程：征询指导者的指示或建 指导式学习的学习过程 议 、把征询意见转换为可执行的内部形式 、加入知 识库、评价。
10
7.1.4 机器学习的发展
2. 符号学习的研究（20世纪 年代中期） 符号学习的研究（ 世纪 年代中期） 世纪70年代中期
莫斯托夫（ 莫斯托夫（D. J. Mostow）的指导式学习。 ）的指导式学习。 温斯顿（ 温斯顿（Winston）和卡鲍尼尔（J. G. Carbonell）的 ）和卡鲍尼尔（ ） 类比学习。 类比学习。 米切尔（ 米切尔（T. M. Mitchell）等人的解释学习。 ）等人的解释学习。
20
7.3 指导式学习
1. 征询指导者的指示或建议
简单征询：指导者给出一般性的意见，系统将其具体化。 简单征询 复杂征询：系统不仅要求指导者给出一般性的建议，而 复杂征询 且还要具体地鉴别知识库中可能存在的问题，并给出修改 意见。 被动征询：系统只是被动地等待指导者提供意见。 被动征询 主动征询： 主动征询： 系统不只是被动地接受指示，而且还能主动 地提出询问，把指导者的注意力集中在特定的问题上。
6
7.1.3 机器学习系统 7.1 机器学习的基本概念
1. 机器学习系统的定义
学习系统：能够在一定程度上实现机器学习的系统。 学习系统：能够在一定程度上实现机器学习的系统。 萨利斯(Saris)的定义（1973年）：能够从某个过程或环 的定义（ 萨利斯 的定义 年 境的未知特征中学到有关信息， 境的未知特征中学到有关信息 ， 并且能把学到的信息用 于未来的估计、分类、决策或控制，以便改进系统的性 于未来的估计、 分类、 决策或控制， 能。 施密斯等的定义（ 在与环境相互作用时， 施密斯等的定义（1977年）：在与环境相互作用时，能 年 利用过去与环境作用时得到的信息，并提高其性能。 利用过去与环境作用时得到的信息，并提高其性能。
4
7.1.1 学习
（1）学习是系统改进其性能的过程：西蒙，1980。 ）学习是系统改进其性能的过程：西蒙， 。 （2）学习是获取知识的过程。 ）学习是获取知识的过程。 （3）学习是技能的获取。 ）学习是技能的获取。 （4）学习是事物规律的发现过程。 ）学习是事物规律的发现过程。 学习：一个有特定目的的知识获取过程。 学习：一个有特定目的的知识获取过程。 学习的内在行为：获取知识、积累经验、发现规律。 学习的内在行为：获取知识、积累经验、发现规律。 内在行为 学习的外部表现：改进性能、适应环境、 学习的外部表现：改进性能、适应环境、实现系统的 外部表现 自我完善。 自我完善。
11
7.1.4 机器学习的发展
3. 连接学习的研究（20世纪 年代） 连接学习的研究（ 世纪 年代） 世纪80年代
1980年在卡内基－梅隆大学召开了第一届机器学习国 年在卡内基－ 年在卡内基 际研讨会。 际研讨会。 1986 年 创 刊 了 第 一 本 机 器 学 习 杂 志 《Machine Learning》。 》
P ( ai ) → Q ( bi )
i = 1, 2,...
有属性，即 bi
则当A与B中有新元素出现时（设 A 中的 a及 B中的 bi A B ），若 i B 已知
ai 有属性，就可得出
P (a ′ ) → Q (b ′ )
29
7.4.1 归纳推理
4. 逆推理归纳
一般模式： 一般模式 （1）若 H 为真时，则H→ E必为真或以置信度 cf1成立。 （2）观察到 E 成立或以置信度cf2成立。 （3）则 H 以某种置信度 ( cf ) 成立。 用公式表示 ：
当 n 足够大时，可得出：“ A中所有事物都有属性 P” 。
26
7.4.1 归纳推理
1. 枚举归纳
例如，设有如下已知事例： 张三是足球运动员，他的体格健壮。 张三是足球运动员，他的体格健壮。 李四是足球运动员，他的体格健壮。 李四是足球运动员，他的体格健壮。 …… ……
2
第7章 机器学习
7.1 机器学习的基本概念 7.2 机械式学习 7.3 指导式学习 7.4 归纳学习 7.5 类比学习 7.6 基于解释的学习 7.7 学习方法的比较与展望
3
7.1 机器学习的基本概念
7.1.1 学习 7.1.2 机器学习 7.1.3 机器学习系统 7.1.4 机器学习的发展 7.1.5 机器学习的分类
归纳推理
从个别到一般 或然性推理 结论适用于更大的范围
33
7.4.2 示例学习
示例学习（learning from examples）又称为实例学习 示例学习 或从例子中学习：通过从环境中取得若干与某概念有 关的例子，经归纳得出一般性概念的一种学习方法。 示例学习中，外部环境（教师）提供一组例子（正 例和反例），然后从这些特殊知识中归纳出适用于更 大范围的一般性知识，它将覆盖所有的正例并排除所 有反例。
例如，由“麻雀会飞”、“鸽子会飞”、“燕子会 “麻雀会飞” 鸽子会飞” 飞”…… 归纳出“有翅膀的动物会飞”、“长羽毛的动物会飞”等结 “有翅膀的动物会飞” 长羽毛的动物会飞” 论。
25
7.4.1 归纳推理
1. 枚举归纳
从个别事例归纳出一般性知识的方法： 从个别事例归纳出一般性知识的方法 设 a1，2， ，n ：某类事物 A中的具体事物。 a L a
21
7.3 指导式学习
2. 把征询意见转换为可执行的内部形式
学习系统应具有把用约定形式表示的征询意见转化为计算机 内部可执行形式的能力，并且能在转化过程中进行语法检查及 适当的语义分析。
3. 加入知识库
在加入过程中要对知识进行一致性检查，以防止出现矛盾、 冗余、环路等问题。
4. 评价
评价方法：对新知识进行经验测试，即执行一些标准例子， 然后检查执行情况是否与已知情况一致。
刘六是足球运动员，他的体格健壮。 刘六是足球运动员，他的体格健壮。 事例足够多时，可归纳出一般性知识： 凡是足球运动员，他的体格一定健壮。 凡是足球运动员，他的体格一定健壮。 (0.9)
27
7.4.1 归纳推理
2. 联想归纳
已知两个事物 a与 b有 n个属性相似或相同，即： a具有属性 P1， b也具有属性 P1。 具有属性 也具有属性 。 a具有属性 P1， b也具有属性 2。 具有属性 也具有属性P 也具有属性 。 …… ……
7
7.1.3 机器学习系统
2. 机器学习系统的条件和能力
（1）具有适当的学习环境 ） （2）具有一定的学习能力 ） （3）能应用学到的知识求解问题 ） （4）能提高系统的性能 ）
8
7.1.3 机器学习系统
3. 机器学习系统的基本模型
环境
学习
知识库
执行与评价
学习系统的基本结构
9
7.1.4 机器学习的发展
5. 消除归纳
消除归纳：通过不断否定原先的假设来得出结论。 消除归纳 已知： 已知： A1 ∨ A 2 ∨ L ∨ A i ∨ L ∨ A n ¬ A1 M ¬ A i −1 ¬ A i +1 M ¬ An 结论： 结论： Ai
32
7.4.1 归纳推理
演绎推理
从一般到个别 必然性推理 结论不会超出前提所断定 的范围 不能获取新知识 可获取新知识
13
7.1.5 机器学习的分类
2. 按学习能力分类： 按学习能力分类： 再励学习（强化学习或增强学习） 再励学习（强化学习或增强学习）
14
7.1.5 机器学习的分类
2. 按学习能力分类： 按学习能力分类： 非监督学习（无教师学习） 非监督学习（无教师学习）
3. 按推理方式分类： 按推理方式分类： 基于演绎的学习（解释学习）。 基于演绎的学习（解释学习）。 示例学习、 基于归纳的学习 （示例学习、发现学习等 ）。 4. 按综合属性分类： 按综合属性分类： 归纳学习、分析学习、连接学习等。 归纳学习、分析学习、连接学习等。
Artificial Intelligence Principles and Applications
第 7 章 机器学习
教材： 教材：
王万良《人工智能及其应用》 王万良《人工智能及其应用》（第2版） 版 高等教育出版社， 高等教育出版社，2008. 6
第7章 机器学习
7.1 机器学习的基本概念 7.2 机械式学习 7.3 指导式学习 7.4 归纳学习 7.5 类比学习 7.6 基于解释的学习 7.7 学习方法的比较与展望
12
7.1.5 机器学习的分类
1. 按学习方法分类（温斯顿，1977 ）： 按学习方法分类（温斯顿， 机械式学习、指导式学习、示例学习、类比学习、 机械式学习、指导式学习、示例学习、类比学习、 解释学习等。 解释学习等。 2. 按学习能力分类： 按学习能力分类： 监督学习（有教师学习） 监督学习（有教师学习）
22
第7章 机器学习
7.1 机器学习的基本概念 7.2 机械式学习 7.3 指导式学习 7.4 归纳学习 7.5 类比学习 7.6 基于解释的学习 7.7 学习方法的比较与展望
23
7.4 归纳学习
7.4.1 归纳推理 7.4.2 示例学习 7.4.3 观察与发现学习
24
7.4.1 归纳推理
归纳推理：应用归纳方法所进行的推理，即从足够 归纳推理 多的事例中归纳出一般性的知识。 它是一种从个别到一般 从部分到整体 从个别到一般、从部分到整体 从个别到一般 从部分到整体的推理。 归纳推理的重要特征：归纳出的结论不能绝对保证 归纳推理的重要特征 它的正确性，只能以某种程度相信它为真。
1. 神经元模型的研究（20世纪 年代中期） 神经元模型的研究（ 世纪50年代中期） 世纪 年代中期
主要研究工作： 主要研究工作 ： 应用决策理论的方法研制可适应环境的 通用学习系统（ 通用学习系统（general purpose learning system）。 ） 1957年，罗森勃拉特（F. Rosenblatt）提出感知器模型。 年 罗森勃拉特（ ）提出感知器模型。 1969 年 ， 明 斯 基 和 佩 珀 特 （ Papert ） 发 表 了 论 著 《Perceptron》 ， 对神经元模型的研究作出了悲观的论断 。 》 对神经元模型的研究作出了悲观的论断。
5
7.1.2 机器学习
机器学习：计算机能模拟人的学习行为， 机器学习：计算机能模拟人的学习行为，自动地 通过学习获取知识和技能，不断改善性能， 通过学习获取知识和技能，不断改善性能，实现自 我完善。 我完善。
（1）学习机理 ） 人类获取知识、技能和抽象概念的天赋能力。 （2）学习方法 ） （3）学习系统 ）
17பைடு நூலகம்
7.2 机械式学习
塞缪尔的跳棋程序 CHECKERS
6 A Q
2
B
6
C
2
4
8
6
9
1
2
3
4
3
8
6 5 6 4 9
6
A 以 A 为结点的博弈树
18
博弈搜索树
第7章 机器学习
7.1 机器学习的基本概念 7.2 机械式学习 7.3 指导式学习 7.4 归纳学习 7.5 类比学习 7.6 基于解释的学习 7.7 学习方法的比较与展望
H →E E H
cf1 cf2 cf
30
7.4.1 归纳推理
4. 逆推理归纳（续） 逆推理归纳（
cf 的计算方法 ： cf 1′ = P (H E ) = P (E H ) × P (H ) P (H ) = cf 1 × P (E ) P (E )
cf = c f 1′ × cf 2
31
7.4.1 归纳推理
15
第7章 机器学习
7.1 机器学习的基本概念 7.2 机械式学习 7.3 指导式学习 7.4 归纳学习 7.5 类比学习 7.6 基于解释的学习 7.7 学习方法的比较与展望
16
7.2 机械式学习
机械式学习 机械式学习（rote learning）又称记忆学习，或死 学习 记式学习：通过直接记忆或者存储外部环境所提供 的信息达到学习的目的，并在以后通过对知识库的 检索得到相应的知识直接用来求解问题。 机械式学习实质是用存储空间来换取处理时间。
a具有属性 P1， b也具有属性 n。 具有属性 也具有属性P 也具有属性 且 a具有属性 Pn+1 ，则当 n足够大时，可归纳出 具有属性 b也具有属性 n+1。 也具有属性P 。 也具有属性
28
7.4.1 归纳推理
3. 类比归纳
设： A = {a 1 , a 2 , L} 且
B = {b1 , b 2 , L}
19
7.3 指导式学习
指导式学习（learning by being told）又称嘱咐式学 指导式学习 习或教授式学习：由外部环境向系统提供一般性的 指示或建议，系统把它们具体地转化为细节知识并 送入知识库中。在学习过程中要反复对形成的知识 进行评价，使其不断完善。 指导式学习的学习过程：征询指导者的指示或建 指导式学习的学习过程 议 、把征询意见转换为可执行的内部形式 、加入知 识库、评价。
10
7.1.4 机器学习的发展
2. 符号学习的研究（20世纪 年代中期） 符号学习的研究（ 世纪 年代中期） 世纪70年代中期
莫斯托夫（ 莫斯托夫（D. J. Mostow）的指导式学习。 ）的指导式学习。 温斯顿（ 温斯顿（Winston）和卡鲍尼尔（J. G. Carbonell）的 ）和卡鲍尼尔（ ） 类比学习。 类比学习。 米切尔（ 米切尔（T. M. Mitchell）等人的解释学习。 ）等人的解释学习。
20
7.3 指导式学习
1. 征询指导者的指示或建议
简单征询：指导者给出一般性的意见，系统将其具体化。 简单征询 复杂征询：系统不仅要求指导者给出一般性的建议，而 复杂征询 且还要具体地鉴别知识库中可能存在的问题，并给出修改 意见。 被动征询：系统只是被动地等待指导者提供意见。 被动征询 主动征询： 主动征询： 系统不只是被动地接受指示，而且还能主动 地提出询问，把指导者的注意力集中在特定的问题上。
6
7.1.3 机器学习系统 7.1 机器学习的基本概念
1. 机器学习系统的定义
学习系统：能够在一定程度上实现机器学习的系统。 学习系统：能够在一定程度上实现机器学习的系统。 萨利斯(Saris)的定义（1973年）：能够从某个过程或环 的定义（ 萨利斯 的定义 年 境的未知特征中学到有关信息， 境的未知特征中学到有关信息 ， 并且能把学到的信息用 于未来的估计、分类、决策或控制，以便改进系统的性 于未来的估计、 分类、 决策或控制， 能。 施密斯等的定义（ 在与环境相互作用时， 施密斯等的定义（1977年）：在与环境相互作用时，能 年 利用过去与环境作用时得到的信息，并提高其性能。 利用过去与环境作用时得到的信息，并提高其性能。
4
7.1.1 学习
（1）学习是系统改进其性能的过程：西蒙，1980。 ）学习是系统改进其性能的过程：西蒙， 。 （2）学习是获取知识的过程。 ）学习是获取知识的过程。 （3）学习是技能的获取。 ）学习是技能的获取。 （4）学习是事物规律的发现过程。 ）学习是事物规律的发现过程。 学习：一个有特定目的的知识获取过程。 学习：一个有特定目的的知识获取过程。 学习的内在行为：获取知识、积累经验、发现规律。 学习的内在行为：获取知识、积累经验、发现规律。 内在行为 学习的外部表现：改进性能、适应环境、 学习的外部表现：改进性能、适应环境、实现系统的 外部表现 自我完善。 自我完善。
11
7.1.4 机器学习的发展
3. 连接学习的研究（20世纪 年代） 连接学习的研究（ 世纪 年代） 世纪80年代
1980年在卡内基－梅隆大学召开了第一届机器学习国 年在卡内基－ 年在卡内基 际研讨会。 际研讨会。 1986 年 创 刊 了 第 一 本 机 器 学 习 杂 志 《Machine Learning》。 》
P ( ai ) → Q ( bi )
i = 1, 2,...
有属性，即 bi
则当A与B中有新元素出现时（设 A 中的 a及 B中的 bi A B ），若 i B 已知
ai 有属性，就可得出
P (a ′ ) → Q (b ′ )
29
7.4.1 归纳推理
4. 逆推理归纳
一般模式： 一般模式 （1）若 H 为真时，则H→ E必为真或以置信度 cf1成立。 （2）观察到 E 成立或以置信度cf2成立。 （3）则 H 以某种置信度 ( cf ) 成立。 用公式表示 ：