人工智能 第6章 机器学习

4．联结学习和符号学习共同发展阶段
80年代后期以来，形成了联结学习和符号学习共同发 展的局的第四个阶段。在这个时期，发现了用隐单元来计 算和学习非线性函数的方法，从而克服了早期神经元模型 的局限性，同时，由于计算机硬件的迅速发展，使得神经 网络的物理实现变成可能，在声音识别、图像处理等领域， 神经网络取得了很大的成功。
2．符号概念获取研究阶段
60年代初期，机器学习的研究进入了第二阶段，在这 个阶段，心理学和人类学习的模拟占有主导地位，其特点是 使用符号而不是数值表示来研究学习问题，其目标是用学习 来表达高级知识的符号描述。在这一观点的影响下，主要技 术是概念获取和各种模式识别系统的应用；研究人员一方面 深入探讨学习的简单概念，另一方面则把大量的领域知识并 入学习系统，以便它们发现高深的概念。
化的相反的操作，用于限制概念描述的应用范围。
Байду номын сангаас
6.2.1 归纳学习的基本概念
归纳学习指在从大量的经验数据中归纳抽取出一 般的判定规则和模式，是从特殊情况推导出一般 规则的学习方法。归纳学习的目标是形成合理的 能解释已知事实和预见新事实的一般性结论。
归纳学习由于依赖于经验数据，因此又称为经验 学习(Empirical Learning)，由于归纳依赖于数 据间的相似性，所以也称为基于相似性的学习 (Similarity Based Learning)。
4. 基于数据形式的分类
（1）结构化学习：以结构化数据为输入，以数值计算或符 号推演为方法。典型的结构化学习有神经网络学习、统计 学习、决策树学习、规则学习。
（2）非结构化学习：以非结构化数据为输入，典型的非结 构化学习有类比学习、案例学习、解释学习、文本挖掘、 图像挖掘、Web挖掘等。
5. 基于学习目标的分类
2.归纳学习方法的分类
典型的单概念学习系统包括米切尔(Tom Mitchell)的 基于数据驱动的变型空间法，昆兰(J.R. Quinlan)的 ID3方法，狄特利希(T.G. Dietterich)和米哈尔斯基 (R.S. Michalski)提出的基于模型驱动的Induce算法。
典型的多概念学习方法和系统有米哈尔斯基的AQ11、 DENDRAL和AM程序等。多概念学习任务可以划分成 多个单概念学习任务来完成。
环境
学习单元
知识库
执行单元
简单的学习模型
6.1.2 机器学习的发展简史
1．神经元模型研究阶段
这个时期主要技术是神经元模型以及基于该模型的决 策论和控制论;机器学习方法通过监督（有教师指导的） 学习来实现神经元间连接权的自适应调整，产生线性的模 式分类和联想记忆能力。
具有代表性的工作有F·Rosenblaft的感知机（1958 年）；N·Rashevsky数学生物物理学（1948年）； W·S·McCullouch与W·Pitts的模拟神经元的理论 （1943年）;R·M·Friedberg对生物进化过程的研究
（1）概念学习：即学习的目标和结果为概念，或者说是为了 获得概念的一种学习。典型的概念学习有示例学习。 （2）规则学习：即学习的目标和结果为规则，或者说是为了获 得规则的一种学习。典型的规则学习有决策树学习。 （3）函数学习：即学习的目标和结果为规则，或者说是为了获 得函数的一种学习。典型的函数学习有神经网络学习。 （4）类别学习：即学习的目标和结果为对象类，或者说是为了 获得类别的一种学习。典型的类别学习有聚类分析。 （5）贝叶斯网络学习：即学习的目标和结果是贝叶斯网络，或 者说是为了获得贝叶斯网络的一种学习。其又可分为结构学习 和参数学习。
归纳学习(概念学习、经验学习）是符号学习中研究 的最为广泛的一种方法。给定关于某个概念的一系列已知 的正例与反例，其任务是从中归纳出一个一般的概念描述。 归纳学习能够获得新的概念，创立新的规则，发现新的理 论。它的一般操作是泛化(Generalization)和特化 (Specialization)。泛化用来扩展一假设的语义信息，以 使其能够包含更多的正例，应用于更多的情况。特化是泛
●符号学习：模拟人脑的宏观心理级学习过程，以认知心理学
原理为基础，以符号数据为输入，以符号运算为方法，用 推理过程在图或状态空间中搜索，学习的目标为概念或规 则等。符号学习的典型方法有：记忆学习、示例学习、演 绎学习、类比学习、解释学习等。
●神经网络学习（或连接学习）：模拟人脑的微观生理级学习 过程，以脑和神经科学原理为基础，以人工神经网络为函 数结构模型，以数值数据为输入，以数值运算为方法，用 迭代过程在系数向量空间中搜索，学习的目标为函数。典 型的连接学习有权值修正学习、拓扑结构学习。
这个阶段代表性的工作是温斯顿（P.H. Winston，1975） 的基于示例归纳的结构化概念学习系统。
3．基于知识的各种学习系统研究阶段
机器学习发展的第三个阶段始于70年代中期，这个阶 段不再局限于构造概念学习系统和获取上下文知识，结合了 问题求解中的学习、概念聚类、类比推理及机器发现的工作。
相应的有关学习方法相继推出，比如示例学习、示教学习、 观察和发现学习、类比学习、基于解释的学习。工作特点强 调应用面向任务的知识和指导学习过程的约束，应用启发式 知识于学习任务的生成和选择，包括提出收集数据的方式、 选择要获取的概念、控制系统的注意力等。
3.能用所学的知识解决问题 学习的目的在于应用，学习系统能把学到的信息用 于对未来的估计、分类、决策和控制。
4.能提高系统的性能 提高系统的性能是学习系统最终目标。通过学习，
系统随之增长知识，提高解决问题的能力，使之能 完成原来不能完成的任务，或者比原来做得更好。
由此看来: 学习系统至少应有环境、知识库、学习环节和执 行环节四个基本部分。一种典型的学习系统（迪特里奇 （Dietterich）学习模型）如下图所示。环境向系统的学习 部件提供某些信息，学习环节利用这些信息修改知识库，增 进执行部件的效能；执行环节根据知识库完成任务，同时把 获得的信息反馈给学习部件。
1．变型空间的结构
在变型空间中，表示规则的点与点之间存在着一种由一 般到特殊的偏序关系。我们定义为覆盖，例如， color(X,Y)覆盖color(ball,Z)，于是又覆盖 color(ball,red)。(more general than)
作为一个简单的例子，考虑有这样一些属性和值的对象 域： Sizes={large,small} Colors={red,white,blue} Shapes={ball,brick,cube}
多概念学习与单概念学习的差别在于多概念学习方法必 须解决概念之间的冲突问题。
6.2.2 变型空间学习
变型空间学习方法(Learning by Version Space)， 也称为变型空间学习法。
变型空间法是T·M·Mitchell于1977年提出的一种 数据驱动型的学习方法。
该方法以整个规则空间为初始的假设规则集合H。 依据示教例子中的信息，系统对集合H进行一般化 或特殊化处理，逐步缩小集合H。最后使得H收敛 到只含有要求的规则。由于被搜索的空间H逐渐缩 小，故称为变型空间法。
在这个进期，符号学习伴随人工智能的进展也日益成熟， 应用领域不断扩大，最杰出的工作有分析学习（特别是解 释学习）、遗传算法、决策树归纳等。现在基于计算机网 络的各种自适应、具有学习功能的软件系统的研制和开发, 将机器学习的研究推向新的高度。
6.1.3 机器学习的分类
1. 基于学习策略的分类 （1）模拟人脑的机器学习
这些对象可以用谓词obj(Sizes,Color,Shapes)来表示。 用变量替换常量这个泛化操作定义
Minsky认为：学习是在人们头脑中（心理内部）进行有 用的变化。
Tom M. Mitchell在《机器学习》一书中对学习的定义是： 对于某类任务T和性能度P，如果一个计算机程序在T上以 P衡量的性能随着经验E而自我完善，那么，我们称这个计 算机程序从经验E中学习。
当前关于机器学习的许多文献中也大都认为：学习是一个 有特定目的的知识获取和能力增长过程，其内在行为是获 得知识、积累经验、发现规律等，其外部表现是改进性能、 适应环境、实现自我完善等。
第六章 机器学习
6.1 机器学习概述 6.2 归纳学习（变型空间和候选消除算
法）
6.3 决策树学习 6.4 基于实例的学习 6.5 强化学习 6.6 小结
6.1.1 机器学习的概念
心理学中对学习的解释是：学习是指（人或动物）依靠经 验的获得而使行为持久变化的过程。
Simon认为：如果一个系统能够通过执行某种过程而改进 它的性能，这就是学习。
一个学习系统应具有以下特点：
1.具有适当的学习环境 学习系统中环境并非指通常的物理条件，而是指学习系统
进行学习时所必需的信息来源。
2.具有一定的学习能力 一个好的学习方法和一定的学习能力是取得理想的学习效
果的重要手段。所以，学习系统应模拟人的学习过程，使系 统通过与环境反复多次相互作用，逐步学到有关知识，并且 要使系统在学习过程中通过实践验证、评价所学知识的正确 性。
6.1.4 机器学习的应用与研究目标：
机器学习的应用非常广泛，利用这门技术， 计算机已经能够成功地识别人类的讲话(Waibel 1989, Lee 1989)，在高速公路上自动驾驶汽车 (Pomerleau 1989) ， 学 习 分 类 新 的 天 文 结 构 (Fayyad et al. 1995)，以接近人类世界冠军的 水 平 对 弈 西 洋 双 陆 棋 （ Tesauro 1992,1995）……
（2）直接采用数学方法的机器学习
●主要有统计机器学习。
2. 基于推理策略的分类
（1）归纳学习 ● 符号归纳学习：典型的符号归纳学习有示例学习，决策 树学习。 ● 函数归纳学习（发现学习）：典型的函数归纳学习有神 经网络学习、示例学习，发现学习，统计学习。
（2）演绎学习 （3）类比学习：典型的类比学习有案例（范例）学习。 （4）分析学习：典型的分析学习有案例（范例）学习、 解释学习。
3. 基于学习方式的分类
（1）有导师学习（监督学习）：输入数据中有导师信号， 以概率函数、代数函数或人工神经网络为基函数模型，采 用迭代计算方法，学习结果为函数。
（2）无导师学习（非监督学习）：输入数据中无导师信号， 采用聚类方法，学习结果为类别。典型的无导师学习有发 现学习、聚类、竞争学习等。
（3）强化学习（增强学习）：以环境反馈（奖/惩信号）作 为输入，以统计和动态规划技术为指导的一种学习方法。
1.归纳学习的双空间模型
归纳学习的双空间模型如图所示。
执行过程描述
首先由施教者给实例空间提供一些初始示教 例子，由于示教例子在形式上往往和规则形式不 同，因此需要对这些例子进行转换，解释为规则 空间接受的形式。然后利用解释后的例子搜索规 则空间，由于一般情况下不能一次就从规则空间 中搜索到要求的规则，因此还要寻找一些新的示 教例子，这个过程就是选择例子。程序会选择对 搜索规则空间最有用的例子，对这些示教例子重 复上述循环。如此循环多次，直到找到所要求的 例子。
研究目标有三个：
(1)人类学习过程的认知模型。研究人类学习机理的 认知模型，这种研究对人类的教育，以及对开发机 器学习系统都有重要的意义。
(2)通用学习算法。通过对人类学习过程的研究，探 索各种可能的学习方法，建立起具体应用领域的通 用学习算法。
(3)构造面向任务的专用学习系统。研究智能系统的 建造，解决专门的实际问题，并开发完成这些专门 任务的学习系统。
2.归纳学习方法的分类
归纳学习方法可以划分为单概念学习和多概念学 习两类。这里，概念指用某种描述语言表示的谓 词，当应用于概念的正实例时，谓词为真，应用 于负实例时为假。从而概念谓词将实例空间划分 为正、反两个子集。
对于单概念学习，学习的目的是从概念空间（即 规则空间）中寻找某个与实例空间一致的概念； 对于多概念学习任务，是从概念空间中找出若干 概念描述，对于每个概念描述，实例空间中均有 相应的空间与之对应。