第七章 机器学习

8.1.2 学习系统
所谓学习系统，是指能够一定程度上实现机器学习 所谓学习系统， 的系统。 的系统。
1973年 Saris曾对学习系统给出如下定义 1973年，Saris曾对学习系统给出如下定义：如果一个系统能够从某个过程或 曾对学习系统给出如下定义： 环境的未知特征中学到相关信息，并且能把学到的信息用于未来的估计、分类、 环境的未知特征中学到相关信息，并且能把学到的信息用于未来的估计、分类、 决策或控制，以便改进系统的性能， 1977年Smith等人又给 决策或控制，以便改进系统的性能，那么它就是学习系统 1977年Smith等人又给 出了一个类似的定义：如果一个系统在与环境相互作用时，能利用过去与环境作 出了一个类似的定义： 如果一个系统在与环境相互作用时， 用时得到的信息，并提高其性能，那么这样的系统就是学习系统。 用时得到的信息，并提高其性能，那么这样的系统就是学习系统。
所谓机器学习，就是要使计算机能模拟人的学习行 所谓机器学习， 自动地通过学习获取知识和技能，不断改善性能， 为，自动地通过学习获取知识和技能，不断改善性能， 实现自我完善。 实现自我完善。 作为人工智能的一个研究领域， 作为人工智能的一个研究领域，机器学习的研究工 作主要是围绕着以下三个基本方面进行的： 作主要是围绕着以下三个基本方面进行的： (1)学习机理的研究。这是对人类学习机制的研究，即 (1)学习机理的研究 这是对人类学习机制的研究， 学习机理的研究。 人类获取知识、技能和抽象概念的天赋能力。 人类获取知识、技能和抽象概念的天赋能力。通过这 一研究，将从根本上解决机器学习中存在的种种问题。 一研究，将从根本上解决机器学习中存在的种种问题。 (2)学习方法的研究 研究人类的学习过程， (2)学习方法的研究。研究人类的学习过程，探索各种 学习方法的研究。 可能的学习方法，建立起独立于具体应用领域的学习 可能的学习方法， 算法。 算法。 (3)面向任务的研究 根据特定任务的要求， (3)面向任务的研究。根据特定任务的要求，建立相应 面向任务的研究。 的学习系统。 的学习系统。
7.1.3 机器学习的发展
关于机器学习的研究，可以追溯到20世纪 年代中期 世纪50年代中期， 关于机器学习的研究，可以追溯到20世纪50年代中期，当 时人们就从仿生学的角度开展了研究， 时人们就从仿生学的角度开展了研究，希望搞清楚人类大脑及 神经系统的学习机理。但由于受到客观条件的限制，未能如愿。 神经系统的学习机理。但由于受到客观条件的限制，未能如愿。 以后几经波折，知道20世纪 年代才获得了蓬勃发展 世纪80年代才获得了蓬勃发展。 以后几经波折，知道20世纪80年代才获得了蓬勃发展。以研究 目标及研究方法来划分，其发展过程可分为如下三个阶段： 目标及研究方法来划分，其发展过程可分为如下三个阶段：
第七章 机器学习
1.机器学习的概念与分类 1.机器学习的概念与分类 2.归纳学习 2.归纳学习 3.基于解释的学习 3.基于解释的学习 4.遗传算法 4.遗传算法
7.1 基本概念
7.1.1. 什么是机器学习
机器学习的核心是“学习”。关于“学习”，至 机器学习的核心是“学习” 关于“学习” 今还没有一个精确的、能被公认的定义。目前， 今还没有一个精确的、能被公认的定义。目前，对于 学习”这一概念有较大影响的观点主要有以下几种： “学习”这一概念有较大影响的观点主要有以下几种： (1)学习是系统改进其性能的过程 (1)学习是系统改进其性能的过程。 学习是系统改进其性能的过程。 (2)学习是获取知识的过程 (2)学习是获取知识的过程。 学习是获取知识的过程。 (3)学习是技能的获取 (3)学习是技能的获取。 学习是技能的获取。 (4)学习是事物规律的发现过程。 (4)学习是事物规律的发现过程 学习是事物规律的发现过程。 上述各种观点是从不同角度理解“学习” 上述各种观点是从不同角度理解“学习”这一概 念的，若把它们综合起来可以认为：学习是一个有特 念的，若把它们综合起来可以认为： 定目的的知识获取过程，其内在行为是获取知识、 定目的的知识获取过程，其内在行为是获取知识、积 累经验、发现规律；外部表现是改进性能、适应环境、 累经验、发现规律；外部表现是改进性能、适应环境、 实现系统的自我完善。 实现系统的自我完善。
1969年Minsky和Papert发表了颇有影响的论 1969年Minsky和Papert发表了颇有影响的论 Perceptron”， 著“Perceptron”，对神经元模型的研究作出了 悲观的论断。鉴于Minsky在人工智能界的地位 悲观的论断。鉴于Minsky在人工智能界的地位 及影响以及神经元模型自身的局限性， 及影响以及神经元模型自身的局限性，致使对它 的研究开始走向低潮。 的研究开始走向低潮。
一个机器学习系统通常应该具有如下主要特征： 一个机器学习系统通常应该具有如下主要特征：
1)目的性：即系统必须知道学习什么。 1)目的性：即系统必须知道学习什么。 目的性 2)结构性：系统必须具备适当的知识存储机构来记忆学到 2)结构性 结构性：
的知识，能够修改和完善知识表示与知识的组织形式。 的知识，能够修改和完善知识表示与知识的组织形式。
4)遗传算法(Genetic Algorithm):是借鉴生物 4)遗传算法 遗传算法(Genetic
遗传机制的一种随机化非线性计算算法。它通过对系统第 遗传机制的一种随机化非线性计算算法。 一代群体及其后代群体中的个体不断地选优汰劣与随机遗 传变异来获得对象系统的一个非线性映射模型。 传变异来获得对象系统的一个非线性映射模型。这个映射 模型就是采用遗传算法对对象系统的第一代群体学习的结 也就是对象系统的知识表示。 果，也就是对象系统的知识表示。
2.符号学习的研究 2.符号学习的研究
这一阶段始于20世纪70年代中期。 这一阶段始于20世纪70年代中期。当时对专 20世纪70年代中期 家系统的研究已经取得了很大成功， 家系统的研究已经取得了很大成功，迫切要求解 决获取知识难的问题， 决获取知识难的问题，这一需求刺激了机器学习 的发展。 的发展。研究者们力图在高层知识符号表示的基 础上建立人类的学习模型， 础上建立人类的学习模型，用逻辑的演绎及归纳 推理代替数值的或统计的方法。Mostow的指导式 推理代替数值的或统计的方法。Mostow的指导式 学习、Winston和Carbonell的类比学习以及 学习、Winston和Carbonell的类比学习以及 Mitchell等人提出的解释学习都是在这个阶段提 Mitchell等人提出的解释学习都是在这个阶段提 出来的。 出来的。
7.1.4 机器学习的各种方法
1)归纳学习(Inductive Learning)：是由环境提供一系 1)归纳学习 Learning)：
列正例和反例，通过归纳推理，机器将这些例子进行推广， 列正例和反例，通过归纳推理，机器将这些例子进行推广， 产生一个或一组一般的概念描述。 产生一个或一组一般的概念描述。
2)类比学习(Learniቤተ መጻሕፍቲ ባይዱg by Analogy)：把两个不同领域 2)类比学习 Analogy)：
中的理论的相似性抽取出来，用一个领域求解问题的思想来 中的理论的相似性抽取出来， 知道另一个领域的问题求解。 知道另一个领域的问题求解。
3)基于解释的学习(Explanation-Based Learning): 3)基于解释的学习(Explanation是指已知理论和这一理论的一个实例，通过解释为什么这一 是指已知理论和这一理论的一个实例， 实例可以用这一理论来求解， 实例可以用这一理论来求解，从而产生关于待学概念的一个 解释。在这一过程中，系统得到启发， 解释。在这一过程中，系统得到启发，从而建立一套求解类 似问题的规范。这种先通过演绎解释， 似问题的规范。这种先通过演绎解释，然后通过归纳来构造 一般原则的学习方法称为基于解释的学习方法。 一般原则的学习方法称为基于解释的学习方法。
5)人工神经网络(Artificial Neural Networks)： 5)人工神经网络 人工神经网络(Artificial Networks)：
由一些类似神经元的单元及单元间带权的连接弧构成，其 由一些类似神经元的单元及单元间带权的连接弧构成， 中每个单元具有一个状态。通过各类实例(样本)的反复训练， 中每个单元具有一个状态。通过各类实例(样本)的反复训练， 人工神经网络不断调整各连接弧上的权值及神经元的内部 状态，当神经网络达到一定的稳定状态后， 状态，当神经网络达到一定的稳定状态后，神经网络就能 恰当地反映网络输入模式对输出模式的映射关系， 恰当地反映网络输入模式对输出模式的映射关系，从而达 到学习的目的。 到学习的目的。一个对象系统通过实例训练获得一个稳定 权值分布的神经网络，就是这个对象系统的知识表示。 权值分布的神经网络，就是这个对象系统的知识表示。
1.神经元模型的研究 1.神经元模型的研究
这一阶段始于20世纪 年代的中期 这一阶段始于20世纪50年代的中期，主要研究工作是应用 世纪50年代的中期， 决策理论的方法研制可适应环境的通用学习系统(General 决策理论的方法研制可适应环境的通用学习系统(General Purpose Learning System)。在此期间有代表性的工作是1957年 System)。在此期间有代表性的工作是1957年 Rosenblatt提出的感知器模型 它由阈值性神经元组成， Rosenblatt提出的感知器模型，它由阈值性神经元组成，试图 提出的感知器模型， 模拟动物和人脑的感知及学习能力。此外， 模拟动物和人脑的感知及学习能力。此外，此阶段最有影响的 研究成果是Samuel研制的具有自学习 自组织、 研制的具有自学习、 研究成果是Samuel研制的具有自学习、自组织、自适应能力的 跳棋程序。该程序在分析了约175000幅不同棋局后 幅不同棋局后， 跳棋程序。该程序在分析了约175000幅不同棋局后，归纳出了 棋类书上推荐的走法， 棋类书上推荐的走法，能根据下棋时的实际情况决定走步的策 准确率达到48%,是机器学习史上一次卓有成效的探索 是机器学习史上一次卓有成效的探索。 略，准确率达到48%,是机器学习史上一次卓有成效的探索。
3)有效性：系统学到的知识应受到实践的检验，新知识必 3)有效性：系统学到的知识应受到实践的检验， 有效性
须对改善系统的行为起到有益的作用。 须对改善系统的行为起到有益的作用。
4)开放性:系统的能力应在实际使用过程中、在同环境进行 4)开放性 系统的能力应在实际使用过程中、 开放性:
信息交互的过程中不断改进。 信息交互的过程中不断改进。
3.连接学习的研究 3.连接学习的研究
这一阶段始于20世纪80年代。 这一阶段始于20世纪80年代。当时由于人工智能 20世纪80年代 的发展与需求以及VLSI技术、超导技术、生物技术、 VLSI技术 的发展与需求以及VLSI技术、超导技术、生物技术、 光学技术的发展与支持， 光学技术的发展与支持，使机器学习的研究进入了更 高层次的发展时期。 高层次的发展时期。当年从事神经元模型研究的学者 们经过10多年的研究，克服了神经元模型的局限性， 10多年的研究 们经过10多年的研究，克服了神经元模型的局限性， 提出了多层网络的学习算法， 提出了多层网络的学习算法，从而使机器学习进入了 连接学习的研究阶段。 连接学习的研究阶段。连接学习是一种以非线性大规 模并行处理为主流的神经网络的研究， 模并行处理为主流的神经网络的研究，该研究目前仍 在继续进行之中。 在继续进行之中。 就目前的研究情况来看， 就目前的研究情况来看，连接学习适用于连续发 音的语音识别及连续模式的识别； 音的语音识别及连续模式的识别；而符号学习在离散 模式识别及专家系统的规则获取方面有较多的应用。 模式识别及专家系统的规则获取方面有较多的应用。 现在人们已经开始把两种方法结合起来进行研究。 现在人们已经开始把两种方法结合起来进行研究。