机器学习发展与现状-Read

机器学习发展与现状

Abstract. 至今，机器学习=神经科学与认知科学+数学+计算。

神经科学于认知科学扮演先知者角色，数学填充了神经科学和认知科学与计算之间的沟堑。我利用这几天时间看了一些机器学习相关方面的资料，对这方面有了大体上初步的了解，因为时间有限，想深入是不可能的，我只是谈谈自己对这个领域的认识和一点想法。感觉谈到的还比较全面——基本概念、重要的算法、机器学习的方法和思想、现状与发展趋势、应用等等都提到了，并且对机器学习的基本结构还提出了自己的改进观点。

提起机器学习，首先要知道它的定义，我从学习说起：学习是一个有特定目的的获

取知识过程，其内在行为是获取知识、积累经验、发现规律；外部表现是适应环境、改进性能、实现系统的自我完善。这个定义应该说还是比较全面的，不过我还是想提一下，人工智能大师西蒙的观点，学习就是系统在不断重复的工作中对本身能力的增强或者改进，使得系统在下一次执行同样任务或类似任务时，会比现在做得更好或效率更高。相对来说，西蒙的观点更突出外部表现，之所以要提到它，因为这使我对现有的学习系统的结构描述有了一点想法，后面会详述。现在可以提出机器学习的概念了，所谓机器学习，就是研究如何使用机器来模拟人类学习活动的一门学科，稍为严格的提法是：机器学习是一门研究机器获取新知识和新技能，并识别现有知识的学问。

现在来了解一下机器学习的发展史，机器学习是人工智能应用研究较为重要的分

支，它的发展过程大体上可分为4个时期：

1.第一阶段是在50年代中叶到60年代中叶，属于热烈时期。在这个时期，所研究的

是“没有知识”的学习，即“无知”学习；其研究目标是各类自组织系统和自适应

系统；指导本阶段研究的理论基础是早在40年代就开始研究的神经网络模型。在

这个时期，我国研制了数字识别学习机。

2.第二阶段在60年代中叶至70年代中叶，被称为机器学习的冷静时期。本阶段的研

究目标是模拟人类的概念学习过程，并采用逻辑结构或图结构作为机器内部描述。

这个时期正是我国“史无前例”的十年，对机器学习的研究不可能取得实质进展。

3.第三阶段从70年代中叶至80年代中叶，称为复兴时期。在这个时期，人们从学习

单个概念扩展到学习多个概念，探索不同的学习策略和各种学习方法。本阶段已开

始把学习系统与各种应用结合起来，中国科学院自动化研究所进行质谱分析和模式

文法推断研究，表明我国的机器学习研究得到恢复。1980年西蒙来华传播机器学习

的火种后，我国的机器学习研究出现了新局面。

4.机器学习的最新阶段始于1986年。一方面，由于神经网络研究的重新兴起，另一

方面，对实验研究和应用研究得到前所未有的重视。我国的机器学习研究开始进入

稳步发展和逐渐繁荣的新时期。

为了使机器具有某种程度的学习能力，需要为它建立相应的学习系统。所谓学习系统，是指能够在一定程度上实现机器学习的系统。一个学习系统应具有如下条件和能力：1．具有适当的学习环境，即学习时信息的来源。

2．具有一定的学习能力（获取知识）。

3．能应用学到的知识求解问题（目的在于应用）。

4．能提高系统的性能（自我完善和发展）。

由以上分析可以看出，一个学习系统一般应该有环境、学习、知识库、执行与评价四个基本部分组成，各部分联系如下图：

前面提到我对学习系统的结构有一点自己的想法，我对以上的大体结构是认同的，但是鉴于西蒙的观点很重视机器的自我完善，个人认为还应该加上一条从学习到环境的反馈。先把上图概括一下：箭头表示信息的流向；“环境”指外部信息的来源，它将为系统的学习提供有关信息；“学习”是系统的学习机构，它通过对环境的搜索取得外部信息，然后经分析、综合、类比、归纳等思维过程获得知识，并将这些知识存入知识库中；“知识库”用于存储由学习得到的知识，在存储时要进行适当的组织，使它既便于应用又便于维护；“执行与评价”实际上是由“执行”与“评价”这两个环节组成的，执行环节用于处理系统面临的现实问题，即应用学到的知识求解问题，如定理证明、智能控制、自然语言处理、模式识别、机器人行动规划等；评价环节用于验证执行环节执行的效果，如结论的正确性等。值得注意的是，从“执行”到“学习”有一条反馈线，“学习”部分将根据反馈信息决定是否要从环境中索取进一步的信息进行学习，以修改、完善知识库中的知识，这是学习系统的一个重要特征。我加的那条反馈线基于两点考虑——人的预见力和自主学习能力，个人以为这两点对于人的自我完善和发展是非常有用的，人们往往通过与外界环境接触，对获取的信息进行分析学习预见到外界事物的发展趋势，然后按照发展趋势进行自主学习，进一步完善知识库，从而使自己更适应将来的环境，机器也可以模拟人类这么做。可见，两条反馈线的最终目的都是希望机器更加适应环境，改进性能，不断的自我完善；只不过一条是到执行时遇到实际问题才去决定是否要从环境中索取进一步的信息进行学习，而另一条是预先对将来可能要面对的问题进行预测和判断，主动去学习将来有用的知识，因而是超前的，但实现难度也会增大。不过既然要模拟人类的学习行为，就应该去试试！

接下来谈谈机器学习的方法，有机械式学习、指导式学习、示例学习、类比学习、解释学习等。

1、机械学习是最简单的机器学习方法。机械学习就是记忆，即把新的知识存储起来，

供需要时检索调用，而不需要计算和推理。机械学习又是最基本的学习过程。任

何学习系统都必须记住它们获取的知识。在机械学习系统中，知识的获取是以较

为稳定和直接的方式进行的，不需要系统进行过多的加工。机械式学习的实质上

是用存储空间来换取处理时间。我们可以想一下婴儿刚开始学东西时所才用的学

习方式。

2、指导式学习即示教学习，在这种学习方式下，由外部环境向系统提供一般性的指

示或建议，系统把它们具体地转化为细节知识并送入知识库中。指导式学习是一