机器学习的方法

浅谈机器学习方法

【摘要】本文以什么是机器学习、机器学习的发展历史和机器学习的主要策略这一线索，对机器学习进行系统性的描述。接着，着重介绍了流形学习、李群机器学习和核机器学习三种新型的机器学习方法，为更好的研究机器学习提供了新的思路。

【关键词】机器学习；人工智能；李群机器学习；核机器学习；流形学习

Brief Remarks on Machine Learning Methods Zhen Panhao Abstract：First of all，machine learning is described systematically on the concept of machine learning，the history and main strategies of machine learning. Then，three new machine learningmethods of manifold learning，Lie Group machine learning and nuclear machine learning are referred emphatically to provide anew way of thinking for better research on machine learning. Keywords：machine learning；artificial intelligence；Lie group machine learning；kernel machine learning；manifold learning 0 引言

计算机视觉是指用计算机实现人的视觉功能，希望能根据感知到的图像( 视频) 对实际的目标和场景内容做出有意义的判断如何能正确识别目标和行为非常关键，其中一个最基本的和最核心的问题是对图像的有效表达如果所选的表达特征能够有效地反映目标和行为的本质，那么对于理解图像就会取得事半功倍的效果正因为如此，关于机器学习的发展历史特征的构建和选取一直得到广泛关注近些年来人们已构建出许多特征，并且得到了广泛的应用，例如等等设计特征是一种利用人类的智慧和先验知识，并且将这些知识应用到目标和行为识别技术中的很好的方式但是，如果能通过无监督的方式让机器自动地从样本中学习到表征这些样本的更加本质的特征则会使得人们更好地用计算机来实现人的视觉功能，因此也是近些年人们关注的一个热点方向深度学习( deeplearning) 的目的就是通过逐层的构建一个多层的网络来使得机器能自动地学习到反映隐含在数据内部的关系，从而使得学习到的特征更具有推广性和表达力本文旨在向读者介绍深度学习的原理及它在目标和行为识别中的最新动态，希望吸引更多的研究者进行讨论，并在这一新兴的具有潜力的视觉领域做出更好的成果首先对深度学习的动机历史以及应用进行了概括说明; 主要介绍了基于限制玻尔兹曼机的深度学习架构和基于自编码器的深度学习架构，以及深度学习

近些年的进展，主要讨论了去噪自编码器( denoisingautoencoder)，卷积限制玻尔兹曼机，三元因子玻尔兹曼机( 3-way factorizedBoltzmannmachine)，以及神经自回归分布估计器( NADE) 等一些新的深度学习单元; 对目前深度学习在计算机视觉中的一些应用以及取得的成果进

行介绍; 最后，对深度学习与神经网络的关系，深度学习的本质等问题加以讨论，提出目前深度学习理论方面需要解决的主要问题

1机器学习的发展历程

机器学习的发展大致可以分为四个阶段.

第一阶段：20世纪50年代中叶至60年代中叶这个时期是机器学习研究的热烈时代研究对象是没有知识的学习，目标是各自组织和适应系统此阶段有两个代表，一是1957年Rosenblatt提出了感知机算法，这是第一个具有重要学术意义的机器学习的算法二是50年代末，Samuel编写了跳棋程序，利用启发式搜索技术，可以从经验和棋谱中进行学习，不断调整棋盘评价函数，提高棋艺.

第二阶段：20世纪60年代中叶至70年代中叶，机器学习的冷静时期本阶段是模拟人类的学习过程，采用逻辑结构或图结构作为内部描述代表有：1969年Minsky与Papert出版的对机器学习研究有深远影响的著作<感知机>一书.

第三阶段：20世纪70年代中叶至80年代中叶，称为复兴时期在这个时期，人们从学习单一概念延伸至学习的多个概念，探索不同的学习策略和各种学习方法在此阶段中，研究

者已经将机器学习系统与现实应用相结合，完成相应的学习过程，取得了很大的成功1980年，在美国召开的第一届机器学习国际研讨会，标志着机器学习在全世界范围内的全面兴起.

第四阶段：1986年至今由于作为机器学习科学基础之一的神经科学研究的重新兴起，机器学习也进一步受到了人们的重视另一方面，对实验研究和应用研究得到前所未有的重视.

2.1 机械学习

机械学习是一种最基本的学习策略，把环境提供的信息简单存储起来，不经过任何推理，“死记硬背”式的学习。适合于一些环境相对稳定，输入输出模式相对固定的系统中，例如医生给病人看病。

2.2 传授学习

传授学习又叫做指导式学习或示教学习。传授学习的学习过程可以简单地描述如下：（1）请求：先向指导者请求提出建议；（2）解释：接受建议并将其转化为内部表示形式；（3）操作化：将解释后的建议转化为具体的知识；（4）归并：将得到的新知识归并到知识库中；（5）评价：对新知识进行评价，常用方法有，检查新知识与知识库里的知识是否矛盾，或者使用新知识执行某些任务，观察其执行情况。

2.3 演绎学习

演绎学习以演绎推理为基础。演绎推理是一种有一般到个别的推理方法，其核心是三段论。例如，1动物都会死亡；2狗是一种动物；3狗会死亡。只要对给定的知识进行演绎的保真推理，就能得出一个正确的新结论，然后把有价值的结论存储起来。

2.4 归纳学习

归纳学习以归纳推理为基础。从某个概念的一系列正例和反例中归纳出一个一般的概念描述。归纳学习可分为有导师学习和无导师学习。有导师学习，又称示例学习。给学习系统提供正例和反例，学习系统通过归纳算法求解出一个总的概念描述。无导师学习，又称观察与发现学习。通过由环境提供的观察来进行学习，而且这些观察是未经过知道者分类的例子。

2.5 类比学习

类比学习是一种利用相似性来认识新事物的学习方式，其基础是类比推理。可以看作是演绎学习和归纳学习的组合学习形式。

学习过程：

（1）联想搜索匹配：提取特征值，搜索和它相似的已知事物；

（2）检验相似程度：判断相似程度，相似程度达到一定阈

值，则说明匹配成功；

（3）修正变换求解：即类比映射，把对已知事物的有关知

识进行适当的调整或变换，以求出新事物的解；

（4）更新知识库：求出新事物的解以后，将新事物及其解

并入知识库。

3 机器学习方法

3.1 流形学习

现实世界中的数据，例如语音信号、数字图像或功能性磁共振图像等，通常都是高维数据，为了正确地了解这些数据，我们就需要对其进行降维，降维的目的就是要找出隐藏在高维数据中的低维结构。流形学习是一种新的数据降维方法，能揭示数据的内在变化规律，其目标是发现嵌入在高维数据空间中的低维流形结构，并给出一个有效的低维表示。2000年以来，流形学习在包括数据挖掘、机器学习、计算机视觉等多个研究领域得到了广泛的应用。

3.2 李群机器学习