机器学习方法进展研究
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
每个单元的状态 由与其相连接其他单元的输 的不连 续符号函数 ， 使人们可用任何基于梯度 的方 法来逼近预 权重的连接组成 ， 入共 同决定。 该方法 使用样本来训练 网络， 产生 网络的 内部表 期函数。 它的出现标志着学习机器历史进入了一 个新纪元。
１ ． ４统计学习理论的创立
为了根本解决传统统计学理论中过学 习等弊端 ， Ｖ ａ ｐ ｎ ｉ ｋ 于
・
实 验研 究
机器学 习方法进展研究
王永庆 刘 华 （ 郑 州航空工 业管理学院 计算 机科学与 应用系， 河南 郑 州 ４ ５ ０ ０ １ ５ ）
摘 要 ： 近年来机 器学 习 方法在诸多领域 得到成功的应 用与发展 ， 已成 为计算机 科 学的研究热点之一。 本 文介 绍了 机 器学习的定义、 发 展 历史
门 学习新事物、 进行创造性思维的重要手段。 类比学习就是 非渐近界。 １ ９ ８ ９ 年， Ｖ ａ ｐ ｎ ｉ ｋ 和Ｃ ｈ ｅ ｒ ｖ ｏ ｎ ｅ ｎ ｋ ｉ ｓ 提出的经验风险最小 导人１ 通过 对相似事物进行 比较所进行 的一种学习。 化原则、 正 则化理论、 解决密度估计 问题 的非参数方法 ， 以及算
示， 并用来识别新样本 。
（ ２ ） 基于统计学习理论 的学习。 Ｖ ａ ｐ ｎ ｉ ｋ ｇ ］ ｔ 立的统计 学习理论
不仅考虑了对 ２ Ｏ 世 纪６ ０ — ７ Ｏ 年代创立了统计 学习理论。 与传统统计 学相比， 它 针对有限样本统计 问题建立了一套新的理论体系， 渐近性能的要求， 并且追求在有限 的信息条 件下获得最优 的结 是一种专 门研究有 限样本下机器学习规律 的理论 ， 不仅考虑了
与学习策略分噗 ， 并对 目 前存在的问题与挑战进行了 分析与展望。 关键词： 机器学习； 计算机科学； 学习机理； 策略研究
随着 计算机技术 的飞速 发展 ， 人们尝试着使计算机具有和 进行分类 。 本文 按照分类 原则提 出的先后顺序 以及所用推 理策 我们一样或类似 的学习能力， 从而产生了一个 新的研 究学科一 机 略的繁简程度将其分为以下两大类。 器学习。 总体而言， 机器学习是指令计算机通过对 目标的识别，
法复杂度 思想， 都对学习理论的发展产生了深远的影响。 （ ５ ） 基于解释 的学习。 该方 法通过运用相关领域 知识 ， 对当
１ ． ３神经网络的产生
前提 供的实例进行分析， 从而构造解释并产生相应知识。
． ２现代 策略 １ ９ ８ ６ 年， Ｌ ｅ Ｃ ｕ ｎ 和Ｒ ｕ ｍ ｅ ｌ ｈ ａ ｒ ｔ 各 自独立地提 出了后 向传播方 ２ （ １ ） 基于神 经网络 的学习。 神经网络 由神经元－ ０ － ： ￣及其 间带 法。 该方法采用连续的Ｓ ｉ ｇ ｍ ｏ ｉ ｄ 逼近 函数代替了感知器神经元中
人工神经 网络集成、 Ｋ ＿ 近邻集成、 在线集成等等。
基 金 项 目 ：本 文 为 河 南 省 科 技 厅 科 技 攻 关 项 目
（ Ｎ ｏ ． １ ３ ２ １ ０ ２ ２ １ ０ ４ ６ ８ ）、河 南 省 教育 厅 科 技研 究 重 点项 目
在众 多机器学习策略中， 可从不同角度， 根据不 同原则对其
态规划和 瞬时误差方法形成 的。
（ ４ ） 集成学习。 该方法集成 若干单分类器的分类结果来综合 决定最终分类 ， 可 取得 比单分类器百度文库好 的性能 。 其主要方 法有 Ｂ ａ ｇ ｇ ｉ ｎ ｇ 、 Ｂ ｏ ｏ ｓ ｔ ｉ ｎ ｇ 、 Ｓ ｔ ａ ｃ ｋ ｉ ｎ ｇ 、 朴素贝叶斯 集成 、 决策树集 成、
其 典型代表Ｓ Ｖ Ｍ ， 具有许 多传统统计 学方法不具备 的优点。 对渐近性能的要求， 并且追求在有限信息下获得最优 结果， 在理 果。 （ ３ ） 强化学习。 该理论是在上世纪８ ０ 年代， 基于试错方法、 动 论研究和 实际应用 中都取得了良好效果。
２ 机 器学 习策 略分 类
利用人类提供 的现有知识来 获取 新知识和新技能 ， 不断改善性 能， 实现 自 我完善。
２ ． １传统策略
（ １ ） 机械式学习。 该方法是一种最简单、 原始 ， 也最基本 的学
习策 略。 它通 过记忆 和评 价外 部环 境所提供的信 息达 到学习的
１ 机器 学 习发展 史
目的。 学习系统要做的工作就是把经过评价所获取 的知识存储
的推 理。 常用的方法有枚举 归纳、 联想归纳、 类比归纳、 逆推理
１ ． ２ 学习理论基础 的创 立
１ ９ ６ ８ 年， Ｖ ａ ｐ ｎ ｉ ｋ 和Ｃ ｈ ｅ ｒ ｖ ｏ ｎ ｅ ｎ ｋ ｉ ｓ 提出Ｖ ｃ 维， Ｄ ｖ ｃ ￣来解决模式 归纳和消除归纳等。 （ ４ ） 类比学习。 类比是人类认识世界的一种重要方法 ， 也是诱 识别问题。 利用这些概念学者发现了大数定律和关于收敛速率的
求解 问题时就从知识库中检索出相应的知识直接 统计学习理论创始人之一的Ｙ ａ ｐ ｎ ｉ ｋ 将机器学习归结为如下 到知识库中， 用来求解 问题 。 四个阶段。
１ ． １学习机器的产生
（ ２ ） 指导式学习。 该方法通过 由外部环境 向系统提供一般性
把它们具体地转换 为细节知识并送入知识库 。 第一个 学习机 器的模 型是Ｆ Ｒ ｏ ｓ ｅ ｎ ｂ ｌ ａ ｔ ｔ 在１ ９ ６ ２ 年提出的感 的指 示或 建议 ， 使系统 的知识库 知器 。 它借鉴 了神经生理学领域中感知器的思想 ， 将其模型表示 在学习过程 中要反复对形成 的知识进行 评价， 为一个计算程 序， 并通过 简单 的实验 说明了这个模 型的结果可 不断完善。 （ ３ ） 归纳学习。 该方法应 用归纳 推理进行学 习。 归纳推理指 以进行推 广和泛化。 感知器通 过给定的样本 构造 一条判断准则 来区分不同类别 的数据， 因此可 以用来解决模式识别问题。 从足够 多的事例中归纳 出一般性 的知识 ， 是一种从个别到一般
１ ． ４统计学习理论的创立
为了根本解决传统统计学理论中过学 习等弊端 ， Ｖ ａ ｐ ｎ ｉ ｋ 于
・
实 验研 究
机器学 习方法进展研究
王永庆 刘 华 （ 郑 州航空工 业管理学院 计算 机科学与 应用系， 河南 郑 州 ４ ５ ０ ０ １ ５ ）
摘 要 ： 近年来机 器学 习 方法在诸多领域 得到成功的应 用与发展 ， 已成 为计算机 科 学的研究热点之一。 本 文介 绍了 机 器学习的定义、 发 展 历史
门 学习新事物、 进行创造性思维的重要手段。 类比学习就是 非渐近界。 １ ９ ８ ９ 年， Ｖ ａ ｐ ｎ ｉ ｋ 和Ｃ ｈ ｅ ｒ ｖ ｏ ｎ ｅ ｎ ｋ ｉ ｓ 提出的经验风险最小 导人１ 通过 对相似事物进行 比较所进行 的一种学习。 化原则、 正 则化理论、 解决密度估计 问题 的非参数方法 ， 以及算
示， 并用来识别新样本 。
（ ２ ） 基于统计学习理论 的学习。 Ｖ ａ ｐ ｎ ｉ ｋ ｇ ］ ｔ 立的统计 学习理论
不仅考虑了对 ２ Ｏ 世 纪６ ０ — ７ Ｏ 年代创立了统计 学习理论。 与传统统计 学相比， 它 针对有限样本统计 问题建立了一套新的理论体系， 渐近性能的要求， 并且追求在有限 的信息条 件下获得最优 的结 是一种专 门研究有 限样本下机器学习规律 的理论 ， 不仅考虑了
与学习策略分噗 ， 并对 目 前存在的问题与挑战进行了 分析与展望。 关键词： 机器学习； 计算机科学； 学习机理； 策略研究
随着 计算机技术 的飞速 发展 ， 人们尝试着使计算机具有和 进行分类 。 本文 按照分类 原则提 出的先后顺序 以及所用推 理策 我们一样或类似 的学习能力， 从而产生了一个 新的研 究学科一 机 略的繁简程度将其分为以下两大类。 器学习。 总体而言， 机器学习是指令计算机通过对 目标的识别，
法复杂度 思想， 都对学习理论的发展产生了深远的影响。 （ ５ ） 基于解释 的学习。 该方 法通过运用相关领域 知识 ， 对当
１ ． ３神经网络的产生
前提 供的实例进行分析， 从而构造解释并产生相应知识。
． ２现代 策略 １ ９ ８ ６ 年， Ｌ ｅ Ｃ ｕ ｎ 和Ｒ ｕ ｍ ｅ ｌ ｈ ａ ｒ ｔ 各 自独立地提 出了后 向传播方 ２ （ １ ） 基于神 经网络 的学习。 神经网络 由神经元－ ０ － ： ￣及其 间带 法。 该方法采用连续的Ｓ ｉ ｇ ｍ ｏ ｉ ｄ 逼近 函数代替了感知器神经元中
人工神经 网络集成、 Ｋ ＿ 近邻集成、 在线集成等等。
基 金 项 目 ：本 文 为 河 南 省 科 技 厅 科 技 攻 关 项 目
（ Ｎ ｏ ． １ ３ ２ １ ０ ２ ２ １ ０ ４ ６ ８ ）、河 南 省 教育 厅 科 技研 究 重 点项 目
在众 多机器学习策略中， 可从不同角度， 根据不 同原则对其
态规划和 瞬时误差方法形成 的。
（ ４ ） 集成学习。 该方法集成 若干单分类器的分类结果来综合 决定最终分类 ， 可 取得 比单分类器百度文库好 的性能 。 其主要方 法有 Ｂ ａ ｇ ｇ ｉ ｎ ｇ 、 Ｂ ｏ ｏ ｓ ｔ ｉ ｎ ｇ 、 Ｓ ｔ ａ ｃ ｋ ｉ ｎ ｇ 、 朴素贝叶斯 集成 、 决策树集 成、
其 典型代表Ｓ Ｖ Ｍ ， 具有许 多传统统计 学方法不具备 的优点。 对渐近性能的要求， 并且追求在有限信息下获得最优 结果， 在理 果。 （ ３ ） 强化学习。 该理论是在上世纪８ ０ 年代， 基于试错方法、 动 论研究和 实际应用 中都取得了良好效果。
２ 机 器学 习策 略分 类
利用人类提供 的现有知识来 获取 新知识和新技能 ， 不断改善性 能， 实现 自 我完善。
２ ． １传统策略
（ １ ） 机械式学习。 该方法是一种最简单、 原始 ， 也最基本 的学
习策 略。 它通 过记忆 和评 价外 部环 境所提供的信 息达 到学习的
１ 机器 学 习发展 史
目的。 学习系统要做的工作就是把经过评价所获取 的知识存储
的推 理。 常用的方法有枚举 归纳、 联想归纳、 类比归纳、 逆推理
１ ． ２ 学习理论基础 的创 立
１ ９ ６ ８ 年， Ｖ ａ ｐ ｎ ｉ ｋ 和Ｃ ｈ ｅ ｒ ｖ ｏ ｎ ｅ ｎ ｋ ｉ ｓ 提出Ｖ ｃ 维， Ｄ ｖ ｃ ￣来解决模式 归纳和消除归纳等。 （ ４ ） 类比学习。 类比是人类认识世界的一种重要方法 ， 也是诱 识别问题。 利用这些概念学者发现了大数定律和关于收敛速率的
求解 问题时就从知识库中检索出相应的知识直接 统计学习理论创始人之一的Ｙ ａ ｐ ｎ ｉ ｋ 将机器学习归结为如下 到知识库中， 用来求解 问题 。 四个阶段。
１ ． １学习机器的产生
（ ２ ） 指导式学习。 该方法通过 由外部环境 向系统提供一般性
把它们具体地转换 为细节知识并送入知识库 。 第一个 学习机 器的模 型是Ｆ Ｒ ｏ ｓ ｅ ｎ ｂ ｌ ａ ｔ ｔ 在１ ９ ６ ２ 年提出的感 的指 示或 建议 ， 使系统 的知识库 知器 。 它借鉴 了神经生理学领域中感知器的思想 ， 将其模型表示 在学习过程 中要反复对形成 的知识进行 评价， 为一个计算程 序， 并通过 简单 的实验 说明了这个模 型的结果可 不断完善。 （ ３ ） 归纳学习。 该方法应 用归纳 推理进行学 习。 归纳推理指 以进行推 广和泛化。 感知器通 过给定的样本 构造 一条判断准则 来区分不同类别 的数据， 因此可 以用来解决模式识别问题。 从足够 多的事例中归纳 出一般性 的知识 ， 是一种从个别到一般