机器学习综述

贝叶斯网络分类及特点
贝叶斯网络
贝叶斯分类器家族中具有代表性的分类器, 即朴素( naive) 贝叶斯分类器、 贝叶斯网络分类器和TAN( tree augmented naïve Bayesian) 分类器；发现属性 变量之间的依赖相对于属性变量与类变量之间的依赖是可以忽略的，因此在所有 树形分类器中TAN分类器是最优的。 贝叶斯分类具有如下三个特点： （1）贝叶斯分类并不把一个对象绝对地指派给某一类，而是通过计算得出属 于某一类的概率，具有最大概率的类便是该对象所属的类； （2）一般情况下在贝叶斯分类中所有的属性都潜在的起作用，即并不是一个 或几个属性决定分类，而是所有的属性都参与分类； （3）贝叶斯分类的对象的属性可以是离散的、连续的、也可以是混合的。
箭头 环境 学习来自百度文库
• 存储由学习得到的知识 知识库 • 存储时进行适当的组织, 既便于应用又便于维护 执行 • 处理系统面临的现实问题 • 应用学习到的知识求解问题
• 验证、评价执行环节的效果
评价
3 机器学习主要策略
机器学习的发展极为迅速,应用亦日益广泛, 有很多优秀 的学习算法,基本上可以分为基于符号学习和基于非符 号学习( 连接学习) 。其中符号学习比较好的有机械式 学习、指导式学习、示例学习、类比学习、基于解释 的学习。
机器学习是一门边缘学科
基本概念 机器学习的一个形象描述
研究一种算法 1）提高它的性能（P） 2）在某项任务中（T） 3）利用一些经验（E） well-defined learning task: <P,T,E>
机器学习应用
目前在众多涉及计算机处理的技术应用中, 机器学习在许多领域都取得了很大的 进步, 如用于人工智能、数据挖掘、自然语言处理、汉字识别、机器翻译、专家 系统以及商业领域等。
八种主要学习策略
决策树
人工神经网络
最近邻算法
遗传算法
贝叶斯网络
ML主要策略
EM算法
支持向量机
集成学习
按原理分类
决策树
基于 规则 算法
最近邻算法 贝叶斯网络 EM算法 支持向量机
遗传算法
统计 学习 方法
基于 感知器
人工神经网络
集成学习
决策树模型
决策树
决策树就是根据特征值对实例进行分类。决定树中的每个节点代表待分 类实例的一个特征，每个分支代表该节点可以假设的一个值。
机器学习—分类和组合技术综述
汇报人：邵宏赡 导 师：严爱军 2013.1.13
目录
1 引言
机器 学习 （ML）
2 基本概念与学习系统
3 机器学习主要策略
4 发展与展望
1 引言
随着信息技术的发展, 互联网数据及资源呈现 海量特征。为了有效地管理和利用这些分布的海量 信息, 如何使机器具有认识问题和解决问题的能力, 就是让机器如何更聪明、更具有人的智能, 这就是 机器学习。
SVM算法实现
支持向量机
支持向量机是Vapnik等人提出的一类新型的机器学习算法。 SVM算法的目的在于寻找一个超平面H(d)，该超平面可以将训练集中的 数据分开，且与类域边界的沿垂直于该超平面方向的距离最大，故SVM法亦 被称为最大边缘( Maximum Margin) 算法。所谓最优超平面就是要求超平面 不但能将两类正确分开，而且使分类间隔最大；使分类间隔最大实际上就是 对模型推广能力的控制，这正是SVM的核心思想所在。 总的来说,支持向量机就是首先通过用核函数 K ( xi , x j ) 定义的非线性变换 将输入空间变换到一个高维空间, 在这个空间中求( 广义) 最优分类面。SVMs 分类函数形式上类似于一个神经网络,输出是中间节点的线性组合, 每个中间节 点对应一个支持向量,如图所示。 选择不同的核函数就可以生成不同的支持向量机。常用的核包括: 多项式 核、高斯(径向基函数) 核、二层神经网络核等。目前支持向量机的训练算法 是以序贯最小最优化(SMO)为代表的，其中工作集的选择是实现SMO算法的 关键。
集成学习提出
集成学习
集成学习（Ensemble Learning）始于 Hansen 和 Salamon 的开创性工 作。他们研究发现，通过训练多个神经网络并将其结果按照一定的规则进行组 合，就能显著提高整个学习系统的泛化性能。Schapire通过构造性方法提出 Boosting 算法，证明了这一点。 集成学习通过训练和组合多个准确而有差异的分类器，提高了分类系统 的泛化能力，成为近十年来机器学习领域最主要的研究方向之一。目前，国内 外以神经网络、决策树等为基分类器的集成学习研究已经取得了很大的进展。
2 基本概念与学习系统
机器学习的核心是学习。学习是一种多侧面、综合性 的心理活动,它与记忆、思维、知觉、感觉等多种心理 行为都有着密切的联系
ML 基本概念
目前在机器学习研究领域影响较大的是H. Simon的观 点:学习是系统中的任何改进,这种改进使得系统在重 复同样的工作或进行类似的工作时,能完成得更好。 机器学习研究的就是如何使机器通过识别和利用现有 知识来获取新知识和新技能。
遗传算法步骤及优缺点
遗传算法
遗传算法是一种种群型操作,该操作以种群 中的所有个体为对象。具体求解步骤如下: ( 1)参数编码(2)初始种群的生成( 3) 适应度 函数的设计( 4)选择复制( 5)杂交( 交叉) ( 6) 变异 GA适用于解决复杂的非线性和多维空间寻 优问题。经典遗传算法的缺点是:有时计算 时间过长,不能保证解是全局最优的。
SVM模型及优缺点
支持向量机
基于统计学习理论的支持向量机（SVM）方法，与传统的基于经验风险 最小化原则的学习方法不同，SVM基于结构风险最小化，能在训练误差和分 类器容量之间达到一个较好的平衡,它具有全局最优、适应性强、推广能力强 等优点。但是直到目前为止,支持向量机方法还存在一些问题，例如训练时间 过长、核参数的选择等，成为限制支持向量机应用的瓶颈。
编码生产初始种群
种群中个体适应度的计算与评价 物种选择 杂交 变异
最近邻算法
最近邻算法
最近邻规则（NN）就是将待分类样本点决策为距离 它最近的已知类别样本点所属的类别。通过这一规则构造 分类器，其误差率为 R R R (2 MR (M 1)) 最近邻算法是一种基于实例的算法，也是一种懒惰学 习算法。在训练阶段比渴望学习算法（如决策树，神经网 络和贝叶斯网络）有更少的计算时间，但在分类过程中需 要更多的计算时间。 其改进算法有，k-近邻、剪辑最近邻、SNN等。
EM算法
EM算法
在人工智能、数据挖掘、模式识别和机器学习中有许多的应用都 要进行模型的参数估计, 也就是要进行极大似然估计或极大后验似然 估计。一种非常流行的极大似然估计方法是ExpectationMaximization算法,通常简称为EM算法。 算法的命名,是因为算法的每一迭代包括两步: 第一步求期望 (Expectation Step)，称为E步；第二步求极大值(Maximization Step)，称为M步。EM算法主要用来计算基于不完全数据的极大似然估 计。 EM算法的特点是简单和稳定， 特别是每一次迭代能保证观察数 据对数后验似然是单调不减的。
对于内部（隐藏）神经元，
O (1 O ) W
j j j k K
kj
反向传播ANN
ANN缺陷
人工神经网络
在神经网络中，因为缺乏问题的先验知识，往往需要经过大量费力费时的试 验摸索才能确定合适的神经网络模型、算法以及参数设置，其应用效果完全取决 于使用者的经验。基于此原因，于1990年，Hansen和Salamon开创性地提出了 神经网络集成(Neural Network Ensemble) 方法。该技术来源于机器学习界目前 极热门的Boosting 方法，也已成为当前研究的热点。 神经网络的另一大缺陷就是其典型的“黑箱性”，即训练好的神经网络学到 的知识难以被人理解，神经网络集成又加深了这一缺陷。 神经网络是基于经验风险最小化原则的学习算法, 有一些固有的缺陷,比如层 数和神经元个数难以确定, 容易陷入局部极小, 还有过学习现象, 这些本身的缺陷 在SVM算法中可以得到很好的解决。
决策树原理及优点
决策树
决策树可看作一个树状预测模型, 它通过把实例从根节点排列到 某个叶子节点来分类实例, 叶子节点即为实例所属的分类。决策树的 核心问题是选择分裂属性和决策树的剪枝。 决策树的算法有很多, 有ID3、C4. 5、CART 等等。这些算法均 采用自顶向下的贪婪算法, 每个节点选择分类效果最好的属性将节点 分裂为2个或多个子结点, 继续这一过程直到这棵树能准确地分类训练 集, 或所有属性都已被使用过。 决定树最有用的特性之一是其可理解性。人们可以很容易地理解 为什么一颗决策树把一个实例分类归类到一个特定的类。
ANN原理
人工神经网络
一个连接模型(神经网络) 是由一些简单的类似神经元的单元以及单元间带权的 连接组成。每个单元具有一个状态，这个状态是由与这个单元相连接的其他单元的 输入决定的。连接学习通过使用各类例子来训练网络，产生网络的内部表示，并用 来识别其他输入例子。学习主要表现在调整网络中的连接权,这种学习是非符号的， 并且具有高度并行分布式处理的能力。 一个人工神经网络是由大量神经元节点经广泛互连而组成的复杂网络拓扑，用 于模拟人类进行知识和信息表示、存储和计算行为。 人工神经网络学习的工作原理是：一个人工神经网络的工作由学习和使用两个 非线性的过程组成。从本质上讲，人工神经网络学习是一种归纳学习，它通过对大 量实例的反复运行，经过内部自适应过程不断修改权值分布，将网络稳定在一定的 状态下。 比较出名的网络模型和学习算法有单层感知器(Perceptron)、Hopfield网络、 Boltzmann机和反向传播算法(Back Propagation，BP) 。
* * *
贝叶斯网络简介
贝叶斯网络
贝叶斯网络（ Bayesian network ）由于具有图形化的模型表 示形式、局部及分布式的学习机制、直观的推理；适用于表达和分 析不确定性和概率性的事物；能够对不完全、不精确或不确定的知 识或信息中做出有效的推理等特性，而成为目前不确定知识表达和 推理领域最有效的模型之一。 贝叶斯网络的学习主要包括：结构学习和参数学习，通过网络 结构与数据集可以确定参数，因此结构学习是贝叶斯网络学习的核 心，有效的结构学习方法和算法是构建最优网络结构的基础。
遗传算法介绍
遗传算法
遗传算法（GA）是建立在自然选择和群体遗传学机理基础上的随机迭 代和进化,具有广泛适用性的搜索方法, 具有很强的全局优化搜索能力。它模 拟了自然选择和自然遗传过程中发生的繁殖、交配和变异现象,根据适者生 存、优胜劣汰的自然法则,利用遗传算子选择、交叉和变异逐代产生优选个 体(即候选解) ,最终搜索到较优的个体。遗传算法本质上是基于自然进化原 理提出的一种优化策略, 在求解过程中, 通过最好解的选择和彼此组合,则可 以期望解的集合将会愈来愈好。 遗传算法受到研究人员广泛重视是由于它采用随机搜索方法,其特点是 几乎不需要所求问题的任何信息而仅需要目标函数的信息,不受搜索空间是 否连续或可微的限制就可找到最优解,具有强的适应能力和便于并行计算。
学习系统
为了使计算机系统具有某种程度的学习能力, 使它能通 过学习增长知识,改善性能, 提高智能水平,需要为它建 立相应的学习系统。 一个学习系统一般应该由环境、学习、知识库、执行与 评价四个基本部分组成。
学习系统 环境 学习 知识库 执行与评价
学习系统
• 表示信息的流向 • 根据反馈信息决定是否要从环境中索取进一步的信息进行学习, 以修改、完善知识库中的知识 • 外部信息的来源 • 为系统的学习提供有关信息 • 系统的学习机构 • 对信息进行分析、综合、类比、归纳，获得知识

权重计算
人工神经网络 更新权重的一般规则是： 其中：
Tj
Wji j Oi

是一个正数（为学习率），它决定梯 度下降搜索的步长。一个较大的值使反 向传播以更快的速度向目标权重配置移 动，但同时也增加了不能达到这个目标 的几率。
Oi 是第i个神经元的计算输出
对于输出神元， j Oj (1 Oj )(Tj OJ ) T j 是第j个神经元的期望输出