6.机器学习(1.概述)

–未来的计算机将有自动获取知识的能力，它们直接由书 本学习，通过与人谈话学习，通过观察学习。它们通过 实践自我完善。 –优点:存储大、效率高、易于传送所获取的知识。一台 计算机获取的知识很容易复制给任何其它机器
3
为什么学习
• 学习的例子： - 计算机能从医疗记录中学习，获取诊断疾病的方法 - 数字识别、汉字识别、语音识别
17
选择目标函数的表示
• 选择一个表示，使学习程序来描述要学习的函数V’ • 函数的表示
–一张大表，对于每个唯一的棋盘状态，表中有唯一的 表项来确定它的状态值 –规则集合来匹配棋局特征以表示V’ –用与预定义棋盘特征有关的二次多项式函数 –人工神经网络
18
选择目标函数的表示(2)
• 重要的权衡过程
21
选择函数逼近方法
• 为学习目标函数V’(函数逼近)，需要一系列训练样例 • 每个训练样例表示成二元对 –<b，Vtrain(b)> –b是棋盘状态，Vtrain(b)是训练值 –比如：<<x1=3,x2=0,x3=1,x4=0,x5=0,x6=0>,100> • 训练过程 此样例表示红棋没有子了，黑棋胜 –从学习器可得到的间接训练经验中导出上面的训练样例 –调整系数wi，最佳拟合这些训练样例
例中系统提供的是间接训练经验
• 第二个重要属性，训练样例的分布能多好地表示 实例分布，最终系统的性能是通过后者来衡量的。
11
选择目标函数(1)
• 西洋跳棋学习问题
–任务T：下西洋跳棋 –性能标准P：击败对手的百分比 –训练经验E：和自己进行训练对弈
• 学习系统需要选择
–要学习的知识的确切类型 –对于这个目标知识的表示 –一种学习机制
–一方面，我们总希望选取一个非常有表现力的描述， 以最大可能地逼近理想的目标函数 –另一方面，越有表现力的描述需要越多的训练数据， 使程序能从它表示的多种假设中选择
19
选择目标函数的表示(3)
• 一个简单的表示法，对于任何给定的棋盘状态， 函数V’可以通过以下棋盘参数的线性组合来计算。
–x1，黑子的数量 –x2，红子的数量 –x3，黑王的数量 –x4，红王的数量 –x5，被红子威胁的黑子数量 –x6，被黑子威胁的红子数量
31
• 对于一个学习问题，必须明确： –任务的种类T –衡量性能提高的标准P –经验的来源E
6
学习问题示例
• 手写数字识别学习问题
–任务T：识别和分类图像中的手写数字 –性能标准P：分类的正确率 –训练经验E：已知分类的手写数字数据库
• 国际象棋学习问题
–任务T：下国际象棋 –性能标准P：比赛中击败对手的百分比 –训练经验E：和自己进行对弈
24
西洋跳棋学习程序的设计过程
决定训练经验类型 与专家对弈 与自己对弈 决定目标函数 棋盘走子 正确走子的表格 …
棋盘分值
…
决定学习到的函数的表示 多项式 六个参数的线性函数 决定学习算法 梯度下降 完成的设计 线性规划 …
25
…
OUTLINE
• 为什么学习
• 学习的定义
• 设计一个学习系统 • 学习的一般形式 • 机器学习研究的问题
29
OUTLINE
• 为什么学习 • 学习的定义
• 设计一个学习系统
• 学习的一般形式 • 机器学习研究的问题
30
机器学习的问题
• 存在什么样的算法能从特定的训练数据学习一般的目标函 数呢？如果提供了充足的训练数据，什么样的条件下，会 使特定的算法收敛到期望的函数？哪个算法对哪些问题和 表示的性能最好？ • 多少训练数据是充足的？怎样找到学习到假设的置信度与 训练数据的数量及提供给学习器的假设空间特性之间的一 般关系？ • 学习器拥有的先验知识是怎样引导从样例进行泛化的过程 的？当先验知识仅仅是近似正确时，它们会有帮助吗？ • 怎样把学习任务简化为一个或多个函数逼近问题？换一种 方式，系统该试图学习哪些函数？这个过程本身能自动化 吗？
15
选择目标函数(5)
• V的设计，对于集合B中的任意棋局b，V(b)定义如下
–如果b是一最终的胜局，那么V(b)=100
–如果b是一最终的负局，那么V(b)=-100 –如果b是一最终的和局，那么V(b)=0 –如果b不是最终棋局，那么V(b)=V(b’)，其中b’是从 b开始双方都采取最优对弈后可达到的终局
• 基本设计方法和学习途径
（以西洋跳棋为例）
–选择训练经验 –选择目标函数 –选择目标函数的表示 –选择函数逼近算法(选择学习算法) –最终设计
10
选择训练经验
• 第一个关键属性，训练经验能否为系统的决策提 供直接或间接的反馈。E.g.西洋跳棋
–系统可从直接的训练样例，即各种棋盘状态和相应的 正确走子中学习 –系统可能仅有间接的信息，即很多过去对弈序列和最 终结局(较早走子的正确性由结局推断。面临信用分配 问题：每一次走子对最终结果的贡献程度) 注意：本
22
选择函数逼近方法(2)
• 训练样例<b，Vtrain(b)>
–对结束时的棋盘状态评分很容易（由于间接训练经验） –估计中间棋盘状态的训练值：对于大量中间棋盘状态， 一个简单的估计方法 Vtrain(b)=V’(Successor(b))
• 调整权值
b之后再轮到程序走棋时的棋盘状态
–最佳拟合训练样例，使得误差（Vtrain(b)- V’( b) ）平方 和最小 –寻找算法，比如最小均方法LMS 更新权值
23
LMS调整权值
LMS 权值更新法则:
–随机选择一个训练样例< b, Vtrain(b)> 1.计算 error(b): error(b) = Vtrain(b) - V’(b) 2. 对每一个棋盘状态特征xi, 更新其权值wi: wi wi + • error(b) • xi 是一个小的常数（比如0.1），用来调整权值更新幅 度。注意：如果xi=0，其权值不会因为这个误差而改变。
16
选择目标函数(6)
• 上面设计的缺陷 –递归定义、运算效率低 –不可操作 • 简评 –学习任务简化成发现一个理想目标函数V的可操作 描述。
ห้องสมุดไป่ตู้
–通常要完美地学习这样一个V的可操作的形式是非 常困难的。
–一般地，我们仅希望学习算法得到近似的目标函数 V’，因此学习目标函数的过程常称为函数逼近 （function approximation）。
12
选择目标函数(2)
• 学习任务：如何从合法的走子中选择最佳走子。 因此，要学习的信息类型是程序或函数 • 目标函数ChooseMove
–ChooseMove: BM，接受合法棋局集合中的棋盘状态 作为输入，并从合法走子集合中选择某个走子作为输 出
• 问题转化
–我们把提高任务T的性能P的问题转化（或简化）为学 习像ChooseMove这样某个特定的目标函数
20
选择目标函数的表示(4)
• 目标函数
–V’(b)=w0+w1x1+w2x2+…+w6x6 –其中，w1…w6是权值，表示不同棋局特征的相对重要性, w0为一个附加的棋盘状态值常量
• 至此，问题转化为学习目标函数中的系数（即权 值） 概括一下目前为止的设计选择： 阐述了学习问题的原型；选择一种类型的 训练经验；一个要学习的目标函数及目标函数的 一种表示
13
选择目标函数(3)
• ChooseMove的评价 –学习问题很直观地转化成这个函数 –这个函数的学习很困难，因为提供给系统的是间接训 练经验
14
选择目标函数(4)
• 另一个目标函数V –一个评估函数，V: BR，它为任何给定棋局赋予一个 数值评分，给好的棋局赋予较高的评分 –优点，学习简单 • V的应用 –根据V能够轻松地找到当前棋局的最佳走法。
机器学习
1
OUTLINE
• 为什么学习 • 学习的定义 • 设计一个学习系统 • 学习的一般形式 • 机器学习研究的问题
2
为什么学习
•
为什么要研究机器学习？
–现在的人工智能系统还完全没有或仅有很有限的学习能 力。系统中的知识由人工编程送入系统，知识中的错误 也不能自动改正。也就是说，现有的大多数人工智能不 能自动获取和生成知识，系统性能难以改善。
学习目的：让计算机随着经验的积累自动提高性能
4
OUTLINE
• 为什么学习
• 学习的定义
• 设计一个学习系统 • 学习的一般形式 • 机器学习研究的问题
5
学习的定义
• 学习定义： 对于某类任务T和性能度量P，如果一个计算机程序 在T上以P衡量的性能随着经验E而自我完善，那么我们称 这个计算机程序从经验E中学习
26
学习的一般形式
• 学习就是系统在不断重复的工作中对本身能力的增强或者改进，使得 系统在下一次执行同样任务时，会比现在做得更好或效率更高
环境
学习环节
知识库
执行环节
• 整个过程：环境（训练经验）提供信息；学习环节（各种学习算法） 加工信息；知识库存储经过加工的信息（目标知识）；执行环节利用 知识指导任务的完成并提供反馈信息
7
学习问题示例
• 机器人驾驶学习问题
–任务T：通过视觉传感器在四车道高速公路上驾驶 –性能标准P：平均无差错行驶里程 –训练经验E：注视人类驾驶时录制的一系列图像和驾驶 指令
8
OUTLINE
• 为什么学习 • 学习的定义 • 设计一个学习系统
• 学习的一般形式
• 机器学习研究的问题
9
设计一个学习系统
27
学习过程中的各环节
• 环境：信息来源（训练经验）
–训练经验能否为学习环节提供直接的或间接的信息 –信息质量：信息的正确性、所提供信息分布是否很好 的表示实例分布