第讲 智能决策理论与方法
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
决策理论与方法-智能决策理论与方法
机器学习—归纳学习：泛化
爬升概念树规则：通过爬升概念树，低层概念被较高层
概念替代。设A表示信息系统中的某个属性如Animal， a,b,…分别为对象u,v,…在属性A上的取值，若s是概念树 上a,b,…的父结点，则基于概念树爬升的泛化规则表示为：
A(u ) a A(v) b |
决策理论与方法-智能决策理论与方法 2018年10月4日8时18分
机器学习—wenku.baidu.com纳学习：决策树
T
T1 A1 1 T11 A2 1 -1 T111 0 1 T112 0 T12 -1 1 T21 1 A0 1 0 T2 A1 0 -1 T22
决策理论与方法-智能决策理论与方法
2018年10月4日8时18分
当经过一批训练实例集的训练产生一颗决策树，那么该决策 树就可以根据属性的取值对一个未知实例集进行分类。所有 的决策树都有一等价的ANN表示；也可用SVM实现相同的 功能。
2018年10月4日8时18分
决策理论与方法-智能决策理论与方法
机器学习—归纳学习：决策树
A0 A1 A2 A3 类 A0 A1 A2 A3 类 0 0 0 0 -1 1 0 0 0 -1
2018年10月4日8时18分
决策理论与方法-智能决策理论与方法
机器学习—归纳学习：泛化
归纳学习是指从给定的关于某个概念的一系列已知 的正例和反例中归纳出一个通用的概念描述。 泛化(Generalization)是用来扩展一假设的语义信息， 使其能够包含更多的正例。泛化所得到的结论并不 总是正确的。 常用泛化方法：
Re d (v) Apple (v ) |
将合取转为析取规则
Re d (v) Blue(v) Apple (v)
Re d (v) Circle (v) Apple (v)
2018年10月4日8时18分
Re d (v) Circle (v) Apple (v) |
如果T中的所有样本都是反例，则产生一个标有“-1”的节点作
为T的子节点，并结束；
选择一个属性A(如何选?)，根据该属性的不同取值v1,v2,…,vn将
T中的训练集划分为n个子集，并根据这n个子集建立T的n个子 节点T1,T2,…,Tn，并分别以A=vi作为从T到Ti的分支符号；
以每个子节点Ti为根建立新的子树。
消除条件规则：一个合取条件可看作是对满足此概念的
可能实例集的一个约束。消除一个条件，则该概念被泛 化。
Re d (v) Circle (v) Apple (v) | Re d (v) Apple (v )
添加选项：通过添加更多条件，使得有更多的实例满足
概念而使该概念泛化。该规则特别有用的方式是通过扩 展某个特定概念的取值范围而增加选项。
动物 哺乳类 食肉类 虎 蹄类 鸟类 飞禽类 信天翁 鹰 走禽类 驼鸟 企鹅 第 1层 第 2层 第 3层 第 4层
印度豹 长颈鹿 斑马
决策理论与方法-智能决策理论与方法
2018年10月4日8时18分
机器学习—归纳学习：决策树
决策树学习是以实例为基础的归纳学习算法。所谓决策树是 一个类似流程图的树结构，其中树的内结点对应属性或属性 集，每个分枝表示检验结果(属性值)，树枝上的叶结点代表 所关心的因变量的取值(类标签)，最顶端的结点称为根结点。 决策树学习采用自顶向下的递归方式，在决策树的内部结点 进行属性值比较并根据不同的属性值判断从该结点向下的分 支，在叶结点得到结论。从根结点到每个叶结点都有唯一的 一条路径，这条路径就是一条决策“规则”。
将常量转为变量规则：对于概念F(v)，如果v的某些取值
a,b,…使F(v)成立，则这些概念可被泛化为：对于v的所有 值，F(v)均成立： F (a) F (b) | (v) F (v)
决策理论与方法-智能决策理论与方法 2018年10月4日8时18分
机器学习—归纳学习：泛化
A0 1 A1 1 0 -1 1 1 0
0
0 0 0
0
0 0 1
0
1 1 0
1
0 1 0
-1
-1 -1 1
1
1 1 1
0
0 0 1
0
1 1 0
1
0 1 0
-1
-1 -1 1
1
-1
A1
0 -1
A2 0
1
0
0 0
1
1 1
0
1 1
1
0 1
1
1 1
1
1 1
1
1 1
0
1 1
1
0 1
1
-1 -1
决策理论与方法-智能决策理论与方法
智能决策理论与方法
1、智能决策理论的形成背景
2、知识发现 3、机器学习 4、不确定性理论
决策理论与方法-智能决策理论与方法
2018年10月4日8时18分
机器学习
机器学习是从模拟人类的学习行为出发，研究客观 世界和获取各种知识与技能的一些基本方法（如归 纳、泛化、特化、类比等），并借助于计算机科学 与技术原理建立各种学习模型，从根本上提高计算 机智能和学习能力。研究内容是根据生理学、认知 科学对人类学习机理的了解，建立人类学习的计算 模型或认知模型；发展各种学习理论和学习方法， 研究通用的学习算法并进行理论上的分析；建立面 向任务且具有特定应用的学习系统。
(x) L( x) s
Nick等人给出了一种面向属性的归纳算法。 过度泛化问题 当某个属性被爬升至过高的概念层会导致冲突的产生， 这种现象称为过度泛化。克服过度泛化必须有相应的终 止泛化算法的策略。
2018年10月4日8时18分
决策理论与方法-智能决策理论与方法
机器学习—归纳学习：泛化
2018年10月4日8时18分
机器学习—归纳学习：决策树
概念学习系统CLS(Hunt)：从一颗空的决策树出发，添加新 的判定结点来改善原来的决策树，直到该决策树能够正确地 将训练实例分类为止。
产生根节点T，T包含所有的训练样本； 如果T中的所有样本都是正例，则产生一个标有“1”的节点作
为T的子节点，并结束；
机器学习—归纳学习：决策树
ID3算法(Quinlan)：ID3算法对CLS做了两方面的改进：(1) 增加窗口技术；(2)以信息熵的下降速度(信息增益)作为测试 属性选择标准。
窗口技术：对于训练集很大的情形可选择其某个子集(称
机器学习—归纳学习：泛化
爬升概念树规则：通过爬升概念树，低层概念被较高层
概念替代。设A表示信息系统中的某个属性如Animal， a,b,…分别为对象u,v,…在属性A上的取值，若s是概念树 上a,b,…的父结点，则基于概念树爬升的泛化规则表示为：
A(u ) a A(v) b |
决策理论与方法-智能决策理论与方法 2018年10月4日8时18分
机器学习—wenku.baidu.com纳学习：决策树
T
T1 A1 1 T11 A2 1 -1 T111 0 1 T112 0 T12 -1 1 T21 1 A0 1 0 T2 A1 0 -1 T22
决策理论与方法-智能决策理论与方法
2018年10月4日8时18分
当经过一批训练实例集的训练产生一颗决策树，那么该决策 树就可以根据属性的取值对一个未知实例集进行分类。所有 的决策树都有一等价的ANN表示；也可用SVM实现相同的 功能。
2018年10月4日8时18分
决策理论与方法-智能决策理论与方法
机器学习—归纳学习：决策树
A0 A1 A2 A3 类 A0 A1 A2 A3 类 0 0 0 0 -1 1 0 0 0 -1
2018年10月4日8时18分
决策理论与方法-智能决策理论与方法
机器学习—归纳学习：泛化
归纳学习是指从给定的关于某个概念的一系列已知 的正例和反例中归纳出一个通用的概念描述。 泛化(Generalization)是用来扩展一假设的语义信息， 使其能够包含更多的正例。泛化所得到的结论并不 总是正确的。 常用泛化方法：
Re d (v) Apple (v ) |
将合取转为析取规则
Re d (v) Blue(v) Apple (v)
Re d (v) Circle (v) Apple (v)
2018年10月4日8时18分
Re d (v) Circle (v) Apple (v) |
如果T中的所有样本都是反例，则产生一个标有“-1”的节点作
为T的子节点，并结束；
选择一个属性A(如何选?)，根据该属性的不同取值v1,v2,…,vn将
T中的训练集划分为n个子集，并根据这n个子集建立T的n个子 节点T1,T2,…,Tn，并分别以A=vi作为从T到Ti的分支符号；
以每个子节点Ti为根建立新的子树。
消除条件规则：一个合取条件可看作是对满足此概念的
可能实例集的一个约束。消除一个条件，则该概念被泛 化。
Re d (v) Circle (v) Apple (v) | Re d (v) Apple (v )
添加选项：通过添加更多条件，使得有更多的实例满足
概念而使该概念泛化。该规则特别有用的方式是通过扩 展某个特定概念的取值范围而增加选项。
动物 哺乳类 食肉类 虎 蹄类 鸟类 飞禽类 信天翁 鹰 走禽类 驼鸟 企鹅 第 1层 第 2层 第 3层 第 4层
印度豹 长颈鹿 斑马
决策理论与方法-智能决策理论与方法
2018年10月4日8时18分
机器学习—归纳学习：决策树
决策树学习是以实例为基础的归纳学习算法。所谓决策树是 一个类似流程图的树结构，其中树的内结点对应属性或属性 集，每个分枝表示检验结果(属性值)，树枝上的叶结点代表 所关心的因变量的取值(类标签)，最顶端的结点称为根结点。 决策树学习采用自顶向下的递归方式，在决策树的内部结点 进行属性值比较并根据不同的属性值判断从该结点向下的分 支，在叶结点得到结论。从根结点到每个叶结点都有唯一的 一条路径，这条路径就是一条决策“规则”。
将常量转为变量规则：对于概念F(v)，如果v的某些取值
a,b,…使F(v)成立，则这些概念可被泛化为：对于v的所有 值，F(v)均成立： F (a) F (b) | (v) F (v)
决策理论与方法-智能决策理论与方法 2018年10月4日8时18分
机器学习—归纳学习：泛化
A0 1 A1 1 0 -1 1 1 0
0
0 0 0
0
0 0 1
0
1 1 0
1
0 1 0
-1
-1 -1 1
1
1 1 1
0
0 0 1
0
1 1 0
1
0 1 0
-1
-1 -1 1
1
-1
A1
0 -1
A2 0
1
0
0 0
1
1 1
0
1 1
1
0 1
1
1 1
1
1 1
1
1 1
0
1 1
1
0 1
1
-1 -1
决策理论与方法-智能决策理论与方法
智能决策理论与方法
1、智能决策理论的形成背景
2、知识发现 3、机器学习 4、不确定性理论
决策理论与方法-智能决策理论与方法
2018年10月4日8时18分
机器学习
机器学习是从模拟人类的学习行为出发，研究客观 世界和获取各种知识与技能的一些基本方法（如归 纳、泛化、特化、类比等），并借助于计算机科学 与技术原理建立各种学习模型，从根本上提高计算 机智能和学习能力。研究内容是根据生理学、认知 科学对人类学习机理的了解，建立人类学习的计算 模型或认知模型；发展各种学习理论和学习方法， 研究通用的学习算法并进行理论上的分析；建立面 向任务且具有特定应用的学习系统。
(x) L( x) s
Nick等人给出了一种面向属性的归纳算法。 过度泛化问题 当某个属性被爬升至过高的概念层会导致冲突的产生， 这种现象称为过度泛化。克服过度泛化必须有相应的终 止泛化算法的策略。
2018年10月4日8时18分
决策理论与方法-智能决策理论与方法
机器学习—归纳学习：泛化
2018年10月4日8时18分
机器学习—归纳学习：决策树
概念学习系统CLS(Hunt)：从一颗空的决策树出发，添加新 的判定结点来改善原来的决策树，直到该决策树能够正确地 将训练实例分类为止。
产生根节点T，T包含所有的训练样本； 如果T中的所有样本都是正例，则产生一个标有“1”的节点作
为T的子节点，并结束；
机器学习—归纳学习：决策树
ID3算法(Quinlan)：ID3算法对CLS做了两方面的改进：(1) 增加窗口技术；(2)以信息熵的下降速度(信息增益)作为测试 属性选择标准。
窗口技术：对于训练集很大的情形可选择其某个子集(称