第四章 不确定推理方法精讲
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
P( Hi E1 , E2 ,, Em )
AND
E2
AND
…
AND
Em
：在证据
E1 , E2 ,, Em
出现时结论的确定程度。
缺点： 用于简单的不确定推理； 只考虑了证据的“真”“假”情况
4.2.2 逆概率方法(Inverse Probability) 1. 逆概率方法的基本思 Bayes 定理： 想：
1976年，杜达（R.O.Duda）、哈特（P.E.Hart）等人提出主
观Bayes方法，建立了不确定性推理模型，并在地矿勘探专家 系统PROSPECTOR中得到了成功的应用。
主观Bayes方法：根据证据E的概率，利用知识强度，把结论
H的先验概率P(H)更新为后验概率P(H/E).
先验概率：在获得与期望结果相关的任何信息之前已经被算出的概 率 ，无条件概率。 及证据 Ej的条件概率 P( Ej | Hi)：此事件被加上一些新信息后的概率 。
4.1 不确定性推理中的基本问题
2. 不确定性匹配算法及阈值的选择
怎样才算匹配成功？
不确定性匹配算法：用来计算匹配双方相似程度 的算法。 阈值：用来指出相似的“限度”。
4.1 不确定性推理中的基本问题
3. 组合证据不确定性的算法：
最大最小方法:
C(E1 and E2)=min{C(E1),C(E2)} C(E1 or E2)=max{C(E1),C(E2)}
4.2.2 逆概率方法
2. 单个证据的情况
产生式规则： IF E THEN Hi i =1,2,, n 结论 Hi成立时前提条件 有n个可能的结果，在给定的证据下，判定哪一个结果最有可 所对应的证据出现的条件 能 结论H i= 1,2,, n i的先验概率 概率
Bayes公式：
P( H i E ) P( E H i ) P( H i ) P( E ∑
概率方法:
C(E1 and E2)=C(E1)C(E2) C(E1 or E2)=C(E1)+C(E2)-C(E1)C(E2) 有界方法: C(E1 and E2)=max{0, C(E1)+C(E2)-1} C(E1 or E2)=min{1, C(E1)+C(E2)}
还有Hamacher方法、Einstein方法等
注的目标进行观察，并给出目标身份为假设空间中每一类 型的条件下得到这一观察结果的条件概率P(E|H)。
利用概率论中著名的贝叶斯法则，就能够得出融合所有信 息源观察信息后的目标各种可能身份的后验概率P(H|E)。
4.2.1 经典概率方法
产生式规则： IF E THEN Hi E ：前提条件， Hi ：结论 i =1,2,, n P( H i E ) ：在证据 E出现的条件下，结论Hi成立的确定性程度。 复合条件： E=Ei
C (H)= g[C(E1), C(E2) ]
4.1 不确定性推理中的基本问题
5. 结论不确定性的合成
C(E1)
E1
f (E1, H)
C1(H)
H
C(E2)
E2
f (E2,H)
C2(H)
H
C (H)= g[C1(H), C2(H) ]
第4章 不确定性推理方法
4.1 不确定性推理的基本概念
4.2
罗素说： “所有传统逻辑习惯上总是假定当前使用的 是精确的符号。正因为如此，传统逻辑难以应用于现实 生活，而只是存在于虚幻的想象之中”。
第4章 不确定性推理方法
例如：不明确的症状得出正确的医疗诊断给出相应的治疗 方案。 分析汽车故障问题：发动机不转并且灯不亮，电池或电线 有故障 通过朋友们的声音或姿势认出他们。 理解成份不全的语句。
缺点: 要求给出结论Hi 的先验概率P(Hi)。
及证据 Ej的条件概率 P( Ej | Hi)；
第4章 不确定性推理方法
4.1 不确定性推理的基本概念 4.2 概率方法
4源自文库3
主观Bayes方法
4.4 可信度方法 4.5 证据理论 4.6 模糊推理方法
4.3 主观 Bayes 方法（empirical Bayesian approach）
第4章 不确定性推理方法
不确定性推理方法的分类
数值方法 概率方法
基于概率 的方法
可信度方法
不 确 定 性 推 理 方 法
证据理论 模糊推理
主观bayes方法
模型方法 非数值方法 相关性制导回溯 控制方法
机缘控制
启发式搜索
第4章 不确定性推理方法
4.1
不确定性推理中的基本问题
4.2 概率方法
P(H)：专家对结论 H 给出的先验概率，在没有考虑任何 证据的情况下根据经验给出的。随着新证据的出现，对H 的信任程度应有所改变。 主观Bayes方法推理的任务 ： P(H)
P(E),LS,LN
先验概率
P(H/E)或P(H/E) ? 后验概率
4.3.4 不确定性的传递算法
几率（odds）函数： O( x) P( x) P( x) P(x) 1 P( x)
不确定性匹配算法及阈值的选择 组合证据不确定性的算法 不确定性的传递算法
结论不确定性的合成
4.1 不确定性推理中的基本问题
1. 不确定性的表示与量度 （1）知识不确定性的表示——知识的静态强度 （2）证据不确定性的表示—— 证据的动态强度 在专家系统中知识的不确定性一般 是由领域专家给出的，通常是一个 （3）不确定性的量度 用户在求解问题时提供的初始 数值——知识的静态强度 证据。（多来源于观察） ① 能充分表达相应知识及证据不确定性的程度。 例如专家系统 MYCIN，用可信度 在推理中用前面推出的结论作 表示知识的证据的不确定性，取值 ② 度量范围的指定便于领域专家及用户对不确定性的估计。 为当前推理的证据。 [-1，1]。 ③ 便于对不确定性的传递进行计算，而且对结论算出的不确 定性量度不能超出量度规定的范围。 ④ 度量的确定应当是直观的，同时应有相应的理论依据。
第4章 不确定性推理方法 不确定性推理方法的分类
路线 1 （在推理一级上扩展确定性推理）：把不确定的 证据和知识与某种度量标准对应起来，并且不断更新结 论不确定性的算法，从而构成相应不确定推理的模型。
路线 2 （在控制策略一级上处理不确定性）：通过识别 领域中引起不确定性的特征和相应的控制策略来限制或 减少不确定性对系统的影响
4.1 不确定性推理中的基本问题
4. 不确定性的传递算法 （1）在每一步推理中，如何把证据及知识的不确定性 传递给结论。 C(E) C(H) f (E,H) E H C (H)= g[ C(E) , f(E,H)] （2）在多步推理中，如何把初始证据的不确定性传递 给最终结论。 C(E1) E1 f (E1, E2) C(E2) E2 f (E2,H) C(H) H
概率方法
4.3 主观Bayes方法
4.4 可信度方法 4.5 证据理论 4.6 模糊推理方法
4.2 概率方法
例：特定的目标身份融合问题，
目标身份的可能种类的集合称为假设空间，可以抽象地表 示为一个有限集合，该集合中的每个元素的先验概率P(H) 是已知的。
有若干信息源（如传感器），分别能够从某一角度对所关
j 1 n
H j ) P( H j )
举例：想通过调查某地的地质迹象判定此地可能有铜：先知道 发现每一种矿物质的概率和每一种矿物被发现时显现的某一迹 象的概率，然后使用bayes公式，通过该具体地点的迹象，断定 发现铜的可能性。
4.2.2 逆概率方法
逆概率方法的优缺点
优点: 较强的理论背景和良好的数学特征，当证据及结论都 彼此独立时计算的复杂度比较低。
P(E / S )
1
P( E )
-5 -4 -3 -2 -1 0 1 2 3 4 5
C(E / S )
4.3.2 证据不确定性的表示
多个单一证据的合取：
E =E1 AND E2 AND AND En
, P( En / S )
则组合证据的概率：
P( E / S )＝min P( E1 / S ), P( E2 / S ),
第4章 不确定性推理方法
归纳逻辑( inductive logic) 适合用于解决不确定性问题。 著名的休谟问题： • 十八世纪英国哲学家大卫·休谟：
从过去太阳每天从东方升起，能否推出明天太阳仍将从 东方升起？
• 内在含义是要讨论归纳推理的有效性问题，即我们能否 理性证明从有限事例归纳出全称判断是合理的，因此， 休谟问题也称为“归纳问题”。
逆概率 P( E H i )
例如：
原概率 P( H i E )
E ：咳嗽，
H i ：支气管炎，
条件概率 P( H i E ) ：统计咳嗽的人中有多少是患支气管炎的。 逆概率 P( E H i ) ：统计患支气管炎的人中有多少人是咳嗽的。 Bayes公式：
P( H E) P( E H )P( H ) P( E )
第4章 不确定性推理方法
演绎逻辑和一阶谓词逻辑中所运用到的推理是确定性推 理，其操作就是进行符号推演，因为它们所依据的证据 是确定的，要么为“真"，要么为“假"，其推理过程也 是严密的。所以，所推出的结论也是正确的，要么成立， 要么不成立。 在现实世界中，确定性的推理问题是少见的，大多还是 不确定性的。
后验概率P( Hi |Ej):也是条件概率给出新证据后的事件发生的概率
4.3.1 知识不确定性的表示
知识： IF E THEN (LS，LN) H ：结论；P(H):H的先验概率； (LS，LN) ：知识强度（似然比） ，一般由领域专家给出； H (P(H)) E：前提条件（简单条件或复合条件）
• 休谟认为，归纳推理中个别的实际经验的前提，不能必 然地推出普遍性的结论。
第4章 不确定性推理方法
在对休谟问题的辩论过程中，哲学家们提出了
各种解决方法。一些学者将概率理论与归纳逻 辑相结合，对归纳推理中的或然性进行量化处 理，以可能性信度来衡量推理的有效性和合理 性。现代归纳逻辑产生了，它是随着数学概率 论趋于成熟，而逐渐发展起来。
4.3 主观Bayes方法
4.4 可信度方法
4.5 证据理论
4.6 模糊推理方法
4.1 不确定性推理中的基本问题
已知事实 推理： 某种策略 结 论
（证据）
知识
不确定推理：
不确定证据 不确定知识
某种策略
不确定结 论 （不确定程度）
4.1 不确定性推理中的基本问题 不确定性的表示与量度
第4章 不确定性推理方法
在实际中，存在着很多的不确定性问题，导致了不确定 性的知识及不确定性的证据，继而产生了不确定性的推 理。 不确定性推理是建立在非经典逻辑基础上的一种推理。 即从不确定性的初始证据出发，通过运用不确定性的知 识，最终推出具有一定程度的不确定性，但却是合理或 者近乎合理结论的思维过程。 包括概率推理、模糊推理和贝叶斯推理等。 我们对于不确定性知识的处理主要是将其确定化，其表 示的关键是如何对其不确定性进行量化，量化的目的就 是把不确定性转化为确定性。
多个单一证据的析取：
E E1 OR E2 OR OR En
则组合证据的概率：
P( E | S ) max{ P( E1 | S ), P( E2 | S ),..., P( En | S )}
非运算：
P (E / S )＝ 1 P( E / S )
4.3.4 不确定性的传递算法
P（E H） ——规则成立的充分性度量 LS P（E H）
（用于指出E对H的支持程度）
P（E H） 1－ P（ E∣ H） = LN ¬ H） （ E∣ P（ E H） 1－ P ——规则成立的必要性度量
（用于指出E对H的支持程度）
4.3.2 证据不确定性的表示
P(E|S) ：对于初始证据E ，由用户根据观察S 给出的概率； C(E|S)：对所提供的证据可以相信的程度，称为可信度。 对应关系：例如专家系统PROSPECTOR中：
概率：
O( x) P( x) 1 O( x)
O( x) [0, )。
P( x) [0,1],
•
几率函数和概率函数有相同的单调性。
4.3.4 不确定性的传递算法
1. 证据肯定存在的情况 ：即P(E)=1
Bayes修正公式：
LS P( H ) P( H / E ) ( LS 1) P( H ) 1
AND
E2
AND
…
AND
Em
：在证据
E1 , E2 ,, Em
出现时结论的确定程度。
缺点： 用于简单的不确定推理； 只考虑了证据的“真”“假”情况
4.2.2 逆概率方法(Inverse Probability) 1. 逆概率方法的基本思 Bayes 定理： 想：
1976年，杜达（R.O.Duda）、哈特（P.E.Hart）等人提出主
观Bayes方法，建立了不确定性推理模型，并在地矿勘探专家 系统PROSPECTOR中得到了成功的应用。
主观Bayes方法：根据证据E的概率，利用知识强度，把结论
H的先验概率P(H)更新为后验概率P(H/E).
先验概率：在获得与期望结果相关的任何信息之前已经被算出的概 率 ，无条件概率。 及证据 Ej的条件概率 P( Ej | Hi)：此事件被加上一些新信息后的概率 。
4.1 不确定性推理中的基本问题
2. 不确定性匹配算法及阈值的选择
怎样才算匹配成功？
不确定性匹配算法：用来计算匹配双方相似程度 的算法。 阈值：用来指出相似的“限度”。
4.1 不确定性推理中的基本问题
3. 组合证据不确定性的算法：
最大最小方法:
C(E1 and E2)=min{C(E1),C(E2)} C(E1 or E2)=max{C(E1),C(E2)}
4.2.2 逆概率方法
2. 单个证据的情况
产生式规则： IF E THEN Hi i =1,2,, n 结论 Hi成立时前提条件 有n个可能的结果，在给定的证据下，判定哪一个结果最有可 所对应的证据出现的条件 能 结论H i= 1,2,, n i的先验概率 概率
Bayes公式：
P( H i E ) P( E H i ) P( H i ) P( E ∑
概率方法:
C(E1 and E2)=C(E1)C(E2) C(E1 or E2)=C(E1)+C(E2)-C(E1)C(E2) 有界方法: C(E1 and E2)=max{0, C(E1)+C(E2)-1} C(E1 or E2)=min{1, C(E1)+C(E2)}
还有Hamacher方法、Einstein方法等
注的目标进行观察，并给出目标身份为假设空间中每一类 型的条件下得到这一观察结果的条件概率P(E|H)。
利用概率论中著名的贝叶斯法则，就能够得出融合所有信 息源观察信息后的目标各种可能身份的后验概率P(H|E)。
4.2.1 经典概率方法
产生式规则： IF E THEN Hi E ：前提条件， Hi ：结论 i =1,2,, n P( H i E ) ：在证据 E出现的条件下，结论Hi成立的确定性程度。 复合条件： E=Ei
C (H)= g[C(E1), C(E2) ]
4.1 不确定性推理中的基本问题
5. 结论不确定性的合成
C(E1)
E1
f (E1, H)
C1(H)
H
C(E2)
E2
f (E2,H)
C2(H)
H
C (H)= g[C1(H), C2(H) ]
第4章 不确定性推理方法
4.1 不确定性推理的基本概念
4.2
罗素说： “所有传统逻辑习惯上总是假定当前使用的 是精确的符号。正因为如此，传统逻辑难以应用于现实 生活，而只是存在于虚幻的想象之中”。
第4章 不确定性推理方法
例如：不明确的症状得出正确的医疗诊断给出相应的治疗 方案。 分析汽车故障问题：发动机不转并且灯不亮，电池或电线 有故障 通过朋友们的声音或姿势认出他们。 理解成份不全的语句。
缺点: 要求给出结论Hi 的先验概率P(Hi)。
及证据 Ej的条件概率 P( Ej | Hi)；
第4章 不确定性推理方法
4.1 不确定性推理的基本概念 4.2 概率方法
4源自文库3
主观Bayes方法
4.4 可信度方法 4.5 证据理论 4.6 模糊推理方法
4.3 主观 Bayes 方法（empirical Bayesian approach）
第4章 不确定性推理方法
不确定性推理方法的分类
数值方法 概率方法
基于概率 的方法
可信度方法
不 确 定 性 推 理 方 法
证据理论 模糊推理
主观bayes方法
模型方法 非数值方法 相关性制导回溯 控制方法
机缘控制
启发式搜索
第4章 不确定性推理方法
4.1
不确定性推理中的基本问题
4.2 概率方法
P(H)：专家对结论 H 给出的先验概率，在没有考虑任何 证据的情况下根据经验给出的。随着新证据的出现，对H 的信任程度应有所改变。 主观Bayes方法推理的任务 ： P(H)
P(E),LS,LN
先验概率
P(H/E)或P(H/E) ? 后验概率
4.3.4 不确定性的传递算法
几率（odds）函数： O( x) P( x) P( x) P(x) 1 P( x)
不确定性匹配算法及阈值的选择 组合证据不确定性的算法 不确定性的传递算法
结论不确定性的合成
4.1 不确定性推理中的基本问题
1. 不确定性的表示与量度 （1）知识不确定性的表示——知识的静态强度 （2）证据不确定性的表示—— 证据的动态强度 在专家系统中知识的不确定性一般 是由领域专家给出的，通常是一个 （3）不确定性的量度 用户在求解问题时提供的初始 数值——知识的静态强度 证据。（多来源于观察） ① 能充分表达相应知识及证据不确定性的程度。 例如专家系统 MYCIN，用可信度 在推理中用前面推出的结论作 表示知识的证据的不确定性，取值 ② 度量范围的指定便于领域专家及用户对不确定性的估计。 为当前推理的证据。 [-1，1]。 ③ 便于对不确定性的传递进行计算，而且对结论算出的不确 定性量度不能超出量度规定的范围。 ④ 度量的确定应当是直观的，同时应有相应的理论依据。
第4章 不确定性推理方法 不确定性推理方法的分类
路线 1 （在推理一级上扩展确定性推理）：把不确定的 证据和知识与某种度量标准对应起来，并且不断更新结 论不确定性的算法，从而构成相应不确定推理的模型。
路线 2 （在控制策略一级上处理不确定性）：通过识别 领域中引起不确定性的特征和相应的控制策略来限制或 减少不确定性对系统的影响
4.1 不确定性推理中的基本问题
4. 不确定性的传递算法 （1）在每一步推理中，如何把证据及知识的不确定性 传递给结论。 C(E) C(H) f (E,H) E H C (H)= g[ C(E) , f(E,H)] （2）在多步推理中，如何把初始证据的不确定性传递 给最终结论。 C(E1) E1 f (E1, E2) C(E2) E2 f (E2,H) C(H) H
概率方法
4.3 主观Bayes方法
4.4 可信度方法 4.5 证据理论 4.6 模糊推理方法
4.2 概率方法
例：特定的目标身份融合问题，
目标身份的可能种类的集合称为假设空间，可以抽象地表 示为一个有限集合，该集合中的每个元素的先验概率P(H) 是已知的。
有若干信息源（如传感器），分别能够从某一角度对所关
j 1 n
H j ) P( H j )
举例：想通过调查某地的地质迹象判定此地可能有铜：先知道 发现每一种矿物质的概率和每一种矿物被发现时显现的某一迹 象的概率，然后使用bayes公式，通过该具体地点的迹象，断定 发现铜的可能性。
4.2.2 逆概率方法
逆概率方法的优缺点
优点: 较强的理论背景和良好的数学特征，当证据及结论都 彼此独立时计算的复杂度比较低。
P(E / S )
1
P( E )
-5 -4 -3 -2 -1 0 1 2 3 4 5
C(E / S )
4.3.2 证据不确定性的表示
多个单一证据的合取：
E =E1 AND E2 AND AND En
, P( En / S )
则组合证据的概率：
P( E / S )＝min P( E1 / S ), P( E2 / S ),
第4章 不确定性推理方法
归纳逻辑( inductive logic) 适合用于解决不确定性问题。 著名的休谟问题： • 十八世纪英国哲学家大卫·休谟：
从过去太阳每天从东方升起，能否推出明天太阳仍将从 东方升起？
• 内在含义是要讨论归纳推理的有效性问题，即我们能否 理性证明从有限事例归纳出全称判断是合理的，因此， 休谟问题也称为“归纳问题”。
逆概率 P( E H i )
例如：
原概率 P( H i E )
E ：咳嗽，
H i ：支气管炎，
条件概率 P( H i E ) ：统计咳嗽的人中有多少是患支气管炎的。 逆概率 P( E H i ) ：统计患支气管炎的人中有多少人是咳嗽的。 Bayes公式：
P( H E) P( E H )P( H ) P( E )
第4章 不确定性推理方法
演绎逻辑和一阶谓词逻辑中所运用到的推理是确定性推 理，其操作就是进行符号推演，因为它们所依据的证据 是确定的，要么为“真"，要么为“假"，其推理过程也 是严密的。所以，所推出的结论也是正确的，要么成立， 要么不成立。 在现实世界中，确定性的推理问题是少见的，大多还是 不确定性的。
后验概率P( Hi |Ej):也是条件概率给出新证据后的事件发生的概率
4.3.1 知识不确定性的表示
知识： IF E THEN (LS，LN) H ：结论；P(H):H的先验概率； (LS，LN) ：知识强度（似然比） ，一般由领域专家给出； H (P(H)) E：前提条件（简单条件或复合条件）
• 休谟认为，归纳推理中个别的实际经验的前提，不能必 然地推出普遍性的结论。
第4章 不确定性推理方法
在对休谟问题的辩论过程中，哲学家们提出了
各种解决方法。一些学者将概率理论与归纳逻 辑相结合，对归纳推理中的或然性进行量化处 理，以可能性信度来衡量推理的有效性和合理 性。现代归纳逻辑产生了，它是随着数学概率 论趋于成熟，而逐渐发展起来。
4.3 主观Bayes方法
4.4 可信度方法
4.5 证据理论
4.6 模糊推理方法
4.1 不确定性推理中的基本问题
已知事实 推理： 某种策略 结 论
（证据）
知识
不确定推理：
不确定证据 不确定知识
某种策略
不确定结 论 （不确定程度）
4.1 不确定性推理中的基本问题 不确定性的表示与量度
第4章 不确定性推理方法
在实际中，存在着很多的不确定性问题，导致了不确定 性的知识及不确定性的证据，继而产生了不确定性的推 理。 不确定性推理是建立在非经典逻辑基础上的一种推理。 即从不确定性的初始证据出发，通过运用不确定性的知 识，最终推出具有一定程度的不确定性，但却是合理或 者近乎合理结论的思维过程。 包括概率推理、模糊推理和贝叶斯推理等。 我们对于不确定性知识的处理主要是将其确定化，其表 示的关键是如何对其不确定性进行量化，量化的目的就 是把不确定性转化为确定性。
多个单一证据的析取：
E E1 OR E2 OR OR En
则组合证据的概率：
P( E | S ) max{ P( E1 | S ), P( E2 | S ),..., P( En | S )}
非运算：
P (E / S )＝ 1 P( E / S )
4.3.4 不确定性的传递算法
P（E H） ——规则成立的充分性度量 LS P（E H）
（用于指出E对H的支持程度）
P（E H） 1－ P（ E∣ H） = LN ¬ H） （ E∣ P（ E H） 1－ P ——规则成立的必要性度量
（用于指出E对H的支持程度）
4.3.2 证据不确定性的表示
P(E|S) ：对于初始证据E ，由用户根据观察S 给出的概率； C(E|S)：对所提供的证据可以相信的程度，称为可信度。 对应关系：例如专家系统PROSPECTOR中：
概率：
O( x) P( x) 1 O( x)
O( x) [0, )。
P( x) [0,1],
•
几率函数和概率函数有相同的单调性。
4.3.4 不确定性的传递算法
1. 证据肯定存在的情况 ：即P(E)=1
Bayes修正公式：
LS P( H ) P( H / E ) ( LS 1) P( H ) 1