第四章不确定性推理
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
– 在推理一级上扩展确定性推理。其特点是把不确定的 证据和不确定的知识分别与某种度量标准对应起来， 并且给出更新结论不确定的算法。这类方法与控制策 略一般无关，即无论用何种控制策略，推理的结果都 是唯一的。模型方法分为：
– 数值方法 • 按其所依据的理论又可分为：基于概率的方 法和基于模糊理论的模糊推理。 – 非数值方法
19
若A1,A2,…,An是彼此独立的事件， P( Ai ) P( B | Ai ) P( Ai | B) n , i 1, 2,..., n P( Aj ) P( B | Aj )
j 1
其中，P(Ai)是事件Ai的先验概率；P(B|Ai)是在事件Ai发生条 件下事件B的条件概率。 如果用产生式规则 IF E THEN Hi 中的前提条件E代替Bayes公式中的B，用Hi代替公式中的Ai ， 就可得到 P( H i ) P( E | H i ) P( H i | E ) n , i 1, 2,..., n 20 P( H j ) P( E | H j )
• P(¬ A)=1-P(A) • P(A∪B)=P(A)+P(B)-P(AB) • 如果 A B ，则P(A-B)=P(A)-P(B)
13
• 如果在事件B发生的条件下考虑事件A发生的概率， 就称它为事件A的条件概率，记为P(A|B)。 • 定义4.3 设A，B是两个事件，P(B)>0,则称
P( A | B) P( A B) P( B)
j 1
P ( H i | E1 E2 Em ) P ( H i ) P ( E1 | H i ) P ( E2 | H i ) P ( Em | H i )
P( H
j 1
n
j
) P ( E1 | H j ) P ( E2 | H j ) P ( Em | H j )
述三个事件中只有一种可能使A发生。所以在B发生的条
件下事件A的概率是1/3。
15
•
全概率公式
定理4.1 设事件A1,A2,…,An，满足：
(1)两两互不相容，即当i≠j时，有Ai∩Aj=Φ；
(2)P(Ai)>0 (1≤i≤n)
(3)
D Ai
n
i 1 则对任何事件 B有下式成立：
P( B) P( Ai ) P( B | Ai )
– 概率法：
T(E1 AND E2)=T(E1)×T(E2) T(E1 OR E2)=T(E1)＋T(E2)－T(E1)×T(E2)
– 有界法：
T(E1 AND E2)=max{0,T(E1)＋T(E2)－1} T(E1 OR E2)=min{1,T(E1)＋T(E2)} 其中，T(E)表示证据E为真的程度，如可信度、概率等。 6
2
•
引起知识不确定性的原因有： 1) 随机性：我有八成的把握打中目标。 2) 模糊性：高个子适合于打篮球。 3) 不完全性：这种药可能会治疗SARS。 4) 经验性：土干了就给花浇水。
3
(1) 不确定性的表示 • 不确定性推理中的“不确定性”一般分为两类：一是知 识的不确定性，一是证据的不确定性。 • 知识不确定性的表示：静态强度。 • 证据不确定性的表示：动态强度。 • 不确定性的度量：可有多种度量方法和范围，例如[0,1] 或者[-1,1]。 • 在确定一种度量方法及其范围时，应注意以下几点：
(3) 组合证据不确定性的算法
– 在匹配时，一个简单条件对应于一个单一的证 据，一个复合条件对应于一组证据，称这一组 证据为组合证据。
5
• 常用的组合证据不确定性计算方法有：
– 最大最小法：
T(E1 AND E2)=min{T(E1),T(E2)} T(E1 OR E2)=max{T(E1),T(E2)}
8
二、 控制法：
– 在控制策略一级处理不确定性。其特点是通过识别领 域中引起不确定性的某些特征及相应的控制策略来限 制或者减少不确定性对系统产生的影响。这类方法没 有处理不确定性的统一模型，其效果极大地依赖于控 制策略。
• 例如：相关性制导回溯、启发式搜索等等。
• 1. 概率论基础 • 随机现象 • 样本空间： 一个可能的实验结果为一个样本点，样本点的全体构成的 集合称为样本空间。 • 随机事件： 要考察的由一些样本点构成的集合称为随机事件。 • 事件发生了：出现了样本点集合中的一个元素。 • 必然事件：样本点全体构成的集合(即样本空间)所表示 的事件。 • 不可能事件：Φ • 基本事件：单点集合 • 事件的关系 包含、并、交、差、逆 10
17
• 经典概率方法
– 设有如下产生式规则：
IF
E
Байду номын сангаас
THEN
H
其中，E为前提条件，H为结论。条件概率P(H|E)可以作 为在证据E出现时结论H的确定性程度。
– 对于复合条件
E=E1 AND E2 AND … AND En 当已知条件概率P(H|E1,E2,…,En)时，就可把它作为在证 据E1,E2,…,En出现时结论H的确定性程度。
27
• 主观Bayes方法推理的任务就是根据证据 E的概率P(E)及LS、LN的值，把H的先验 概率P(H)更新为后验概率P(H|E)或 P(H|¬ E)。即
P(E) P(H | E)或者P(H |E) P(H ) LS ,LN
• 确定后验概率的方法随着证据肯定存在， 肯定不存在，或者不确定而有所不同。
(4) 不确定性的传递算法 • 在每一步推理中，如何把证据及知识的不确定 性传递给结论。 • 在多步推理中，如何把初始证据的不确定性传 递给最终结论。 (5) 结论不确定性的合成 用不同知识进行推理得到了相同结论，但不确 定性的程度却不同。此时，需要用合适的算法 对它们进行合成。
7
• 关于不确定性推理方法的研究沿着两条不同的路 线发展。 • 一、模型法：
,0C(E|S )5 ,5C(E|S )0
26
• 可以采用最大最小法。 当组合证据是多个单一证据的合取时，即 E=E1 AND E2 AND … AND En 则：P(E|S)=min{P(E1|S),P(E2|S),…,P(En|S)} 当组合证据是多个单一证据的析取时，即 E=E1 OR E2 OR … OR En 则：P(E|S)=max{P(E1|S),P(E2|S),…,P(En|S)} 对于“¬ ”运算则： P(¬ E|S)=1-P(E|S)
23
优点：
• 逆概率法有较强的理论背景和良好的数学特性，当证据及结论都彼此
独立时计算的复杂度比较低。 缺点： • 逆概率法要求给出结论Hi的先验概率P(Hi)及证据Ej的条件概率P(Ej|Hi)。 尽管有些时候P(Ej|Hi)比P(Hi|Ej)相对容易得到，但仍然相当困难。另 外Bayes公式的应用条件很严格。
18
• 经典概率方法要求给出条件概率P(H|E)，在实 际中比较困难。
– 例如E代表咳嗽，H代表支气管炎，则P(H|E)表示在 咳嗽的人群中患支气管炎的概率。这个比较困难。 而逆概率P(E|H)表示在得支气管炎的人群中咳嗽的 概率。这个相对容易获得。
• 我们根据Bayes定理可以从P(E|H)推出P(H|E)。
28
引入几率函数Θ(x),它与概率的关系为： Θ(x)=P(x)/(1-P(x)), P(x)=Θ(x)/(1+Θ(x)) 在证据肯定存在时，P(E)=P(E|S)=1。 由Bayes公式得： P(H|E)=P(E|H)×P(H)/P(E) (1) P(¬ H|E)=P(E|¬ H)×P(¬ H)/P(E) (2) (1)式除以(2)式得： P(H|E)/P(¬ H|E)=P(E|H)/P(E|¬ H)×P(H)/P(¬ H) 由LS和几率函数的定义得： Θ(H|E)=LS×Θ(H) 即 P(H|E)=LS×P(H)/[(LS-1)×P(H)+1]
i 1
n
16
定理4.2 条件同定理4.1。则对任何事件B有下式成立：
P( Ai ) P( B | Ai )
P( Ai | B)
P( A ) P( B | A )
j 1 j j
n
, i 1, 2,..., n
P( Ai ) P( B | Ai ) , i 1, 2,..., n P( B) P( Ai | B) P( B) P( Ai ) P( B | Ai ), i 1, 2,..., n
– – – – 度量要能充分表达相应知识及证据不确定性的程度。 度量范围的指定应便于领域专家及用户对不确定性的估计。 度量要便于对不确定性的传递进行计算，而且对结论算出 的不确定性度量不能超出度量规定的范围。 度量的确定应当是直观的，同时应有相应的理论依据。 4
(2) 不确定性匹配算法
– 设计一个不确定性匹配算法； – 指定一个匹配阈值。
为在事件B已发生的条件下事件A的条件概率。 • 条件概率中的条件缩小了样本空间，即条件概率 是在条件所确定的新空间中求A∩B的概率。
14
例. D＝{1,2,3,4,5,6,7}，A={取数字3的倍数}，B={取偶数}。 求解在事件B发生的条件下，事件A发生的条件概率。 解：事件B是已经发生的事件，即 取到2；取到4；取到6 中必有一个出现。由于事件A是“取3的倍数”，而在上
第四章 不确定性推理
• 4.1 概述
• 4.2 基本概率方法 • 4.3 主观Bayes方法 • 4.4 可信度方法
1. 什么是不确定性推理 • 不确定性推理是建立在非经典逻辑基础 上的一种推理，它是对不确定性知识的 运用与处理。 • 所谓不确定性推理就是从不确定性的初 始证据出发，通过运用不确定性的知识， 最终推出具有一定程度的不确定性但却 是合理或者近乎合理的结论的思维过程。
, i 1, 2,..., n
21
例. 设H1,H2,H3分别是三个结论，E是支持这些结论的证据。 已知： P(H1)=0.3, P(H2)=0.4, P(H3)=0.5 P(E|H1)=0.5, P(E|H2)=0.3, P(E|H3)=0.4 求P(H1|E),P(H2|E)及P(H3|E)的值各是多少？ 解： P(H1) P(E | H1) P(H1 | E) P(H1) P(E | H1) P(H 2) P(E | H 2) P(H3) P(E | H 3) 0.15 0.15 0.12 0.2 0.32
25
•
•
在主观Bayes方法中，证据的不确定性也用概率 表示。对于证据E，由用户根据观察S给出 P(E|S)，即动态强度。 由于主观给定P(E|S)有所困难，所以实际中可以 用可信度C(E|S)代替P(E|S)。例如在 PROSPECTOR中C(E|S)和P(E|S)遵从如下关系：
C(E|S ) P(E)(5C(E|S )) 5 P(E | S ) P(E)(5C(E|S )) 5
同理可得： P(H2|E)=0.26, P(H3|E)=0.43
22
• •
逆概率法在实际中有很多应用。 比如： – 把Hi (i=1,2,…,n)当作可能发生的疾病； – 把Ej (j=1,2,…,n)当作相应的症状；
– P(Hi)是从大量实践中得到的疾病Hi的先验概率；
– P(Ej|Hi)是疾病Hi发生时观察到症状Ej的条件概率。 – 则当对某病人观察到有症状E1,E2,…,Em时，应用上述 Bayes公式就可计算出P(Hi|E1E2…Em)，从而得知病人 患疾病Hi的可能性。
• 古典概型 定义4.1 设E为古典概型，样本空间共有n个基本 事件，事件A中含有m个基本事件，则称 P(A) = m/n 为事件A的概率。 例如：D＝{1,2,3,4,5,6,7}，A={取数字3的倍 数}，B={取偶数}。 解：基本事件有7个，n＝7。 对于事件A，m=2，所以P(A) = m/n = 2/7 对于事件B，m=3，所以P(B) = m/n = 3/7
P ( A) lim f n ( A)
n
12
• 0≤P(A)≤1 • P(D)=1,P(Φ)=0 • 设事件A1,A2,…,Ak(k≤n)是两两互不相容的 事件，即有Ai∩Aj=Φ(i≠j)，则
P ( Ai ) P ( A1 ) P ( A2 ) P ( Ak )
i 1 k
11
• 统计概率 当试验次数足够多时，一个事件(A)发生的次数m 与试验的总次数n之比： fn(A)=m/n 在一个常数p(0≤p≤1)附近摆动，并稳定于p。 • 定义4.2 在同一组条件下所作的大量重复试验中， 事件A出现的频率fn(A)总是在[0,1]上的一个确定常 数p附近摆动，并且稳定于p，则称p为事件A的概 率。即
– 数值方法 • 按其所依据的理论又可分为：基于概率的方 法和基于模糊理论的模糊推理。 – 非数值方法
19
若A1,A2,…,An是彼此独立的事件， P( Ai ) P( B | Ai ) P( Ai | B) n , i 1, 2,..., n P( Aj ) P( B | Aj )
j 1
其中，P(Ai)是事件Ai的先验概率；P(B|Ai)是在事件Ai发生条 件下事件B的条件概率。 如果用产生式规则 IF E THEN Hi 中的前提条件E代替Bayes公式中的B，用Hi代替公式中的Ai ， 就可得到 P( H i ) P( E | H i ) P( H i | E ) n , i 1, 2,..., n 20 P( H j ) P( E | H j )
• P(¬ A)=1-P(A) • P(A∪B)=P(A)+P(B)-P(AB) • 如果 A B ，则P(A-B)=P(A)-P(B)
13
• 如果在事件B发生的条件下考虑事件A发生的概率， 就称它为事件A的条件概率，记为P(A|B)。 • 定义4.3 设A，B是两个事件，P(B)>0,则称
P( A | B) P( A B) P( B)
j 1
P ( H i | E1 E2 Em ) P ( H i ) P ( E1 | H i ) P ( E2 | H i ) P ( Em | H i )
P( H
j 1
n
j
) P ( E1 | H j ) P ( E2 | H j ) P ( Em | H j )
述三个事件中只有一种可能使A发生。所以在B发生的条
件下事件A的概率是1/3。
15
•
全概率公式
定理4.1 设事件A1,A2,…,An，满足：
(1)两两互不相容，即当i≠j时，有Ai∩Aj=Φ；
(2)P(Ai)>0 (1≤i≤n)
(3)
D Ai
n
i 1 则对任何事件 B有下式成立：
P( B) P( Ai ) P( B | Ai )
– 概率法：
T(E1 AND E2)=T(E1)×T(E2) T(E1 OR E2)=T(E1)＋T(E2)－T(E1)×T(E2)
– 有界法：
T(E1 AND E2)=max{0,T(E1)＋T(E2)－1} T(E1 OR E2)=min{1,T(E1)＋T(E2)} 其中，T(E)表示证据E为真的程度，如可信度、概率等。 6
2
•
引起知识不确定性的原因有： 1) 随机性：我有八成的把握打中目标。 2) 模糊性：高个子适合于打篮球。 3) 不完全性：这种药可能会治疗SARS。 4) 经验性：土干了就给花浇水。
3
(1) 不确定性的表示 • 不确定性推理中的“不确定性”一般分为两类：一是知 识的不确定性，一是证据的不确定性。 • 知识不确定性的表示：静态强度。 • 证据不确定性的表示：动态强度。 • 不确定性的度量：可有多种度量方法和范围，例如[0,1] 或者[-1,1]。 • 在确定一种度量方法及其范围时，应注意以下几点：
(3) 组合证据不确定性的算法
– 在匹配时，一个简单条件对应于一个单一的证 据，一个复合条件对应于一组证据，称这一组 证据为组合证据。
5
• 常用的组合证据不确定性计算方法有：
– 最大最小法：
T(E1 AND E2)=min{T(E1),T(E2)} T(E1 OR E2)=max{T(E1),T(E2)}
8
二、 控制法：
– 在控制策略一级处理不确定性。其特点是通过识别领 域中引起不确定性的某些特征及相应的控制策略来限 制或者减少不确定性对系统产生的影响。这类方法没 有处理不确定性的统一模型，其效果极大地依赖于控 制策略。
• 例如：相关性制导回溯、启发式搜索等等。
• 1. 概率论基础 • 随机现象 • 样本空间： 一个可能的实验结果为一个样本点，样本点的全体构成的 集合称为样本空间。 • 随机事件： 要考察的由一些样本点构成的集合称为随机事件。 • 事件发生了：出现了样本点集合中的一个元素。 • 必然事件：样本点全体构成的集合(即样本空间)所表示 的事件。 • 不可能事件：Φ • 基本事件：单点集合 • 事件的关系 包含、并、交、差、逆 10
17
• 经典概率方法
– 设有如下产生式规则：
IF
E
Байду номын сангаас
THEN
H
其中，E为前提条件，H为结论。条件概率P(H|E)可以作 为在证据E出现时结论H的确定性程度。
– 对于复合条件
E=E1 AND E2 AND … AND En 当已知条件概率P(H|E1,E2,…,En)时，就可把它作为在证 据E1,E2,…,En出现时结论H的确定性程度。
27
• 主观Bayes方法推理的任务就是根据证据 E的概率P(E)及LS、LN的值，把H的先验 概率P(H)更新为后验概率P(H|E)或 P(H|¬ E)。即
P(E) P(H | E)或者P(H |E) P(H ) LS ,LN
• 确定后验概率的方法随着证据肯定存在， 肯定不存在，或者不确定而有所不同。
(4) 不确定性的传递算法 • 在每一步推理中，如何把证据及知识的不确定 性传递给结论。 • 在多步推理中，如何把初始证据的不确定性传 递给最终结论。 (5) 结论不确定性的合成 用不同知识进行推理得到了相同结论，但不确 定性的程度却不同。此时，需要用合适的算法 对它们进行合成。
7
• 关于不确定性推理方法的研究沿着两条不同的路 线发展。 • 一、模型法：
,0C(E|S )5 ,5C(E|S )0
26
• 可以采用最大最小法。 当组合证据是多个单一证据的合取时，即 E=E1 AND E2 AND … AND En 则：P(E|S)=min{P(E1|S),P(E2|S),…,P(En|S)} 当组合证据是多个单一证据的析取时，即 E=E1 OR E2 OR … OR En 则：P(E|S)=max{P(E1|S),P(E2|S),…,P(En|S)} 对于“¬ ”运算则： P(¬ E|S)=1-P(E|S)
23
优点：
• 逆概率法有较强的理论背景和良好的数学特性，当证据及结论都彼此
独立时计算的复杂度比较低。 缺点： • 逆概率法要求给出结论Hi的先验概率P(Hi)及证据Ej的条件概率P(Ej|Hi)。 尽管有些时候P(Ej|Hi)比P(Hi|Ej)相对容易得到，但仍然相当困难。另 外Bayes公式的应用条件很严格。
18
• 经典概率方法要求给出条件概率P(H|E)，在实 际中比较困难。
– 例如E代表咳嗽，H代表支气管炎，则P(H|E)表示在 咳嗽的人群中患支气管炎的概率。这个比较困难。 而逆概率P(E|H)表示在得支气管炎的人群中咳嗽的 概率。这个相对容易获得。
• 我们根据Bayes定理可以从P(E|H)推出P(H|E)。
28
引入几率函数Θ(x),它与概率的关系为： Θ(x)=P(x)/(1-P(x)), P(x)=Θ(x)/(1+Θ(x)) 在证据肯定存在时，P(E)=P(E|S)=1。 由Bayes公式得： P(H|E)=P(E|H)×P(H)/P(E) (1) P(¬ H|E)=P(E|¬ H)×P(¬ H)/P(E) (2) (1)式除以(2)式得： P(H|E)/P(¬ H|E)=P(E|H)/P(E|¬ H)×P(H)/P(¬ H) 由LS和几率函数的定义得： Θ(H|E)=LS×Θ(H) 即 P(H|E)=LS×P(H)/[(LS-1)×P(H)+1]
i 1
n
16
定理4.2 条件同定理4.1。则对任何事件B有下式成立：
P( Ai ) P( B | Ai )
P( Ai | B)
P( A ) P( B | A )
j 1 j j
n
, i 1, 2,..., n
P( Ai ) P( B | Ai ) , i 1, 2,..., n P( B) P( Ai | B) P( B) P( Ai ) P( B | Ai ), i 1, 2,..., n
– – – – 度量要能充分表达相应知识及证据不确定性的程度。 度量范围的指定应便于领域专家及用户对不确定性的估计。 度量要便于对不确定性的传递进行计算，而且对结论算出 的不确定性度量不能超出度量规定的范围。 度量的确定应当是直观的，同时应有相应的理论依据。 4
(2) 不确定性匹配算法
– 设计一个不确定性匹配算法； – 指定一个匹配阈值。
为在事件B已发生的条件下事件A的条件概率。 • 条件概率中的条件缩小了样本空间，即条件概率 是在条件所确定的新空间中求A∩B的概率。
14
例. D＝{1,2,3,4,5,6,7}，A={取数字3的倍数}，B={取偶数}。 求解在事件B发生的条件下，事件A发生的条件概率。 解：事件B是已经发生的事件，即 取到2；取到4；取到6 中必有一个出现。由于事件A是“取3的倍数”，而在上
第四章 不确定性推理
• 4.1 概述
• 4.2 基本概率方法 • 4.3 主观Bayes方法 • 4.4 可信度方法
1. 什么是不确定性推理 • 不确定性推理是建立在非经典逻辑基础 上的一种推理，它是对不确定性知识的 运用与处理。 • 所谓不确定性推理就是从不确定性的初 始证据出发，通过运用不确定性的知识， 最终推出具有一定程度的不确定性但却 是合理或者近乎合理的结论的思维过程。
, i 1, 2,..., n
21
例. 设H1,H2,H3分别是三个结论，E是支持这些结论的证据。 已知： P(H1)=0.3, P(H2)=0.4, P(H3)=0.5 P(E|H1)=0.5, P(E|H2)=0.3, P(E|H3)=0.4 求P(H1|E),P(H2|E)及P(H3|E)的值各是多少？ 解： P(H1) P(E | H1) P(H1 | E) P(H1) P(E | H1) P(H 2) P(E | H 2) P(H3) P(E | H 3) 0.15 0.15 0.12 0.2 0.32
25
•
•
在主观Bayes方法中，证据的不确定性也用概率 表示。对于证据E，由用户根据观察S给出 P(E|S)，即动态强度。 由于主观给定P(E|S)有所困难，所以实际中可以 用可信度C(E|S)代替P(E|S)。例如在 PROSPECTOR中C(E|S)和P(E|S)遵从如下关系：
C(E|S ) P(E)(5C(E|S )) 5 P(E | S ) P(E)(5C(E|S )) 5
同理可得： P(H2|E)=0.26, P(H3|E)=0.43
22
• •
逆概率法在实际中有很多应用。 比如： – 把Hi (i=1,2,…,n)当作可能发生的疾病； – 把Ej (j=1,2,…,n)当作相应的症状；
– P(Hi)是从大量实践中得到的疾病Hi的先验概率；
– P(Ej|Hi)是疾病Hi发生时观察到症状Ej的条件概率。 – 则当对某病人观察到有症状E1,E2,…,Em时，应用上述 Bayes公式就可计算出P(Hi|E1E2…Em)，从而得知病人 患疾病Hi的可能性。
• 古典概型 定义4.1 设E为古典概型，样本空间共有n个基本 事件，事件A中含有m个基本事件，则称 P(A) = m/n 为事件A的概率。 例如：D＝{1,2,3,4,5,6,7}，A={取数字3的倍 数}，B={取偶数}。 解：基本事件有7个，n＝7。 对于事件A，m=2，所以P(A) = m/n = 2/7 对于事件B，m=3，所以P(B) = m/n = 3/7
P ( A) lim f n ( A)
n
12
• 0≤P(A)≤1 • P(D)=1,P(Φ)=0 • 设事件A1,A2,…,Ak(k≤n)是两两互不相容的 事件，即有Ai∩Aj=Φ(i≠j)，则
P ( Ai ) P ( A1 ) P ( A2 ) P ( Ak )
i 1 k
11
• 统计概率 当试验次数足够多时，一个事件(A)发生的次数m 与试验的总次数n之比： fn(A)=m/n 在一个常数p(0≤p≤1)附近摆动，并稳定于p。 • 定义4.2 在同一组条件下所作的大量重复试验中， 事件A出现的频率fn(A)总是在[0,1]上的一个确定常 数p附近摆动，并且稳定于p，则称p为事件A的概 率。即