人工智能导论 第四章不确定性推理

由Bayes公式得：
P(H|E)=P(E|H)×P(H)/P(E)
(1)
P(¬H|E)=P(E|¬H)×P(¬H)/P(E)
(2)
(1)式除以(2)式得：
P(H|E)/P(¬H|E)=P(E|H)/P(E|¬H)×P(H)/P(¬H)
由LS和几率函数的定义得： Θ(H|E)=LS×Θ(H)
即
29
P(H|E)=LS×P(H)/[(LS-1)×P(H)+1]
对于事件A，m=2，所以P(A) = m/n = 2/7 对于事件B，m=3，所以P(B) = m/n = 3/7
11
• 统计概率
当试验次数足够多时，一个事件(A)发生的次数m 与试验的总次数n之比：
fn(A)=m/n 在一个常数p(0≤p≤1)附近摆动，并稳定于p。
• 定义4.2 在同一组条件下所作的大量重复试验中，
n
P(Em | Hi )
P(H j ) P(E1 | H j ) P(E2 | H j ) P(Em | H j )
j 1
, i 1, 2,..., n
21
例. 设H1,H2,H3分别是三个结论，E是支持这些结论的证据。 已知：
P(H1)=0.3,
P(H2)=0.4,
P(H3)=0.5
递给最终结论。 (5) 结论不确定性的合成
用不同知识进行推理得到了相同结论，但不确 定性的程度却不同。此时，需要用合适的算法 对它们进行合成。
7
• 关于不确定性推理方法的研究沿着两条不同的路 线发展。
• 一、模型法：
– 在推理一级上扩展确定性推理。其特点是把不确定的 证据和不确定的知识分别与某种度量标准对应起来， 并且给出更新结论不确定的算法。这类方法与控制策 略一般无关，即无论用何种控制策略，推理的结果都 是唯一的。模型方法分为：
P(H
)
P(E) LS,LN
P(H
|
E)或者P(H
|E)
• 确定后验概率的方法随着证据肯定存在， 肯定不存在，或者不确定而有所不同。
28
引入几率函数Θ(x),它与概率的关系为：
Θ(x)=P(x)/(1-P(x)), P(x)=Θ(x)/(1+Θ(x))
在证据肯定存在时，P(E)=P(E|S)=1。
5
• 常用的组合证据不确定性计算方法有：
– 最大最小法：
T(E1 AND E2)=min{T(E1),T(E2)} T(E1 OR E2)=max{T(E1),T(E2)}
– 概率法：
T(E1 AND E2)=T(E1)×T(E2) T(E1 OR E2)=T(E1)＋T(E2)－T(E1)×T(E2)
• 例如：相关性制导回溯、启发式搜索等等。
• 1. 概率论基础
• 随机现象
• 样本空间：
一个可能的实验结果为一个样本点，样本点的全体构成的 集合称为样本空间。
• 随机事件：ห้องสมุดไป่ตู้
要考察的由一些样本点构成的集合称为随机事件。
• 事件发生了：出现了样本点集合中的一个元素。
• 必然事件：样本点全体构成的集合(即样本空间)所表示 的事件。
事数件p附A近出摆现动的，频并率且fn(稳A)定总于是p在，[0则,1称]上p的为一事个件确A的定概常
率。即
P( A)
lim
n
fn (A)
12
• 0≤P(A)≤1 • P(D)=1,P(Φ)=0 • 设事件A1,A2,…,Ak(k≤n)是两两互不相容的
事件，即有Ai∩Aj=Φ(i≠j)，则 k P( Ai ) P( A1) P( A2 ) P( Ak ) i1
的不确定性度量不能超出度量规定的范围。 – 度量的确定应当是直观的，同时应有相应的理论依据。 4
(2) 不确定性匹配算法
– 设计一个不确定性匹配算法； – 指定一个匹配阈值。
(3) 组合证据不确定性的算法
– 在匹配时，一个简单条件对应于一个单一的证 据，一个复合条件对应于一组证据，称这一组 证据为组合证据。
2
• 引起知识不确定性的原因有： 1) 随机性：我有八成的把握打中目标。 2) 模糊性：高个子适合于打篮球。 3) 不完全性：这种药可能会治疗SARS。 4) 经验性：土干了就给花浇水。
3
(1) 不确定性的表示 • 不确定性推理中的“不确定性”一般分为两类：一是知
识的不确定性，一是证据的不确定性。
• 不可能事件：Φ
• 基本事件：单点集合
• 事件的关系
包含、并、交、差、逆
10
• 古典概型 定义4.1 设E为古典概型，样本空间共有n个基本
事件，事件A中含有m个基本事件，则称 P(A) = m/n
为事件A的概率。 例如：D＝{1,2,3,4,5,6,7}，A={取数字3的倍
数}，B={取偶数}。 解：基本事件有7个，n＝7。
• P(¬A)=1-P(A) • P(A∪B)=P(A)+P(B)-P(AB) • 如果 A B ，则P(A-B)=P(A)-P(B)
13
• 如果在事件B发生的条件下考虑事件A发生的概率， 就称它为事件A的条件概率，记为P(A|B)。
• 定义4.3 设A，B是两个事件，P(B)>0,则称
P(A | B) P(A B) P(B)
为在事件B已发生的条件下事件A的条件概率。 • 条件概率中的条件缩小了样本空间，即条件概率
是在条件所确定的新空间中求A∩B的概率。
14
例. D＝{1,2,3,4,5,6,7}，A={取数字3的倍数}，B={取偶数}。 求解在事件B发生的条件下，事件A发生的条件概率。
解：事件B是已经发生的事件，即 取到2；取到4；取到6
当已知条件概率P(H|E1,E2,…,En)时，就可把它作为在证 据E1,E2,…,En出现时结论H的确定性程度。
18
• 经典概率方法要求给出条件概率P(H|E)，在实 际中比较困难。
– 例如E代表咳嗽，H代表支气管炎，则P(H|E)表示在 咳嗽的人群中患支气管炎的概率。这个比较困难。 而逆概率P(E|H)表示在得支气管炎的人群中咳嗽的 概率。这个相对容易获得。
E=E1 OR E2 OR … OR En 则：P(E|S)=max{P(E1|S),P(E2|S),…,P(En|S)} 对于“¬”运算则：
P(¬E|S)=1-P(E|S)
27
• 主观Bayes方法推理的任务就是根据证据 E的概率P(E)及LS、LN的值，把H的先验 概率P(H)更新为后验概率P(H|E)或 P(H|¬E)。即
在证据肯定不存在时，P(E)=P(E|S)=0， P(¬E)=1。
由Bayes公式得：
P(H|¬E)=P(¬E|H)×P(H)/P(¬E)
– 数值方法
• 按其所依据的理论又可分为：基于概率的方 法和基于模糊理论的模糊推理。
– 非数值方法
8
二、 控制法：
– 在控制策略一级处理不确定性。其特点是通过识别领 域中引起不确定性的某些特征及相应的控制策略来限 制或者减少不确定性对系统产生的影响。这类方法没 有处理不确定性的统一模型，其效果极大地依赖于控 制策略。
第四章 不确定性推理
• 4.1 概述 • 4.2 基本概率方法 • 4.3 主观Bayes方法 • 4.4 可信度方法
1. 什么是不确定性推理
• 不确定性推理是建立在非经典逻辑基础 上的一种推理，它是对不确定性知识的 运用与处理。
• 所谓不确定性推理就是从不确定性的初 始证据出发，通过运用不确定性的知识， 最终推出具有一定程度的不确定性但却 是合理或者近乎合理的结论的思维过程。
0.32
同理可得： P(H2|E)=0.26, P(H3|E)=0.43
22
• 逆概率法在实际中有很多应用。 • 比如：
– 把Hi (i=1,2,…,n)当作可能发生的疾病； – 把Ej (j=1,2,…,n)当作相应的症状； – P(Hi)是从大量实践中得到的疾病Hi的先验概率； – P(Ej|Hi)是疾病Hi发生时观察到症状Ej的条件概率。 – 则当对某病人观察到有症状E1,E2,…,Em时，应用上述
• 我们根据Bayes定理可以从P(E|H)推出P(H|E)。
19
若A1,A2,…,An是彼此独立的事件，
P( Ai | B)
P( Ai ) P(B | Ai )
n
, i 1, 2,..., n
P(Aj ) P(B | Aj )
j 1
其中，P(Ai)是事件Ai的先验概率；P(B|Ai)是在事件Ai发生条 件下事件B的条件概率。
– 有界法：
T(E1 AND E2)=max{0,T(E1)＋T(E2)－1} T(E1 OR E2)=min{1,T(E1)＋T(E2)} 其中，T(E)表示证据E为真的程度，如可信度、概率等。
6
(4) 不确定性的传递算法 • 在每一步推理中，如何把证据及知识的不确定
性传递给结论。 • 在多步推理中，如何把初始证据的不确定性传
P(E|
S
)
5 P(E)(5C(E|S))
5
,0C(E|S)5 ,5C(E|S)0
26
• 可以采用最大最小法。 当组合证据是多个单一证据的合取时，即
E=E1 AND E2 AND … AND En 则：P(E|S)=min{P(E1|S),P(E2|S),…,P(En|S)} 当组合证据是多个单一证据的析取时，即
P(E|H1)=0.5, P(E|H2)=0.3, P(E|H3)=0.4
求P(H1|E),P(H2|E)及P(H3|E)的值各是多少？
解：
P(H |E)
P(H )P(E|H )
1
1
1 P(H )P(E|H ) P(H )P(E|H )P(H )P(E|H )