主观贝叶斯方法

5.3.3 知识不确定性的表示
2.LS和LN的性质 (1)LS的性质 LS表示证据E的存在，影响结论H为真的 概率：O(H|E)=LS × O(H)
当LS>1时，P(H|E)>P(H),即E支持H，E导致H为真的可 能性增加； 当LS->+∞时,表示证据E将致使H为真； 当LS=1时，表示E对H没有影响，与H无关； 当LS<1时，说明E不支持H，E导致H为真的可能性下降； 当LS=0时，E的存在是H为假；
1）E肯定存在，即P(E|S)=1, 且P(﹁ E | S)=0，杜达公式简化为：
LS × P( H ) P( H | S ) = P( H | E ) = ( LS − 1) P( H ) + 1
5.3.5 不确定性推理计算
2）E肯定不存在，即P(E|S)=0, 式简化为： P(﹁ E | S)=1，杜达公
5.3.4 证据不确定性的表示
2.组合证据的不确定性的确定方法 组合证据的不确定性的确定方法
当证据E由多个单一证据合取而成，即
E = E1 ∩ E 2 ∩ ... ∩ En
如果已知P(E1|S), P(E2|S),…,P(En|S)，则
P(E|S)=min{P(E1|S),P(E2|S),…,P(En|S)}
P( H | E ) P( E | H ) P( H ) = ⋅ P ( ¬H | E ) P ( E | ¬ H ) P ( ¬ H )
5.3.3 知识不确定性的表示
为了讨论方便，引入几率函数
P( x) O( x) = 1 − P( x)
O( x) P( x) = 1 + O ( x)
又
P( E | H ) LS = P ( E | ¬H )
P( H | E ) P( E | H ) P( H ) = ⋅ P ( ¬ H | E ) P ( E | ¬H ) P ( ¬H )
则
可以化为 O( H | E ) = LS × O( H )
5.3.3 知识不确定性的表示
上式被称为Bayes公式的几率似然性形式。LS 称为充分似然性，如果LS->+∞，则证据E对于 推出H为真是逻辑充分的。 同理，可得关于LN的公式： LN O(H|﹁ E)=LN× O(H) 其被称为Bayes公式的必率似然性形式。LN称 为必然似然性，如果LN=0，则有O(H|﹁ E)=0。 这说明当~E为真时，H必为假，即E对H来说是 必然的。
用户的观察不精确
推理出的中间结论不精确 假设S是对E的观察,则P(E|S)表示在观察S下, E为 真的概率, 值在[0,1]；
5.3.5 不确定性推理计算
此时0<P(E|S)<1，故计算后验概率P(R|S), 不能 使用Bayes公式 可以采用下面的公式修正（杜达公式）
P ( H | S ) = P ( H | E ) × P ( E | S ) + P ( H | ¬E ) × P ( ¬E | S )
5.3.3 知识不确定性的表示
1.知识表示方法 知识表示方法
在地矿勘探专家系统中，为了进行不确定性推 理，把所有的知识规则连接成一个有向图，图中 的各节点代表假设结论，弧代表规则。 在主观Bayes方法中，知识的不确定性是以一 个数值对（LS，LN）来进行描述的。其具体产 生式规则形式表示为： IF E THEN (LS,LN) H (P(H))
LN × P( H ) P ( H | S ) = P ( H | ¬E ) = ( LN − 1) × P( H ) + 1
3） P(E|S)= P(E)，即E和S无关, （公式7），杜达公式可以化为： 利用全概率公式
P ( H | S ) = P ( H | E ) × P ( E ) + P ( H | ¬E ) × P ( ¬E ) = P ( H )
5.3.3 知识不确定性的表示
(2)LN的性质
表示证据E的不存在，影响结论H为真的概 率： O(H|﹁ E)=LN× O(H)
当LN>1时，P(H|~E)>P(H),即~E支持H，~E导致H为 真的可能性增加； 当LN->+∞时,表示证据~E将致使H为真； 当LN=1时，表示~E对H没有影响，与H无关； 当LN<1时，说明~E不支持H，~E导致H为真的可能性 下降； 当LN=0时，~E的存在是H为假；
∑ P( E | H ) × ...× P( E
1 j j =1
n
m
| Hi ) × P ( Hj )
5.3.1 基本Bayes公式
此时，只要知道Hi的先验概率P(Hi)以及Hi 成立时证据E1,E2,…,Em出现的条件概率 P(E1|Hi),P(E2|Hi),…P(Em|Hi)，就可以求 得在E1,E2,...,Em出现情况下Hi的条件概率 P(Hi|E1E2...Em)
∑P( A ) × P(B | A )
j =1 j j
n
i = 1, 2 ,..., n
5.3.1 基本Bayes公式
又有产生式规则 IF E THEN Hi 用产生式中的前提条件E代替Bayes公式中的B， 用Hi 代替公式中的Ai,就可以得到公式： P ( E | Hi ) P( Hi ) P( Hi | E ) = n , i = 1,2,..., n ∑ P( E | Hj ) P( Hj )
5.3.2 主观Bayes方法
主观Bayes方法的基本思想
由于证据E的出现，使得P (H)变为P(H|E) 主观Bayes方法,就是研究利用证据E，将先验概率P(H) 更新为后验概率P(H|E)
主观Bayes方法引入两个数值（LS，LN）用来 度量规则成立的充分性和必要性。其中，
LS: 充分性量度 LN: 必要性量度
5.3.3 知识不确定性的表示
其中，(LS,LN)是为度量产生式规则的不确定 性而引入的一组数值，用来表示该知识的强度， LS和LZ的表示形式如下。 (1) (1)充分性度量(LS)的定义 (LS)
P( E | H ) LS = P ( E | ¬H )
它表示E对H的支持程度，取值范围为[0,+∞)。
P ( Ai ) × P ( B | Ai ) P ( Ai | B ) = , i = 1,2,..., n P( B)
称为贝叶斯公式。 称为贝叶斯公式。 贝叶斯公式
5.3.1 基本Bayes公式
把全概率公式带入贝叶斯公式后，得如下 公式:
P( Ai | B) =
P( Ai ) × P(B | Ai )
P( AB) P( A | B) = P( B)
是在B事件已经发生的条件下， 事件发送的概 是在 事件已经发生的条件下， A事件发送的概 事件已经发生的条件下 率。 乘法定理: P ( AB) = P ( A | B ) ⋅ P ( B ) 乘法定理
5.3.1 基本Bayes公式
A1, A2,...,An 事件满足： 全概率公式： 事件满足： 全概率公式：设 两两互不相容， ⑴ 两两互不相容，即当 i ≠ j 时， 有 Ai ∩ A j = ∅ ⑵ P( Ai ) > 0(1 ≤ i ≤ n) n ⑶ 样本空间 D = U A i i =1 则对任何事件B, 有下式成立： 则对任何事件 有下式成立：
5.3.5 不确定性推理计算
4)当P(E|S)为其它值（非0，非1，非P(E)）时，则需要通 过分段线形插值计算：
P ( H ) − P ( H | ¬E ) P ( H | ¬E ) + × P( E | S ), 0 ≤ P( E | S ) < P( E ) P( E ) P( H | S ) = P( H | E ) − P( H ) P( H ) + × [ P( E | S ) − P ( E )], P( E ) ≤ P ( E | S ) ≤ 1 1 − P( E )
主观Bayes方法
概述
主观Bayes方法
又称为主观概率论 一种处理不确定性推理 一种基于概率逻辑的方法 以概率论中的贝叶斯公式为基础 首先应用于地矿勘探专家系统PROSPECTOR
5.3.1 基本Bayes公式
—概率论基础
条件概率： 条件概率： 是两个随机事件， 设A，B是两个随机事件， P( B) > 0 ，则 ， 是两个随机事件
5.3.3 知识不确定性的表示
(3)LS与LN的关系
由于E和~E不会同时的支持或者同时排斥H， 因此只有以下三种情况：
LS>1且LN<1 LS<1且LN>1 LS=1=LN
5.3.4 证据不确定性的表示
1.单个证据不确定性的表示方法 单个证据不确定性的表示方法
证据通常可以分为全证据和部分证据。全证据 就是所有的证据，即所有可能的证据和假设， 他们组成证据E。部分证据S就是E的一部分， 这部分证据也可以称之为观察。在主观Bayes方 法中，证据的不确定性是用概率表示的。全证 据的可行度依赖于部分证据，表示为P(E|S)， 为后验概率。
(2)证据确定不出现时
证据E肯定不出现的情况下，把结论H的先验概率P(H)更新 为后验概率P(H|~E)的计算公式为： LN × P( H ) P ( H |~ E ) = ( LN − 1) × P ( H ) + 1
5.3.5 不确定性推理计算
(2)不确定性证据 在现实中,证据往往是不确定的,即无法肯定它一 定存在或一定不存在 用户提供的原始证据不精确
若证据E由多个但以证据析取而成，即
E = E1 ∪ E 2 ∪ ... ∪ En
P(E|S)=max{P(E1|S),P(E2|S),…,P(En|S)}
对于非运算，
P(~E|S)=1-P(E|S)
5.3.5 不确定性推理计算
1.确定性证据 确定性证据 (1)证据确定出现时
证据E肯定出现的情况下，吧结论H的先验概率P(H)更新为 后验概率P(H|S)的计算公式为： LS × P( H ) P( H | E ) = ( LS − 1) × P( H ) + 1
5.3.6结论不确定性的合成和更新算法
2.结论不确定性的更新算法 结论不确定性的更新算法
其思想是，按照顺序使用规则对先验概率进行 更新，再把得到的更新概率当做先验概率，更 新其他规则，这样继续更新直到所有的规则使 用完。
5.3.6结论不确定性的合成和更新算法
1.结论不确定性的合成算法 结论不确定性的合成算法
n条规则都支持同一结论R, 这些规则的前提条件E1,E2,…, En 相互独立 每个证据所对应的观察为S1,S2,…, Sn
先计算O(H|Si)，然后再计算所有观察下， H的后验几 率计算方法:
O( H | S 1) O ( H | S 2) O ( H | Sn ) O ( H | S 1, S 2,..., Sn ) = × ×L× × O( H ) O( H ) O( H ) O( H )
P ( B ) = ∑ P ( Ai ) × P ( B | Aห้องสมุดไป่ตู้ )
i =1 n
称为全概率公式。 称为全概率公式。 全概率公式
5.3.1 基本Bayes公式
… 事件满足： Bayes公式： Bayes公式：设 A1, A2,… , An 事件满足： 公式 两两互不相容， ⑴ 两两互不相容，即当 i ≠ j 时， 有 Ai ∩ A j = ∅ ⑵ P( Ai ) > 0(1 ≤ i ≤ n) n ⑶ 样本空间 D = U A i i =1 则对任何事件B, 有下式成立： 则对任何事件 有下式成立：
j =1
用来求得在条件E下，Hi的先验概率。
5.3.1 基本Bayes公式
在有些情况下，有多个证据E1,E2,…,En和多个 结论H1,H2,….,Hn，并且每个证据都以一定程 度支持结论，这是可对上面的公式进行扩充， 得：
P ( Hi | E1E 2...En ) = P ( E1 | Hi ) × ... × P( Em | Hi ) × P ( Hi ) , i = 1,2,..., n
5.3.3 知识不确定性的表示
(2)必要性度量的定义
P ( ¬E | H ) 1 − P( E | H ) LN = = P ( ¬E | ¬H ) 1 − P ( E | ¬H )
它表示~E对H的支持程度，即E对H为真的 必要程度，取值范围[0,+∞)。
5.3.3 知识不确定性的表示
结合Bayes公式，得： P(﹁H|E)=P(E|﹁H)P(﹁H)/P(E) Bayes公式除以上式得：