第4章_不确定性推理方法(1)
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
《人工智能基础》
第4章 不确定性推理方法
延边大学工学院计算机科学与技术学科 李永珍 E_mail:lyz2008@ybu.edu.cn
第4章 不确定性推理方法
4.1 4.2 4.3 4.4 4.5 不确定性推理中的基本问题 概率方法 主观Bayes方法 可信度方法 证据理论
4.6
模糊推理方法
4.1 不确定性推理中的基本问题
① 能充分表达相应知识及证据不确定性的程度。 ② 度量范围的指定便于领域专家及用户对不确定性的估计。 ③ 便于对不确定性的传递进行计算，而且对结论算出的不 确定性量度不能超出量度规定的范围。 ④ 度量的确定应当是直观的，同时应有相应的理论依据。
4.1 不确定性推理中的基本问题
2. 不确定性匹配算法及阈值的选择
P（H / E） P（E / H） P（H） P（H / E） P（E / H） P（H）
4.3.4 不确定性的传递算法
1. 证据肯定存在的情况
几率（odds）函数：O( x) P( x) P( x) P(x) 1 - P( x)
O( x) 概率：P ( x) 1 O( x)
1976年，杜达（R.O.Duda）、哈特（P.E.Hart） 等人提出主观Bayes方法，建立了不确定性推理模 型，并在地矿勘探专家系统PROSPECTOR中得到了 成功的应用。
4.3 主观Bayes方法
4.3.1 知识不确定性的表示 4.3.2 证据不确定性的表示 4.3.3 组合证据不确定性的算法 4.3.4 不确定性的传递算法
=0.32
同理可得：
P(H2 ∣E)=0.26， P(H3∣E)=0.43
4.2.2 逆概率方法
3. 多个证据的情况
多个证据 E1 , E2 ,, Em ，多个结论 H1 , H 2 ,, H n ， 且每个证据都以一定程度支持结论。 扩充后的公式：
P( H i ︳1 E 2 E m ) = E
4.3.4 不确定性的传递算法
2. 证据肯定不存在的情况
必要性量度 LN 的意义： （1）LN > 1, O( H / E ) O( H ) （2）LN＝1， O( H / E ) O( H ) （3）LN <1, O ( H / E ) < O ( H ) （4）LN=0,
O( H / E ) 0
不确定性匹配算法：用来计算匹配双方相似程度的算法。 阈值：用来指出相似的“限度”。
3. 组合证据不确定性的算法：
最大最小方法 哈马邱尔（Hamacher）方法 概率方法 有界方法 爱因思坦（Einstein）方法等。
4.1 不确定性推理中的基本问题
4. 不确定性的传递算法
（1）在每一步推理中，如何把证据及知识的不确定性传 递给结论。 （2）在多步推理中，如何把初始证据的不确定性传递给 最终结论。
5. 结论不确定性的合成
第4章 不确定性推理方法
4.1 不确定性推理的基本概念 4.2 概率方法 4.3 主观Bayes方法 4.4 可信度方法 4.5 证据理论
4.6 模糊推理方法
4.3.1 知识不确定性的表示
知识： IF E THEN (LS，LN) H (P(H)) E ：前提条件（简单条件或复合条件） H ：结论 ( LS , LN ) ：规则强度
LS
P（E H） P（E H）
--〉规则成立的充分性度量
1－ P E H） （∣ LN = P（E H） 1－ P E ¬H ） （∣
P（E H）
—规则成立的必要性度量
4.3.2 证据不确定性的表示
P( E S )：对于初始证据 E ，由用户根据观察 S 给出的概率。
可信度 C( E S ) ：对所提供的证据可以相信的程度。
P(E / S )
1
P(E )
-5 -4 -3 -2 -1 0 1 2 3 4 5
C(ห้องสมุดไป่ตู้ / S )
C ( E︱ ) P( E )×(5 - C ( E S )) S ︱ < 若0 < C（E / S ） 5 5 P( E ︳) S （ × （︱ P E） （ C E S） 5） 若 - 5 < C（E / S） 0 < 5
则组合证据的概率：
P( E︱ ) max ( E1︱ ), P( E 2 ︱ ),, P( E n︱ ) S P S S S
非运算：
P (E / S )＝ - P ( E / S ) 1
4.3.4 不确定性的传递算法
P(H)：专家对结论 H 给出的先验概率，在没有考虑 任何证据的情况下根据经验给出的。 主观Bayes方法推理的任务 ：
缺点: 要求给出结论 H i 的先验概率 P( H i ) 及证据
E j 的条件概率 P( E j H ) 。 i
第4章 不确定性推理方法
4.1 不确定性推理的基本概念 4.2 概率方法 4.3 主观Bayes方法 4.4 可信度方法 4.5 证据理论
4.6 模糊推理方法
4.3 主观 Bayes 方法
…
AND
Em
P(Hi E1, E2 ,, Em ) ：在证据 E1 , E2 ,, Em 出现时结论的确定 程度。
4.2.2 逆概率方法
1. 逆概率方法的基本思想：
Bayes定理：
逆概率 P( E Hi )
例如：
原概率 P(Hi E)
E ：咳嗽，
H i ：支气管炎，
条件概率 P( Hi E)：统计咳嗽的人中有多少是患支气管炎的。
逆概率 P( E Hi )：统计患支气管炎的人中有多少人是咳嗽的。
4.2.2 逆概率方法
2. 单个证据的情况
产生式规则：
IF E THEN
Bayes公式：
Hi
i =1,2,, n
P( H i E )
P( E H i ) P( H i ) P ∑ (E
j 1 n
i =1,2,, n
H j ) P( H j )
结论 H i 的先验概率
结论 H i 成立时前提条件 E 所对应的证据出现的条件 概率
4.2.2 逆概率方法
例1
H1 , H 2 , H 3 ：结论， E ：证据。
已知： P( H ) 0.3, 1 求：
P( H 2 ) 0.4, P( H 3 ) 0.5,
P(E1 H 2 )＝0.6, P(E1 H 3 )＝0.3, P(E2 H 1 )＝0.7,
P(E2 H 2 )＝0.9, P( E2 H 3 )＝0.1。
求： P(H1∣E1E2)， P(H2∣E1E2)，P(H3∣E1E2) ？
4.2.2 逆概率方法
解：
P ( H 1 E 1 E2 ) P( E1 H 1 ) P( E2 H 1 ) P( H1 ) P( E1 H 1 ) P( E2 H 1 ) P( H1 ) P( E1 H 2 ) P( E2 H 2 ) P( H 2 ) P( E1 H 3 ) P( E2 H 3 ) P( H 3 )
0.5 0.7 0.4 0.5 0.7 0.4 0.6 0.9 0.3 0.3 0.1 0.3
0.45
同理可得： P(H2 E E2 )＝0.52 1
P(H3 E1 E2 )＝0.03
4.2.2 逆概率方法
4. 逆概率方法的优缺点
优点: 较强的理论背景和良好的数学特征，当证据及结 论都彼此独立时计算的复杂度比较低。
推理：从已知事实（证据）出发，通过运用相关 知识逐步推出结论或者证明某个假设成立或不成 立的思维过程。 不确定性推理：从不确定性的初始证据出发，通 过运用不确定性的知识，最终推出具有一定程度 的不确定性但却是合理或者近乎合理的结论的思 维过程。
4.1 不确定性推理中的基本问题
不确定性的表示与量度 不确定性匹配算法及阈值的选择 组合证据不确定性的算法 不确定性的传递算法 结论不确定性的合成
Bayes修正公式
LS P( H ) P( H / E ) ( LS - 1) P( H ) 1
4.3.4 不确定性的传递算法
1. 证据肯定存在的情况
充分性量度 LS 的意义： （1）LS > 1, O( H / E ) O( H ) （2）LS＝1，O( H / E ) O( H ) （3）LS <1, O( H / E ) < O( H ) （4）LS=0, O( H / E ) 0
4.2 概率方法
4.2.1 经典概率方法 4.2.2 逆概率方法
4.2.1 经典概率方法
产生式规则：
IF E THEN Hi i =1,2,, n E ：前提条件， H i ：结论 P(Hi E)：在证据E 出现的条件下，结论H i 成立的确定性程度。
复合条件：
E=Ei AND E2 AND
P( H / E ) P( H )
4.3.4 不确定性的传递算法
2. 证据肯定不存在的情况
证据肯定不存在时, P( E ) P( E / S ) 0, P(E ) 1
P( H / E ) P(E / H ) P( H ) / P(E ) P(H / E ) P(E / H ) P(H ) / P(E )
P( H / E ) P(E / H ) P( H ) P(H / E ) P(E / H ) P(H )
4.3.4 不确定性的传递算法
2. 证据肯定不存在的情况
Bayes修正公式：
O( H / E ) LN O( H )
LN P( H ) P( H / E ) ( LN - 1) P( H ) 1
4.3.3 组合证据不确定性的算法
多个单一证据的合取：
E =E1 AND E2 AND AND En
则组合证据的概率：
P( E / S )＝min P( E1 / S ), P( E2 / S ),, P( En / S )
多个单一证据的析取：
E E1 OR E2 OR OR En
P ( E1 ︳ i ) P( E 2 ︳ i ) P( E m ︳ i ) P( H i ) H H H H H H ∑ P( E1 ︳ j ) P( E 2 ︳ j ) P( Em ︳ j ) P( H j )
1 j= n
i 1,2,, n
4.2.2 逆概率方法
例2 已知：
P( H1 )＝0.4, P( H 2 )＝0.3, P( H 3 )＝0.3, P(E1 H1 )＝0.5,
P( x) [0,1], O( x) [0, )。
• 几率函数和概率函数有相同的单调性。
4.3.4 不确定性的传递算法
1. 证据肯定存在的情况
P（H / E） P（E / H） P（H） P（H / E） P（E / H） P（H）
O( H / E ) LS O( H )
P(E H1 ) 0.5, P(E H2 ) 0.3, P(E H3 ) 0.4,
P(H1∣E)， P(H2∣E)， P(H3∣E) ？
解：P( H1 E)
P( H1 ) P( E H1 )
P( H1 ) P( E H1 ) P( H 2 ) P( E H 2 ) P( H 3 ) P( E H 3) 0.3 ×0.5 = 0.3 ×0.5 +0.4 ×0.3 +0.5 ×0.4
PE , LS , LN P( H ) P( H / E )或（H / E） P
？
先验概率
后验概率
4.3.4 不确定性的传递算法
1. 证据肯定存在的情况
证据肯定存在时, P( E) P( E S ) 1
结论H成立的概率： P（H / E） P（E / H） P（H） P（E） / 结论H不成立的概率：P（H / E） P（E / H） P（H） P（E） /
4.1 不确定性推理中的基本问题
1. 不确定性的表示与量度
（1）知识不确定性的表示
在专家系统中知识的不确定性一般是 （2）证据不确定性的表示——证据的动态强度 一 个 数 由领域专家给出的，通常是 （3）不确定性的量度 值——知识的静态强度 用户在求解问题时提供的初始证据。 在推理中用前面推出的结论作为当 前推理的证据。
第4章 不确定性推理方法
延边大学工学院计算机科学与技术学科 李永珍 E_mail:lyz2008@ybu.edu.cn
第4章 不确定性推理方法
4.1 4.2 4.3 4.4 4.5 不确定性推理中的基本问题 概率方法 主观Bayes方法 可信度方法 证据理论
4.6
模糊推理方法
4.1 不确定性推理中的基本问题
① 能充分表达相应知识及证据不确定性的程度。 ② 度量范围的指定便于领域专家及用户对不确定性的估计。 ③ 便于对不确定性的传递进行计算，而且对结论算出的不 确定性量度不能超出量度规定的范围。 ④ 度量的确定应当是直观的，同时应有相应的理论依据。
4.1 不确定性推理中的基本问题
2. 不确定性匹配算法及阈值的选择
P（H / E） P（E / H） P（H） P（H / E） P（E / H） P（H）
4.3.4 不确定性的传递算法
1. 证据肯定存在的情况
几率（odds）函数：O( x) P( x) P( x) P(x) 1 - P( x)
O( x) 概率：P ( x) 1 O( x)
1976年，杜达（R.O.Duda）、哈特（P.E.Hart） 等人提出主观Bayes方法，建立了不确定性推理模 型，并在地矿勘探专家系统PROSPECTOR中得到了 成功的应用。
4.3 主观Bayes方法
4.3.1 知识不确定性的表示 4.3.2 证据不确定性的表示 4.3.3 组合证据不确定性的算法 4.3.4 不确定性的传递算法
=0.32
同理可得：
P(H2 ∣E)=0.26， P(H3∣E)=0.43
4.2.2 逆概率方法
3. 多个证据的情况
多个证据 E1 , E2 ,, Em ，多个结论 H1 , H 2 ,, H n ， 且每个证据都以一定程度支持结论。 扩充后的公式：
P( H i ︳1 E 2 E m ) = E
4.3.4 不确定性的传递算法
2. 证据肯定不存在的情况
必要性量度 LN 的意义： （1）LN > 1, O( H / E ) O( H ) （2）LN＝1， O( H / E ) O( H ) （3）LN <1, O ( H / E ) < O ( H ) （4）LN=0,
O( H / E ) 0
不确定性匹配算法：用来计算匹配双方相似程度的算法。 阈值：用来指出相似的“限度”。
3. 组合证据不确定性的算法：
最大最小方法 哈马邱尔（Hamacher）方法 概率方法 有界方法 爱因思坦（Einstein）方法等。
4.1 不确定性推理中的基本问题
4. 不确定性的传递算法
（1）在每一步推理中，如何把证据及知识的不确定性传 递给结论。 （2）在多步推理中，如何把初始证据的不确定性传递给 最终结论。
5. 结论不确定性的合成
第4章 不确定性推理方法
4.1 不确定性推理的基本概念 4.2 概率方法 4.3 主观Bayes方法 4.4 可信度方法 4.5 证据理论
4.6 模糊推理方法
4.3.1 知识不确定性的表示
知识： IF E THEN (LS，LN) H (P(H)) E ：前提条件（简单条件或复合条件） H ：结论 ( LS , LN ) ：规则强度
LS
P（E H） P（E H）
--〉规则成立的充分性度量
1－ P E H） （∣ LN = P（E H） 1－ P E ¬H ） （∣
P（E H）
—规则成立的必要性度量
4.3.2 证据不确定性的表示
P( E S )：对于初始证据 E ，由用户根据观察 S 给出的概率。
可信度 C( E S ) ：对所提供的证据可以相信的程度。
P(E / S )
1
P(E )
-5 -4 -3 -2 -1 0 1 2 3 4 5
C(ห้องสมุดไป่ตู้ / S )
C ( E︱ ) P( E )×(5 - C ( E S )) S ︱ < 若0 < C（E / S ） 5 5 P( E ︳) S （ × （︱ P E） （ C E S） 5） 若 - 5 < C（E / S） 0 < 5
则组合证据的概率：
P( E︱ ) max ( E1︱ ), P( E 2 ︱ ),, P( E n︱ ) S P S S S
非运算：
P (E / S )＝ - P ( E / S ) 1
4.3.4 不确定性的传递算法
P(H)：专家对结论 H 给出的先验概率，在没有考虑 任何证据的情况下根据经验给出的。 主观Bayes方法推理的任务 ：
缺点: 要求给出结论 H i 的先验概率 P( H i ) 及证据
E j 的条件概率 P( E j H ) 。 i
第4章 不确定性推理方法
4.1 不确定性推理的基本概念 4.2 概率方法 4.3 主观Bayes方法 4.4 可信度方法 4.5 证据理论
4.6 模糊推理方法
4.3 主观 Bayes 方法
…
AND
Em
P(Hi E1, E2 ,, Em ) ：在证据 E1 , E2 ,, Em 出现时结论的确定 程度。
4.2.2 逆概率方法
1. 逆概率方法的基本思想：
Bayes定理：
逆概率 P( E Hi )
例如：
原概率 P(Hi E)
E ：咳嗽，
H i ：支气管炎，
条件概率 P( Hi E)：统计咳嗽的人中有多少是患支气管炎的。
逆概率 P( E Hi )：统计患支气管炎的人中有多少人是咳嗽的。
4.2.2 逆概率方法
2. 单个证据的情况
产生式规则：
IF E THEN
Bayes公式：
Hi
i =1,2,, n
P( H i E )
P( E H i ) P( H i ) P ∑ (E
j 1 n
i =1,2,, n
H j ) P( H j )
结论 H i 的先验概率
结论 H i 成立时前提条件 E 所对应的证据出现的条件 概率
4.2.2 逆概率方法
例1
H1 , H 2 , H 3 ：结论， E ：证据。
已知： P( H ) 0.3, 1 求：
P( H 2 ) 0.4, P( H 3 ) 0.5,
P(E1 H 2 )＝0.6, P(E1 H 3 )＝0.3, P(E2 H 1 )＝0.7,
P(E2 H 2 )＝0.9, P( E2 H 3 )＝0.1。
求： P(H1∣E1E2)， P(H2∣E1E2)，P(H3∣E1E2) ？
4.2.2 逆概率方法
解：
P ( H 1 E 1 E2 ) P( E1 H 1 ) P( E2 H 1 ) P( H1 ) P( E1 H 1 ) P( E2 H 1 ) P( H1 ) P( E1 H 2 ) P( E2 H 2 ) P( H 2 ) P( E1 H 3 ) P( E2 H 3 ) P( H 3 )
0.5 0.7 0.4 0.5 0.7 0.4 0.6 0.9 0.3 0.3 0.1 0.3
0.45
同理可得： P(H2 E E2 )＝0.52 1
P(H3 E1 E2 )＝0.03
4.2.2 逆概率方法
4. 逆概率方法的优缺点
优点: 较强的理论背景和良好的数学特征，当证据及结 论都彼此独立时计算的复杂度比较低。
推理：从已知事实（证据）出发，通过运用相关 知识逐步推出结论或者证明某个假设成立或不成 立的思维过程。 不确定性推理：从不确定性的初始证据出发，通 过运用不确定性的知识，最终推出具有一定程度 的不确定性但却是合理或者近乎合理的结论的思 维过程。
4.1 不确定性推理中的基本问题
不确定性的表示与量度 不确定性匹配算法及阈值的选择 组合证据不确定性的算法 不确定性的传递算法 结论不确定性的合成
Bayes修正公式
LS P( H ) P( H / E ) ( LS - 1) P( H ) 1
4.3.4 不确定性的传递算法
1. 证据肯定存在的情况
充分性量度 LS 的意义： （1）LS > 1, O( H / E ) O( H ) （2）LS＝1，O( H / E ) O( H ) （3）LS <1, O( H / E ) < O( H ) （4）LS=0, O( H / E ) 0
4.2 概率方法
4.2.1 经典概率方法 4.2.2 逆概率方法
4.2.1 经典概率方法
产生式规则：
IF E THEN Hi i =1,2,, n E ：前提条件， H i ：结论 P(Hi E)：在证据E 出现的条件下，结论H i 成立的确定性程度。
复合条件：
E=Ei AND E2 AND
P( H / E ) P( H )
4.3.4 不确定性的传递算法
2. 证据肯定不存在的情况
证据肯定不存在时, P( E ) P( E / S ) 0, P(E ) 1
P( H / E ) P(E / H ) P( H ) / P(E ) P(H / E ) P(E / H ) P(H ) / P(E )
P( H / E ) P(E / H ) P( H ) P(H / E ) P(E / H ) P(H )
4.3.4 不确定性的传递算法
2. 证据肯定不存在的情况
Bayes修正公式：
O( H / E ) LN O( H )
LN P( H ) P( H / E ) ( LN - 1) P( H ) 1
4.3.3 组合证据不确定性的算法
多个单一证据的合取：
E =E1 AND E2 AND AND En
则组合证据的概率：
P( E / S )＝min P( E1 / S ), P( E2 / S ),, P( En / S )
多个单一证据的析取：
E E1 OR E2 OR OR En
P ( E1 ︳ i ) P( E 2 ︳ i ) P( E m ︳ i ) P( H i ) H H H H H H ∑ P( E1 ︳ j ) P( E 2 ︳ j ) P( Em ︳ j ) P( H j )
1 j= n
i 1,2,, n
4.2.2 逆概率方法
例2 已知：
P( H1 )＝0.4, P( H 2 )＝0.3, P( H 3 )＝0.3, P(E1 H1 )＝0.5,
P( x) [0,1], O( x) [0, )。
• 几率函数和概率函数有相同的单调性。
4.3.4 不确定性的传递算法
1. 证据肯定存在的情况
P（H / E） P（E / H） P（H） P（H / E） P（E / H） P（H）
O( H / E ) LS O( H )
P(E H1 ) 0.5, P(E H2 ) 0.3, P(E H3 ) 0.4,
P(H1∣E)， P(H2∣E)， P(H3∣E) ？
解：P( H1 E)
P( H1 ) P( E H1 )
P( H1 ) P( E H1 ) P( H 2 ) P( E H 2 ) P( H 3 ) P( E H 3) 0.3 ×0.5 = 0.3 ×0.5 +0.4 ×0.3 +0.5 ×0.4
PE , LS , LN P( H ) P( H / E )或（H / E） P
？
先验概率
后验概率
4.3.4 不确定性的传递算法
1. 证据肯定存在的情况
证据肯定存在时, P( E) P( E S ) 1
结论H成立的概率： P（H / E） P（E / H） P（H） P（E） / 结论H不成立的概率：P（H / E） P（E / H） P（H） P（E） /
4.1 不确定性推理中的基本问题
1. 不确定性的表示与量度
（1）知识不确定性的表示
在专家系统中知识的不确定性一般是 （2）证据不确定性的表示——证据的动态强度 一 个 数 由领域专家给出的，通常是 （3）不确定性的量度 值——知识的静态强度 用户在求解问题时提供的初始证据。 在推理中用前面推出的结论作为当 前推理的证据。