人工智能-4不确定性推理(1)

• 事件的关系
包含、并、交、差、逆
10
事件的概率
• 古典概型 定义4.1 设E为古典概型，样本空间共有n个基本 事件，事件A中含有m个基本事件，则称 P(A) = m/n 为事件A的概率。 例如：D＝{1,2,3,4,5,6,7}，A={取数字3的倍 数}，B={取偶数}。 解：基本事件有7个，n＝7。 对于事件A，m=2，所以P(A) = m/n = 2/7 对于事件B，m=3，所以P(B) = m/n = 3/7
18
逆概率方法

经典概率方法要求给出条件概率P(H|E)，在实 际中比较困难。

例如E代表咳嗽，H代表支气管炎，则P(H|E)表示在 咳嗽的人群中患支气管炎的概率。这个比较困难。 而逆概率P(E|H)表示在得支气管炎的人群中咳嗽的 概率。这个相对容易获得。

我们根据Bayes定理可以从P(E|H)推出P(H|E)。
8
3 不确定性推理方法分类



关于不确定性推理方法的研究沿着两条不同的路线发展。 一条路线是模型法：在推理一级上扩展确定性推理。其特 点是把不确定的证据和不确定的知识分别与某种度量标准 对应起来，并且给出更新结论不确定的算法。这类方法与 控制策略一般无关，即无论用何种控制策略，推理的结果 都是唯一的。 一条线路是控制法：在控制策略一级处理不确定性。其特 点是通过识别领域中引起不确定性的某些特征及相应的控 制策略来限制或者减少不确定性对系统产生的影响。这类 方法没有处理不确定性的统一模型，其效果极大地依赖于 控制策略。例如：相关性制导回溯、启发式搜索等等。 模型方法又分为数值方法和非数值方法两类。对于数值方 法按其所依据的理论又可分为基于概率的方法和基于模糊 理论的模糊推理。
24
2. 证据的不确定性


在主观Bayes方法中，证据的不确定性也用概率 表示。对于证据E，由用户根据观察S给出P(E|S)， 即动态强度。 由于主观给定P(E|S)有所困难，所以实际中可以 用可信度C(E|S)代替P(E|S)。例如在 PROSPECTOR中C(E|S)和P(E|S)遵从如下关系：
11
事件的概率


统计概率 当试验次数足够多时，一个事件(A)发生的次数 m与试验的总次数n之比： fn(A)=m/n 在一个常数p(0≤p≤1)附近摆动，并稳定于p。 定义4.2 在同一组条件下所作的大量重复试验 中，事件A出现的频率fn(A)总是在[0,1]上的一个 确定常数p附近摆动，并且稳定于p，则称p为 事件A的概率。即
P( A | B) P( A B) P( B)

为在事件B已发生的条件下事件A的条件概率。 条件概率中的条件缩小了样本空间，即条件概率是 在条件所确定的新空间中求A∩B的概率。
14
条件概率示例
例. D＝{1,2,3,4,5,6,7}，A={取数字3的倍数}，B={取偶 数}。求解在事件B发生的条件下，事件A发生的条件概 率。 解：事件B是已经发生的事件，即 取到2；取到4；取到6 中必有一个出现。由于事件A是“取3的倍数”，而在 上述三个事件中只有一种可能使A发生。所以在B发生 的条件下事件A的概率是1/3。
j 1
20
对于多个证据
P( H i | E1 E2 Em ) P ( Em | H i ) P ( Em | H j )
P( H i ) P( E1 | H i ) P( E2 | H i )
P( H
j 1
n
j
) P( E1 | H j ) P( E2 | H j )
19
BAYES公式
若A1,A2,…,An是彼此独立的事件，
P( Ai | B)
P( Ai ) P( B | Ai )
P( A ) P( B | A )
j 1 j j
n
, i 1, 2,..., n
其中，P(Ai)是事件Ai的先验概率；P(B|Ai)是在事件Ai发生条件 下事件B的条件概率。 如果用产生式规则 IF E THEN Hi 中的前提条件E代替Bayes公式中的B，用Hi代替公式中的Ai ， 就可得到 P( H i ) P( E | H i ) P( H i | E ) n , i 1, 2,..., n P( H j ) P( E | H j )
17
3 简单概率推理

经典概率方法

设有如下产生式规则：
IF E THEN H 其中，E为前提条件，H为结论。条件概率P(H|E)可以 作为在证据E出现时结论H的确定性程度。

对于复合条件
E=E1 AND E2 AND … AND En 当已知条件概率P(H|E1,E2,…,En)时，就可把它作为在证 据E1,E2,…,En出现时结论H的确定性程度。
15
Leabharlann Baidu
2. BAYES理论
• 全概率公式
定理4.1 设事件A1,A2,…,An，满足：
(1)两两互不相容，即当i≠j时，有Ai∩Aj=Φ； (2)P(Ai)>0 (1≤i≤n) (3) D
n
Ai
i 1
则对任何事件B有下式成立：
P( B) P( Ai ) P( B | Ai )
i 1

23
4.3 主观BAYES方法
4.3.1 不确定性的表示
1. 知识的不确定性
在主观Bayes方法中，知识是用产生式规则表示的，具体形式为： IF E THEN (LS,LN) H (P(H)) 其中， P(H)是结论H的先验概率，由专家根据经验给出。 LS称为充分性度量，用于指出E对H的支持程度，取值范围为[0,∞)，其 定义为： LS=P(E|H)/P(E|¬ H)。 LN称为必要性度量，用于指出E对H的支持程度，取值范围为[0,∞)，其 定义为： LN=P(¬ E|H)/P(¬ E|¬ H)=(1-P(E|H))/(1-P(E|¬ H))。 LS和LN的值由领域专家给出，相当于知识的静态强度。

设计一个不确定性匹配算法； 指定一个匹配阈值。 在匹配时，一个简单条件对应于一个单一的证据， 一个复合条件对应于一组证据，称这一组证据为 组合证据。
(3) 组合证据不确定性的算法

6
2 不确定性推理的基本问题

常用的组合证据不确定性计算方法有：

最大最小法：
T(E1 AND E2)=min{T(E1),T(E2)} T(E1 OR E2)=max{T(E1),T(E2)}
7
2 不确定性推理的基本问题
(4) 不确定性的传递算法 在每一步推理中，如何把证据及知识的不确定性 传递给结论。 在多步推理中，如何把初始证据的不确定性传递 给最终结论。 (5) 结论不确定性的合成 用不同知识进行推理得到了相同结论，但不确定 性的程度却不同。此时，需要用合适的算法对它 们进行合成。
16
n
BAYES定理
定理4.2 条件同定理4.1。则对任何事件B有下式成
立：
P( Ai | B ) P( Ai ) P ( B | Ai ) , i 1, 2,..., n
P( A ) P( B | A )
j 1 j j
n
P( Ai ) P ( B | Ai ) , i 1, 2,..., n P( B) P( Ai | B) P( B) P( Ai ) P( B | Ai ), i 1, 2,..., n

2
4.1 概述
1. 什么是不确定性推理 不确定性推理是建立在非经典逻辑基础 上的一种推理，它是对不确定性知识的 运用与处理。 所谓不确定性推理就是从不确定性的初 始证据出发，通过运用不确定性的知识， 最终推出具有一定程度的不确定性但却 是合理或者近乎合理的结论的思维过程。
3
知识的不确定性

概率法：
T(E1 AND E2)=T(E1)×T(E2) T(E1 OR E2)=T(E1)＋T(E2)－T(E1)×T(E2)

有界法：
T(E1 AND E2)=max{0,T(E1)＋T(E2)－1} T(E1 OR E2)=min{1,T(E1)＋T(E2)} 其中，T(E)表示证据E为真的程度，如可信度、概率等。
, i 1, 2,..., n
21
逆概率方法举例
例. 设H1,H2,H3分别是三个结论，E是支持这些结论的证据。 已知： P(H1)=0.3, P(H2)=0.4, P(H3)=0.5 P(E|H1)=0.5, P(E|H2)=0.3, P(E|H3)=0.4 求P(H1|E),P(H2|E)及P(H3|E)的值各是多少？ 解： P(H1) P(E | H1) P(H1 | E) P(H1) P(E | H1) P(H 2) P(E | H 2) P(H3) P(E | H 3) 0.15 0.15 0.12 0.2 0.32
9
4.2 基本概率方法
1. 概率论基础 • 随机现象 • 样本空间：

一个可能的实验结果为一个样本点，样本点的全体构成的集合称 为样本空间。
• 随机事件：
要考察的由一些样本点构成的集合称为随机事件。
• • • • 事件发生了：出现了样本点集合中的一个元素。 必然事件：样本点全体构成的集合(即样本空间)所表示的事件。 不可能事件：Φ 基本事件：单点集合
人工智能 ARTIFICIAL INTELLIGENCE
主讲：鲍军鹏 博士 西安交通大学电信学院计算机系 电子邮箱：dr.baojp@googlemail.com
版本：2.0 2010年1月
1
第四章 不确定性推理
4.1 概述 4.2 基本概率方法 4.3 主观Bayes方法 4.4 可信度方法 4.5 模糊推理 4.6 证据理论 4.7 粗糙集理论

引起知识不确定性的原因有： 1) 随机性：我有八成的把握打中目标。 2) 模糊性：高个子适合于打篮球。 3) 不完全性：这种药可能会治疗SARS。 4) 经验性：土干了就给花浇水。
4
2 不确定性推理的基本问题
(1) 不确定性的表示 不确定性推理中的“不确定性”一般分为两类：一是知 识的不确定性，一是证据的不确定性。 知识不确定性的表示：静态强度。 证据不确定性的表示：动态强度。 不确定性的度量：可有多种度量方法和范围，例如[0,1] 或者[-1,1]。 在确定一种度量方法及其范围时，应注意以下几点：
同理可得： P(H2|E)=0.26, P(H3|E)=0.43
22
逆概率法的特点
逆概率法在实际中有很多应用。比如：把Hi (i=1,2,…,n) 当作可能发生的疾病；把Ej (j=1,2,…,n)当作相应的症状； P(Hi)是从大量实践中得到的疾病Hi的先验概率；P(Ej|Hi) 是疾病Hi发生时观察到症状Ej的条件概率。则当对某病 人观察到有症状E1,E2,…,Em时，应用上述Bayes公式就可 计算出P(Hi|E1E2…Em)，从而得知病人患疾病Hi的可能性。 优点： 逆概率法有较强的理论背景和良好的数学特性，当证据 及结论都彼此独立时计算的复杂度比较低。 缺点： 逆概率法要求给出结论Hi的先验概率P(Hi)及证据Ej的条 件概率P(Ej|Hi)。尽管有些时候P(Ej|Hi)比P(Hi|Ej)相对容易 得到，但仍然相当困难。另外Bayes公式的应用条件很 严格。
P(¬ A)=1-P(A) P(A∪B)=P(A)+P(B)-P(AB) 如果 A B ，则P(A-B)=P(A)-P(B)

13
条件概率


如果在事件B发生的条件下考虑事件A发生的概率， 就称它为事件A的条件概率，记为P(A|B)。 定义4.3 设A，B是两个事件，P(B)>0,则称
P ( A) lim f n ( A)
n
12
概率的性质
0≤P(A)≤1 P(D)=1,P(Φ)=0 设事件A1,A2,…,Ak(k≤n)是两两互不相容的 事件，即有Ai∩Aj=Φ(i≠j)，则

k
P(
i 1
Ai ) P ( A1 ) P ( A2 )
P ( Ak )

度量要能充分表达相应知识及证据不确定性的程度。 度量范围的指定应便于领域专家及用户对不确定性的估计。 度量要便于对不确定性的传递进行计算，而且对结论算出 的不确定性度量不能超出度量规定的范围。 度量的确定应当是直观的，同时应有相应的理论依据。
5
2 不确定性推理的基本问题
(2) 不确定性匹配算法