人工智能 第5章 不确定性推理

联合概率
• 可按条件概率链表达一个联合概率
P(ABCD ) P(A | BCD )P(B | CD )P(C | D )P(D )
• 其一般规则形式为：
P(A1 A2 ... n ) A
P(Ai | Ai i
1
n
A 1Ai 2 ...1 )
事件的独立性
• 设A，B为两个事件，满足P(AB)=P(A)P(B)， 则称事件A与事件B是相互独立的，简称A 与B独立。 • 事件独立的性质
形式化
内容简介
5.1 概述
5.2 概率论基础
5.3 贝叶斯网络 5.4 主观贝叶斯方法
5.5 确定性方法 5.6 证据理论（D-S theory）
5.2.1 随机事件
随机实验的定义
一个可观察结果的人工或自然的过程，其产生的结果可能不 止一个，且不能事先确定会产生什么结果。
样本空间的定义 一个随机实验的全部可能出现的结果的集合，通常记作Ω， Ω 中的点称为样本点，通常记作ω。 随机事件的定义 一个随机实验的一些可能结果的集合，是样本控件的一个子 集，常用大写字母A，B，C，…表示。简称为事件。 事件常用一句话描述，当实验结果属于某事件所对应的子集 时，称该事件发生。
P( Ai ) P( A1 ) P( A2 ) ... P( Ak )
i 1 k
• 设A，B是两事件，则 P(A∪B)=P(A)+P(B)-P(A∩B)
条件概率
事件B的条件概率 设B与A是某个随机实验中的两个事件，如果在事件 A发生的条件下，考虑事件B发生的概率，就称它为 事件B的条件概率。 • 定义：设A，B为事件且P(A)>0，称
证据的不确定性、规则的不确定性、推理的不确定性
5.1.1 不确定性
证据
证据是智能系统的基本信息，是推理的依据。 歧义性、不完全性、不精确性、模糊性、可信性、随机性、 不一致性 通常来源于专家处理问题的经验，存在着不确定性因素。 证据组合、规则自身、规则结论 规则之间的冲突影响、不确定的参数、优先策略
表示问题 指用什么方法描述不确定性，这是解决不确定性推 理关键的一步。 通常有数值表示和非数值的语义表示方法。 知识的不确定性表示(A→B)：P(B,A) 证据的不确定性表示(A)：P(A)
计算问题
指不确定性的传播和更新，即获得新的信息的过程。
不确定性的传递问题： 已知规则A→B，P(A)和P(B,A)，如何计算结论P(B)
事件间的关系
两个事件A与B可能有以下几种特殊关系 包含：若事件B发生则事件A也发生，称“A包含B”， 或“B含于A”，记作A⊃B或B⊂A 等价：若A⊃B且B⊂A，即A与B同时发生或同时不发 生，则称A与B等价，记作A=B 互斥：若A与B不能同时发生，则称A与B互斥，记作 AB=φ 对立：若A与B互斥，且必有一个发生，则称A与B对 立，记作A=~B或B=~A，又称A为B的余事件，或B为 A的余事件 任意两个事件不一定会是上述几种关系中的一种。
• 全 概 率 公 式 ： 设 A1 ， A2 ， …An 互 不 相 交， A ，且P(Ai)>0,i=1,2,…,n，则对于任意 事件A有P(A)=∑iP(Ai)P(A|Ai)
i i
全概率例子
• 某商场出售的灯泡来自甲、乙、丙三个工 厂，甲厂产品占80%，合格率为90%，乙 厂产品占10%，合格率为95%，丙厂产品 占10%，合格率为80%。某顾客购买了一 灯泡，求它是合格品的概率。
5.1.1 不确定性
不确定性的性质 随机性；模糊性；不完全性；时变性
不确定性推理方法产生的原因 很多原因导致同一结果；推理所需信息不完备；背景知识不 足；信息描述模糊；信息中含有噪声；推理能力不足；解题 方案不唯一等。
不确定性的存在 不确定推理中，规则前件（证据）、后件（结论）以及规则 本身在某种程度上都是不确定的。
例如
将一枚硬币连掷两次，观察硬币落地后是花面 向上还是字面向上。 这是一个随机实验，用H记花面向上，W记字面 向上，则共有4个可能出现的结果： 样本点ω1=HH ω2=HW ω3=WH ω4=WW 样本空间Ω=｛ω1ω2ω3ω4｝
分析
事件
A=“花面字面各出现一次”=｛ω2,ω3｝
B=“第一次出现花面”=｛ω1,ω2｝ C=“至少出现一次花面”=｛ω1,ω2,ω3｝ D=“至多出现一次花面”=｛ω2,ω3,ω4｝
• 以上三条基本规定是符合常识的。
例如 设一个随机实验两个可能，记为ω0,ω1，则所有 可能的事件只有4个：Ω={ω0,ω1},{ω0},{ω1}, 空集φ
概率的性质
• 定义：设{An, n=1, 2, …}为一组有限或可列无穷多个事 件，两两不相交，且 A ，则称事件族{An, n=1, 2, …}为样本空间Ω的一个完备事件族 • 又若对任意事件B有BAn=An或φ, n=1, 2, …，则称{An, n=1, 2, …}为基本事件族
m n
n是进行试验的总次数，m是试验中事件A发生的次数。
事件A的统计概率 如果事件A出现的频率fn(A) 总是在区间[0,1]上的一 个确定常数p附近摆动，并且稳定于p，则称p为事 件A的统计概率。
统计概率的性质
• 对任意事件A，有0≤P(A) ≤1 • 必然事件Ω的概率P(Ω)=1，不可能事件φ的概率P(φ) =0 • 对任意事件A，有P(~A)=1-P(A) • 设事件A1，A2，…An（k≤n）是两两互不相容的事件， Ai Aj (i j ) 即有， ，则
– 若P(A)=0或1，则A与任一事件独立 – 若A与B独立，且P(B)>0，则P(A|B)=P(A) – 若A与B独立，则A与~B，~A与B，~A与~B都 是相互独立的事件对
N个事件相互独立性
• 设A1，A2，…An为n个事件，满足下述条件：
– P(Ai Aj ) P(Ai )P(Aj ) 1 ≤ i < j ≤ n, – P(Ai Aj Ak ) P(Ai )P(Aj )P(Ak ) 1 ≤ i < j < k ≤ n, …… A P – P(Ai Aj ...n ) P(Ai )P(Aj )...(An ) 则称事件A1，A2，…An相互独立
事件运算的性质
– 交换率： A∪B=B∪A
AB BA
– 结合律：(A∪B)∪C=A∪(B∪C)
( AB)C A( BC)
– 分配律： (A∪B)C=(AC)∪(BC)
(AB)∪C=(A∪C)(B∪C)
– 摩根率：
~ ( Ai ) ~ Ai
i 1 i 1
n
n
~ ( Ai ) ~ Ai
语义问题 指如何解释上述表示和计算的含义。 对于规则P(B,A)：A(T)→B(T)，P(B,A)=? A(T)→B(F)，P(B,A)=? B独立于A， P(B,A)=? 对于证据P(A)：A为T，P(A)=? A为F，P(A)=?
5.1.3 不确定性推理方法的分类
在推理一级上扩展确定性推理，其特点是把不确定的 证据和不确定的知识分别与某种度量标准对应起来， 并且给出更新结论不确定性的算法。 逻辑法：多值逻辑、非单调逻辑 新计算法：证据理论、确定性方法、模糊方法 新概率法：主观Bayes方法、Bayes网络方法 在控制策略一级处理不确定性，其特点是通过识别领 非形式化 域中引起不确定性的某些特征及相应的控制策略来限 制或减少不确定性对系统产生的影响。分为工程法、 控制法、并行确定性法
i 1 i 1
n
n
• 事件计算百度文库优先顺序为：求余，交，差和并。
5.2.2 事件的概率
• 设Ω 为一个随机实验的样本空间，对Ω 上的任意事 件A，规定一个实数与之对应，记为P(A)，满足以 下三条基本性质，称为事件A发生的概率：
–0≤P(A) ≤1 –P(Ω )=1， P(φ )=0 –若二事件AB互斥，即AB=φ,则 P(A∪B)=P(A)+P(B)
规则
推理
由于知识不确定性的动态积累和传播过程所造成的。 推理过程要通过某种不确定的度量，寻找尽可能符合客观世 界的计算，最终得到结论的不确定性度量。
5.1.2 不确定性推理的基本问题
基于规则的专家系统中，不确定性表现 在证据、规则和推理3个方面，需要对专家系 统中的事实（证据）和知识（规则）给出不 确定性描述，并在此基础上建立不确定性的 传递计算方法。 因此，要实现对不确定性知识的处理， 必须解决不确定知识的表示问题，不确定信 息的计算问题，以及不确定表示和计算的语 义解释问题。
n n
• 完备事件族与基本事件族有如下的性质： 定理：若{An, n=1, 2, …}为一完备事件族，则 P( An ) 1 n 且对于一事件B有 P( B) P( An B)
n
• 又若{An, n=1, 2, …}为一基本事件族，则 P( B)
An B
P( A )
n
事件A出现的概率 描述为：fn(A )
• N个事件相互独立的性质
5.2.3 贝叶斯定理
• 设A，B1，B2，…，Bn为一些事件，P(A)>0， B1，B2，…，Bn互不相交，P(Bi)>0, i=1, 2, …, n，且 P(B ) 1 ，则对于k=1, 2, …, n，
事件间的运算
设A，B，A1，A2，…An为一些事件，它们有下述的运算 • 交：记C=“A与B同时发生”，称为事件A与B的交，C={ω|ω∈A 且ω∈B}，记作C=A∩B或C=AB。 类似地用∩Ai=A1A2…An 表示事件“n个事件A1, A2, …An 同时发 生”。 • 并：记C=“A与B中至少有一个发生”，称为事件A与B的并， C={ω|ω∈A或ω∈B}，记作C=A∪B。 类似地用∪Ai=A1∪A2∪…∪An表示事件“n个事件A1, A2, …An中 至少有一个发生”。 • 差 ： 记 C=“A 发 生 而 B 不 发 生 ” ， 称 为 事 件 A 与 B 的 差 ， C={ω|ω∈A但ω B}，记作C=A\B或C=A-B。 • 求余：~A= Ω\A
内容简介
5.1 概述
5.2 概率论基础
5.3 贝叶斯网络 5.4 主观贝叶斯方法
5.5 确定性方法 5.6 证据理论（D-S theory）
5.1 概述
人类的知识和思维行为中，确定性只是相对的，不确定性 才是绝对的。 智能主要反映在求解不确定性问题的能力上。 推理是人类的思维过程，是从已知实事出发，通过运用相 关的知识逐步推出某个结论的过程。 不确定性推理是指建立在不确定性知识和证据的基础上的 推理，是从不确定性的初始证据出发，通过运用不确定性 的知识，最终推出具有一定程度的不确定性但却是合理或 者近乎合理的结论的推理过程。
不确定性推理方法
非经典逻辑和非经典推理与 经典逻辑和经典推理的区别
• 推理方法上，经典逻辑采用演绎逻辑推理，非经 典逻辑采用归纳逻辑推理。 • 辖域取值上，经典逻辑都是二值逻辑，而非经典 逻辑都是多值逻辑。 • 运算法则上，非经典逻辑背弃了经典逻辑的一些 重要特性。 • 逻辑算符上，非经典逻辑具有更多的逻辑算法。 • 经典逻辑是单调的，引用非单调逻辑进行非单调 推理是非经典逻辑与经典逻辑的又一重要区别。
P( AB) P( B | A) P( A)
为事件A已发生的条件下，事件B的条件概率，P(A) 在概率推理中称为边缘概率。 • 简称P(B|A)为给定A时B发生的概率。P(AB)称为A 与B的联合概率。有联合概率公式： P(AB)=P(B|A)P(A)
条件概率例子
• 袋子中有白球2个黑球3个，从中依次取出2 个，求取出两个都是白球的概率
结论不确定性的合成： 用不同的知识进行推理得相同结论，但可信度度量不同， 如P1(A)和P2(A)，如何计算最终的P(A)
组合证据的不确定性算法： 已知证据A1和A2的可信度度量P(A1)、P(A2)，求证据析取和 合取的可信度度量P(A1∧A2)和P(A1∨A2) 初始命题的不确定性度量一般由领域内的专家从经验得出。
条件概率的性质
• 0≤P(B|A) ≤1 • P(Ω|A)=1，P(φ|A)=0
• 若B1B2=φ，则 P(Bi+Bj|A)=P(Bi|A)+P(Bj|A) • 乘法公式：P(AB)=P(A)P(B|A)
P( A1 A2 ...An ) P( A1 )P( A2 | A1 )P( A3 | A1 A2 )...P( An | A1 A2 ...An1 )