第3章 基于规则的专家系统的不确定管理
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
应用排中律：
IF A is true THEN A is not false
IF
A is false
THEN A is not true
3 3
不确定知识的来源？
脆弱的暗示(imply) ——基于规则的专家系统经常遇到脆弱的暗示 和模糊的关联。领域专家和知识工程师承担着 棘手且几乎没有希望完成的任务，即要在规则 的IF(条件)和THEN(动作)部分建立具体的关系。 因此，专家系统需要有处理模糊关联的能力， 例如，用数值型的确定因数来描述关系的程度。
p(A) = p(AB) p(B) + p(A B) p(B)
其中┐是逻辑函数非。 同理,
p(B) = p(B A) p(A) + p(BA) p(A)
代入贝叶斯规则可得:
pBAp A p AB
p B A p A p BA p A
pBAp A p AB
率p(H|E)称作假设H基于证据E的事后（后验） 概率。
pEH p H pHE
p E H p H p E H p H 19 19
我们考虑多重假设H1，H2，…，Hm和多重证据E1， E2，…，En，但假设和证据都必须是相互排斥且
完备的。
下面是单个证据E和多重假设H1，H2，…，Hm：
Generally
78
Frequently
73
Rather often
65
About as often as not
50
Now and then
20
Sometimes
20
Occasionally
20
Once in a while
15
Not often
13
Usually not
10
Seldom
10
Hardly ever
9 9
如果 s 是成功出现的次数，f 是失败出现的次数，
那么
P(成功)＝p=
s s+f
并且
P(失败)＝q=
f s+f
p+q=1
如果我们抛硬币，出现正面的概率和出现背面的
概率是一样的。在某次抛硬币时，s=f=1，因此
得到正面(或背面)的概率是0.5。
10 10
条件概率
令A和B是真实世界中的二事件，假设A和B并不
0.29 0.25
现在认为假设H2是最有可能的一个。
25 25
同样观察证据E2，专家系统计算所有假设最终的事后概率：
p Hi E1E2E3
p E1 Hi p E2 Hi p E3 Hi p Hi
3
,
p E1 Hk p E2 Hk p E3 Hk p Hk
k 1
8 8
概率可以表示成从0绝对(不可能发生)到1(必 然发生)之间內的数字索引。
大部分事件的概率索引严格限定在0～1之间，
这意味着每个事件至少有两个可能的输出：有
利的结果或成功、不利的结果或失败。
成功或失败概率的定义如下：
P(成功)＝
成功的次数 所有可能的输出数目
P(失败)＝
失败的次数 所有可能的输出数目
学的学生，让他们把20个诸如“often”这样的
词语按照1到100来打分。1968年，Milton Hakel重 复了这个实验。
5 5
表3-1 时间频率范围上不明确和不精确的术语的量化
Ray Simpson(1944)
术语
均值
Always
99
Very often
88
Usually
85
Often
78
pB
16 16
贝叶斯推理
假设知识库中的所有规则以下面的形式表达：
IF THEN
E is true H is true {with probability p}
规则表示，如果事件E发生，则事件 H 发生的概 率为 p
在专家系统中，通常用H (hypothesis)代表假设， E (evidence)表示支持该假设的证据。
23 23
p Hi E3
p E3 Hi p Hi
3
,
p E3 Hk p H k
k 1
i = 1, 2, 3 公式(3-19)
即
,
p H1 E3
0.6 0.40
0.34
0.6 0.40 + 0.7 0.35 + 0.9 0.25
p H2 E3
0.7 0.35
0.34
0.6 0.40 + 0.7 0.35 + 0.9 0.25
p H3 E3
0.9 0.25
0.32
0.6 0.40 + 0.7 0.35 + 0.9 0.25
在观察了证据E3后，假设H1的可信度下降，并和假
设H2的可信度相等。假设H3的可信度增加，几乎和
H1、H2的可信度相等。
p H3 E1E2E3
0.5 0.7 0.9 0.25
0.55
0.3 0.9 0.6 0.40+ 0.8 0.0 0.7 0.35+ 0.50.7 0.9 0.25
虽然专家最初提供假设的顺序是H1、H2和H3，但在观察了所有的 证据(E1、E2和E3)后，考虑仅保留假设H1和H3，可以放弃假设H2。
证据的条件概率。
22 22
事前和条件概率
概率
p(Hi) p(E1|Hi) p(E2|Hi) p(E3|Hi)
i=1
0.40 0.3 0.9 0.6
假设
i=2
0.35 0.8 0.0 0.7
i=3
0.25 0.5 0.7 0.9
假设首先观察证据E3。专家系统根据公式(3-19)
计算所有假设的事后概率：
p E1 Hi
m
p E2 Hi
... p En Hi
p Hi
p E1 Hk p E2 Hk . . . p En Hk p Hk
k 1
21 21
例：排序潜在的真假设
考虑一个简单的例子
假设一个专家，给出三个有条件独立的证据E1、 E2和E3，产生了三个相互排斥的完备假设H1、H2和 H3，并分別提供了假设的事前概率p(H1)、p(H2) 和p(H3)。专家还要确定对于所有可能假设，每个
18 18
在专家系统中，解决问题需要的概率由专家 提供。专家决定可能的假设的事前（先验）
概率p(H) 和 p(┐H)：如果假设H为真时证据E 的条件概率 p(E|H)，以及假设H为假时证据E
的条件概率 p(E|┐H) 。
使用者提供证据的信息，同时专家系统根据
使用者提供的证据E计算假设H的p(H|E)。概
24
24
假设接下來观察证据E1，由公式(3-21)计算事后概率：
p Hi E1E3
p E1 Hi
3
p E3 Hi p Hi
,
p E1 Hk p E3 Hk p Hk
k 1
因此,
p H1 E1E3
0.3 0.6 0.40
0.3 0.6 0.40+ 0.80.70.35+ 0.5
i =1, 2, 3
p H1 E1E2E3
0.3 0.9 0.6 0.40
0.45
0.3 0.9 0.6 0.40+ 0.8 0.0 0.7 0.35+ 0.5 0.7 0.9 0.25
p H2 E1E2E3
0.80.0 0.70.35
0
0.30.9 0.60.40 + 0.80.00.70.35+ 0.50.70.9 0.25
k 1
公式(3-20)
20 20Fra Baidu bibliotek
要使用公式(3-20)，必须先得到对于有假设， 证据的所有可能组合的条件概率。这个要求对 于专家而言负担太重。
因此在专家系統中，应忽略细微的证据，并假 设不同的证据是有条件独立的。这样，可得到
下式，以代替不易使用的公式(3-20)：
p Hi E1 E2 . . . En
7 7
3.2 基本概率论
概率的概念已经有很长的历史，可以追溯到 数千年前，当时，人们的口语中就出现了诸 如“probably”、“likely”、“maybe”、 “perhaps”和“possibly”这样的词汇。但 是，概率的数学理论是在17世纪才形成的。
事件的概率是该事件发生的比例。概率也可 以定义为可能性的科学测量。
7
Very seldom
6
Rarely
5
Almost never
3
Never
0
Milton Hakel(1968)
术语
均值
Always
100
Very often
87
Usually
79
Often
74
Rather often
74
Frequently
72
Generally
72
About as often as not
相互排斥，在一个事件已经发生的情况下另一
个事件也可能在一定条件下发生。在事件B已经 发生的前提下事件A发生的概率称作条件概率 条件概率的数学运算式是p(A|B)，其中竖线表 示已发生，完整的运算式可以解释为“事件B已 经发生的前提下事件A发生的概率”。
11 11
A和B同时发生的次数，或者A和B同时发生的概 率，称为A和B的联合概率。联合概率数学运算 式为p(A∩B)。若B可能发生的概率为p(B)，则：
——当数据不完整或缺失时，唯一的解决方法 就是接受“不知道”的数据，并用这个数据进 行近似的推理。
综合不同专家的观点
——大多数专家系统经常会综合大量专家的知 识和经验。不幸地，专家的观点经常对立并产 生有冲突的规则。为了解决这种冲突，知识工 程师不得不为每个专家设定一个权重，然后计 算综合的结论。但是，权重的设定也没有系统 的方法。
50
Now and then
34
Sometimes
29
Occasionally
28
Once in a while
22
Not often
16
Usually not
16
Seldom
9
Hardly ever
8
Very seldom
7
Rarely
5
Almost never
2
Never
0
6 6
不知道的数据
pB
p(A|B)是事件B已经发生的前提下事件A发生的条
件概率。
p(B|A)是事件A已经发生的前提下事件B发生的条 件概率。
p(A)是事件A发生的概率。
p(B)是事件B发生的概率。
14
14
联合概率
n
n
p A Bi p A Bi p Bi
i 1
i 1
B4
A
B1
B3
B2
15 15
如果事件A的发生仅取决于两个相互排斥的事件， 即B和非B，可得:
p Hi E
p E Hi p Hi
m
p E Hk p Hk
k 1
下面是多重假设H1，H2，…，Hm和多重证据E1，E2，…，En：
p Hi E1 E2 . . . En
p E1 E2 . . . En Hi
m
p Hi
p E1 E2 .. . En H k p H k
计算智能与智能系统
第三章 基于规则的专家系统 的不确定管理
基于规则的专家系统的不确定管理
不确定性简介 基本概率论 贝叶斯推理
2 2
3.1 不确定性简介
• 信息可能是不确定的、不一致的、不完整的， 或上述三种情况都有。换句话说，这种信息经 常并不适于用来解决一个问题。
• 不确定性可被定义为：缺乏使我们可以得到完 美可信结论的确切知识。典型的逻辑仅允许确 切的推理。它假设始终存在完善的知识，始終
同样，在事件A已经发生的前提下事件B发生的
条件概率为：
12 12
因此,
p B A p BA p A
或
p A B p B A p A
将上式代入下式
p AB p A B pB
得出贝叶斯规则:
pBAp A p AB
pB
13 13
贝叶斯规则
其中:
pBAp A p AB
4 4
不精确的语言
——我们的自然语言是天生模糊和不精确的。
我们描述事实时常用“often”、“sometimes”、 “frequently”、“hardly ever”这样的词语。因
此，要用产生式规则中精确的IF-THEN形式来 表达知识就是非常困难的。但是，如果这些事 实的含义可以被量化，其就可以被用于专家系 统。1944年，Ray Simpson询问了355个高中和大
17 17
贝叶斯规则可以用假设和证据来表达，如下所示 :
pEH p H pHE
p E H p H p E H p H
其中：
p(H)
是假设H为真的事前概率。
p(E|H) 是假设H为真时导致证据E的概率。
p(┐H) 是假设H为假的事前概率。
p(E|┐H) 是假设H为假时发现证据E的概率。
p H2 E1E3
0.80.7 0.35
0.3 0.60.40+ 0.80.7 0.35+ 0.5
i = 1, 2, 3
0.19 0.25
0.52 0.25
p H3 E1E3
0.5 0.90.25
0.3 0.6 0.40+ 0.8 0.7 0.35+ 0.5
IF A is true THEN A is not false
IF
A is false
THEN A is not true
3 3
不确定知识的来源？
脆弱的暗示(imply) ——基于规则的专家系统经常遇到脆弱的暗示 和模糊的关联。领域专家和知识工程师承担着 棘手且几乎没有希望完成的任务，即要在规则 的IF(条件)和THEN(动作)部分建立具体的关系。 因此，专家系统需要有处理模糊关联的能力， 例如，用数值型的确定因数来描述关系的程度。
p(A) = p(AB) p(B) + p(A B) p(B)
其中┐是逻辑函数非。 同理,
p(B) = p(B A) p(A) + p(BA) p(A)
代入贝叶斯规则可得:
pBAp A p AB
p B A p A p BA p A
pBAp A p AB
率p(H|E)称作假设H基于证据E的事后（后验） 概率。
pEH p H pHE
p E H p H p E H p H 19 19
我们考虑多重假设H1，H2，…，Hm和多重证据E1， E2，…，En，但假设和证据都必须是相互排斥且
完备的。
下面是单个证据E和多重假设H1，H2，…，Hm：
Generally
78
Frequently
73
Rather often
65
About as often as not
50
Now and then
20
Sometimes
20
Occasionally
20
Once in a while
15
Not often
13
Usually not
10
Seldom
10
Hardly ever
9 9
如果 s 是成功出现的次数，f 是失败出现的次数，
那么
P(成功)＝p=
s s+f
并且
P(失败)＝q=
f s+f
p+q=1
如果我们抛硬币，出现正面的概率和出现背面的
概率是一样的。在某次抛硬币时，s=f=1，因此
得到正面(或背面)的概率是0.5。
10 10
条件概率
令A和B是真实世界中的二事件，假设A和B并不
0.29 0.25
现在认为假设H2是最有可能的一个。
25 25
同样观察证据E2，专家系统计算所有假设最终的事后概率：
p Hi E1E2E3
p E1 Hi p E2 Hi p E3 Hi p Hi
3
,
p E1 Hk p E2 Hk p E3 Hk p Hk
k 1
8 8
概率可以表示成从0绝对(不可能发生)到1(必 然发生)之间內的数字索引。
大部分事件的概率索引严格限定在0～1之间，
这意味着每个事件至少有两个可能的输出：有
利的结果或成功、不利的结果或失败。
成功或失败概率的定义如下：
P(成功)＝
成功的次数 所有可能的输出数目
P(失败)＝
失败的次数 所有可能的输出数目
学的学生，让他们把20个诸如“often”这样的
词语按照1到100来打分。1968年，Milton Hakel重 复了这个实验。
5 5
表3-1 时间频率范围上不明确和不精确的术语的量化
Ray Simpson(1944)
术语
均值
Always
99
Very often
88
Usually
85
Often
78
pB
16 16
贝叶斯推理
假设知识库中的所有规则以下面的形式表达：
IF THEN
E is true H is true {with probability p}
规则表示，如果事件E发生，则事件 H 发生的概 率为 p
在专家系统中，通常用H (hypothesis)代表假设， E (evidence)表示支持该假设的证据。
23 23
p Hi E3
p E3 Hi p Hi
3
,
p E3 Hk p H k
k 1
i = 1, 2, 3 公式(3-19)
即
,
p H1 E3
0.6 0.40
0.34
0.6 0.40 + 0.7 0.35 + 0.9 0.25
p H2 E3
0.7 0.35
0.34
0.6 0.40 + 0.7 0.35 + 0.9 0.25
p H3 E3
0.9 0.25
0.32
0.6 0.40 + 0.7 0.35 + 0.9 0.25
在观察了证据E3后，假设H1的可信度下降，并和假
设H2的可信度相等。假设H3的可信度增加，几乎和
H1、H2的可信度相等。
p H3 E1E2E3
0.5 0.7 0.9 0.25
0.55
0.3 0.9 0.6 0.40+ 0.8 0.0 0.7 0.35+ 0.50.7 0.9 0.25
虽然专家最初提供假设的顺序是H1、H2和H3，但在观察了所有的 证据(E1、E2和E3)后，考虑仅保留假设H1和H3，可以放弃假设H2。
证据的条件概率。
22 22
事前和条件概率
概率
p(Hi) p(E1|Hi) p(E2|Hi) p(E3|Hi)
i=1
0.40 0.3 0.9 0.6
假设
i=2
0.35 0.8 0.0 0.7
i=3
0.25 0.5 0.7 0.9
假设首先观察证据E3。专家系统根据公式(3-19)
计算所有假设的事后概率：
p E1 Hi
m
p E2 Hi
... p En Hi
p Hi
p E1 Hk p E2 Hk . . . p En Hk p Hk
k 1
21 21
例：排序潜在的真假设
考虑一个简单的例子
假设一个专家，给出三个有条件独立的证据E1、 E2和E3，产生了三个相互排斥的完备假设H1、H2和 H3，并分別提供了假设的事前概率p(H1)、p(H2) 和p(H3)。专家还要确定对于所有可能假设，每个
18 18
在专家系统中，解决问题需要的概率由专家 提供。专家决定可能的假设的事前（先验）
概率p(H) 和 p(┐H)：如果假设H为真时证据E 的条件概率 p(E|H)，以及假设H为假时证据E
的条件概率 p(E|┐H) 。
使用者提供证据的信息，同时专家系统根据
使用者提供的证据E计算假设H的p(H|E)。概
24
24
假设接下來观察证据E1，由公式(3-21)计算事后概率：
p Hi E1E3
p E1 Hi
3
p E3 Hi p Hi
,
p E1 Hk p E3 Hk p Hk
k 1
因此,
p H1 E1E3
0.3 0.6 0.40
0.3 0.6 0.40+ 0.80.70.35+ 0.5
i =1, 2, 3
p H1 E1E2E3
0.3 0.9 0.6 0.40
0.45
0.3 0.9 0.6 0.40+ 0.8 0.0 0.7 0.35+ 0.5 0.7 0.9 0.25
p H2 E1E2E3
0.80.0 0.70.35
0
0.30.9 0.60.40 + 0.80.00.70.35+ 0.50.70.9 0.25
k 1
公式(3-20)
20 20Fra Baidu bibliotek
要使用公式(3-20)，必须先得到对于有假设， 证据的所有可能组合的条件概率。这个要求对 于专家而言负担太重。
因此在专家系統中，应忽略细微的证据，并假 设不同的证据是有条件独立的。这样，可得到
下式，以代替不易使用的公式(3-20)：
p Hi E1 E2 . . . En
7 7
3.2 基本概率论
概率的概念已经有很长的历史，可以追溯到 数千年前，当时，人们的口语中就出现了诸 如“probably”、“likely”、“maybe”、 “perhaps”和“possibly”这样的词汇。但 是，概率的数学理论是在17世纪才形成的。
事件的概率是该事件发生的比例。概率也可 以定义为可能性的科学测量。
7
Very seldom
6
Rarely
5
Almost never
3
Never
0
Milton Hakel(1968)
术语
均值
Always
100
Very often
87
Usually
79
Often
74
Rather often
74
Frequently
72
Generally
72
About as often as not
相互排斥，在一个事件已经发生的情况下另一
个事件也可能在一定条件下发生。在事件B已经 发生的前提下事件A发生的概率称作条件概率 条件概率的数学运算式是p(A|B)，其中竖线表 示已发生，完整的运算式可以解释为“事件B已 经发生的前提下事件A发生的概率”。
11 11
A和B同时发生的次数，或者A和B同时发生的概 率，称为A和B的联合概率。联合概率数学运算 式为p(A∩B)。若B可能发生的概率为p(B)，则：
——当数据不完整或缺失时，唯一的解决方法 就是接受“不知道”的数据，并用这个数据进 行近似的推理。
综合不同专家的观点
——大多数专家系统经常会综合大量专家的知 识和经验。不幸地，专家的观点经常对立并产 生有冲突的规则。为了解决这种冲突，知识工 程师不得不为每个专家设定一个权重，然后计 算综合的结论。但是，权重的设定也没有系统 的方法。
50
Now and then
34
Sometimes
29
Occasionally
28
Once in a while
22
Not often
16
Usually not
16
Seldom
9
Hardly ever
8
Very seldom
7
Rarely
5
Almost never
2
Never
0
6 6
不知道的数据
pB
p(A|B)是事件B已经发生的前提下事件A发生的条
件概率。
p(B|A)是事件A已经发生的前提下事件B发生的条 件概率。
p(A)是事件A发生的概率。
p(B)是事件B发生的概率。
14
14
联合概率
n
n
p A Bi p A Bi p Bi
i 1
i 1
B4
A
B1
B3
B2
15 15
如果事件A的发生仅取决于两个相互排斥的事件， 即B和非B，可得:
p Hi E
p E Hi p Hi
m
p E Hk p Hk
k 1
下面是多重假设H1，H2，…，Hm和多重证据E1，E2，…，En：
p Hi E1 E2 . . . En
p E1 E2 . . . En Hi
m
p Hi
p E1 E2 .. . En H k p H k
计算智能与智能系统
第三章 基于规则的专家系统 的不确定管理
基于规则的专家系统的不确定管理
不确定性简介 基本概率论 贝叶斯推理
2 2
3.1 不确定性简介
• 信息可能是不确定的、不一致的、不完整的， 或上述三种情况都有。换句话说，这种信息经 常并不适于用来解决一个问题。
• 不确定性可被定义为：缺乏使我们可以得到完 美可信结论的确切知识。典型的逻辑仅允许确 切的推理。它假设始终存在完善的知识，始終
同样，在事件A已经发生的前提下事件B发生的
条件概率为：
12 12
因此,
p B A p BA p A
或
p A B p B A p A
将上式代入下式
p AB p A B pB
得出贝叶斯规则:
pBAp A p AB
pB
13 13
贝叶斯规则
其中:
pBAp A p AB
4 4
不精确的语言
——我们的自然语言是天生模糊和不精确的。
我们描述事实时常用“often”、“sometimes”、 “frequently”、“hardly ever”这样的词语。因
此，要用产生式规则中精确的IF-THEN形式来 表达知识就是非常困难的。但是，如果这些事 实的含义可以被量化，其就可以被用于专家系 统。1944年，Ray Simpson询问了355个高中和大
17 17
贝叶斯规则可以用假设和证据来表达，如下所示 :
pEH p H pHE
p E H p H p E H p H
其中：
p(H)
是假设H为真的事前概率。
p(E|H) 是假设H为真时导致证据E的概率。
p(┐H) 是假设H为假的事前概率。
p(E|┐H) 是假设H为假时发现证据E的概率。
p H2 E1E3
0.80.7 0.35
0.3 0.60.40+ 0.80.7 0.35+ 0.5
i = 1, 2, 3
0.19 0.25
0.52 0.25
p H3 E1E3
0.5 0.90.25
0.3 0.6 0.40+ 0.8 0.7 0.35+ 0.5