最新6第六章贝叶斯信念网络汇总
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
解：设C1=“有金属物”，X=“仪器会发声”，则
PC1 XP(C P1(X )X)PXC1P P(C X1)C 1PP(X C1C )2P(C2)
0.30.97 0.8926 0.30.970.70.05
6
2020/8/13
四、朴素贝叶斯分类的工作过程
1、每个数据样本用一个n维特征向量 X={x1,x2, ,xn}表示，分别描述对n个 属性A1,A2, ,An样本的n个度量。
女
20~30
7
女
31~45
8
男
31~45
9
男
31~45
12
10
女
<20
学生身分 否 否 是 是 是 否 否 是 否 是
收入 高 高 低 低 中 中 高 中 中 低
类属性
办卡 会 会 会
不会 不会
会 会 不会 会 会 2020/8/13
判断：X=(女性，年龄介于31~45之间，不具学生 身份，收入中等)会不会办理信用卡。
P(xk Ci )=g(xk , Ci , Ci )
1 e (xk Ci )2
2 Ci
2
2 Ci
其中，给定类Ci的训练样本属性Ak的值，
g(xk , Ci , Ci )是属性Ak的高斯密度函数。
10
2020/8/13
4
、
为
对
未
知
样
本
X
分
类
，
对
每
个
类
C
，
i
计算P(X
C
i
)
P
(C
i
)。
样
本
被
指
派
到
概 率 P (xk Ci )可 以 由 训 练 样 本 估 值 ， 其 中
（1） 如 果 Ak是 离 散 型 属 性 ， 则 P ( xk C i )= sik si ,
其
中
s
ik
是
在
属
性
Ak
上
具
有
x
的
k
类
C
的
i
训
练
样
本
数
，
而
s
是
i
C
中
i
的
训
练
样
本
数
。
9
2020/8/13
（2）如果Ak是连续型属性，则通常假定 该属性服从高斯分布。因而，
3
2020/8/13
2、乘法法则(Multiplicative rule)
P(BA)P(A B),P(AB)P(A B)
P(A)
P(B)
P(A B)P(B)P(AB)P(A)P(BA)
3、独立事件
设事件Ａ和事件Ｂ满足以下条件：
P(A B) P(A)P(B) 或：P(A) 0,P(B A) P(B)
P(B) 0,P(A B) P(A)
则称Ａ与Ｂ为『独立事件』。
4
2020/8/13
三、贝ห้องสมุดไป่ตู้斯定理
P (C i X)P (P C (iX)X)P (C i)P (P X ()XC i)
P ( C i ) 表示先验概率(Prior probability)。
P (C i X ) 表示后验概率(Posteriori probability)，
先验概率是由以往的数据分析得到的。根据样 本数据得到更多的信息后，对其重新修正，即 是后验概率。
5
2020/8/13
例：旅客搭乘飞机必须经电子仪器检查是否身上 携带金属物品。
如果携带金属，仪器会发出声音的概率是97%，但 身上无金属物品仪器会发出声音的概率是5%。已 知一般乘客身上带有金属物品的概率是30%，若某 旅客经过仪器检查时发出声音，请问他身上有金 属物品的概率是多少？
类
C
，
i
当且仅当
P( X Ci )P(Ci ) P( X C j )P(C j ) 即 是 说， X 被 指 派到P( X Ci )P(Ci ) 最大的类。
11
2020/8/13
五、朴素贝氏分类的实例
办信用卡意愿：
项目 性别 年龄
1
男
>45
2
女
31~45
3
女
20~30
4
男
<20
5
女
20~30
6
0.044>0
14
2020/8/13
训练样本中对于(女性，年龄介于31~45之间， 不具学生身份，收入中等)的个人，按照朴素贝 叶斯分类会将其分到办信用卡一类中。
举例：
男性(A1) 女性(A2)
合计
赞成(B1) 40 10 50
反对(B2) 120 30 150
合计 160 40 200
联合概率：P(男性，赞成) = P(A1∩B1) = 40/200 =0.2 边际概率: P(赞成)=P(B1)= P(A1∩B1)+ P(A2∩B1)=0.25 条件概率: P(赞成|男性)=P(B1|A1)= P(A1∩B1)/ P(A1)=0.25
P(收入=中|不办卡)=2/3
13
2020/8/13
其次，再应用朴素贝氏分类器进行类别预测：
n
计算 P(XCi)P(Ci)=P(Ci) P(xkCi) k1
P(办卡)P(女性|办卡)P(年龄31~45|办卡)P(不是学生| 办卡)P(收入中|办卡) =15/343≈0.044
P(不办卡)P(女性|不办卡)P(年龄31~45|不办卡)P(不 是学生|不办卡)P(收入中等|不办卡)=0
P( X
Ci )P(Ci ) P(X )
因 此 ， 由 于 P ( X )对 于 所 有 类 为 常 数 ， 只 需 要 P(X Ci )P (Ci ) 最大即可。
8
2020/8/13
3、 假 定 属 性 值 相 互 条 件 独 立 ， 即 在 属 性 间
不存在依赖关系，这样，
n
P ( X C i ) P ( x k C i ) k 1
6第六章贝叶斯信念网络
二、基本知识
1、事件概率 联合概率(joint probability)
表示A事件和B事件同时发生的概率， P(A ∩ B) 。 边际概率(marginal probability) 在A和B的样本空间中，只看A或B的概率，称之 边际概率。 条件概率(conditional probability) 2 在发生A的条件下，发生B的概率，称为P(B|A20)20/8/13
解：首先根据训练样本计算各属性相对于不同分 类结果的条件概率：
P(办卡)=7/10
P(不办卡)=3/10
P(女性|办卡)=5/7
P(女性|不办卡)=1/3
P(年龄=31~45|办卡)=3/7 P(年龄=31~45|不办卡)=1/3
P(学生=否|办卡)=5/7
P(学生=否|不办卡)=0/3
P(收入=中|办卡)=2/7
7
2020/8/13
2、 假 定 有 m个 类 C1,C2,
,
C
。
m
给
定
一
个
未
知
的
数
据
样
本
X
，
分类法将预测X属于具有最高后验概率（条件X下）的类。
即
是
说
，
朴
素
贝
叶
斯
分
类
将
未
知
的
样
本
分
配
给
类
C
，
i
当且仅当
P(Ci X ) P(C j X ),1 j m, j i 根据贝叶斯定理
P (C i
X )=
PC1 XP(C P1(X )X)PXC1P P(C X1)C 1PP(X C1C )2P(C2)
0.30.97 0.8926 0.30.970.70.05
6
2020/8/13
四、朴素贝叶斯分类的工作过程
1、每个数据样本用一个n维特征向量 X={x1,x2, ,xn}表示，分别描述对n个 属性A1,A2, ,An样本的n个度量。
女
20~30
7
女
31~45
8
男
31~45
9
男
31~45
12
10
女
<20
学生身分 否 否 是 是 是 否 否 是 否 是
收入 高 高 低 低 中 中 高 中 中 低
类属性
办卡 会 会 会
不会 不会
会 会 不会 会 会 2020/8/13
判断：X=(女性，年龄介于31~45之间，不具学生 身份，收入中等)会不会办理信用卡。
P(xk Ci )=g(xk , Ci , Ci )
1 e (xk Ci )2
2 Ci
2
2 Ci
其中，给定类Ci的训练样本属性Ak的值，
g(xk , Ci , Ci )是属性Ak的高斯密度函数。
10
2020/8/13
4
、
为
对
未
知
样
本
X
分
类
，
对
每
个
类
C
，
i
计算P(X
C
i
)
P
(C
i
)。
样
本
被
指
派
到
概 率 P (xk Ci )可 以 由 训 练 样 本 估 值 ， 其 中
（1） 如 果 Ak是 离 散 型 属 性 ， 则 P ( xk C i )= sik si ,
其
中
s
ik
是
在
属
性
Ak
上
具
有
x
的
k
类
C
的
i
训
练
样
本
数
，
而
s
是
i
C
中
i
的
训
练
样
本
数
。
9
2020/8/13
（2）如果Ak是连续型属性，则通常假定 该属性服从高斯分布。因而，
3
2020/8/13
2、乘法法则(Multiplicative rule)
P(BA)P(A B),P(AB)P(A B)
P(A)
P(B)
P(A B)P(B)P(AB)P(A)P(BA)
3、独立事件
设事件Ａ和事件Ｂ满足以下条件：
P(A B) P(A)P(B) 或：P(A) 0,P(B A) P(B)
P(B) 0,P(A B) P(A)
则称Ａ与Ｂ为『独立事件』。
4
2020/8/13
三、贝ห้องสมุดไป่ตู้斯定理
P (C i X)P (P C (iX)X)P (C i)P (P X ()XC i)
P ( C i ) 表示先验概率(Prior probability)。
P (C i X ) 表示后验概率(Posteriori probability)，
先验概率是由以往的数据分析得到的。根据样 本数据得到更多的信息后，对其重新修正，即 是后验概率。
5
2020/8/13
例：旅客搭乘飞机必须经电子仪器检查是否身上 携带金属物品。
如果携带金属，仪器会发出声音的概率是97%，但 身上无金属物品仪器会发出声音的概率是5%。已 知一般乘客身上带有金属物品的概率是30%，若某 旅客经过仪器检查时发出声音，请问他身上有金 属物品的概率是多少？
类
C
，
i
当且仅当
P( X Ci )P(Ci ) P( X C j )P(C j ) 即 是 说， X 被 指 派到P( X Ci )P(Ci ) 最大的类。
11
2020/8/13
五、朴素贝氏分类的实例
办信用卡意愿：
项目 性别 年龄
1
男
>45
2
女
31~45
3
女
20~30
4
男
<20
5
女
20~30
6
0.044>0
14
2020/8/13
训练样本中对于(女性，年龄介于31~45之间， 不具学生身份，收入中等)的个人，按照朴素贝 叶斯分类会将其分到办信用卡一类中。
举例：
男性(A1) 女性(A2)
合计
赞成(B1) 40 10 50
反对(B2) 120 30 150
合计 160 40 200
联合概率：P(男性，赞成) = P(A1∩B1) = 40/200 =0.2 边际概率: P(赞成)=P(B1)= P(A1∩B1)+ P(A2∩B1)=0.25 条件概率: P(赞成|男性)=P(B1|A1)= P(A1∩B1)/ P(A1)=0.25
P(收入=中|不办卡)=2/3
13
2020/8/13
其次，再应用朴素贝氏分类器进行类别预测：
n
计算 P(XCi)P(Ci)=P(Ci) P(xkCi) k1
P(办卡)P(女性|办卡)P(年龄31~45|办卡)P(不是学生| 办卡)P(收入中|办卡) =15/343≈0.044
P(不办卡)P(女性|不办卡)P(年龄31~45|不办卡)P(不 是学生|不办卡)P(收入中等|不办卡)=0
P( X
Ci )P(Ci ) P(X )
因 此 ， 由 于 P ( X )对 于 所 有 类 为 常 数 ， 只 需 要 P(X Ci )P (Ci ) 最大即可。
8
2020/8/13
3、 假 定 属 性 值 相 互 条 件 独 立 ， 即 在 属 性 间
不存在依赖关系，这样，
n
P ( X C i ) P ( x k C i ) k 1
6第六章贝叶斯信念网络
二、基本知识
1、事件概率 联合概率(joint probability)
表示A事件和B事件同时发生的概率， P(A ∩ B) 。 边际概率(marginal probability) 在A和B的样本空间中，只看A或B的概率，称之 边际概率。 条件概率(conditional probability) 2 在发生A的条件下，发生B的概率，称为P(B|A20)20/8/13
解：首先根据训练样本计算各属性相对于不同分 类结果的条件概率：
P(办卡)=7/10
P(不办卡)=3/10
P(女性|办卡)=5/7
P(女性|不办卡)=1/3
P(年龄=31~45|办卡)=3/7 P(年龄=31~45|不办卡)=1/3
P(学生=否|办卡)=5/7
P(学生=否|不办卡)=0/3
P(收入=中|办卡)=2/7
7
2020/8/13
2、 假 定 有 m个 类 C1,C2,
,
C
。
m
给
定
一
个
未
知
的
数
据
样
本
X
，
分类法将预测X属于具有最高后验概率（条件X下）的类。
即
是
说
，
朴
素
贝
叶
斯
分
类
将
未
知
的
样
本
分
配
给
类
C
，
i
当且仅当
P(Ci X ) P(C j X ),1 j m, j i 根据贝叶斯定理
P (C i
X )=