贝叶斯估计方法
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
为英国皇家学会会员。1763年4月7日逝世。贝叶斯在数学方 面主要研究概率论。他首先将归纳推理法用于概率论基础理 论，创立了贝叶斯统计理论，对于统计决策函数、统计推断、 统计估算等做出了贡献。 1763年发表了这方面的论著，对于 现代概率论和数理统计都有很重要的作用。贝叶斯的另一著 作《机会的学说概论》发表于1758年。贝叶斯所采用的许多 术语被沿用至今。
对于ESM，能在机型上识别飞机属性，则有
PESM (B2 / Aj )
PESM ( Aj / B2 )P(B2 )
M
PESM ( Aj / B2 )P(B2 )
j 1
9
融合实例(续)
步骤3： 依据一个给定测量周期中的所有各类传感器测量值，计算每 种机型的多传感器联合似然函数。若各类传感器对目标的测 量是独立进行的，则每个传感器基于机型的似然函数互相独 立，有
4 贝叶斯估计方法
4.1 Bayes推理的提出 4.2 Bayes推理的基本思想 4.3 Bayes推理公式 4.4 Bayes推理应用实例 4.5 基于Bayes推理的数据融合方法 4.6 融合实例 4.7 Bayes推理的缺点
4.1 Bayes推理的提出
贝叶斯 Thomas Bayes 英国数学家。1702年出生于伦敦，做过神甫。1742年成
)P(我
/
Aj
)
P(敌
/
Bk 1,2
)
P( Aj
/
Bk 1,2
)P(敌
/
Aj
)
P(中/
Bk 1,2
)
P( Aj
/
Bk 1,2
)P(中/
Aj
)
可以类似用来计算某些机型（大轰炸机、战斗机、小轰炸机、
民用机型）的后验概率，如
M
P(战斗机
/
Bk 1, 2
)
P( Aj
/
Bk 1, 2
)P(战斗机
13
3
4.3 Bayes推理的推理公式
Bayes推理的基本原理是：给定一个前面的似然估计后，若又 增加一个证据（测量），则可以对前面的似然估计加以更新。 也就是说，随着测量值的到来，可以将给定假设的先验密度 更新为后验密度。 假设A1，A2，...，An表示n个互不相容的穷举假设，B为一个 事件（或事实，观测等），Bayes公式的形式为：
/
Aj
)
j 1
12
4.7 Bayes推理的缺点
直接使用概率计算公式有两个困难：
(1) 一个证据 A 的概率是在大量统计数据的基础上得出的， 当所处理的问题比较复杂时，需要非常大的统计量，这使得 定义先验似然函数非常困难；
(2) Bayes 推理要求各证据之间是不相容或相互独立的， 因此若存在多个可能假设和多条件相关事件时，计算复杂性 大大增加。
0.96224)=0.99834
贝叶斯推理的结果很大程度上依赖于先验概率，另外不是完 全接受或拒绝假设，只是在观察到较多的数据后增大或减小 了假设的可能性。
6
4.5 基于Bayes推理的数据融合方法
Bayes推理方法可以对多传感器信息进行融合，以计算出给定 假设为真的后验概率。设有n个传感器，它们可能是不同类的， 它们共同对同一个目标进行探测。再设目标有m个属性需要进 行识别，即有m个假设或命题Ai，i=1,2,...,m。
P(B1,2 / Aj ) PIFFN (B1 / A j )PESM (B2 / Aj )
10
融合实例(续)
计算出各种机型的后验估计概率。依赖当前周期相应机型的 各传感器联合似然函数和直到上一周期该机型的后验概率 （作为本周起该机型先验估计概率）。
P( Aj
/
B1k,2 )
来自百度文库
P(B1k,2 / Aj )P( Aj ) P(B1k,2 )
本例考虑的传感器为多种类型，如电子支援测量ESM，敌
我中识别传感器IFFN等，依据传感器类型可以获取目标的不
同属性参数，通过属性参数与目标机型进一步给出敌我身份
的联合识别结果。步骤1就是进行多传感器观测，此例采用
IFFN和ESM。
步骤2：
将当前测量周期的关于一个空中目标的所有传感器测量 B 转
换为基于机型 Aj ( j 1, 2, , M ) 的似然函数。对于IFFN，能 检测并接收到一个对其询问予以确切回答的目标，得
可用数据来自化验结果：正+和负有先验知识：在所有人口中，患病率是0.8% 对确实有病的患者的化验准确率为98%， 对确实无病的患者的化验准确率为97%， 总结如下
P(cancer)=0.008, P(normal)=0.992 P(+|cancer)=0.98, P(-|cancer)=0.02 P(+|normal)=0.03, P(-|normal)=0.97
到 PIFFN (B1 / 我) ；敌机对其询问信号有一定程度的模拟应答能
力，得 PIFFN (B1 / 敌) 和 PIFFN (B1 /中) 。
8
融合实例(续)
应用全概率公式，有
PIFFN (B1 / Aj ) PIFFN (B1 / 我)PIFFN (我 / Aj ) PIFFN (B1 / 敌)PIFFN (敌 / Aj ) PIFFN (B1 /中)PIFFN (中/ Aj )
2
4.2 Bayes推理的基本思想
贝叶斯推理就是在不完全情报下，对部分未知的状态 用主观概率估计，然后用贝叶斯公式对先验概率进行修正， 最后再利用修正概率做出最优决策。
贝叶斯决策理论方法是统计决策中的一个基本方法， 其基本思想是：
1、已知条件概率密度参数表达式和先验概率。 2、利用贝叶斯公式转换成后验概率。 3、根据后验概率大小进行决策分类。
P( Ai / B)
P(B / Ai )P( Ai )
n
P(B / Ai )P( Ai )
i 1
其中
n
P( Ai ) 1
i 1
n
P(B / Ai )P( Ai ) P(B)
i 1
4
4.4 Bayes推理应用实例
有两个可选的假设： 病人有癌症(cancer)、病人无癌症(normal)
问题：假定有一个新病人，化验结果为正，是否应将病人断 定为有癌症？求后验概率P(cancer|+)和P(normal|-)
5
Bayes推理应用实例(续)
因此极大后验假设计算如下: P(+|cancer)P(cancer)=0.00784 P(+|normal)P(normal)=0.02976 P(canner|+)=0.00784/(0.00784+0.02976)=0.21 P(-|cancer)P(cancer)=0.00016 P(-|normal)P(normal)=0.96224 P(normal|-)= 0.96224 /(0.00016 +
式中
P( Aj
)
P( Aj
/
Bk 1 1,2
)
,
Bk 1 1,2
是直到k-1个周期的测量值
M
P(B1k,2 )
P(
Bk 1, 2
/
Aj
)P( Aj
)
j 1
11
融合实例(续)
步骤4： 根据对目标的机型估计概率，计算出目标的敌我中识别概率。
P(我
/
Bk 1,2
)
P( Aj
/
Bk 1,2
Sensor 1 B1
Sensor 2 B2
Sensor n Bn
P(B1 / Aj ) P(B2 / Aj ) P(Bn / Aj )
Bayes组合公式
P( Aj / B1 B2 Bn ) j 1, , M
决策 判定 逻辑
判定结果
基于Bayes的融合推理过程
7
4.6 融合实例—敌我身份识别和机型识别
对于ESM，能在机型上识别飞机属性，则有
PESM (B2 / Aj )
PESM ( Aj / B2 )P(B2 )
M
PESM ( Aj / B2 )P(B2 )
j 1
9
融合实例(续)
步骤3： 依据一个给定测量周期中的所有各类传感器测量值，计算每 种机型的多传感器联合似然函数。若各类传感器对目标的测 量是独立进行的，则每个传感器基于机型的似然函数互相独 立，有
4 贝叶斯估计方法
4.1 Bayes推理的提出 4.2 Bayes推理的基本思想 4.3 Bayes推理公式 4.4 Bayes推理应用实例 4.5 基于Bayes推理的数据融合方法 4.6 融合实例 4.7 Bayes推理的缺点
4.1 Bayes推理的提出
贝叶斯 Thomas Bayes 英国数学家。1702年出生于伦敦，做过神甫。1742年成
)P(我
/
Aj
)
P(敌
/
Bk 1,2
)
P( Aj
/
Bk 1,2
)P(敌
/
Aj
)
P(中/
Bk 1,2
)
P( Aj
/
Bk 1,2
)P(中/
Aj
)
可以类似用来计算某些机型（大轰炸机、战斗机、小轰炸机、
民用机型）的后验概率，如
M
P(战斗机
/
Bk 1, 2
)
P( Aj
/
Bk 1, 2
)P(战斗机
13
3
4.3 Bayes推理的推理公式
Bayes推理的基本原理是：给定一个前面的似然估计后，若又 增加一个证据（测量），则可以对前面的似然估计加以更新。 也就是说，随着测量值的到来，可以将给定假设的先验密度 更新为后验密度。 假设A1，A2，...，An表示n个互不相容的穷举假设，B为一个 事件（或事实，观测等），Bayes公式的形式为：
/
Aj
)
j 1
12
4.7 Bayes推理的缺点
直接使用概率计算公式有两个困难：
(1) 一个证据 A 的概率是在大量统计数据的基础上得出的， 当所处理的问题比较复杂时，需要非常大的统计量，这使得 定义先验似然函数非常困难；
(2) Bayes 推理要求各证据之间是不相容或相互独立的， 因此若存在多个可能假设和多条件相关事件时，计算复杂性 大大增加。
0.96224)=0.99834
贝叶斯推理的结果很大程度上依赖于先验概率，另外不是完 全接受或拒绝假设，只是在观察到较多的数据后增大或减小 了假设的可能性。
6
4.5 基于Bayes推理的数据融合方法
Bayes推理方法可以对多传感器信息进行融合，以计算出给定 假设为真的后验概率。设有n个传感器，它们可能是不同类的， 它们共同对同一个目标进行探测。再设目标有m个属性需要进 行识别，即有m个假设或命题Ai，i=1,2,...,m。
P(B1,2 / Aj ) PIFFN (B1 / A j )PESM (B2 / Aj )
10
融合实例(续)
计算出各种机型的后验估计概率。依赖当前周期相应机型的 各传感器联合似然函数和直到上一周期该机型的后验概率 （作为本周起该机型先验估计概率）。
P( Aj
/
B1k,2 )
来自百度文库
P(B1k,2 / Aj )P( Aj ) P(B1k,2 )
本例考虑的传感器为多种类型，如电子支援测量ESM，敌
我中识别传感器IFFN等，依据传感器类型可以获取目标的不
同属性参数，通过属性参数与目标机型进一步给出敌我身份
的联合识别结果。步骤1就是进行多传感器观测，此例采用
IFFN和ESM。
步骤2：
将当前测量周期的关于一个空中目标的所有传感器测量 B 转
换为基于机型 Aj ( j 1, 2, , M ) 的似然函数。对于IFFN，能 检测并接收到一个对其询问予以确切回答的目标，得
可用数据来自化验结果：正+和负有先验知识：在所有人口中，患病率是0.8% 对确实有病的患者的化验准确率为98%， 对确实无病的患者的化验准确率为97%， 总结如下
P(cancer)=0.008, P(normal)=0.992 P(+|cancer)=0.98, P(-|cancer)=0.02 P(+|normal)=0.03, P(-|normal)=0.97
到 PIFFN (B1 / 我) ；敌机对其询问信号有一定程度的模拟应答能
力，得 PIFFN (B1 / 敌) 和 PIFFN (B1 /中) 。
8
融合实例(续)
应用全概率公式，有
PIFFN (B1 / Aj ) PIFFN (B1 / 我)PIFFN (我 / Aj ) PIFFN (B1 / 敌)PIFFN (敌 / Aj ) PIFFN (B1 /中)PIFFN (中/ Aj )
2
4.2 Bayes推理的基本思想
贝叶斯推理就是在不完全情报下，对部分未知的状态 用主观概率估计，然后用贝叶斯公式对先验概率进行修正， 最后再利用修正概率做出最优决策。
贝叶斯决策理论方法是统计决策中的一个基本方法， 其基本思想是：
1、已知条件概率密度参数表达式和先验概率。 2、利用贝叶斯公式转换成后验概率。 3、根据后验概率大小进行决策分类。
P( Ai / B)
P(B / Ai )P( Ai )
n
P(B / Ai )P( Ai )
i 1
其中
n
P( Ai ) 1
i 1
n
P(B / Ai )P( Ai ) P(B)
i 1
4
4.4 Bayes推理应用实例
有两个可选的假设： 病人有癌症(cancer)、病人无癌症(normal)
问题：假定有一个新病人，化验结果为正，是否应将病人断 定为有癌症？求后验概率P(cancer|+)和P(normal|-)
5
Bayes推理应用实例(续)
因此极大后验假设计算如下: P(+|cancer)P(cancer)=0.00784 P(+|normal)P(normal)=0.02976 P(canner|+)=0.00784/(0.00784+0.02976)=0.21 P(-|cancer)P(cancer)=0.00016 P(-|normal)P(normal)=0.96224 P(normal|-)= 0.96224 /(0.00016 +
式中
P( Aj
)
P( Aj
/
Bk 1 1,2
)
,
Bk 1 1,2
是直到k-1个周期的测量值
M
P(B1k,2 )
P(
Bk 1, 2
/
Aj
)P( Aj
)
j 1
11
融合实例(续)
步骤4： 根据对目标的机型估计概率，计算出目标的敌我中识别概率。
P(我
/
Bk 1,2
)
P( Aj
/
Bk 1,2
Sensor 1 B1
Sensor 2 B2
Sensor n Bn
P(B1 / Aj ) P(B2 / Aj ) P(Bn / Aj )
Bayes组合公式
P( Aj / B1 B2 Bn ) j 1, , M
决策 判定 逻辑
判定结果
基于Bayes的融合推理过程
7
4.6 融合实例—敌我身份识别和机型识别