2 主观概率和先验分布

2.1 概率的基本概念 2.2 先验分布及其设定 2.3 设定主观概率的案例 2.4 “埃尔斯伯格悖论” (Ellsberg paradox)
2.1 概率的基本概念



1)概率的三种定义 2)主观概率 3)主观概率定义 4)主/客观概率的比较 5)小结:主/客观概率
2.1 概率的基本概念
图2.3 明年国民经济的增长率的概率分布直方图
·
缺点：①子区间的划分没有标准 ②赋值不易 ③尾部误差过大
(2)相对似然率法
•适用范围：同1 • 步骤：①离散化 ②赋值：给出各区间似然的相对比值 ③规范化：
(2)相对似然率法
(2)相对似然率法
示例4: 问题同示例3，用解法a) 求解。
首先由决策人判断似然率最大的子区间是哪一个，比如是7％，即明 年国民经济增长率最大可能性在6%~7%之间。 然后告诉他，把明年国民经济增长率在6%~7%之间的可能性记作10； 并要求他判断明年国民经济增长率在7%~8%之间的可能性有多大，设经 过交谈后定为8.5，由分析人员记入表2.1； 然后再开始判断下一个子区间的相对似然率，直到所有子区间的相对 似然率都设定为止。
(1)直方图法
该法适用于自然状态θ取值是实轴的的某个区间 的情况. 步骤：①将区间划分子区间θi…离散化; ②设定每个子区间的似然率π(θi)…赋值; ③变换成概率密度曲线.
例如：明年国民经济的增长率
0.2 0.15 0.1 0.05 0 2% 3% 4% 5% 6% 7% 8% 9% 10% 11% 12% 13% 14% 15% 柱形图 1
打赌法设事件e发生时收入p0e不发生设事件e发生时收入p0e不发生的收入为1调整p使决策人感到两者无差异为止连续型随机变量的先验分布的设定4与给定形式的分布函数相匹配1直方图法该法适用于自然状态取值是实轴的的某个区间的情况的情况
2 主观概率和先验分布

( Modeling uncertainty with probability )
设定先验分布是Bayes分析的需要.

2.2 先验分布及其设定

对许多领域的实际问题，设定在相关的域上的事件的 概率分布对于这些领域的专业人员来说已经是常规性 和标准化的工作。 这种赋值通常是模型与经验相结合，而且许多典型的 问题有其相应的概率模型，如二项分布，正态分布， 泊松分布等可以使用。 对那些不具备典型特征的事件，要让两个人就同一个 特定的概率分布的适用性取得一致意见通常都十分困 难，这时概率的设定就有高度的主观性。
步骤②参数估计： A.矩法：N(μ,σ) Be(α，β) · 缺点：尾部估计不准，但对矩的影响却很大 B.分位数：利用几个分位点和现成的概率密度 函数分位数表，估计参数并检验。
4) 无信息先验分布
一、为什么要研究无信息先验 贝叶斯分析法最为引人的特点是它的简明性，只要有 效用(损失)函数和先验分布，贝叶斯分析就可以直接计 算了。 由于贝叶斯分析法的简明性，使得人们在没有先验信 息时也想用它，因此希望在完全没有或只有权少自然状 态Θ的先验信息时，也能设定Θ 的先验概率分布。 例如，最简单的情况是Θ中只有n个元素．即只有n种 自然状态，设每种状态出现的概率为1／n，这就是无信 息先验分布。
5)小结:主/客观概率


由于历史原因，客观概率论者习惯使用概率 (probability)一词，采用记号多p(θ)表示自然 状态θ的概率； 而主观概率论者习惯用似然率(likelihood)， 采用记号π(θ)表示自然状态的θ的似然率。 在本书中对概率和似然率的用法不加严格区 分，但尽可能用记号π(θ)表示似然率。
表2.1 明年国民经济增长率各子区间及似然率设定 子区 间
Ri
5 6
6 9
7 10
8 9.5
9 6.5
10 2.5
11 1
12 0.5
π(θi)
0.01
0.03
0.06
0.12
0.18
0.20
0.19
0.13
0.05
0.02
0.01
(3)区间对分法
· 适用范围：可以是开区间 · 步骤：①求中位 ②确定上、下四分位点(quartile fractile) ③由于误差积累，最多确定八分位点(Eighth fractile)
二、状态θ不能直接观察时
小结
自然状态的概率或概率分布不是也不应当 由决策分析人员来设定，而应当由决策人和有 关问题专家提供基本信息，由决策分析人员协 助设定。
E是随机试验,S是E的样本空间,对E的每一事件A,对 应有确定实数P(A),若满足: ① 非负性：0≤P(A)≤1 ② 规范性： P(S)=1 ③可列可加性：对两两不相容事件Ak (k=1,2…) (Ai∩ Aj=φ),有:
P(∪Ak)=∑P(Ak) 则称P(A)为事件A发生的概率.
小结

以上所述的3种概率的定义中有一个共同的特点，这就 是概率是在多次重复试验中，随机事件A发生的可能性 的大小的度量。 而在实际的决策问题中，自然状态的概率往往无法通 过重复试验求得：
1)设定先验分布时的几点假设
假设2.2 传递性(Transitivity) 若对事件A，B，C , A >L B， B >L C 则A>L C.
任何二元关系，只有满足连通性和传递性才能构成完全 序。
1)设定先验分布时的几点假设
1)设定先验分布时的几点假设
Savage,1954指出满足假设2.1~2.5就可以保证概率分布的惟 一存在性。 在实际设定先验分布的时候，注意满足前三条假设就可以 了，分析人员的注意力应该放在量化决策人的“信念”的准确 性上。


(1)有的自然状态无法重复试验 如：明天是否下雨、新产品销路如何、明年国民经济增长率 如何、能否考上研究生 (2)试验费用过于昂贵、代价过大 如：洲导弹命中率、战争中对敌方下一步行动的估计

2)主观概率(subjective probability, likelihood)
主观概率的引入：
由于上述原因，需要有一种能在频率观点不 适用、实际上无法进行随机试验时设定概率 的方法，这就是主观概率(subjective probability)； 与此同时，把前述的概率称为客观概率 (objective probability)。


随机事件与概率

随机事件：事件有多种不同的结果，在同样的 条件下进行一系列重复试验，每次出现的结果 都不能预先确定的事件称为随机事件。
概率：随机现象在每次试验中的结果虽然是不 确定的，但在大量重复试验下，各种不同结果 出现的可能性的大小是具有规律性的，这种规 律性称为概率。

随机试验具有下面三个特点：
2)离散型随机变量先验分布的 设定
2.打赌法 设事件E发生时收入P（0 ＜P ＜1）, 且 E不发生 的收入为(1 - P), 调整P，使决策人感到两者无差 异为止, 则： π (E)=1- P.
3)连续型随机变量的先验分布 的设定

(1)直方图法 (2)相对似然率法 (3)区间对分法 (4)与给定形式的分布函数相匹配
3)主观概率定义

根据Savage(1954)的观点，主观概率是一种见 解，是合理的信念的测度。


它是某人对特定事件会发生的可能性的信念(或意见、 看法)的度量，即他相信或认为事件将会发生的可能 性的大小。 这种相信的程度是一种信念，是主观的，但又是根 据经验、各方面的知识以及对客观情况的了解，利 用相关信息进行分析、推理、综合判断而设定 (assignment)的，与主观臆测不同。 问题：不同的决策人对同一事件会发生的可能性的 度量会不同（如：能否考上研究生），决策分析时 是否存在多种主观概率？

研究概率的必要性:第一章指出了决策问题的基本特点 之一是自然状态的不确定性。
由于自然状态的不确定性，决策人无论采取什么行动， 所产生的后果都会因自然状态的不同而不同。为了能 对决策进行给定量化研究、有必要定量地表达自然状 态的非确定性。 概率是定量表达不确定性的重要工具，我们要对设定 自然状态的概率分布所涉及的问题与相应的处理方法 进行分析和讨论。
2)离散型随机变量先验分布的 设定
1.对各事件加以比较确定相对似然率 例1. 考博士生 若π (E)=2P(E), E：考取 E：考不取 则: π (E)=2/3, π(E)=1/3.
例2. 某地气候状况：正常年景θ1，旱θ2，涝θ3 正常与灾年之比3∶2 , 水旱灾之比1∶1 . 则π(θ1)=0.6, π(θ2)= π(θ3)=0.2
2.2 先验分布及其设定

1)设定先验分布时的几点假设 2)离散型随机变量先验分布的设定 3)连续型随机变量的先验分布的设定 4)无信息先验分布 5)使平均信息量极大化的先验分布设定 6)利用过去数据设定先验分布
2.2 先验分布及其设定

在决策分析中，尚未通过试验收集状态 信息时所具有的信息叫先验信息，由先 验信息所确定的概率分布叫先验分布 (prior distribution)。


1)设定先验分布时的几点假设
假设2.1 连通性(Connectivity)，又称可比性. 即事件A和B发生的似然性likelihood是可以比较的： A＞L B 或 A L B 或 B＞ L A , 必有一种也仅有一种成立 A＞L B读作 A 发生的似然性大于B 发生的似然性, A L B 读作 A 发生的似然性与B 发生的似然性相当。

1.在相同条件下可以重复进行；
2.试验前不能确定出现哪种结果； 3.试验前知道可能出现的所有结果。


1)概率的三种定义

(1) 频率与概率 (2) Laplace的概率定义 (3) 概率的公理化定义
(1) 频率与概率

为了描述随机事件发生的可能件的大小， 人们通常进行随机试验并观察试验结果。 在相同条件下进行了n次试验，其中事件A 发生的次数nA称为事件A发生的频数，比值 nA ／n称为事件A发生的频率，记作人fn(A):
例：人口出生率 · 缺点：精度差
(4)与给定形式的分布函数相匹 配
• 这是最常用，且常常被滥用的方法. •步骤①: 选择一个与先验信息匹配得最好的函数, 如正态，泊松，β，e-Cauchy 分 布等 例：a)在单位时间以恒常的平均比率入出现，则在T单位长度时间内该事件出现 的次数服从Poisson分布 b)若影响某一随机变量的因素很多而每一因素的作用均不显著，则该变量服 从正态分布。例如，测量误差，弹落点，人的生理特征的度量，农作物产量等均 服从正态分布。 r r nr c)事件A出现的概率为P，n次独立试验出现r次A的概率b(p,r,n)= Cn p (1 p) 即服从二项分布
5)使平均信息量极大化的先验 分布设定
5)使平均信息量极大化的先验 分布设定
6)利用过去数据设定先验分布
一、有θ的统计数据
为能获得θ的观察值θi , i=1,…,n的数据，则可： ①通过直方图勾划出先验分布; ②选取可能的函数形式作为先验分布，再定参数; ③求频率(离散随机变量).
6.利用过去数据设定先验分布
f n ( A) n A / n ˆ
古典的概率(probability)的定义如下:
p( A) lim f n ( A)
n
(2) Laplace的概率定义


P(A)==k/N 式中，k为A所含基本事件数，N为 基本事件 总数 适用条件: 1.基本事件有限 2.每个基本事件等可能
(3)Kormogorov公理化定义

3) 概率的数学定义
注意：主观概率和客观概率（objective probability）有相同 的定义
4)主/客观概率的比较
(一) 基本属性： O：系统的固有的客观性质，在相同条件下重复试验时频经的极限 S：概率是观察者而非系统的性质，是观察者对对系统处于某状态的信 任程度 (二)抛硬币：正面向上概率为1/2 O：只要硬币均匀，抛法类似，次数足够多，正面向上的概率就是１／ ２，这是简单的定义。 S：这确是定义，决策者认为硬币是均匀的，正、反面出现的可能性 (似然率)相同，１／２是个主观的量。 (三)下次抛硬币出现正面的概率是1/2 O：这种说法不对，不重复试验就谈不上概率 S：对决策者来说，下次出现正、反是等可能的。但是他不是说硬币本 身是公正的，它可能会有偏差，就他现有知识而言，没有理由预言一面出 现的可能会大于另一面，但多次抛掷的观察结果可以改变他的信念。 O、S：下次抛硬币出现正面还是反面不能确定，但知道：要么是正面， 要么是反面。