贝叶斯统计茆诗松版大部分课后习题答案

习题讲解一、1,3,5,6,10,11,12,15 1.1记样本为x.()()22682268(0.1)*0.1*0.90.1488(0.2)*0.2*0.80.29360.1488*0.70.10.54180.1488*0.70.2936*0.30.2936*0.30.20.45820.1488*0.70.2936*0.3p x C p x C x x θθπθπθ==≈==≈==≈+==≈+后验分布：()()()()()1113353680362(|)(1)*2(1)112(1)15(|)840(1),01m x p x d C d d p x x m x θπθθθθθθθθθθπθπθθθθ==--=-===-<<⎰⎰⎰1.61.11 由题意设x 表示等候汽车的时间，则其服从均匀分布(0,)U θ1,0()0,x p x θθ⎧<<⎪=⎨⎪⎩其它 因为抽取3个样本，即123(,,)X x x x =，所以样本联合分布为12331,0,,()0,x x x p X θθ⎧<<⎪=⎨⎪⎩其它又因为 4192/,4()0,4θθπθθ⎧≥=⎨<⎩所以，利用样本信息得1233471192192(,)()() (8,0,,)h X p X x x x θθπθθθθθθ==⋅=≥<< 于是788192()(,)m X h X d d θθθθ+∞+∞==⎰⎰θ的后验分布为76778(,)192/68()192()h X X m X d θθπθθθθ+∞⨯===⎰6768,8()0,8X θπθθθ⎧⨯≥⎪=⎨⎪<⎩1.12样本联合分布为：1(),0np x x θθθ=<<1000/,()0,αααθθθθπθθθ+⎧>=⎨≤⎩{}110101()()()/1/,max ,,,n n n x p x x x αααπθθπθαθθθθθθ++++∝=∝>=因此θ的后验分布的核为11/n αθ++，仍表现为Pareto 分布密度函数的核即1111()/,()0,n n n x αααθθθθπθθθ+++⎧+>=⎨≤⎩即得证。

1.15()()()111()1()()()()(),.nii x nn n x n n x p x ee ex p x e Ga n nx λλααβλαβλλλλβπλλαλπλλπλλαβ=----+--+∑===Γ∝∝++样本的似然函数：参数的后验分布服从伽马分布220.0002(2)4,20000.0.0001αβαβαβ⎧=⎪⎪⇒==⎨⎪=⎪⎩二、1,2,3,5,6,7,8,10,11,122.2 解： 由题意，变量t 服从指数分布：()t p t e λλλ-=样本联合分布()itn p Te λλλ-∑=且1~(,),0()Ga e ααβλβλαβλλα--=>Γ ，()0.2E λ= ()1Var λ= 由伽玛分布性质知：20.20.04,0.21αβαβαβ⎧=⎪⎪⇒==⎨⎪=⎪⎩又已知 n=20, 3.8t =120 3.876nii t==⨯=∑，所以120.04,76.2ni i n t αβ=+=+=∑由于伽玛分布是指数分布参数的共轭先验分布，而且后验分布()11()()()t t n n i i t p T e e eλλββλααπλλπλλλλ--+∑∑--+-∝∝= 即后验分布为(,)(20.04,76.2)iGa n t Ga αβ++=∑|20.04()0.26376.2T i n E t λαλβ+===+∑1θλ-=服从倒伽玛分布(,)(20.04,76.2)i IGa n t IGa αβ++=∑||1()() 4.0021iT T t E E n λλβθλα-+===+-∑2.3可以算出θ的后验分布为(11,4)Ga ，θ的后验期望估计的后验方差为1116. 2.5 36n ≥.2.7θ的先验分布为：1000/,()0,αααθθθθπθθθ+⎧>=⎨≤⎩令{}101max ,,,n x x θθ=可得后验分布为：1111()/,()0,n n n x αααθθθθπθθθ+++⎧+>=⎨≤⎩则θ的后验期望估计为：1()()1n E x n αθθα+=+-，后验方差为：212()()(1)(2)n Var x n n αθθαα+=+-+-.2.8由1~(,),~(,)22n x Ga IGa θαβθ可以得出211221()2(),0()2nn xp x x e x n θθθ--=>Γ(1)(),0()e βααθβπθθθα--+=>Γ （1）θ的后验分布为：2(1)22()()()x nx p x eβαθπθθπθθ+--++∝∝即为倒伽玛分布(,)22nxIGa αβ++的核。

所以θ的后验分布为(,)22n xIGa αβ++（2）后验均值为22()2212x x E x n n ββθαα++==+-+- 后验方差为22()2()(1)(2)22xVar x n nβθαα+=+-+-（3）样本分布函数为：11212211(2)()()(/2)nii nn nx nni ii i p x p x xen θθθθ=---==⎡⎤∑⎢⎥==⎢⎥Γ⎢⎥⎣⎦∏∏所以θ的后验分布为：212(1)22()()()ni i x n x p x eβαθπθθπθθ=+--++∑∝∝即为21(,)22ni i x n IGa αβ=++∑的核。

12112(1)211()2)()()[]*()()2ni i n n x n n i i x p x x e e n βαθαθβθπθθπθθα=----+=∑==ΓΓ∏（令)0d x d πθθ=（ 即：221122221211222222112()2[][(1)*]0()22()2n ni i i i nnx x n n n i n n i i i x n x e e n ββαααθθββαθθαθ==++---------==∑∑+---+=ΓΓ∑∏可得1122222212nnii ii MD xx nn ββθαα=∧=++==++++∑∑而由公式得1122222212nnii ii E xx n n ββθαα=∧=++==+-+-∑∑因此，倒伽玛分布的这两个估计是不一样的，原因是它不对称。

2.10解：已知~(,1),~(3,1)x N N θθ 设θ的后验分布为211(,)N μσ 可得：2201220x σμτμστ-----+=+22210111σστ=+由已知得：24333x -++==，22013n σσ== 2113331113,31134μσ⨯+⨯∴====++所以θ的95％的可信区间为：[30.5 1.96,30.5 1.96]-⨯+⨯ 即为[2.02,3.98].2.11已知()()22~0,,~,x N IGa σσαλ可得2σ的后验分布为211,22n i i n IGa x αλ=⎛⎫++ ⎪⎝⎭∑后验均值为：2112ˆ12n ii Ex n λθα=+=+-∑ 后验方差为：()22122121222n i i x Var x n n λσαα=⎛⎫+ ⎪⎝⎭=⎛⎫⎛⎫+-+- ⎪⎪⎝⎭⎝⎭∑ 变换：22111~,22n i i n Ga x αλσ=⎛⎫++ ⎪⎝⎭∑ 222112~22ni i n x λχασ=⎛⎫⎡⎤⎛⎫++ ⎪ ⎪⎢⎥⎝⎭⎣⎦⎝⎭∑ 令：()220.1211220.9ni i P x n λχασ=⎡⎤⎛⎫+≥+=⎢⎥ ⎪⎝⎭⎣⎦∑可得2σ的0.9可信上限为()2120.122ni i x n λχα=++∑.2.12θ的先验分布为：1000/,()0,αααθθθθπθθθ+⎧>=⎨≤⎩令{}101max ,,,n x x θθ=可得后验分布为：1111()/,()0,n n n x αααθθθθπθθθ+++⎧+>=⎨≤⎩设θ的1α-可信上限为U θ 则()11Ux d θθπθθα=-⎰带入有：111111()/11Un n nn UnU n d θααθααααθθθαθαθθθα+++++++=-⇒=⎛⎫⇒= ⎪⎝⎭⎰三、10,11,12,13()()()()()()()()230220020023.101exp ,00.010.01exp ,00.010.01exp 0.01,00.012000.010.999950.01x p x x x m x p x d d x x p m x dx dx x θθθπθθθθθπθθθθθ-+∞-Θ⎧⎫=->⎨⎬⎩⎭⎧⎫=->⎨⎬⎩⎭+⎧⎫==-⎨⎬⎩⎭=>+==≈+⎰⎰⎰⎰解：依题意则该元件在时间之前失效的概率: ()()()()()()()()()()()()()()()110113.11:!,0!1!1!iiiiiiii xi i i i i i i xi i i i i i i i i i x i nnn i i x i i i p x e x e m x p x d ee d x x x x m x m x x θαβθααθβθαααααθθβπθθθαθβθπθθθθαβααβαβαβ---+∞---Θ++====>Γ==Γ=Γ+Γ+⎛⎫Γ+=∏=∏ ⎪ ⎪Γ+⎝⎭⎰⎰解依题意()()()()()()()()()()()()()()()()()()()()()()333333838312223.1235,,7201!13!5!11234.,0,03813ln 383ln 3i i x i i x f L x f L L f f f f αααααααβαααααβββαββββαααααααααβααββαββααβααα+++=Γ+Γ+ΓΓ+=∏==+++ΓΓ⎡⎤⎡⎤⎣⎦⎣⎦=++++∂⎧=⎪∂⎪⎨∂⎪=⎪∂⎩=⎧⎪⇒⎛⎫+⎨'= ⎪⎪⎝⎭⎩+'=解：超参数和的似然函数为其中由从而有：31.033599=0.38759968αααβ⎛⎫⎪⎝⎭≈≈利用软件计算，可得，()()()()()()()()()()()()2102222222223.13,.=,012m x m m e e d E E EE ααβθααβθθθαβθαβθαβμθθσθθβπθαβθθαβαμαβθθαβασθσθβαααααααμθμαβθββββββαασαβββ--+∞-==>Γ==Γ⎡⎤⎡⎤==⎣⎦⎣⎦+⎛⎫⎛⎫-=-=-+=⎡⎤ ⎪ ⎪⎣⎦⎝⎭⎝⎭=+⎰，，，证明：泊松分布的期望和方差分别为，，，，利用样本矩代替边际分布的矩，列出如下方程22222x S xS x x S x αβααββαβ∧∧⎧=⎪⎪⎨⎪=+⎪⎩⎧=⎪⎪-⇒⎨⎪=⎪-⎩：四、1,4,8,9,10,11,12,15,164.4(){}{}()()()12345612345615,6,7,8,9,10,5,6,7,8,9,1025,10,6,52524232221202530292827262530353433322530354039382530354045442530354045503a a Q a a aa a a a a a Q θθθθθθθθθθΘ=A =<≤⎧=⎨-≤<⎩⎛⎫⎪⎪ ⎪=⎪⎪ ⎪⎪⎪⎝⎭状态集行动集收益函数收益矩阵根据定义可知，最优()()()()()()()()()()()11234561654max ,1min ,252462312221821242030105611106a H Q a Q a H H H H H H a a θθααθαθααααααααααααα∈Θ∈Θ=+-=⎧⎪=+⎪⎪=+⎪⎨=+⎪⎪=+⎪⎪=+⎩<≤<<行动是，即采摘朵鲜花按折中准则：当时，选择，每天摘朵鲜花当时，选择，每天摘朵鲜花.4.8()131500L a=购买8件.4.9对于行动1a，其收益函数为()100,00.1 30,0.10.2 50,0.21Qθθθθ<<⎧⎪=≤≤⎨⎪-<<⎩对于行动2a，其收益函数为()40,01Qθθ=<<从而可得在1a 和2a 处的损失函数：()10,00.1,10,0.10.290,0.21L a θθθθ<<⎧⎪=≤≤⎨⎪<<⎩()260,00.1,0,0.11L a θθθ<<⎧=⎨≤<⎩θ服从()2,14Be()()()()0.2110.10.2109018.86L a p d p d θθθθ=+≈⎰⎰元吨()()()0.1206027.06L a p d θθ=≈⎰元吨故采用第一种收费方法对工厂有利.##附R 软件计算定积分程序： int<-function(x){210*x*(1-x)^13};integrate(int,0.1,0.2)$value*10+integrate(int,0.2,1)$value*90; [1] 18.86049integrate(int,0,0.1)$value*60; [1] 27.05742 4.10()()()()()()()()()()()()()0121212121212101662011820122566,,,0,3056,,,530,00,1015304101305910.Q a Q a a a L a L a Q a Q a a a L a L a L a d L a d a θθθθθθθθθθθθθθθθθθθθ+=-+⇒=≤≥==-><=-==-==-=⎰⎰当时，，则在和处的损失函数为当时，，则在和处的损失函数为服从上的均匀分布最优行动是五、2,3,7,11,18,21,225.2(2)(4)()()()22~,12x x N p x θθθπ--=由可得()()()()()212222222ln ln 1ln 2222ni i x nn x n c n x n c B p X en x ee d E e x c n d x cn c ccx nθθθθθππθπθπ=----⎛⎫+-- ⎪+∞ ⎪⎝⎭-∞∑==⎡⎤⎢⎥⎢⎥⎣⎦==+++=+⎰样本的似然函数为：后验分布则附：用R 软件作图程序：y<-function(x){exp(0.1*x)-0.1*x-1}; plot(y,xlim=c(-20,20),type="l",lty=1);lines(x,exp(0.5*x)-0.5*x-1,xlim=c(-20,20),type="l",lty=2); lines(x,exp(1.2*x)-1.2*x-1,xlim=c(-20,20),type="l",lty=3); s<-c("c=0.1","c=0.5","c=1.2");legend(locator(1),s,lty=c(1,2,3));5.3()23,. 23lnBxx cecθδ=<-可以求得的贝叶斯估计为5.7()()()()()()()()()()()()()2222225.2:,122112Bx eLE xE xE x x d x deθμδδμπθπθδλθθδλθθθδθλθλθθωθπθθωθπθθωμπ--+∞-∞-∞--==-⎡⎤⎣⎦=⎡⎤⎣⎦⎡⎤=-+⎣⎦-+=+⎰⎰后验分布：根据定理在加权平方损失函数下,的贝叶斯估计为：通过计算可得：5.11()()()()()()()()()()()()()()()()()121122,1111111;2102n x x n x x B B Be x n x n E x d x n x n E x d x n x E x x x n a x n E x x a x n βαβαθαβλθθθαβλθθθθθαβαβλθθθθαβλθθαθαβλθαααβα+--+-+--+-++-=-Γ++⎡⎤=-⎣⎦Γ+Γ+-Γ++⎡⎤=-⎣⎦Γ+Γ+-⎡⎤+-⎣⎦≤≤-==++-⎡⎤⎣⎦-==++-≤⎰⎰的后验分布为时,的贝叶斯估计为时,若>1,若0<()()()()()()()()()()()()()()()2111011122212200001112111,000;,n n n n B n a R a x d n n d a d a d n a R a x a x x n βαβββααααβθθθθαβθθαβθθθθθθθθθαβαβ+--+-+-+---Γ++-==-ΓΓ+-Γ++⎡⎤=---+-⎢⎥⎣⎦ΓΓ+≤====⎰⎰⎰⎰1,考虑后验风险0<上式中括号内前两项积分都是有限的,而第三个积分是趋于无穷大的,从而当时,达到最小值,即类似地，时若>()()121.B B n a x n a x ααββ+-=++-≤=1,若0<1,5.18(1)121210075100150a a W θθ⎛⎫= ⎪⎝⎭支付矩阵1212250050a a L θθ⎛⎫= ⎪⎝⎭损失矩阵1a 与2a 下的先验期望损失为()()12,17.5,,15E L a E L a θθθθ==⎡⎤⎡⎤⎣⎦⎣⎦，故2a 是最优行动，先验()15EVPI =元.(2){}{}()120,1,2,a a x δ从到上的任一个映射都是该问题的决策函数. (3)、(4)()()()()21~2,,,00.87475,10.1205,20.00475,i i i x b m x p x m m m θθπθ=====∑边缘概率可得：后验分布为：()21,0,1,2a x x a x δ=⎧'=⎨=⎩ ()()()()()()(),13.89*0.8747513.7975*0.12059.21*0.0047513.8566,1513.8566 1.14342 1.14340.20.9434xx xx EVPI E E L x EVSI EVPI E EL x ENGS EVSI C θθθδθδ⎡⎤'==++=⎣⎦⎡⎤'=-=-=⎣⎦=-=-=后验先验元元5.21 (1)210216b b m m θ-==-()()()()()21221200000~10,4,10,,5,4,10,61,10.08332**0.08332*5*4 1.6664N N N N E m m a t m m D L D L EVPI L D t θθτμθθμττ=>=-====-=======最优行动为 (2)0003**=0.04270*5*3=0.64052**=0.008491*5*2=0.084911**=0.000007145*5*1=0.000035725N N N EVPI L t EVPI L t EVPI L t θμτττθμτττθμτττ⎛-⎫==⎪⎝⎭⎛-⎫== ⎪⎝⎭⎛-⎫==⎪⎝⎭类似可得，，，(3)由上先验EVPI 中有相当一部分是由于先验分布估计得不够精确引起的，随着标准差τ的减小，用来描述状态θ的先验分布愈精确，增加了先验信息，从而减少了先验完全信息及其期望值。