第三章 最大似然估计和贝叶斯参数估计习题答案

0
0.5
1
1.5
2
2.5
3
3.5
4
4.5
5
b) x1 , , xn p x θ
(
)
n n
定义对数似然函数：
l (θ ) = ∑ ln p ( xi θ ) = ∑ ( ln θ − θ xi )
i =1 i =1
计算导数：
dl (θ ) n 1 n n = ∑ − xi = − ∑ xi = 0 dθ θ i =1 i =1 θ
∂l ( θ ) n xik 1 − xik n xik − θi = ∑ − =0 =∑ ∂θ i 1 − θ i k =1 θ i (1 − θ i ) k =1 θ i
因此有：
∑(x
k =1
n
k i
− θi ) = 0
θi =
1 n k ∑ xi n k =1
写成矢量形式：
1.5
4． x 服从 d 维的Bernoulli分布：
p ( x θ ) = ∏ θ ixi (1 − θ i )
i =1
d
1− xi
因此：
p x1 , , x n θ = ∏∏ θixi (1 − θ i )
k
(
) =1 i =1
对数似然函数：
k k l ( θ ) = ∑∑ xi ln θ i + (1 − xi ) ln (1 − θ i ) k =1 i =1 n d
n ˆ=1 x θ ∑ k n k =1
16． A, B 为两个同阶的非奇异矩阵。 a)
(A
−1
−1 −1 + B −1 ) A ( A + B ) B = ( I + B −1 A ) ( A + B ) B
= ( A + B ) B + B −1 A ( A + B ) B
−1 −1
同理有：
−1
(*)
Σ n = ( nΣ + Σ
−1
−1 −1 0
)
1 1 = Σ Σ + Σ0 Σ 0 n n
−1
(**)
由(42)式：
1 −1 −1 ˆ Σ− n μ n = nΣ μ n + Σ 0 μ 0
等式两边左乘 Σ n ：
−1 ˆ n + Σ0 μ0 ) μ n = Σ n ( nΣ −1μ −1 ˆ n + Σ n Σ0 = Σn nΣ −1μ μ0
1 1 1 1 1 ˆ n + Σ Σ + Σ0 Σ 0 Σ − = Σ0 Σ 0 + Σ Σ nΣ −1μ 0 μ0 n n n n 1 1 1 ˆn + Σ = Σ0 Σ 0 + Σ μ Σ0 + Σ μ 0 n n n
A + = A t ( AAt )
伪逆矩阵的性质：
−1
当 rank ( A ) = n 时，有： A A = I n
+
当 rank ( A ) = m 时，有： AA = I m
+
但可以验证当以伪逆矩阵代替上式中的逆阵时，以上恒等式不成立。 （如令
+ 8 0 4 0 12 99 + ，可以验证 ( A + + B + ) ≠ A ( A + B ) B ） A= ,B = 9 2 8 9 7 8
因此：
ˆ= θ
1 n ∑ xi
i =1 n
c) θ = 1 ，当 n 非常大时，
+∞ 1 n lim ∑ xi = ∫ xp ( x ) dx n →∞ n i =1 −∞
=∫
因此：
+∞
0
xe− x dx = − ( x + 1) e− x
+∞ 0
=1
ˆ= θ
1 lim n ∑ xi
−1
= B ( A + B) = BB −1 = I
两边右乘 A
−1
( B + A ) B −1
(
−1
+ B −1 ) ，有：
−1
(A
−1
+ B −1 ) = B ( A + B ) A
−1 −1 −1
b) 当 A, B 非方阵时，A, B 均为奇异阵， 所以 A 和 B 均不存在， 因此以上恒等式部成立。
其中(*)式为(46)式，(***)式为(45)式。
−1 −1
−1
−1
(代入(*) 式)
（***）
(要求 A
(
−1
+ B −1 ) 为非奇异矩阵)
同理：
B ( A + B ) A ( A −1 + B −1 ) = B ( A + B )
−1 −1 −1
−1
( I + AB )
−1 −1
= B ( A + B ) + B ( A + B ) AB −1 = B ( A + B ) BB −1 + B ( A + B ) AB −1
显然，当 θ ≥ max ( D ) 时， l (θ ) 为 θ 的单调下降函数，而 θ < max ( D ) 时，l (θ ) = 0 ， 因此 l (θ ) 的最大值产生在 θ max ( D ) 的最小值处，即 θ = max ( D ) 。 b)
14
{
}
12
10
8
6
4
2
0
0
0.5 0.6
1
= B −1B ( A + B ) B + B −1A ( A + B ) B
−1 −1
= B −1 ( B + A )( A + B ) B
−1
= B −1B =I
上式两边左乘 A
(因为 ( B + A ) = ( A + B ) )
(
−1
+ B −1 ) ，则有：
−1 −1 −1
(A
−1
+ B −1 ) = A ( A + B ) B
c) 由(41)式：
1 −1 1 Σ− + Σ− n = nΣ 0
等式两边求逆：
−1 Σ n = ( nΣ −1 + Σ0 ) = ( Σ0−1 + nΣ−1 ) −1 −1
等式右边利用(a)的恒等式，有：
1 1 Σ n = Σ 0 Σ0 + Σ Σ n n
第三章 最大似然估计和贝叶斯参数估计
1、指数概率密度函数的分布：
θ e−θ x , x ≥ 0 p(x θ ) = others 0,
a) θ = 1 时，
1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0
0
1
2
3
4
5 x
6
7
8
9
10
x = 2 时，
0.2 0.18 0.16 0.14 0.12 0.1 0.08 0.06 0.04 0.02 0
n →∞ i =1 n
=1
2． x 服从均匀分布：
1 , 0 ≤ x ≤θ p ( x θ ) = θ others 0,
a) 构造似然函数：
n 1 1 ∏ , θ ≥ max ( D ) n , θ ≥ max ( D ) l (θ ) = i =1 θ = θ 0, others others 0,
另外： 对于奇异阵 A 和 B 存在伪逆矩阵(广义逆矩阵)，伪逆矩阵定义为：
A 为 m × n 的矩阵，当 A 的秩为 n 时： rank ( A ) = n ， A 的伪逆矩阵定义为： A + = ( A t A ) At
−1
当 A 的秩为 m 时： rank ( A ) = m ， A 的伪逆矩阵定义为：