多元正态分布参数的估计
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1 ¯ 与 B 相互独立, 且 x ¯ ∼ Np (µ, n (1) x Σ);
1 n
∑n
i=1
xi ,
(2) P (B > 0) = 1 的充要条件是 n > p. ¯ 和 B 为充分完备统计量. (3) x 证明. (1) 记 x = [x1 , . . . , xn ]′ 为 n×p 阶矩阵, 则 x ∼ Nn×p (1n µ′ , In ⊗ √ √ Σ). 再记 Γ 为 n 阶正交矩阵, 其最后一行为 (1/ n, . . . , 1/ n). 作 变换 z = Γx := [z1 , . . . , zn ]′ 于是 z ∼ Nn×p (Γ1n µ′ , In ⊗ Σ), 因此 z1 , . . . , zn 相互独立, 注意 √ n)′ µ′ = (0, . . . , 0, nµ)′ √ 所以 zi ∼ Np (0, Σ), i = 1, . . . , n − 1, zn ∼ Np ( nµ, Σ). 而 Γ1n µ′ = (0, . . . , 0, ¯= x √ √ 1 ′ 1 1 x 1n = z′ Γ1n = z′ (0, . . . , 0, n)′ = zn / n n n n Previous Next First Last Back Forward 5 到 √
Previous Next First Last Back Forward
1
多元正态分布的参数 µ 和 Σ 可以使用不同的统计推断方法来估 计.
1.1
最大似然估计
设 X1 , . . . , Xn i.i.d ∼ Np (µ, Σ), 则负对数似然函数 为 l(µ, Σ) ∝ =
n n 1∑ log |Σ| + (xi − µ)′ Σ−1 (x − µ) 2 2 i=1
µ,Σ>0
µ=µ ˆ
min l(µ, Σ) = min
Σ>0
l(ˆ µ, Σ)
Previous Next First Last Back Forward
2
ˆ 是 l(ˆ 下面的引理证明了 Σ µ, Σ) 的最小值点. 从而得到最大似然估计 ¯, µ ˆmle = x ¯= 其中 x
1 n n ∑ ˆ mle = 1 ¯ )(xi − x ¯ )′ Σ (xi − x n i=1
n ∑ 1 n ¯ )′ (xi − x ¯ )] log |Σ| + tr[Σ−1 (xi − x 2 2 i=1 n ¯ )′ Σ−1 (µ − x ¯) + (µ − x 2
Previous Next First Last Back Forward
1
最大化似然函数等价于最小化上述函数. 令 0, (忽略 Σ 的对称性) 我们得到 −Σ−1
1 n
+ nlog (λ) 在 λ = 1/n 处达到极小值, 故上式当 ˜ = 1 Ip , 等价地 时达到极小值, 即 Σ n
1 λ
ˆ = CΣ ˜ C = 1 CC = 1 B. Σ n n
使用上述引理来证明 Σ 的最大似然估计时候, 需要 B = 时,P (B > 0) = 1.
∑n
i=1 (Xi −来自百度文库
n ∑ (x i − µ ) = 0, i=1
∂l(µ,Σ) ∂µ
=0和
∂l(µ,Σ) ∂Σ
=
nΣ−1 − Σ−1 从而得到解
n ∑ (xi − µ)(xi − µ)′ Σ−1 = 0 i=1
n ∑ ˆ= 1 ¯, Σ µ ˆ=x (x − µ ˆ)(x − µ ˆ)′ n i=1
注意到 l(µ, Σ) ≥ l(ˆ µ, Σ), 等号成立当且仅当 从而
∑n
i=1
Xi .
引理 1. 设 B 为 p 阶正定矩阵, n > 0 为实数, 在对所有 p 阶正定矩 阵Σ有 n 1 n pn log |Σ| + tr[Σ−1 B ] ≥ log |B | + (1 − logn) 2 2 2 2 1 当且仅当 Σ = n B 时等号成立. ˜ = 证明. 由 B > 0, 故存在可逆对称阵 C , 使得 B = CC . 记 Σ −1 −1 ˜ |, 有 C ΣC , 则 |Σ| = |B ||Σ n 1 n n ˜ | + 1 tr[Σ ˜ −1 ] log |Σ| + tr[Σ−1 B ] = log |B | + log |Σ 2 2 2 2 2 p n 1∑ 1 = log |B | + [nlogλi + ], 2 2 i=1 λi Previous Next First Last Back Forward 3
¯ )′ (Xi − x ¯ ) > 0 成立. 这是一随机矩阵, 因此我们需要证明当 n > p x
Previous Next First Last Back Forward
4
¯ = 定理 1. 设样本 x1 , . . . , xn i.i.d ∼ Np (µ, Σ), 记 x ∑ ′ ¯ ¯ B= n ( x − x )( x − x ) , 则 i i i=1
˜ 的特征根, 于是 其中 λ1 ≥ · · · ≥ λp > 0 为 Σ ∑ 1 n 1 n 1 min{ log |Σ| + tr[Σ−1 B ]} = log |B | + min [ + nlogλi ] Σ>0 2 λ > 0 2 2 2 j i=1 λi
p
注意到函数 g (λ) = λ1 = · · · λp =
最大似然估计的性质 . . . . . . . . . . . . . . 12 Wishart 分布 . . . . . . . . . . . . . . . . . . 17 评估正态性假设 . . . . . . . . . . . . . . . . . 21 异常点检测 . . . . . . . . . . . . . . . . . . . 32 正态化变换 . . . . . . . . . . . . . . . . . . . 35
多元正态分布参数的估计 和数据的清洁与变换
张伟平 zwp@ustc.edu.cn Office: 东区管理科研楼 1006 Phone: 63600565 课件 http://staff.ustc.edu.cn/~zwp/ 论坛 http://fisher.stat.ustc.edu.cn
简介
1.1 1.2 1.3 1.4 1.5 1.6 最大似然估计 . . . . . . . . . . . . . . . . . . 1
1 n
∑n
i=1
xi ,
(2) P (B > 0) = 1 的充要条件是 n > p. ¯ 和 B 为充分完备统计量. (3) x 证明. (1) 记 x = [x1 , . . . , xn ]′ 为 n×p 阶矩阵, 则 x ∼ Nn×p (1n µ′ , In ⊗ √ √ Σ). 再记 Γ 为 n 阶正交矩阵, 其最后一行为 (1/ n, . . . , 1/ n). 作 变换 z = Γx := [z1 , . . . , zn ]′ 于是 z ∼ Nn×p (Γ1n µ′ , In ⊗ Σ), 因此 z1 , . . . , zn 相互独立, 注意 √ n)′ µ′ = (0, . . . , 0, nµ)′ √ 所以 zi ∼ Np (0, Σ), i = 1, . . . , n − 1, zn ∼ Np ( nµ, Σ). 而 Γ1n µ′ = (0, . . . , 0, ¯= x √ √ 1 ′ 1 1 x 1n = z′ Γ1n = z′ (0, . . . , 0, n)′ = zn / n n n n Previous Next First Last Back Forward 5 到 √
Previous Next First Last Back Forward
1
多元正态分布的参数 µ 和 Σ 可以使用不同的统计推断方法来估 计.
1.1
最大似然估计
设 X1 , . . . , Xn i.i.d ∼ Np (µ, Σ), 则负对数似然函数 为 l(µ, Σ) ∝ =
n n 1∑ log |Σ| + (xi − µ)′ Σ−1 (x − µ) 2 2 i=1
µ,Σ>0
µ=µ ˆ
min l(µ, Σ) = min
Σ>0
l(ˆ µ, Σ)
Previous Next First Last Back Forward
2
ˆ 是 l(ˆ 下面的引理证明了 Σ µ, Σ) 的最小值点. 从而得到最大似然估计 ¯, µ ˆmle = x ¯= 其中 x
1 n n ∑ ˆ mle = 1 ¯ )(xi − x ¯ )′ Σ (xi − x n i=1
n ∑ 1 n ¯ )′ (xi − x ¯ )] log |Σ| + tr[Σ−1 (xi − x 2 2 i=1 n ¯ )′ Σ−1 (µ − x ¯) + (µ − x 2
Previous Next First Last Back Forward
1
最大化似然函数等价于最小化上述函数. 令 0, (忽略 Σ 的对称性) 我们得到 −Σ−1
1 n
+ nlog (λ) 在 λ = 1/n 处达到极小值, 故上式当 ˜ = 1 Ip , 等价地 时达到极小值, 即 Σ n
1 λ
ˆ = CΣ ˜ C = 1 CC = 1 B. Σ n n
使用上述引理来证明 Σ 的最大似然估计时候, 需要 B = 时,P (B > 0) = 1.
∑n
i=1 (Xi −来自百度文库
n ∑ (x i − µ ) = 0, i=1
∂l(µ,Σ) ∂µ
=0和
∂l(µ,Σ) ∂Σ
=
nΣ−1 − Σ−1 从而得到解
n ∑ (xi − µ)(xi − µ)′ Σ−1 = 0 i=1
n ∑ ˆ= 1 ¯, Σ µ ˆ=x (x − µ ˆ)(x − µ ˆ)′ n i=1
注意到 l(µ, Σ) ≥ l(ˆ µ, Σ), 等号成立当且仅当 从而
∑n
i=1
Xi .
引理 1. 设 B 为 p 阶正定矩阵, n > 0 为实数, 在对所有 p 阶正定矩 阵Σ有 n 1 n pn log |Σ| + tr[Σ−1 B ] ≥ log |B | + (1 − logn) 2 2 2 2 1 当且仅当 Σ = n B 时等号成立. ˜ = 证明. 由 B > 0, 故存在可逆对称阵 C , 使得 B = CC . 记 Σ −1 −1 ˜ |, 有 C ΣC , 则 |Σ| = |B ||Σ n 1 n n ˜ | + 1 tr[Σ ˜ −1 ] log |Σ| + tr[Σ−1 B ] = log |B | + log |Σ 2 2 2 2 2 p n 1∑ 1 = log |B | + [nlogλi + ], 2 2 i=1 λi Previous Next First Last Back Forward 3
¯ )′ (Xi − x ¯ ) > 0 成立. 这是一随机矩阵, 因此我们需要证明当 n > p x
Previous Next First Last Back Forward
4
¯ = 定理 1. 设样本 x1 , . . . , xn i.i.d ∼ Np (µ, Σ), 记 x ∑ ′ ¯ ¯ B= n ( x − x )( x − x ) , 则 i i i=1
˜ 的特征根, 于是 其中 λ1 ≥ · · · ≥ λp > 0 为 Σ ∑ 1 n 1 n 1 min{ log |Σ| + tr[Σ−1 B ]} = log |B | + min [ + nlogλi ] Σ>0 2 λ > 0 2 2 2 j i=1 λi
p
注意到函数 g (λ) = λ1 = · · · λp =
最大似然估计的性质 . . . . . . . . . . . . . . 12 Wishart 分布 . . . . . . . . . . . . . . . . . . 17 评估正态性假设 . . . . . . . . . . . . . . . . . 21 异常点检测 . . . . . . . . . . . . . . . . . . . 32 正态化变换 . . . . . . . . . . . . . . . . . . . 35
多元正态分布参数的估计 和数据的清洁与变换
张伟平 zwp@ustc.edu.cn Office: 东区管理科研楼 1006 Phone: 63600565 课件 http://staff.ustc.edu.cn/~zwp/ 论坛 http://fisher.stat.ustc.edu.cn
简介
1.1 1.2 1.3 1.4 1.5 1.6 最大似然估计 . . . . . . . . . . . . . . . . . . 1