基于充分完备统计量的无偏估计一定是估计
相合估计和无偏估计的关系
相合估计和无偏估计的关系一、引言在统计学中,估计是指根据样本数据推断总体参数值的过程。
相合估计和无偏估计是常见的两种估计方法。
本文将从定义、性质、举例等方面探讨相合估计和无偏估计之间的关系。
二、相合估计与无偏估计的定义1. 相合估计相合性是指当样本容量趋近于无穷大时,样本统计量的取值趋近于总体参数的真实值。
因此,相合估计是指当样本容量趋近于无穷大时,样本统计量以概率1收敛于总体参数的真实值。
2. 无偏估计无偏性是指样本统计量的期望等于总体参数的真实值。
因此,无偏估计是指样本统计量对总体参数进行点估计时,在多次重复抽样下,样本统计量的平均值等于总体参数。
三、相合估计与无偏估计之间的关系1. 相合但不一定无偏相合性只要求样本容量趋近于无穷大时,样本统计量以概率1收敛于总体参数的真实值,并没有要求样本统计量对总体参数进行点估计时,样本统计量的平均值等于总体参数。
因此,相合估计可以是有偏的,即样本统计量在某些情况下可能会偏离总体参数的真实值。
举例来说,当总体分布为正态分布时,样本均值是无偏估计量,并且也是相合估计量。
但当总体分布为偏态分布时,样本均值仍然是相合估计量,但却不再是无偏估计量。
2. 无偏但不一定相合无偏性要求样本统计量对总体参数进行点估计时,在多次重复抽样下,样本统计量的平均值等于总体参数。
但无偏性并没有要求样本容量趋近于无穷大时,样本统计量以概率1收敛于总体参数的真实值。
举例来说,当总体分布为泊松分布时,用样本均值作为泊松分布参数λ的点估计器是无偏估计器。
但由于泊松分布方差等于λ,所以在泊松分布中方差和期望相等的情况下,并不满足极限定理条件。
因此,在这种情况下即使取很大的样本容量也不能保证其收敛于总体参数的真实值,所以样本均值不是相合估计量。
3. 相合且无偏相合估计和无偏估计的最理想状态是相合且无偏。
也就是说,当样本容量趋近于无穷大时,样本统计量以概率1收敛于总体参数的真实值,并且样本统计量对总体参数进行点估计时,在多次重复抽样下,样本统计量的平均值等于总体参数。
数理统计定理及公式
3、贝叶斯风险
风险函数(, ) = ,(, )- = ∫ (, )(|)关于 再求期望,得
() = ∫ (, ) π() = ∬ (, )(|)π()
= ∬ (, )() (|) = ∫ () ∫ (, ) (|)
1、假设检验的基本概念
(1)拒绝域: = {: ∈ Ω,使0 否定}
1, ∈
(2)检验函数δ() = {
0, ∉
(3)两类错误的概率及检验水平
①第一类错误(弃真)②第二类错误(存伪)
③检验水平:检验犯第一类错误的概率
(4)势函数()
{
() = , ∈ 0
(1)矩估计法(以样本 k 阶矩估计总体 k 阶矩)
= ∫ () = ̅
1
2 = ∫ 2 () = ∑ 2 = 2 + ̅ 2
=1
{
⋮
(2)极大似然估计法
似然函数(联合密度)() = ∏=1 ( ; )
()
= 0,解得̂即为最大似然估计量,当求导无解时,结合次序统计量的概念及的
4、有效估计(方差达到罗-克拉默下界的估计)
(1)信息不等式
2
ln(; )
2 ln(; )
() = E *
+ = −E *
+
2
(2)罗-克拉默下界
D(()) ≥
1
()
(3)有效估计⇒最小方差无偏估计;但最小方差无偏估计⇏有效估计
5、区间估计
(1)置信度:1 −
①~(0,1),Y~ 2 ()且独立,则 =
√/
~()
② = 0, = −2
充分完全统计量法求umvue
一、概述最小方差无偏估计(UMVUE)是统计学中一种重要的参数估计方法,它具有估计准确性高、无偏性等优点。
充分完全统计量法是一种用于求解UMVUE的方法,通过找到一个充分完全统计量,就可以得到一个UMVUE。
本文将介绍充分完全统计量法求UMVUE的原理、步骤和应用。
二、充分完全统计量的定义充分完全统计量是指在给定参数下,包含了样本全部信息,且不含冗余信息的统计量。
具体而言,设X1,X2,…,Xn为来自总体分布函数Pθ(x)的一个样本,则T = t(X1, X2, …, Xn)为统计量,若对任意θ∈Θ,Pθ(x1, x2, …, xn|T = t)只依赖于θ,而不依赖于概率分布函数的任何其他的信息,则称T为总体分布的一个充分完全统计量。
三、充分完全统计量法求UMVUE的步骤1. 确定总体分布和要估计的参数。
2. 推导出总体分布的概率密度函数或概率质量函数。
3. 确定充分统计量。
4. 利用充分统计量构造UMVUE。
四、充分完全统计量法在正态分布下的应用以正态分布N(θ, σ^2)为例,其中θ为均值,σ^2为方差,我们希望求得均值的UMVUE。
1. 总体分布的概率密度函数为f(x|θ) = (1/√(2πσ^2)) * exp[-(x-θ)^2/(2σ^2)]。
2. 根据充分完全统计量的定义,我们可以知道样本的均值和方差并不是充分完全统计量。
3. 经过推导和分析,我们发现样本的平方和为充分完全统计量,即T= Σ(xi - x̄)^2。
4. 利用T构造UMVUE,即求E[g(T)], 其中g(T)为一个关于T的函数,使得g(T)是T的UMVUE。
通过数学推导,我们可以得到g(T) = (n-1)S^2/σ^2,其中S^2为样本的方差。
五、结论通过上述步骤和应用实例,我们可以看到充分完全统计量法求UMVUE的方法。
通过确定充分完全统计量,我们可以得到UMVUE,从而实现参数的准确估计。
在实际应用中,我们可以根据不同的总体分布和参数,利用充分完全统计量法来求得UMVUE,从而提高参数估计的准确性和可靠性。
充分统计量与完备统计量概要
n P (x (i),) h (x 1 ,x 2 , ,x n )g ( T (x 1 ,x 2 , ,x n ) ,)
i 1
其 中 h 是 x 1 ,x 2 , ,x n 的 非 负 函 数 且 与 无 关 , g 仅 通 过 T 依 赖 于 x 1 ,x 2 , ,x n .
( 2π)n
(
2 1 π )nex p {1 2i n 1(x ixx)2
(2 1 π )ne x p { 1 2i n 1(x i x )2 n 2 ( x )2 }
(2 1 π )n e x p { 1 2 i n 1 (x i x )2 } e x p { n 2 ( x )2 }
定义 1.6 设 X 1 ,X 2 ,,X n 是 来 自 总 体 X 具 有 分 布 函 数
F ( x ,) 的 一 个 样 本 , T T ( X 1 ,X 2 ,,X n ) 的 分 布 函 数 族
{ F T (x ,) , } 是 完 备 的 分 布 函 数 族 , 则 称 T T (X 1 ,
i1 n
P{Xi k}
i1
P{X1x1,X2 nx2, ,Xnxn}
P{Xi k} i1
P{X1x1}P{Xn 2x2} P{Xnxn}
P{Xi k} i1
n
n
xi
n xi
pi1 (1 p) i1
Cnk pk(1 p)nk
,
n i1
xi
k,
0,
其他,
1 Cnk ,
0,
n
xi k,
i1
例 如 , 设 总 体 服 从 N ( ,2 ) , 在 上 一 节 中 , 用 X , S n 2 ,
数理统计茆诗松第二章自测题
D(ˆ3) a2D(ˆ1) b2D(ˆ2) 2cov(ˆ1,ˆ2) (4a2 (1 a)2)D(ˆ1) (5a2 2a 1)D(ˆ2)
令 f (a) 5a2 2a 1 ,求 f(a)的最小值点为 a = ,则 b=。
4.因为
X
服从两点分布,则
E(X)=p,矩估计值
pˆ
1 n
n i 1
2
I
,其中M为列满秩阵,I为单位矩阵,使用普通最小二乘方
法计算参数 的估计以及方差,并判断最小二乘估计是否是无偏的
《数理统计》第二章自测题参考答案
一、填空题:
1. 1 ;2. X 1;3. a=,b=;4.
,
;5.
2
【提示】
1.因为 E(X ) D(X ) ,故 E( X ) E(S 2 ) ,又 E(ˆ) ,即
。
2.设总体
X
的密度函数为
f
(x, )
e(x ) ,
0,
x x
,, ,
X
1
,
X
2
,,
X
n
为来自该总体的一
个简单随机样本,则参数 的矩估计量为
。
3.已知ˆ1 ,ˆ2 为未知参数 的两个无偏估计,且ˆ1 与ˆ2 不相关, D(ˆ1) 4D(ˆ2) 。如果
ˆ3 aˆ1 bˆ2 也是 的无偏估计,且是ˆ1 ,ˆ2 的所有同类型线性组合中方差最小的,则
)对 C-R 正则族,一致最小方差无偏估计一定是有效估计。
4.(
)用最大似然估计法求出的估计量是不唯一的。
5. (
)用矩估计法和最大似然估计法求出的估计量一定不同。
6. (
)未知参数的无偏估计为相合估计。
7.(
§2.3 最小方差无偏估计与充分统计量(发)
这个分布依赖于未知参数p,这说明样本中关 于p 的信息没有完全包含在统计量S 中. 因而 S X 1 X 2 (n 2)不是参数p 的充分统计量.
注:对例1而言 T1 ( X 1 , X 2 , X 3 ,, X n ), T2 ( X 1 X 2 , X 3 ,, X n ) Tn 1 ( X i , X n ),
P{ X 1 x1 , X 2 x2 ,, X n xn | X k n}
P{ X 1 x1 , X 2 x2 ,, X n xn } . P{ X i k }
P{ X 1 x1 }P{ X 2 x2 } P{ X n xn } P { X i k } p xi (1 p)n xi 1 , xi k , k , xi k , k k nk C n p (1 p) Cn 0, 其他. 0, 其他. 显然该条件分布与p无关,因而X 是p的充分统计量. 对S X 1 X 2 (n 2). 由于它只用了前面两个样本 观测值,显然没有包含样本中所有关于的信息,在 给定S的取值s后,对任意的一组x1 ,, xn ( x1 +x2 =s ).有
X 1 x1 ,, X n xn T t
P ( X 1 x1 ,, X n xn | T t ) P (T t ; ) h( x1 ,, xn ) g( t , ) 其中g( t , ) P (T t ; ),而 h( x1 ,, xn ) P ( X 1 x1 ,, X n xn | T t ) 与 无关. 必要性得证. 充分性,由于 P (T t ; ) ( x1 ,, xn ):T t P ( X 1 x1 ,, X n xn ; ) ( x1 ,, xn ):T t g( t , )h( x1 ,, xn ) 对任给( x1 ,, xn )和 t 满足( x1 ,, xn ) A( t ), 有
2-3 最小方差无偏估计和有效估计
由定理 2.9
ˆ E(X |T ) X
ˆ 2 E (Sn | T ) Sn
2 2
,
。
分别是
2 和 惟一的最小方差无偏估计。
13
例 2.21
设 ( X1 , X 2 ,, X n ) 是来自总体 X 服从区间 (0, )
上均匀分布的一个样本。求 的最小方差无偏估计。
由式(2.19)得
ˆ1 | T ) E ( ˆ2 | T )] 0 ,对一切 。 E [ E (
由于T 是完备统计量,由定义 1.5 得
ˆ1 | T ) E ( ˆ2 | T )) 1,对一切 , P ( E (
ˆ * E ˆ1 | T 是 的最小方差无偏估计。
ˆ1 ( X ) D[ L( X ) ˆ ( X )] DL( X ) D ˆ( X ) D ˆ ( X ) E ˆ ( X )] 2 E [ L( X ) EL( X )][
ˆ ( X ) D ˆ( X ) , DL( X ) D
ˆ( X ) 是 的 MVUE。 故
是 的最小方差无偏估计。
16
1.最小方差无偏估计提供了一种优良的估计, 然而一个更深入的问题是:无偏估计的方差是否可 以任意小?如果不可以,那么它的下界是多少?这 个下界等否达到?
2. 要直接验证某个估计量是最小方差无偏估计量 是困难的. 若能求出无偏估计中方差的下界, 而且又 能说明参数 的一切无偏估计中存在某个估计 的 方差能达到这个下界,那么 就是 的最小方差无 偏估计. 下面给出一个判别准则:
即 的 充 分 偏 估 计 是 惟 一 的 。 再 由 定 理 2.8 知 ,
11
数理统计8:点估计的有效性、一致最小方差无偏估计(UMVUE)、零无偏估计法
数理统计8:点估计的有效性、⼀致最⼩⽅差⽆偏估计(UMVUE)、零⽆偏估计法在之前的学习中,主要基于充分统计量给出点估计,并且注重于点估计的⽆偏性与相合性。
然⽽,仅有这两个性质是不⾜的,⽆偏性只能保证统计量的均值与待估参数⼀致,却⽆法控制统计量可能偏离待估参数的程度;相合性只能在⼤样本下保证统计量到均值的收敛性,但却对⼩样本情形束⼿⽆策。
今天我们将注重于统计量的有效性,即⽆偏统计量的抽样分布的⽅差。
由于本系列为我独⾃完成的,缺少审阅,如果有任何错误,欢迎在评论区中指出,谢谢!⽬录Part 1:⼀致最⼩⽅差⽆偏估计⾸先考虑这样的问题:如何刻画⼀个统计量的有效程度?注意到,⼀个统计量的取值既可能⾼于待估参数,亦可能低于待估参数,要综合考虑统计量对待估参数误差,需要⽤平⽅均衡这种双向偏差,因此,提出均⽅误差的概念:若ˆg(X)是g(θ)的估计量,则ˆg(X)的均⽅误差定义为MSE(ˆg(X))=E[ˆg(X)−g(θ)]2.对于确定的统计量ˆg(X)⽽⾔,MSE(ˆg(X))是θ的函数。
显然,⼀个统计量的均⽅误差越⼩,它就越在待估参数真值附近环绕,由此,⽤统计量的⼀次观测值作为待估参数的估计就有着越⼤的把握。
如果对于g(θ)的两个估计量ˆg1(X)和ˆg2(X),恒有MSE(ˆg1(X))≤MSE(ˆg2(X)),且严格不等号⾄少在某个θ处成⽴,就称ˆg1(X)在均⽅误差准则下优于ˆg2(X)。
如果我们能找到均⽅误差最⼩的统计量ˆg(X),就相当于找到了均⽅误差准则下的最优统计量。
不过,均⽅误差是θ的函数,这就导致了某些统计量在θ=θ1时均⽅误差⼩,在θ=θ2时均⽅误差⼤,⼀致最⼩均⽅误差估计量便不存在,需要增加约束条件,找到更可能存在的“最优”。
基于此,我们提出⼀致最⼩⽅差⽆偏估计(UMVUE)的概念,它将g(θ)的估计量限制在了⽆偏估计之中,这使得UMVUE的存在可能性得以提⾼。
并且,由于E(ˆg(X))=g(θ),所以MSE(ˆg(X))=E(ˆg(X)−g(θ))2=E[ˆg(X)−E(ˆg(X))]2=D(ˆg(X)),即⽆偏估计的均⽅误差就是⽆偏估计的⽅差。
充分 完备
一.充分性充分性和完备性是数理统计中两个很重要的基本概念,它也有助于寻找一致最小方差无偏估计。
例1设总体ξ服从正态分布N(μ,1),要求估计均值。
在例2.5中已经指出样本均值是μ的一个有效估计。
由于一个容量为n的样本包含了n个值。
而现在估计μ时,对这n个资料进行了“压缩”和“精简”,仅用一个单值函数,这里自然的会提出一个问题,这种压缩是否合理?也就是说,是否已经包含了样本关于μ的全部信息?用样本的个别值或其它形式能否更多地知道μ呢?下面就回答这个问题。
由于是n维空间中的一个点,而当已知时,样本是n-1维空间中的点,因而上面提出的问题就归结为假若已知时,进一步知道样本在这n-1维空间中的位置,关于μ能否获得更多的信息?为说明简便,对n=2时进行考虑。
此时样本空间可以用平面来表示,表示该平面中的一条直线。
在这平面上,服从二元正态分布,它的分布密度函数是在直线上,的分布可以用条件分布密度函数描写这里所以由上式可见条件密度函数与μ无关,这说明在已知时,如果再进一步知道样本点在这条直线上的位置,关于μ已不能再给出任何新的信息。
换句话说,已充分的提出了样本中所包含的关于μ的全部信息。
所以关于μ的任何推断,不需要记录全部数据,只需记录就足够了,基于关于μ的任何分析与基于全部=样本数据关于μ的分析是同等有效的。
此时称是μ的充分统计量。
下面给出充分统计量的一般定义。
定义 3.3.1 设是从具有分布族为的总体中抽取的一个样本,是一统计量(可以是向量)。
如果给定,的条件分布(离散型变量为条件概率,连续型变量为条件密度)与参数θ无关,则称统计量是分布族的充分统计量。
或称是θ的充分统计量。
按照定义3.3.1,显然是一个充分性统计量,但它没有起到“压缩”数据的作用,因此是没有价值的。
例2设总体ξ服从贝努里分布b(1,p),是一样本。
,其中ν表示中取值为1的频数。
下面计算关于的条件概率是(若设)它与p无关,所以是p的充分统计量。
数理统计9:完备统计量,指数族,充分完备统计量法,CR不等式
数理统计9:完备统计量,指数族,充分完备统计量法,CR不等式昨天我们给出了统计量是UMVUE的⼀个必要条件:它是充分统计量的函数,且是⽆偏估计,但这并⾮充分条件。
如果说⼀个统计量的⽆偏估计函数⼀定是UMVUE,那么它还应当具有完备性的条件,这就是我们今天将探讨的内容。
由于本系列为我独⾃完成的,缺少审阅,如果有任何错误,欢迎在评论区中指出,谢谢!⽬录Part 1:完备统计量完备统计量跟充分统计量从名字上看是相对应的,但是完备统计量的意义不像充分统计量那么明确——充分统计量代表能“完全包含”待估参数信息的统计量,⽽完备统计量则是使得不同的参数值对应不同的统计量分布。
具体说来,完备统计量的定义是这样的:设总体分布族的密度函数为\(f(x;\theta)\),这⾥\(\theta\in \Theta\)是待估参数,称\(\Theta\)为参数空间(其实我们之前接触过但没有专门提过参数空间的概念)。
设\(T=T(\boldsymbol{X})\)为⼀统计量,若对任何可测函数\(\varphi(\cdot)\)具有以下的条件:\[\mathbb{E}[\varphi(T(\boldsymbol{X}))]=0\Rightarrow \mathbb{P}(\varphi(T(\boldsymbol{X}))=0)=1,\quad \forall\theta\in\Theta, \]就称\(T(\boldsymbol{X})\)是完备统计量。
如果放宽条件,当\(\varphi(\cdot)\)是有界函数时上式成⽴,则称此统计量是有界完备统计量。
显然,有界完备统计量必是完备统计量。
从线性代数的⾓度来看,可以把函数空间视为⼀个⽆限维向量空间,那么取期望就可以视为该向量空间上的⼀个映射,容易验证此映射具有线性映射的性质:\[\mathbb{E}[f(T(\boldsymbol{X}))+g(T(\boldsymbol{X}))]=\mathbb{E}[f(T(\boldsymbol{X}))]+\mathbb{E}[g(T(\boldsymbol{X}))],\\ \mathbb{E}[\lambdaf(T(\boldsymbol{X}))]=\lambda\mathbb{E}[f(T(\boldsymbol{X}))], \]完备性就要求\(T(\boldsymbol{X})\)的选择,会使得期望映射成为⼀个单射(可以回顾单射的条件是\(\mathrm{null}\mathbb{E}=\{0\}\),可参考此),也就意味着每⼀个期望值都对应唯⼀的可测函数\(\varphi(\cdot)\)。
2-3 最小方差无偏估计和有效估计
i 1 i 1
n 1 2 2 ( x i x ) exp ( x i ) dx 0 , 2 L 2 i 1 i 1 n
用G 表示 所有可能估计组成的类,如果
在G 中存在一个元 使得对任一 G ,有
MSE( , ) MSE( , )
对所有的 成立,则 ( x)应是的最好
估计。
4
遗憾的是,这样的估计 并不存在。因为
倘若这样的估计 ( x) 存在, 那么对任一 0 ,
MSE( , X ) Var ( X )
2 2 2
2
n
,
2
b( , ˆ ) E ( ˆ )
n
,
4 (2n 1)
n
2
ˆ 2 ) Var ( ˆ 2 ) b2 ( , ˆ2) MSE( ,
.
3
从均方误差可知,我们自然希望估计的MSE 越小越好。
n
n
n 1 X (n) 即 n 是 的一个无偏估计,故由定理 2.9,
n 1 n 1 E X (n) | X (n) X (n) n n
是 的最小方差无偏估计。
23
2、有效估计
1) 定义
24
2 L exp ( x ) dx 0 。 i 2 2 i 1 1
n
(2.15)
上式关于 求导,得
2 L ( x ) exp ( x ) dx 0 , i i 2 2 i 1 i 1
§2.3完备统计量(补充)
∑ X
=
1 n
n i =1
X i是参数p的完备统计量.
证
由于P{ X
=
k}= n
P{nX
=
k
}=C
k n
pk (1−
p)n−k ,因而
∑ 如果E p ( g( X ))
=
n k=0
g(
k n
)Cnk
pk (1−
p)n−k
=
0,则
∑ (1 −
n
p)n
k=0
g(
k n
)C
k n
( 1
p −
p
)k
=
0,
∑ 即对任意的0 <
(θ1,θ2 ,",θm )T的充分完备统计量.
证明(略)
例7 ( X1, X 2 ," , X n )T 是来自泊松分布P (λ )的一个样
∑ 本 , 试 证 X
=
1 n
n i =1
X i是参数λ的充分完备统计量.
n
∏ 解
n
P { X 1 = x1 , X 2 = x2 ," , X n = xn } = (
其中θ = (θ1,θ2 ,",θm )T,θ ∈ Θ,如果Θ包含一个m
维矩形,而且B = (b1(θ ), b2 (θ ),", bm (θ ))T的值域
包含有一个m维的开集,则T = (T1( X1, X2 ,", Xn ),
T2 ( X1, X2 ,", Xn ),",Tm ( X1, X2 ,", X n ))T 是参数θ =
i =1
C (λ ) = e−nλ , b(λ ) = n ln λ ,因 而 泊 松 分 布 是 指 数 型 分
完全充分统计量定义
完全充分统计量定义完全充分统计量是指一个观测数据的函数,它包含了样本中所有对参数的信息,能够完全确定参数的取值。
在统计推断中,完全充分统计量是非常重要的概念。
为了更好地理解完全充分统计量的定义,我们需要先了解一些基本的统计概念。
首先,我们有一个总体,总体中的每一个个体都有一个或多个待估计的参数,比如平均值、方差等。
我们通常无法获得整个总体的数据,因此我们通过对总体进行抽样来获取一部分数据。
抽样是指从总体中随机地选择出一部分观测数据。
样本是我们从总体中抽取的这部分数据,可以看作是总体的一个子集。
样本中的观测值被用来作为对总体的估计。
在统计推断中,我们需要根据样本数据对总体参数进行估计。
估计可以分为点估计和区间估计。
点估计是指用一个值来估计总体参数,而区间估计是指用一个区间来估计总体参数。
一个估计量的好坏可以通过其偏差和方差来评估。
偏差是估计值与真实值之间的差异,方差是估计值在重复抽样中的变动程度。
我们希望估计量的偏差较小,方差较小。
完全充分统计量是为了满足某种优良性质的统计量。
它是一个函数,将每个样本映射到一个数值。
这个函数的构造需要同时满足充分性和完全性的条件。
充分性是指统计量包含了样本中的所有信息,即样本观测值所包含的参数信息都能够通过统计量获得。
充分性的定义可以理解为,如果两个样本在所有参量下有相同的统计量值,那么这两个样本是等价的,即它们包含了相同的信息。
完全性是指统计量含有的信息与总体的参数是一致的。
如果一个估计量是充分的,并且其他充分统计量的函数,那么它就是完全充分的。
完全充分统计量的重要性在于,它能够最大程度地利用样本数据中的信息,提供最优的参数估计。
如果一个统计量是完全充分的,那么在给定这个统计量的情况下,其他统计量都是冗余的。
完全充分统计量在统计推断中有着广泛的应用。
在构造置信区间、检验假设等方面,完全充分统计量起到了关键作用。
通过使用完全充分统计量,我们可以在减小样本数据的维度的情况下,获得对参数更准确的估计。
充分统计量与完备统计量
三、完备统计量
为了介绍完备统计量的概念,首先需要引入完备分 布函数族的概念。
定义 1.5 设总体 X 的分布函数族为F( x; ), ,
若对任意一个满足
E g( X ) 0,对一切
的随机变量 g( X ),总有
(1.5)
P g( X ) 0 1,对一切 , 则称F( x; ), 为完备的分布函数族。
族——指数型分布族。它包含了一些常用分布,如泊松
分布、正态分布、指数分布、二项分布和 分布等,对这
类分布族,寻找参数的充分完备统计量是方便的。
定理 1.5 设总体 X 的分布密度 f ( x; )为指数型分布
族,即样本的联合分布密度具有如下形式:
n i 1
f
( x;
)
C (
) exp
m j1
=T(X1,X2,…,Xn) 也有一个抽样分布FT(t) 。
当我们期望用统计量T 代替原始样本并且不
损失任何有关 的信息时,也就是期望抽样分布 FT(t) 像 F(x) 一样概括了有关 的一切信息。
这即是说在统计量T 的取值为 t 的情况下
样本 x 的条件分布F(x|T=t) 已不含 的信息,
bj (
)Tj ( x1 ,
x2 ,,
xn
)
h( x1 , x2 ,, xn ),
2.9
其中 (1,2 ,,m ), 。如果中包含有一个m 维矩形,
而且 B (b ( ),b ( ),,b ( ))的值域包含一个m 维开集,则
1
2
m
T (T ( X , X ,, X ),T ( X , X ,, X ),T ( X , X ,, X ))
完备统计量的含义不如充分统计量那么明确,但由
1.2 充分、完备统计量
f (t )是单 定理 设 T ( X 1 , X 2 , , X n )为 的一充分统计量,
值可逆函数,则 f (T ) 也是 的充分统计量 结论: 1 统计量用来推测参数的值; 2 充分统计量把可能丢失信息的统计量筛选; 3 最优统计量在充分统计量之中; 4 一个参数的充分统计量不唯一. 问题:在什么情况下,它是唯一的?
对于一般的统计量 T ( X1 , X 2 ,, X n )
P { g1 (T ) g2 (T )} 1, E ( g1 (T )) E ( g2 (T )),
( X1, X 2 ,, X n )T
• 例设 是来自总体 X 服从两点分布 B(1, p) 的样本 ,样本均值 X 是参数 p 的充分统计量, 验证 X 也是完备统计量 证明:由于 X ~ B(1, p),n X ~ B(n, p),
P{ X 1 x1 , X 2 x2 ,, X n t xi }
i 1
n 1
P{T t }
P( X
i 1
n 1
i
xi ) P ( X n t xi ) ( n ) n e t!
t i 1
n 1
x
i 1
n
i
t
e t! i 1 x i ! t ( n ) n n t n x ! e i i 1 t!
后,对 任意
x1, x2,, xn
有
x
i 1
t ,样本 ( X1 , X 2 ,, X n )T 的条件概
率密度为:
f ( x1 , x2 ,, xn | T t )
f ( x1 , x2 ,, xn1 , t xi )
充分统计量_完备统计量_指数分布族
对任给 X x1, xn 和 t ,满足 X At ,有
-1-
P X1 x1,, X n xn T t
P
X1
x1,, X n xn ,T
PT t;
t;
P
X1
x1,, X n
PT t;
xn ;
g t,
g t, h x1,, xn h y1,yn :T y1,yn t y1, yn
h x1,, xn h y1,yn :T y1,yn t
y1, yn
,
该分布与 无关,这证明了充分性.
3)充分性判别法则
定理 4.1 设样本分布密度函数族(连续或离散)为 F f x, : ,T T X
为统计量.则:T 为充分统计量的充分必要条件为:存在关于 t 的可测函数 g t 与关 于 x 的非负可测函数 h x ,使得
在 两 个 函 数 g(t, ) 和 h( X1, X 2 ,, X n ) 使 得 对 任 意 的 和 任 意 组 观 测 值
X1, X 2 ,, X n ,有 f ( X1, X 2 ,, X n; ) g(T ( X1, X 2 ,, X n ), )h( X1, X 2 ,, X n ) ,
h x1,, xn g t, ,
其中 g t, P T t; , 而 h X P X1 x1,, X n xn T t 与 无关,必要
性得证. 对充分性,由于
P T t; P x1,xn :T x1,xn t X1 x1, X n xn ; g x1,xn :T x1,xn t t, h x1, xn ,
其中
c(
,
)
(
)
,
c1( ,
)
,
c2
充分统计量与完备统计量
研究统计量 X
1 n
n i 1
Xi 。
n
因为 X i B(1, p) ,所以 n X X i B(n, p) ,即有 i 1
P(nX k) Cnk pk (1 p)nk ,k 0,1, ,n.
设 x1 , x2 ,, xn ,为样本观测值,其中 xi 0 ,1 . 如果已
知X
k n
则样本
X
1
,
X
2
,,
X
n
的条件概率
P ( X 1 x1 , X 2 x2 ,
,Xn
xn
X
k) n
P ( X 1 x1 , X 2 x2 ,
, X n xn, X
k) n
P(X k )
n
P(X1
x1 , X 2 x2 , , X n xn ) , 如 果 P(n X k )
p i 1 (1 p ) i 1
C
k n
p
k
(1
p )nk
,如 果
n i 1
xi
k,
n
0,如 果 xi k,
i 1
1 Cnk
0,
n
, 如果
xi k,
i 1
n
如果
xi k,
i 1
与 p 无关,所以 X 为 p 的充分统计量.
定义 设 X1 , X2 ,, Xn为来自总体 X 的样本,X 的分
证明
样本( X , X ,, X )的联合分布律为
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
g ( X ) 是 g ( ) 的 渐 进 正 态 估 计 。 如 取 g ( )
西 南 科 技 大 学 网 络 教 育 课 程
1
2 , 则 g ( ) (1 ) ,
X 是 的渐近正态估计, 1 X 1 其渐近方差是 , 且 g(X) 也 是 g ( ) 的 相 合 估 计 。 3 n(1 )
n
至少为多少。
2 - 12
事 实 上 , 相 合 估 计 可不 以止 一 个 , 它 们 之 间 是 有 差 异 的 。 这 种 差 异往 可 以 由 估 计 量 的 渐 进 分 布 的 渐 进 方 差映 反出 来 。 最 常 用 的 渐 进 分 布 是态 正分 布 。
定义 2.1.5 估 计 量ˆn 称 为 的 相 合 渐 进 正 态 估 计 ,
2 - 9
2.1.4 相合估计及相合渐近正态估计
估 计 量 是 与 样 本 容 量关 有 的, 假 设 用 ˆ ˆ ( X , , X ) 估 计 , 就 不 可 能 做 到 对
n n 1 n
ˆ ) 对 所 有 任 意 小 某 一 n, MSE( , n 但 当 n 时 通 常 可 以 做 到 这 一,点 这就是相合性概念 .
1 1 ˆ 以 就 可 化 为 无 偏 估 计 , 即 为 的 无 偏 估 计 量 。 C C
西 南 科 技 大 学 网 络 教 育 课 程
注:
(1) 无 偏估 计不 一定 总存 。 在 (2) 对 可估 参数 无偏 估计 般 一 不唯 一。 (3) 无 偏估 计不 一定 是 好 估 计。
2 - 7
2 - 4
例 1. 例 1 :设总体 X的k阶 矩 k E( X k )
(k 1)存 在 , 又 设 X1 , X 2 ,...,X n 是 总 体 X的 一 个 样 本 , 试 证 明 论 不总 体 服 从 什 么 分 布k , 阶 1 n k 样本矩 Ak Xi n i 1 是k阶 总 体 矩 的无偏估计。
证 :X 1 , X 2 ,...,X n 与X同 分 布 , 故 有
k E( X k ) E ( X ) k , i
i 1,2,...,n. 证毕。
即有
西 南 科 技 大 学 网 络 教 育 课 程
1 n E( A k ) E( X k i ) k , n i 1
特别,不论总体 X服从什么分布, X总是E( X)的 无偏估计。
而 E( X ) E( X ) ,
西 南 科 技 大 学 网 络 教 育 课 程
n i 1
Var( X ) Var( X ) n ,
E[ ( X i X ) 2 ] ( n 1)Var( X ) E ( S 2 ) Var( X ) , S 2 是 Var( X ) 的 无 偏 估 计 量 。
ˆ E ( ˆ ) E ( ˆ) E
2 2 2 2
西 南 科 技 大 学 网 络 教 育 课 程
ˆ , ) E ( ˆ )2 MSE(
ˆ , ) 是由两个量迭加而成 MSE( , 一个是估计量的方差, ˆ 是 的无偏估计, 另一个是估计的偏差的 平 方.如 果 ˆ , ) Var( ˆ) 则后一项为 0 .则 有 MSE(
2 - 11
西 南 科 技 大 学 网 络 教 育 课 程
易 求 出E ( X nn ) n ( n 1) , 因 此 X nn 不 是 的 无 偏 估 计 , 但 它 是 的 渐进无偏估计 , 另外由于对任意的 0,
根 据 依 概 率 收 敛 的 定, 义
n 1
P X nn P ( X nn ) P ( X nn )
ˆ ˆ ( X , , X )为 的 估 计 量 定义2.1.2 设 , 1 n
西 南 科 技 大 学 网 络 教 育 课 程
ˆ ) , , 则 称 ˆ 是 的无偏估计量 若 E ( . ˆ) 称 为 估 计 的 系 统 误 差 ( E ( )
即 估计量的数学期望等于被估计的参数。
n i 1
的一个估计量是 X X i n ,由 中 心 极 限 定 理
L n( X ) N 0 , (1 ) 对 任 一 参 数g ( ) , 若 g ( ) 存 在 ,
L 则 有 n g ( X ) g ( ) N 0 , [ g ( )]2 (1 )
2 - 5
2 例2. 证明 S 是 Var( X ) 的无偏估计量。
证 明 : E[ ( X i X ) ] E[ X i2 nX 2 ]
2 i 1 i 1
n
n
E ( X i2 ) nE ( X 2 )
i 1
n
n[Var( X ) E 2 ( X )] n[Var( X ) E 2 ( X )] ,
2 - 6
n1 Var( X ) 知 , 如 果 用 B2 作 为Var( X ) 的 n n 估 使 其 变 为偏 无估 计 , 只 需 要 用计 量 , 乘要 以B 2即 可 , 这 种 方 法 称 n n1 用无 偏 化 乘以 B2 即可。这种方法称为无偏化。 为 。 n1 ˆ 是的 估 计 量 , 且 有 ˆ ) C, 一般地,若 E( ˆ乘 (C 0为 常 数 ), 要 将 其 化 为 无 偏 估 时 计只 需 将 又 由 E ( B2 )
dt 0 ( n ) n 0 因 此, X nn 是 的 相 合 估 计 。 nt
西 南 科 技 大 学 网 络 教 育 课 程
n
必须指出相合性只是映 反 了 当n 时 估 计 量 的性质,而对任意有的 限 n ,相合性是没有意义, 的 ˆ 达到一定精度, 相合性本身不能说明使 为 n 必须
定理 2.1.1
CAN估计一定是相合估计。
(证明见教材P54)
2 - 14
2.2 无偏估计的方差下界
当样本容量 n 1 时 , 可 估 参 数 的 无 偏计 估不 唯 一 , 设g( )为 可 估 参 数 , 可 以 找 一 到个 无 偏 估 计 , 其 方比 差 任 意 其 他 无 偏 估 计 的差 方都 一 致 地 小 , 则 这估 个计 就 称 为 方 差 一 致 最 小 无 偏 估, 计简 称 为 UMVU估 计 。 例 5. 设 X 1 , , X n 是 来 自U (0 , ) 的 一 个 样 本由 ,
西 南 科 技 大 学 网 络 教 育 课 程
定义2.1.3 设 为 一 个 一 维 未 知 参 数 , ˆ 为 的 一 个 估 计 , ˆ 的均方误差定义为
ˆ , ) E ( ˆ )2 MSE(
2 - 8
ˆ E ( ˆ) 2E ˆ E ( ˆ ) E ( ˆ) E ˆ) E ( ˆ E ( ˆ ) E ( ˆ) 2E ˆ ) E ( ˆ ) E ( ˆ) 0 2 E ( ˆ , ) Var( ˆ ) E ( ˆ) MSE(
n
在统计研究中一般所指的相合性均是指弱相 合性,不满足相合性要求的估计一般不予考虑。
例3. 例 3: 设 X 1 , , X n 是 来 自 U (0 , )的 一 个 样 本 ,
最大次序统计量 X nn 是 的 常 用 估 计 , 则 X nn 的密度函数为 p( t ; ) nt n 1 n , 0 t
ˆ 去 估 计 的 真 值 , 则 ˆ 就 称 为 的 一 个 点 估 计 。 如 果 用 ˆ 的值就称为 当 给 定样 本 的 值 时 , 的估计值。
2 - 2
即
设 X 1, , X n 是 总 体 的 一 个 样 本 ,
其分布函数为 F(X ; )。 其 中 为 未 知 参 数 , 为 参 数 空 间 , 若统计量 g( X 1, , X n )可 作 为 的 一 个 估 计 , 则 称其为 的一个估计量, ˆ g( X , , X ). 记为
若存在一串 n 0 ,满 足
西 南 科 技 大 学 网 络 教 育 课 程
lim n n ,
n
ˆn 其 中0 , 使 得 N (0 , 1) (d ) . n
相合渐进正态估计简称为CAN估计
2 - 13
例 4.设
X 1 , , X n 是 来 自B(1 , ) 的 一 个 样 本 ,
第 2 章 点 估 计 法
2.1 基本概念
问题的一般提出: 设 总 体 X 的 分 布 函 数F ( x ; ) 为 已 知 , 是
待估计的参数, X1 , , X n 是 X 的一个样本, x1 , , x n 是 相 应 的 一 个 样 本 值 点 。估计问题就是 ˆ(X , , X ) 要构造一个 适当的统量 计 ,用它的观察
1 n
西 南 科 技 大 学 网 络 教 育 课 程
ˆ(x , , x ) ˆ(X , , X ) 值 来 估 计 未 知 参 数 。 称 1 n 1 n ˆ(x , , x ) 为 的 估 计 量 、 为 的 估 计 值 。
1 n
ˆ。 统称为估计,简记为
2 - 1
2.1.3 均方误差准则
ˆ 估 计 , 评 价 该 估 计 好 坏 的 个 假 设 用 一自 然 度 量 ˆ , 由 于 是 未 知 的 , 样 本 又 具 随 是 有机性, 直 接 使 用 这 种 自 然 度在 量实 际 中 是 不 可 行 的 , 为排除样本随机性的影 响,可以对它求期望, 由于数学处理上的方便 考虑,最常用的标准 是由下式给出的均方误 差。