(完整版)数理统计复习总结

1统计量与抽样分布1.1基本概念：统计量、样本矩、经验分布函数总体X 的样本X 1，X 2，…，X n ，则T(X 1，X 2，…，X n )即为统计量 样本均值X =μ样本方差212)(1∑=-=n i i n X X n S修正样本方差212*)(11∑=--=n i i nX X n S样本k 阶原点矩,...)2,1(,11==∑=k X n A n i ki k样本k 阶中心矩,...)2,1(,)(11=-=∑=k X X n B n i ki k经验分布函数)(,)()(+∞<<-∞=x nx v x F n n 其中V n (x)表示随机事件}{x X ≤出现的次数,显然))(,(~)(x F n B x V n ,则有)()]([x F x F E n = )](1)[(1)]([x F x F nx F D n -=补充： ⏹DX nn ES n 12-=DX ES n =2* 22)(EX DX EX += ⏹22211n ni i S X X n ==-∑● 二项分布B(n,p): ),...,1,0(,)1(}{n k p p C k X P kn k k n =-==-EX=np DX=np(1-p) ● 泊松分布)(λP :,...)1,0(,!}{===-k e k k X P kλλλ=EX λ=DX● 均匀分布U(a,b):)(,1)(b x a ab x f <<-=2b a EX +=2)(121a b DX -=● 指数分布:(),(0)()1,(0)x x f x e x F x e x λλλ--=>↔=->λ1=EX 21λ=DX● 正态分布),(2σμN :}2)(ex p{21)(22σμσπ--=x x f μ=EX 2σ=DX 22221()1nnnS n E n ES n σσ-=-⇒= 224222(1)()2(1)n n nS n D n DS n σσ-=-⇒= 当0=μ时，0=EX 22σ=EX 443EX σ= σπ2=X E 2)21(σπ-=X D1.2统计量：充分统计量、因子分解定理、完备统计量、指数型分布族 T 是θ的充分统计量⇔),...,,(21t T x x x f n =与θ无关 T 是θ的完备统计量⇔要使E[g(T)]=0,必有g(T)=0));,...,,((),...,,();()(21211θθθn n i ni x x x T g x x x h x f L ==∏=且h 非负⇔T 是θ的充分统计量),...,,()},...,,()(ex p{)();(21211nnni ix x x h x x x T b C x f θθθ=∏=⇔T 是θ的充分完备统计量),...,,()},...,,()(),...,,()(ex p{)();(21212221111n n nni ix x x h x x x Tb x x x T b C x f θθθθ+=∏=⇔),(21T T 是),(21θθθ=的充分完备统计量1.3抽样分布：2χ分布，t 分布，F 分布，分位数，正态总体样本均值和方差的分布，非正态总体样本均值的分布2χ分布：)(~ (2)222212n X X X nχχ+++= )0()2(21)(1222>Γ=--x xe n xf n x nn E =2χ n D 22=χT 分布：)(~/n t nY X T =当n>2时，ET=0 2-=n nDTF 分布：),(~2121n n F n Yn XF =),(112n n F F= 补充：⏹ Z=X+Y 的概率密度⎰⎰+∞∞-+∞∞--=-=dy y y z f dx x z x f z f z ),(),()( f(x,y)是X 和Y 的联合概率密度⏹ XYZ =的概率密度dx x xz x f z f z ⎰+∞∞-=),()(⏹ )(x g y =的概率密度)]'([))(()(11y g y g f y f x y --=●Γ函数：⎰+∞--=Γ01)(dx e x x αα )()1(αααΓ=+Γ 1)1(,)!1()(=Γ-=Γn n● B 函数：⎰---=111)1(),(dx x x B βαβα )()()(),(βαβαβα+ΓΓΓ=B1.4次序统计量及其分布：次序统计量、样本中位数°X 、样本极差R X (k)的分布密度：),...,2,1(),()](1[)]([)!()!1(!)(1)(n k x f x F x F k n k n x f k n k x k =---=--X (1)的分布密度：1)](1)[()()1(--=n x x F x nf x f X (n)的分布密度：1)]()[()()(-=n x x F x nf x f n2参数估计2.1点估计与优良性：概念、无偏估计、均方误差准则、相合估计(一致估计)、渐近正态估计$θ的均方误差：$$$$22(,)()()MSE E D E θθθθθθθ=-=+- 若$θ是无偏估计，则$$(,)MSE D θθθ= 对于θ的任意一个无偏估计量$θ，有$$*D D θθ≤，则$*θ是θ的最小方差无偏估计，记MVUE相合估计(一致估计):lim n n E θθ→∞= $lim 0n n D θ→∞=2.2点估计量的求法：矩估计法、最大似然估计法 矩估计法：① 求出总体的k 阶原点矩:12(;,,...,)kk k m a EX x dF x θθθ+∞-∞==⎰② 解方程组11n kk i i a X n ==∑ (k=1,2,...,m)，得$$12(,,...,)k k n X X X θθ=即为所求最大似然估计法：① 写出似然函数1()(;)ni i L f x θθ==∏，求出lnL 及似然方程$ln 0i Lθθθ=∂=∂ i=1,2,...,m② 解似然方程得到$12(,,...,)i n x x x θ，即最大似然估计$12(,,...,)i n X X X θ i=1,2,...,m补充：似然方程无解时，求出θ的定义域中使得似然函数最大的值，即为最大似然估计 2.3MVUE 和有效估计：最小方差无偏估计、有效估计T 是θ的充分完备统计量，$θ是θ的一个无偏估计⇔$$*(|)E T θθ=为θ的惟一的MVUE最小方差无偏估计的求解步骤：① 求出参数θ的充分完备统计量T② 求出()ET g θ=，则$1()g T θ-=是θ的一个无偏估计 或求出一个无偏估计，然后改写成用T 表示的函数 ③ 综合，11[()]()E g T T g T --=是θ的MVUE或者：求出θ的矩估计或ML 估计，再求效率，为1则必为MVUET 是()g θ的一个无偏估计，则满足信息不等式'2[()][()]()g D T X nI θθ≥，其中2ln (;)()f X I E θθθ∂⎡⎤=⎢⎥∂⎣⎦或22ln (;)()0f X I E θθθ⎡⎤∂=->⎢⎥∂⎣⎦，(;)f X θ为样本的联合分布。

最小方差无偏估计⇐达到罗-克拉姆下界⇔有效估计量⇔效率为1无偏估计$θ的效率：$$1()()e D nI θθθ= $θ是θ的最大似然估计，且$θ是θ的充分统计量⇔$θ是θ的有效估计 2.4区间估计：概念、正态总体区间估计(期望、方差、均值差、方差比)及单侧估计、非正态总体参数和区间估计 一个总体的情况：2~(,)X N μσ2σ已知，求μ02~(0,1)X N X αμ⇒-<2σ未知，求μ*02~(1)(1)t n X n αμ-⇒-<-μ已知，求2σ的置信区间：22222111222122()()()~()()()nnniiii i i XXXn n n ααμμμχσσχχ===----⇒<<∑∑∑μ未知，求2σ的置信区间：22222111222122()()()~(1)(1)(1)nnniiii i i XX XX XX n n n ααχσσχχ===-----⇒<<--∑∑∑两个总体的情况：211~(,)X N μσ，222~(,)Y N μσ 2212,σσ均已知时，求12μμ-的区间估计：122~(0,1)()X Y N X Y αμμ⇒---<22212σσσ==未知时，求12μμ-的区间估计：12~(2)t n n +-12,μμ未知时，求2122σσ：222211222122*2**2211112121212*2**12221222~(1,1)(1,1)(1,1)n n n n n n S S S F n n F n n F n n S S S σσσσ∂∂---⇒--<<-- 非正态总体的区间估计：当n →∞2(0,1)LX N X αμ⇒-<1lim 1nn n S S →∞-⎛⎫= ⎪⎝⎭，故用S n 代替S n -1~(0,1)m X m N n -⎛⇒± ⎝ 3统计决策与贝叶斯估计3.1统计决策的基本概念：三要素、统计决策函数及风险函数三要素：样本空间和分布族、行动空间（判决空间）、损失函数(,)L d θ 统计决策函数d(X):本质上是一个统计量，可用来估计未知参数 风险函数：(,)[(,())]R d E L d X θθθ=是关于θ的函数3.2贝叶斯估计：先验分布与后验分布、贝叶斯风险、贝叶斯估计① 求样本X=(X 1,X 2,...,X n )的分布：1(|)(|)nii q x f x θθ==∏② 样本X 与θ的联合概率分布：(,)(|)()(|)()f x h x m x q x θθθπθ==③ 求(,)f x θ关于x 的边缘密度()(,)m x f x d θθΘ=⎰④θ的后验密度为：(,)(|)()f x h x m x θθ=取2(,)()L d d θθ=-时θ的贝叶斯估计为：$(|)(|)E x h x d θθθθθΘ==⎰贝叶斯风险为：22(,)()()[(,)]()(|)B R d E d R d E R d E d h x d θθθθθθθθΘ⎧=-⎪⎨==-⎪⎩⎰取2(,)()()L d d θλθθ=-时，贝叶斯估计为：$[()|][()|]E x E x λθθθλθ=补充： ⏹()C θ的贝叶斯估计：取损失函数2(,)(())L d C d θθ=-，则贝叶斯估计为·()[()|]()(|)C E C x C h x d θθθθθΘ==⎰⏹$(,)(,)(|)(|)()(,)f x d f x E x h x d d m x f x d θθθθθθθθθθθθΘΘΘΘ====⎰⎰⎰⎰3.3minimax 估计对决策空间中的决策函数d 1(X),d 2(X),...，分别求出在Θ上的最大风险值max (,)R d θθ∈Θ在所有的最大风险值中选取相对最小值，此值对应的决策函数就是最小最大决策函数。