集美大学-实用统计方法,信计专业

第一章：最小二乘估计、检验统计量 ●

β的最小二乘估计：选择β时的误差项的平方和最小21

()n

T

i

i S βεεε===∑，最后导出1()T T X X X Y β∧

-=

●

β的最大释然估计：2112222

1

2

2

1111()exp{()}exp{()}22(2)(2)n

i i i n n j n

n

L Y X X S ββββσσπσπσ=-=

-+=

-

∑

也是使得()S β所以和上面相同。

【作业2】考虑回归模型：1122i i i i Y X X ββε=++， 1,2i n = 其中(1,2)

i i n ε= 互不相关且()0i E ε=，2()i Var εσ= （1）求1β和2β的最小二乘估计

（2）设2~(0,)i N εσ求1β，2β的极大似然估计，它们和（1）中的最小二乘估计是否相同？

解：（1）最小二乘估计： 令12n Y Y Y Y ⎛⎫ ⎪ ⎪= ⎪ ⎪⎝⎭ ，1121212212n n X X X X X X X ⎛⎫ ⎪ ⎪= ⎪ ⎪⎝⎭ ，12βββ⎛⎫= ⎪⎝⎭

，12n εεεε⎛⎫

⎪

⎪= ⎪ ⎪⎝⎭

则该回归模型课简化为：Y X βε=+，要使误差项的平方和：

2^

2

2

211221

1

1

1

()()()()()n n n

T

T

i i ij j i i i i i j i S Y X Y X Y X Y X X βεεεβββββ=======--=-=-+∑∑∑∑

达到最小，则分别对1β，2β求偏导并令其为0，得：2

11

()

2()0(1,2)n i ij j ik i j k S Y X X k δββδβ===--==∑∑

即：

2

2

1

11

1

1

(),(1,2)n

n

n

i

ik

ij

ik j ij ik j i i j j i Y X X

X X X k ββ========∑∑∑∑∑，即：T T X X X Y β=

()()2T rank X X rank X == ，1()T X X -∴存在

所以解正规方程即得：12βββ⎛⎫= ⎪⎝⎭的最小二乘估计1

12()T T X X X Y βββ∧∧-∧⎛⎫ ⎪== ⎪ ⎪⎝⎭

，即为所求。

（2）2~(0,)i N εσ ，则(1,2)i Y i n = 相互独立，且21122~(,)i i i Y N X X ββσ+ 所以12(,,)T

n Y Y Y Y = 的似然函数为：

2112222

1

2

2

1111()exp{()}exp{()}22(2)(2)n

i i i n n j n

n

L Y X X S ββββσσ

πσπσ=-=

-+=

-

∑

求β∧

使()L β达最大，即使()S β达最小，1

()T

T

X X X Y β∧

-= 即1β，2β的极大似然估计和（1）中最小二乘估计相同

【作业6】在某水源问题的研究中，

考虑下述回归模型：01122312,1,2i i i i i i Y X X X X i n βββββε=++++=

写出下列情况下的约简模型，检验统计量及检验准则：（1）340ββ==（3）125ββ==

解：（1）约简模型01122(1,2)i i i i Y X X i n βββε=+++= ，检验统计量()()

()R F

F

SSE R SSE F f f F SSE F f --=

1212343412()()(,)(,,,)(,|,)SSE R SSE F SSE x x SSE x x x x SSR x x x x -=-= 3R f n =-，5F f n =-，34123412(,|,)

(,|,)225

SSR x x x x SSR x x x x F SSE MSE n =

=-， 检验准则：检验假设034134

:0

:H H ββββ==⎧⎨

≠⎩，给定显著性水平α，则0000(2,5),(2,5),F F F n H F F F n H αα≤-⎧⎨>-⎩若的观测值接受若的观测值拒绝

（2）因为125ββ==

，所以约简模型：0123125)i i i Y X X X X βββε=++++（

1203125)(1,2)i i i Y X X X X i n βββε-+=++= （

检验统计量1203125)(1,2)i i i

Y X X X X i n βββε-+=++= （

3R f n =-，5F f n =-，()()

()()

~(2,5)()R F F

SSE R SSE F f f SSE R SSE F F F n SSE F MSF f ---=

=- 假设检验012112

:5

:H H ββββ==⎧⎨≠⎩，则0000(2,5),(2,5),F F F n H F F F n H αα≤-⎧⎨>-⎩若的观测值接受若的观测值拒绝

第二章：

● 1.主成分分析：11122122(,)(,)(,)(,)Cov X X Cov X X Cov X X Cov X X ⎛⎫

∑= ⎪⎝⎭

，(,)ij Cov X X ρ=

方法：①由协方差矩阵求特征值；②正交单位化特征向量i e （将特征值代入，算出X ，可以得到关系式，再加上

22121X X ++= ）③各个主成分就是T i i Y e X =；④第一主成分即为最大λ除以λ总和

● 2.相关矩阵：另外，在各个变量方差差别太大的情况下，需要将协方差矩阵∑转换成相关矩阵ρ

【作业1】设总体()1

2T

X X X =的协方差矩阵为5222E ⎛⎫= ⎪⎝⎭

，求X 的主成分1Y 和2Y 并计算第一主成分1Y 的贡献率

解：设特征值为λ，52

022λλ-∴=-，

得126,1λλ==，

相应的特征向量155T

e ⎛= ⎝

⎭

，255T

e ⎛=- ⎝

⎭