应用统计方法课件 3-2

§3.2 多元线性回归

建立模型

参数估计显著性检验

预测预报

6-1

6-4

一.建立模型

设影响因变量y 的自变量为x x x m 12,,, ，如果它们满足下述关系

y =+++++b b x b x b x m m 01122 ε （3-21） 其中ε是零均值的随机变量，x x x m 12,,, 是可控制变量，b b b m 01,,, 为未知参数，则称（3-21）为

多元线性回归模型（m >1）。

假设对x x x m 12,,, ，y 进行n 次观察， 得n 组观

察值（）x x x y i i im i 12,,,, (i n =12，，， )，即

y i =b b x b x b x i i m im i

01122+++++ ε通常假定εεε12，，， n 独立同分布N （，）02

σ,

（记为i.i.d N （，）02σ）类似的可用向量矩阵形式表示如下：

Y X =+βε （3-23） 其中，Y y y y n ='(,,,)12 β='(,,,,)b b b b m 012 εεεε='(,,,)12 n ⎝

⎛⎪⎪⎪⎪⎪⎭⎫=nm m m n n x x x x x x x x x X 212122********* 为讨论问题方便，我们假定X 的秩为m +1（n m >）。

(i n =12,,, ) (3-22)

二. 参数估计 最小二乘估计 对(3-21)，我们依据（）x x x y i i im i 12,,,, （i n =12，，， ）这n 组观察值对未知参数作估计，即估计b b b m 01，，， ， 为此令 Q Q b b b m =()01，，， ==∑ε

i

i n 21 =-----=∑()y b b x b x b x i i i m im i n 011222

1

（3-25） 选取使Q 达最小的 , ,, b b b m

01 作为未知参数b b b m 01,,, 的估计，称为最小二乘估计， Q 称为残差平方和。

下面求 , ,, b b b m 01 ：对Q 求关于b b b m

01,,, 的偏导数，得如下方程

∂∂Q b 02=-()y b b x b x b x i i i m im i n -----==∑0112210

∂∂Q b j =-2()y b b x b x b x x i i i m im ij i n -----==∑011221

0 (j m =12,,, ) 由（3-26）式得

y nb b x b x b x i i n i i n i i n m im i n

====∑∑∑∑=++++101112211

（3-26） （3-27）

即 y b b x b x b x m m =++++01122 b y b x b x b x y x b m m j j j m 011221=----=-=∑ （3-28）

其中，x n x j ij i n ==∑11

，将（3-28）代入（3-27）式得 ∑∑∑====---m k m k ij ik k k k n i i x x b x b y y 111

0])([∑∑∑∑∑∑======-=-n i ij k m

k k n i m k ij ik k n i ij n i ij i x x b x x b y x x y 111111

b x x nx x y x nx y k k m ik ij k j i ij j i n

i n ===∑∑∑-=-1

11()

(j m =12,,, ) （3-29）

b x x nx x y x nx y k k m ik ij k j i ij j i n

i n ===∑∑∑-=-111() (j m =12,,, )令 i l k i =

=，，并记∑∑===--=-=n l n

l ji j lj i li j i lj li ij l x x x x x x n x x l 11))((∑∑==--=-=n l n l l j lj j lj l jy y y x x y x n x y l 11)

)(( （l y x nx y y y x x iy l li i l li i l n

l n =-=--==∑∑()()11） l y y yy l l n =-=∑()

21则（3-29）变为 b l l i ij jy i m ==∑1

(j m =12,,, )

b l l i ij jy i m

==∑1 (j m =12,,, )

与（3-28）联立得b b b m 01,,, 的最小二乘估计满足下列方程组

l b l b l b l l b l b l b l l b l b l b l b y b x b x b x m m y m m y m m mm m my m m

1111221121122222112201122+++=+++=+++==----⎧⎨⎪⎪⎪⎩⎪⎪⎪ （3-30） 通常称（3-30）的前m 个方程为m 阶正规方程，正规方程的系数矩阵称为正规矩阵，记为

⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡==⨯mm m m m m m m ij l l l l l l l l l l L 212222111211)(未知参数及常数项分别为B b b b m ='()12，，， ，l l l l y y y my ='()12，，， ，于是正规方程可表示成 LB l y = （3-31） 由此得B 的估计

B L l y =-1 （3-32）