多元线性回归概述

定义：线性回归模型中的解释变量有多个。一般表现形式：多元线性回归模型k ：解释变量个数；i =1,2…,n

βj ：回归参数（Regression Coefficient ）；j=1,2…,k 习惯上：把常数项看成为一虚变量的系数，该虚变量的样本观测值始终取1。这样：

i ki k i i i X X X Y μββββ++⋅⋅⋅+++=22110虚变量

X 0=1模型中解释变量的数目为（k+1）

指2个或2个以上

多元线性回归模型总体回归函数的随机表达形式：

i ki k i i i X X X Y μββββ++⋅⋅⋅+++=22110总体回归函数非随机表达式:

ki k i i ki i i i X X X X X X Y E ββββ+⋅⋅⋅+++=2211021),,|( 偏回归系数βj :在其他解释变量保持不变的情况下，X j 每变化1个单位时，Y 的均值E(Y)的变化;或者说X j 的单位变化对Y 均值的“直接”或“净”（不含其他变量）影响。

方程表示：各变量X 值给定时Y 的平均响应。

总体回归模型n 个随机方程的矩阵表达式为

μ

X βY +=)1(212221212111111+⨯⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=k n kn n n k k X X X X X X X X X X 121⨯⎥⎥⎥⎥

⎦⎤⎢⎢⎢⎢⎣⎡=n n Y Y Y Y 1)1(210⨯+⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡=k k ββββ β1

21⨯⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=n n μμμ μ其中n ：样本容量k ：解释变量的个数

e i 称为残差或剩余项(Residuals)，μi

的近似替代样本回归函数：

ki ki i i i X X X Y ββββˆˆˆˆˆ22110++++= 其随机表示式: i

ki ki i i i e X X X Y +++++=ββββˆˆˆˆ22110 βX Y ˆˆ=e βX Y +=ˆ⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=k βββˆˆˆˆ10 β⎪⎪⎪⎪⎪⎭

⎫ ⎝⎛=n e e e 21e 其中

或样本回归函数的矩阵表达:

假设1，解释变量是非随机的或固定的，

且各X 之间互不相关（无多重共线性）。假设2，随机误差项具有零均值、同方差及不序列相关性这是一元线性回归模型没有的0

)(=i E μ2

2)()(σμμ==i i E Var 0

)(),(==j i j i E Cov μμμμn

j i j i ,,2,1, =≠

假设3，解释变量与随机项不相关

假设4，随机项满足正态分布

0),(=i ji X Cov μk

j ,2,1 =)

,0(~2σμN i

假设1，n ⨯(k+1)矩阵X 是非随机的，X 的秩ρ=k+1，即X 满秩。假设2，0)()()(11=⎪⎪⎪⎭⎫ ⎝⎛=⎪⎪⎪⎭⎫ ⎝⎛=n n E E E E μμμμ μ()⎪⎪⎪⎭⎫ ⎝⎛⎪⎪⎪⎭⎫ ⎝⎛='n n E E μμμμ 11)(μμ⎪⎪⎪⎭⎫ ⎝⎛=21121n n n E μμμμμμ I

222

11100)var(),cov(),cov()var(σσσμμμμμμ=⎪⎪⎪⎭

⎫

⎝⎛

=⎪⎪⎪⎭⎫ ⎝⎛= n n n 上述假设的矩阵符号表示式

假设3，E(X’μ)=0，即0

)()()(11=⎪⎪⎪⎪⎪

⎭

⎫

⎝⎛=⎪⎪⎪⎪⎪⎭⎫ ⎝⎛∑∑∑∑∑∑i Ki i i i i Ki i i i E X E X E X X E μμμμμμ 假设4，向量μ有一多维正态分布，即

)

,(~2I 0μσN 上述假设的矩阵符号表示式

假设5，样本容量趋于无穷时，各解释变量的方差趋于有界常数，即n →∞时，

j j ji ji Q X X n x n →-=∑∑22)(11或Q

x x →'n 1

其中：Q 为一非奇异固定矩阵，矩阵x 是由各解释变量的离差为元素组成的n ⨯k 阶矩阵

⎪⎪

⎪

⎭

⎫

⎝⎛=kn n k x x x x 1111x

假设6，回归模型的设定是正确的。

模型里面，该包含的所有解释变量，都应该放到模型里面，不应该遗漏。

X必须以正确的函数形式，引到模型里面。