【精品】3.1矩阵基础及多元线性回归模型

截距项和偏回归系数
总体回归函数的随机表达式：
Yi 0 1 X 1i 2 X 2 i k X ki i
(1) j (j1) 称为 偏回归系数 表示在其他解释变量保持不变的情况下，Xj每变化1个单 位时，Y的条件均值 E(Y | X 1 , X 2 , X k ) 的变化; 或者说j给出了Xj的单位变化对 Y均值的“直接”或“净” （不含其他变量）影响。 (2) 0 (j1) 称为 截距项，它给出了所有未包含到模型中的 变量对Y的平均影响。
• • • • • • 多元线性回归模型 多元线性回归模型的参数估计 多元线性回归模型的统计检验 多元线性回归模型的预测 回归模型的其他形式 回归模型的参数约束
25
§3.1 多元线性回归模型
一、多元线性回归模型 二、多元线性回归模型的基本假定
26
多元线性回归模型的引入
一元（双变量）线性回归模型在实践中 对许多情况往往无法描述。 例如：对某商品的需求很可能不仅依赖于它 本身的价格，而且还依赖于其他相互竞争(互 替)或相互补充(互补)的产品价格。此外，还 有消费者的收人、社会地位，等等。因此， 我们需要讨论因变量或回归子Y，依赖于两个 或更多个解释变量或回归元的模型。
21
幂等矩阵 • 令A为nn对称矩阵。如果AA=A，则称 A是幂等矩阵。
• 幂等矩阵的性质： 令A为nn幂等矩阵 (1) rank(A)=tr(A) (2) A是半正定的。
22
矩阵微分
(1) 对于一个给定的n1向量a，对所有n1向量x，定义线性函 数 f(x)= a’x，则f 对x的导数是1n阶偏导数向量a’，即： why? (2) 对一个nn的对称矩阵A，定义
其随机表示式:
ˆ ˆ X ˆ X ˆ X e Yi 0 1 1i 2 2i ki ki i
ei称为残差或剩余项(residuals)，可看成是总 体回归函数中随机扰动项i的近似替代。
32
样本回归模型的n个随机方程（1）
若有n组观测值，则可得n个联立方程：
ˆ ˆ X ˆ X ˆX ˆ Y 1 0 1 11 2 21 1 k1
x是n1维向量
一个方阵A是对称矩阵的充要条件A=A’
8
迹
• 对任意一个nn的矩阵A，A的迹tr(A)定义为 其主对角线元素之和。
• 迹的性质：
其中，A为nm矩阵，B为mn矩阵
9
矩阵的逆
• 对一个nn的矩阵A，如果存在矩阵B，使得 BA=AB=In 则称B为矩阵A的逆，用A-1表示。 如果A有逆矩阵，则称A是可逆的或非奇异的；否 则，称A是不可逆的或奇异的。
……
ˆ ˆ X ˆ X ˆX ˆ Y n 0 1 1n 2 2n 1 kn
ˆ ˆ X ˆ X ˆ X e Yn 0 1 1n 2 2n 1 kn n
ˆ 0 ˆ ˆ β 1 ˆ k
30
总体回归模型的n个随机方程的矩阵表示
Y1 0 1 X 11 2 X 21 1 X k1 u1
Y2 0 1 X 12 2 X 22 1 X k 2 u2
…… Yn 0 1 X1n 2 X 2n 1 X kn un
矩阵代数概述
1
矩阵
矩阵(matrix)就是一个矩形数组。 mn矩阵就有m行和n列。m称为行维数， n称为列维数。 可表示为：
2
方阵、行向量、列向量
• 方阵：具有相同的行数和列数的矩阵。一 个方阵的维数就是其行数或列数。 • 行向量：一个1m的矩阵被称为一个(m维) 行向量。 • 列向量：一个n1的矩阵被称为一个(n维) 列向量。
ˆ ˆ X ˆ X ˆX ˆ Y 2 0 1 12 2 22 1 k2
ˆ ˆ X ˆ X ˆ X e Y1 0 1 11 2 21 1 k1 1
ˆ ˆ X ˆ X ˆ X e 或 Y2 0 1 12 2 22 1 k2 2 ……
20
正定和半正定矩阵
• 令A为nn对称矩阵。 (1) 如果对除x=0外的所有n1向量x，都有x’Ax>0，则 称A为正定的。 (2)如果对除x=0外的所有n1向量x，都有x’Ax0，则 称A为半正定的。 • 正定和半正定矩阵的性质： (1) 正定矩阵的主对角元素都严格为正，半正定矩阵 的主对角元素都非负； (2) A是正定的，则A-1存在并正定； (3) 如果X是一个nk矩阵，则X’X和XX’都是半正定 的；
3
对角矩阵、单位矩阵和零矩阵
单位矩阵 零矩阵 对角矩阵
4
矩阵的运算
加法：
数乘：
两矩阵相乘：
A为mn阶矩阵 B为np阶矩阵
5
矩阵运算的性质（1）
和是实数，矩阵A、B、C具有运算所需的维数
6
矩阵运算的性质（2）
和是实数，矩阵A、B、C具有运算所需的维数
7
矩阵的转置、对称矩阵
矩阵A的行与列互换称为A的转置矩阵，用A’表示 转置矩阵的性质：
35
线性回归模型的基本假设（1）
假设1、 (1) 解释变量X1, X2, …,Xk是确定性变量，不是随 机变量；
即在重复抽样中，X1, X2, …,Xk的值被认为是固定的。
(2) 解释变量X0（虚拟）, X1, X2, …,Xk相互之间 无多重共线性
1 1 X 1 X 11 X 12 X 1n X 21 X 22 X 2n X k1 的列向量组的秩为 X k2 k+1，即列满秩。 X kn n ( k 1 )
……
ˆ ˆ X ˆ X ˆX ˆ Y n 0 1 1n 2 2n 1 kn
ˆ ˆ X ˆ X ˆ X e Yn 0 1 1n 2 2n 1 kn n
33
样本回归模型的n个随机方程的矩阵表示
ˆ ˆ X ˆ X ˆX ˆ Y 1 0 1 11 2 21 1 k1
例：求下列矩阵A的行列式
解： 根据行列式定义，可得：
因此， |A|=21-4+16-10+15-42= - 4
13
求方阵的逆矩阵（1）
余子式： 将nn的方阵A的第i行和第j列去掉，所剩下 的子矩阵的行列式叫做元素aij的余子式，记为|Mij| 例如：
14
求方阵的逆矩阵（2）
余因子(代数余子式)： 将nn的方阵A的元素aij 的余因子，记为cij ，定义为 cij =(-1)i+j|Mij| 余因子矩阵： 将方阵A的元素aij代之以其余因 子，则得到A的余因子矩阵，记为cof A。
则
why?
23
方差-协方差矩阵
如果y是一个n1随机向量，用var(y)（或cov-var(y)）表示的y 的方差-协方差矩阵定义为：
其中j2=var(yj), ij=var(yi, yj) 显然， ij=var(yi,yj) =var(yj,yi)=ji，单方程计量经济学模 型：多元回归
29
总体回归模型的n个随机方程（1）
若有n组观测值，则可得n个联立方程：
Y1 0 1 X 11 2 X 21 1 X k1 u1
Y2 0 1 X 12 2 X 22 1 X k 2 u2
…… Yn 0 1 X1n 2 X 2n 1 X kn un
ˆ ˆ X ˆ X ˆX ˆ Y 2 0 1 12 2 22 1 k2
ˆ ˆ X ˆ X ˆ X e Y1 0 1 11 2 21 1 k1 1
ˆ ˆ X ˆ X ˆ X e 或 Y2 0 1 12 2 22 1 k2 2 ……
Yi 0 1 X 1i 2 X 2 i k X ki i
i=1,2…,n
Y是被解释变量
为随机干扰项
Xji为解释变量，i指第i次观测
i为偏回归系数
习惯上：把常数项看成为一虚变量的系数，该虚变量的样本 28 观测值始终取1。这样：型中解释变量的数目为k+1
1 μ 2 n n 1
则有，总体回归方程的矩阵表示为：
Y X β μ
31
样本回归函数
样本回归函数：根据样本估计的总体回归函数
ˆ ˆ X ˆ X ˆ X ˆ Y i 0 1 1i 2 2i ki ki
等价于
36
线性回归模型的基本假设（2-1）
伴随矩阵：余因子矩阵的转置矩阵称为A的伴 随矩阵，记为adj A 15 adj A=(cof A)’
求方阵的逆矩阵（3）
如果A是方阵且是非退化的矩阵（即|A|0）， 则A的逆矩阵的计算公式为：
16
例：求下列矩阵A的逆阵
17
解：
Step1: 求|A| |A|=-24 Step2: 求A的余因子矩阵c
令
1 1 X 1 X 11 X 12 X 1n X 21 X 22 X 2n X k1 X k2 X kn n ( k 1 )
0 1 β 2 k ( k 1)1
e1 e2 e e n
令
1 1 X 1
X 11 X 12 X 1n
X 21 X 22 X 2n

X k1 X k2 X kn n ( k 1 )
则有，样本回归方程的矩阵表示为：
ˆ Xβ ˆ Y
或
ˆ e Y Xβ
34
经典线性回归模型的基本假设的引入
在回归分析中我们的目的不仅仅是获得参数的估计值， 而且要对参数估计值做出推断 。 ˆ 和 ˆ 离它们相应的真实值有多远？ 例如： 0 1 ˆ 与其期望值E(Yi|Xi)多接近？ Y i
由PRF：Yi 0 1 X 1i 2 X 2 i k X ki i 可知，Yi依赖于Xi 和ui，除非我们明确Xi 和ui的产生方式， 否则我们将无法对Yi 作任何推断。同时，为了使得使用OLS 方法的估计量具有良好的性质，我们做出了如下假设。
27
一、多元线性回归模型
多元线性回归模型: 有多个解释变量的线性回归模型。 也称为多变量线性回归模型。 总体回归函数： E(Y | X1i , X 2i , X ki ) 0 1 X1i 2 X 2i k X ki 意为：给定X1,X2,…,Xk的值时Y的期望值。 增加随机干扰项的随机表达式：
10
矩阵逆的性质
(1) 如果一个矩阵的逆存在，则它是唯一的 (2) 若0且A可逆，则 (3) 如果A和B都是nn可逆矩阵，则
(4)
11
矩阵的行列式
• 给定一个nn的方阵 为|A|，定义为：
|A|=(-1)ta1p1a2p2…anpn
，A的行列式，记
其中，t为p1p2….pn的逆序数。
12
Step3: 求A的伴随矩阵，即c’
Step4:
18
向量组的线性相关
(1) 令 x1, x2,…, xr是一组维数相同的向量，若存在不 全为零的实数1, 2, …, r使得
则称向量组{x1, x2,…, xr}是线性相关的； 否则，称{x1, x2,…, xr}是线性无关的。
19
矩阵的秩
令A是一个nm的矩阵，则A中线性无关的最 大列向量称为A的秩，即为rank(A)。 • 若rank(A)=m，则称为列满秩 • 秩的性质： (1) 行秩＝列秩=rank(A) (即： rank(A’)=rank(A)) (2) 如果A是一个nk矩阵，则 rank(A)min(n,k)