第七章 多元回归分析2

写成矩阵形式 y1 1 x11 x21 … x1p Y= y2 x= 1 x12 x22 … x2p yn
0 1 ... p
1 x1n x2n … xnp ξ1 ξ2 e= …
ξn

则 Y=Xβ+e
一、多元线性回归模型的基本假定 解释变量x1,x2,…,xp是确定性变量，不是随机变量，而 且rk(X)=P+1<n,表明矩阵X中的自变量列间无多重共线 性 随机误差项具有零均值和同方差 E（ ξ i）=0 var(ξ i)=E(ξ i -E(ξ i))2=E(ξ i)2=σ2 随机误差项在不同样本点之间是相互独立的，不存在 序列相关 cov(ξ i, ξ j)=0 i≠j i,j=1,2,…n cov(ξ i, ξ j)=E((ξ i -E(ξ i)(ξ j -E(ξ j)) =E(ξ i )E(ξ j) =0
ij ii jj
简单相关系数只是一种数量表面上的相关系数，
而并非本质的东西。在多元回归分析中，偏相 关系数才真正反映因变量y与自变量 xi以及自变 量 xi与 xi 的相关性的数量。

返回
五、预测 所谓预测就是给定解释变量一组值 x0 ( x01, x02 ,..., x0 p )'

随机误差项与解释变量之间不相关
i)=0
cov(xi, ξ
随机误差项的正态分布假定条件为
2 i ~ N (0, ) i 1,2,..., n 1 , 2 ,..., n相互独立
二、回归参数的估计
设 令
ˆ b ˆ x b ˆ x b ˆ x ˆ b Y i 0 1 1i 2 2i p pi ˆ b ˆ x b ˆ x b ˆ x ˆ i yi b i yi y 0 1 1i 2 2i p pi

指数函数与幂函数的积 y=aexp{∑β ixi} ∏xibi ㏑y=㏑a+ β 1x1 + β 2x2+… + β pxp +b1㏑x1 +b2㏑x2+… +bp㏑xp 令z= ㏑y, β 0= ㏑a,τi= ㏑xi z= β 0 + β 1x1 + β 2x2+… + β pxp +b1 τ 1 +b2 τ 2+… +bp τ p
合程度。
SSR SSE R 1 SST SST
2
R2 越 样本决定系数R 的取值在（0，1）区间内， 2 R 接近1，回归拟合的效果越好； 越接近0，回归 拟合的效果越差。
2
四、复相关系数和偏相关系数 复相关系数R是由SSR和SST构造的统计量，用
来表示回归方程对原有数据拟合程度的好坏， 衡量作为一个整体的x1,x2,…,xp与y的线性关系 的大小。
0 1
p
0
1
p
对一实际问题，若得到n组观测数据 （ xi1 , xi 2 ,…, xip ; yi ）,i=1,2,…,n,则线性模 型可表示为：
y1 0 1 x11 2 x12 ... p x1 p 1 y2 0 1 x21 2 x22 ... p x2 p 2 .......... y x x ... x 0 1 n1 2 n2 p np n n

F
SSE /(n p 1)
(3)检验 给定显著性水平α,查F分布表 若F>Fα,拒绝H0,表明回归总体有显著性关系. 若F<F α,接受原假设,表明不存在线性关系
2.回归系数显著性检验 回归系数显著性检验,是对每个解释变量进行检验. 如果解释变量对被解释变量的影响不显著,应从模型中 删除,如果解释变量对被解释变量的影响显著,应保留在 模型中. 利用t统计量进行参数显著性检验的步骤如下: (1)对总体参数提出假设:H0:bi=0 (2)构造统计量: bi 1 ti e （回归标准差） n p 1 cii (3)检验 对给定α,若︱t︱>t α /2,说明拒绝原假设 若︱t︱<t α /2,则接受原假设.
1 x 11 x p1 1 x12 xp2 1 1 0 x1n 2 0 x pn n 0
X XB X Y 1 ˆ X B X X Y
p


x 0
pi
2 i 0
2 i x1i 0 2 i x pi 0
0 x 0
i i 1i

x
i pi
0
1 2 n 0 1 x11 2 x12 n x1n 0 1 x p1 2 x p 2 n x pn 0
三、回归方程的效果的检验 方程显著性检验 回归系数显著性检验 拟合优度

链接
1.方程显著性检验(F检验) F检验是以方差分析为基础,对回归总体线性关系是否 显著的一种假设检验,是解释模型中被解释变量与所有 解释变量之间的线性关ຫໍສະໝຸດ Baidu在总体上是否显著的方法 利用F统计量进行总体线性显著性检验的步骤如下: (1)提出关于P个总体参数的假设 H0:b1=b2=…=bp=0 (2)构造统计量 SSR / p
一 穷举法
所谓穷举法就是从2
所有可能的回归方程中按 一定的准则选取最优的一个或几个。 设在一个实际问题的回归模型中，如果有m个 可供选择的变量，由于每个变量都有入选和不 入选两种情况，这样y关于这些自变量的所有可 能的回归方程就有 2m 个，这其中包括只包含常 数项的这种情况。 下面给出几种选取准则：

在实际应用中，希望拟合这样一个模型，它既
能较好的反映问题的本质，又包含尽可能少的 自变量。这两个方面的一个适当折中就是回归 方程的选取问题，其基本思想是在一定的准则 下选取对因变量影响较为显著的自变量，建立 一个既合理又简单实用的回归模型。
在前面，我们认为残差平方和 S残最小和复相关
系数 R 来衡量回归拟合的好坏。 因为当引入的自变量的个数增大时，残差平方 和随之减少，而复相关系数也随之增大。因此 如果按上述原则来选择自变量，不论什么变量 多取就行。但是由于变量之间的多重共显性， 给自变量的估计值带来了不稳定性，加上变量 的抽样误差积累将是y值得估计值误差增大。
指数函数
y=a∏e β ixi ㏑y=㏑a+ β 1x1 + β 2x2+… + β pxp z= ㏑y, β 0= ㏑a,则 z= β 0 + β 1x1 + β 2x2+… + β pxp 多元对数函数
y=a+ β 1㏑x1 + β 2㏑x2+…+ β p㏑xp 设τi= ㏑xi, 则 y=a+ β 1 τ 1 + β 2 τ 2 +…+ β p τ p


0 x
1i
Q Q 0 ˆ b
2 i
即
Q ˆ b ˆ x b ˆ x 2 yi b 0 1 1i p pi ˆ b
0


Q ˆ b ˆ x b ˆ x 2 yi b 0 1 1i p pi ˆ b
1


0

Q ˆ b ˆ x b ˆ x 2 yi b 0 1 1i p pi ˆ b

n i 1 2 i

当有多个自变量对因变量y无显著影响时,可以剔除多 余变量，但由于自变量间的交互作用，不能一次剔除 所有不显著变量。一般是将t值（绝对值）最小的变量 删除掉,每次只剔除1个变量 ,再对求得的新的回归方程 进行检验，直到保留的变量都对y有显著影响为止。
返回
3.拟合优度 拟合优度用于检验回归方程对样本观测值的拟
如果自变量相邻数值之间大小间隔相等,而且相
邻样本点对应的因变量y的二次差分大致相同, 则该总体可配合二次多项式函数 如果是三次差分大致相同,则可配合三次多项式 函数
第三节 自变量选择与逐步回归
在建立一个实际问题的回归模型，我们应该如何确定 回归自变量。 如果遗漏了某些重要的变量，回归方程的效果肯定不 好。 如果考虑过多的变量，在这些变量中有些自变量对问 题研究可能不重要，有些变量可能与其它变量有很大 程度的重叠。如果模型把这些变量也引入的话，不仅 计算量增大，而且得到的回归方程的稳定性也很差， 直接影响了回归方程的应用。
通过建立的多元回归模型，估计出对应的 y0 y0 0 1 x01 2 x02 ... p x0 p 1、y0的点预测： 2、y0以概率（1-α）落在某区间的区间预测：
ˆ0 2 , y ˆ0 2 ] [y
其中 为随机误差项的标准差

多项式函数
Y=β0+ β 1x + β 2x2+… + β pxp 设τi=xi 则多项式化为: Y= β 0+ β 1 τ 1 + β 2 τ 2 +… + β p τ p 多元幂函数 y=αx1 β 1 x2 β 2… xp β p lny=ln α + β1ln x1+…+ β pln xp 令z= lny, β 0= ln α,τi= ln xi z= β 0 + β 1 τ 1 + β 2 τ 2+… + β p τ p
第一节
多元线性回归 第二节 可化为多元线性回归的问题 第三节 自变量的选择与逐步回归
第一节 多元线性回归
多元线性回归模型一般形式
y 0 1x1 2 x2 ... p xp
，， 其中， …，是 p+1个未知参数，为回归常 数，， …，为回归系数。 y称为被解释变量, x1 x2…, xp是p个可以精确测量并可以控制的一般变 ， 量，称为解释变量
SSR R SST
复相关系数表示的是因变量与全体自变量之
间的线性关系，它的符号不能由某一自变量 的回归系数的符号来确定，因而复相关系数 都取正号。
其它变量被固定后，计算任意两个变量之间的
相关系数，这种相关系数称为偏相关系数。
r11 r12 r1 p
r11 r21 r12 r1 p r1 y
r21 r22 r2 p rp1 rp 2 rpp
r22 r2 p r2 y
rp1 rp 2 rpp rpy ry1 ry 2 ryp ryy
rij.12i 1i 1 j 1 j 1 p ryi.12i 1i 1 p iy ii yy
xe 0
Y XB e X Y X XB X e
以上是通过使用最小二乘法（OLSE）对回归参
数进行的估计，得到的回归参数的最小二乘估 计为
B (X X ) X Y
' '

1
在正态假定下，回归参数 B
的最大似然估计 （MLE）与最小二乘法（OLSE）是完全相同 的



第二节 可化为多元线性回归的问题
在自然科学中，y关于x 的数量关系多数都不 是简单的线性关系，而是各种各样的非线性 关系，于是我们常会遇到非线性回归模型， 在非线性回归模型中，一种类型是可以通过 变量变换化为线性模型，然后按线性模型加 以解决；另一种类型的非线性模型是用任何 变量变换办法都不能或不方便直接化为线性 模型求得参数的估计值。
第七讲 多元回归分析
（主讲人：许雪剑 唐桂庆）
在许多经济问题中，一元线性回归只不过是回
归分析中的一种特例，它通常是对影响某种经 济现象的许多因素进行了简化考虑的结果。 若某公司管理人员要预测来年该公司的销售额y 时，研究认为影响销售额的因素不只是广告宣 传费x1,还有个人可支配收入x2,价格x3,研究与 发展费用x4,各种投资x5,销售费用x6. 因此我们需要进一步讨论多元回归问题。