§4.1多元线性回归分析§4.2决策模型

下列 4 种化学成分有关。
x1 : 3CaO Al2O3 的成分（%） x2 : 3CaO SiO2 的成分（%） x3 : 4CaO Al2O3 Fe3O3 的成分（%） x4 : 2CaO SiO2 的成分（%） 现记录了 13 组数据，列在表 4－1 中，根据表中的数据，试研究 y 与 x1 , x2 , x3 , x4 四种成份的关系。
首先我们在假定
E(
)
0,Var(
)
2
I
n
的条件下，探讨一下由式（4-10）确
定 的最小二乘法估计最 的性质
（1） 是 的线性无偏估计量。
证：由于
L1 X T Y
，每一个 bi
都是
y1 ,,
yn
的线性组合，因而 bi
是 bi 的线
性估计量，此时称 是 的线性估计量。
E( ) E(L1 X TY ) L1 X T E(Y ) L1 X T E( X )
归函数。对非线性回归，经常采用线性化的方法来处理。所以，目前研究最多的是线
性回归问题，且假定 X1, X 2 ,, X m 和Y 均服从正态分布。回归分析的任务就是要求 出满足式（4－2）的回归函数 f (x1, x2 ,, xm ) ,从而对所研究的相关关系做出所需的
预测和控制。
多元回归模型的应用是相当广泛的，例如，某种商品的销售量可能受收入水平、
x4 (%)
60 52 20 47 33 22 6 44 22 26 34 12 12
y(J / g)
在现实生活中，变量与变量之间经常存在一定的关系，一般来说，变量之间的关 系可以分为两大类，一类是确定性的关系，这种关系通常用函数来表示。例如，已知
圆的半径 r ，那么圆的面积 S 与半径 r 的关系就可用函数关系： S r 2 来表示，这
b1 b2 bm 0 是否成立。
若 H 0 成立，则 x1, x2 ,, xm 对 y 没有影响;反之，若 H 0 不成立，则 x1, x2 ,, xm
对 y 有影响，此时 y 与 x1, x2 ,, xm 的线性关系显著，也称为整个回归效果显著。但
要注意，即使整个回归效果是显著的， y 也可能只与某几个 xi 关系密切（相应的 bi 显
1．多元线性回归分析的基本原理，基本过程及其计算方法。 2.掌握随机决策模型的基本原理和建模的基本过程。 3.掌握决策模型的计算方法。 4.实际建模训练
教学难点
1. 多元线性回归分析的基本原理及其数值计算、运用模型解决实际问题 2. 随机决策模型的基本原理及其决策准则的确定
双语教学 内容、安排
Linear regression analysis Multivariate regression analysis decision analysis Decision rule Decision tree
线性回归分析 多元回归分析 决策分析 决策规则 决策树
教学手段、 采用多媒体教学的形式。以电子课件为主，粉笔黑板相结合为辅，使学生能够
措施
充分利用课堂有效的时间了解尽可能多的相关知识,并结合启发式教学.
作业、后记
教学过程及教学设计
§多元线性回归分析
备注
一．问题提出
水泥凝固时放出热量问题：某种水泥在凝固时放出的热是 y(J / g) 与水泥中
若记Y ( y1, y2 ,, yn )T , (b0 , b1,, bm )T , (1, 2 ,, n )T ，
1 x11
X
1
x21
x12
x22
x1m x2m
1 xn1 xn2 xnm n(m1)
则多元线性回归的数学模型式（4－6）可以写成矩阵形式
其中 E( ) 0,Var( ) 2 I n 。
E 0。
回归函数可以是一元函数，也可以是多元函数，即
Y f (x1, x2 ,, xm )
（4－2）
其中 f (x1, x2 ,, xm ) E(Y | X1 x1, X 2 x2 ,, X m xm ) 为 m 元回归函
回归分析 就是数理统计 中研究相关关 系的一种数学 方法，它就是通 过大量的试验 或观测，发现变 量之间关系的 统计规律。
yi b0 b1xi1 b2 xi2 b3 xi3 b4 xi4 i E( i ) 0,Cov( i , j ) ij 2 , (i, j 1,,13)
（4-4）
一般地，多元线性回归模型可表示为：
Y b0 b1x1 b2 x2 b3 x3 b4 x4
（4-5）
其 中 ， x1, x2 , xm 是 自 变 量 ， b0 为 常 数 ， b1, b2 ,, bm 为 回 归 系 数 ，
(Y X )T (Y X ) ( )T X T X ( )
(Y X )T X ( ) ( )T X T (Y X )
(Y X )T (Y X )
上述证明过程中应用了如下结果：
ห้องสมุดไป่ตู้
( )T X T X ( ) [ X ( )]T [ X ( )] 0
E{[BY BE(Y
)][BY
BE(Y
)]T
}
证：记 B B E{[Y
LE1 X(YT)，][Y则E(YB)]YT
}B
T
B 2 I n BT L1 X T 2 I n (L1 X T )T 2 L1
（3） 是 的最小方差线性元偏估计，即在所有线性元偏估计类中，有且只有
使其方差达到最小。
y b0 b1 x1 b2 x2 bm xm
但是 Y 与 x1, x2 ,, xm 是否确实存在相关关系呢回归方程的效果如何呢这就要
进 行 “ 整 个 回 归 效 果 是 否 显 著 ” 的 检 验 。 当 b1 b2 bm 0 时 ， y 与
x1, x2 ,, xm 没 有 关 系 ， 回 归 模 型 没 有 意 义 ， 于 是 我 们 要 检 验 H 0 ：
课题
第四章 概率统计模型 §多元线性回归分析§决策模型
教学内容
1. 多元线性回归分析 2. 随机决策模型的基本原理与解法，及应用举例。
教学目标 教学重点
1.掌握多元线性回归分析的基本原理和建模的基本过程。 2.能够运用多元回归分析模型解决实际问题并进行模型分析。 3.掌握决策模型的计算方法，能够运用决策模型解决实际问题并进行模型分析
Y X
（4－7）
1.参数的最小二乘估计
为了获得参 的估计，我们采用最小二乘法，即选择 ，使
n
Q( )
2 i
T
(Y
X )T
(Y
X )
i 1
达到最小。
将 Q 对 求导数并令其为零，得
Q 2X T (Y X ) 0
（4－8）
即 X T X X T Y 。记 L X T X ，则
例如，在水泥凝固时放出热量问题中，可建立线性回归模型
Y b0 b1x1 b2 x2 b3 x3 b4 x4 其中 E( ) 0, D( ) 2 。
（4-3）
而 b0 ,b1, b2 ,b3 , b4 和 2 是未知参数，为了估计这些参数，将表 4－1 的值代入模
型（4－3），得线性模型
L1 X T Y
（4－10）
我们来证明（4－10）式中 为参数向量 的最小二乘法估计量，现用矩阵形
式来叙述其证明步骤。
从式（4－8）知，对任意的 Q (Y X )T (Y X )
则有
(Y X )T (Y X ) [(Y X ) X ( )]T [(Y X ) X ( )]
风俗习惯、产品质量、价格、宣传广告等多种因素的影响；某种产品的质量可能受生
产该产品时的温度、湿度、压力、原材料的质量和有害成分的含量等影响；工人的劳
动生产率可能受学历、智力水平、情绪的稳定性和才能等因素的影响；某城市的用水
量可能与该城市的人口数及工业总产值有关。诸如此类的关系，可以通过多元回归分
析模型进行研究。
二．多元线性回归分析模型
为了研究方便，我们考虑一个变量受其他变量影响时，把这变量称为因变量，记
为 Y ，其他变量称为自变量，记为 X ，这时相关关系可记作
Y f x
（4－1）
其中 f x 为当 X x 时，因变量Y 的均值，即
f x EY | X x
称 f x 为 Y 对 X 的回归函数， 为Y 与 f x 的偏差，它是随机变量，并假定
L1 X T [ X E( )] L1 X T X
即 E(bi ) bi ， (i 1,, m) 。 （2） 的协方差矩阵为 2 L1 ，即
D(b i ) 2cii
Cov(bi ,b j ) 2cij , (i, j 0,1,2,, m 1)
其中
L1 C
Cov( ,
)
(c )ij (m1)(m1)
性质 2 告 诉我们，用最小 二乘法求出的 诸回归系数
b0 , b1, b2 , bm
之间存在相关 性，进一步可以 证明。
3.多元线性回归方程的显性检验
从上面的参数估计过程可以看出，对于一批观察数据
( yi , xi1, xi2 ,, xim ) i 1,, n
不论它们是否具有线性关系，总可以利用最小二乘法建立起多元线性回归方程
L X TY
（4－9）
方 程 （ 4 － 9 ） 称 为 正 规 方 程 ， 其 中 X 为 n (m 1) 阶 矩 阵 ， 一 般 假 定 rank( X ) m 1 ， 由 线 性 代 数 理 论 可 知 ， L X T X 为 满 秩 矩 阵 ， 它 的 秩
rank(L) m 1，则正规方程（4－9）有唯一解，记作
著不为零），而与另几个 xi 关系不密切（相应的 bi 为零）。这就是说，多元线性回归除
了首先要检验“整个回归是否显著”外，还要逐个检验每一个 bi 是否为零，以便分辨