数学建模 多元线性回归分析

Fj =
SS回(X j )/1 SS残 / (n − m−1)
ν1 =1, ν2 = n − m−1
SS回( X j ) 表示偏回归平方和，其值愈大说
明相应的自变量愈重要。
一般情况 下，m-1 个 自变量 Y 的回归 对 平方 和由重新建立的新方程得到，而不是简单地把 bj X j 从有 m 个自变量的方程中剔出后算得。
(α = 0.05)
F 8.28 P <0.01
变异来源 总变异 回 归 残 差
自由度 26 4 22
SS 222.5519 133.7107 88.8412
MS 33.4277 4.0382
P 查F 界 表 F0.01(4,22) = 4.31， > 4.31， < 0.01 ， α = 0.05 值 得 F 在
胰 素 岛 (μ U/ml) X3
4.53 7.32 6.95 5.88 4.05 1.42 12.60 6.75 16.28 6.59 3.61 6.61 7.57 1.42 10.35 8.53 4.53 12.79 2.53 5.28 2.96 4.31 3.47 3.37 1.20 8.61 6.45
X1, X2 ,⋯, Xm 的线性函数。
β0 为常数项， β1 ,β2 ,⋯,βm 为偏回归系数，表示在其它自
变量保持不变时， X j 增加或减少一个单位时 Y 的平均变 化量， 是去除 m 个自变量对 Y 影响后的随机误差 e （残差） 。
表15-1 多元回归分析数据格式
例 号 1 2 ┇ n X1 X11 X21 ┇ Xn1 X2 X12 X22 ┇ Xn2 … … … … … Xm X1m X2m ┇ Xnm Y Y1 Y2 ┇ Yn
第一节
多元线性回归
一、多元线性回归模型
• • • • 变量： 自变量m 变量：应变量 1 个，自变量 个，共 m+1 个。 样本含量： 样本含量：n 数据格式见表15-1 数据格式见表 回归模型一般形式： 回归模型一般形式：
Y = β0 + β1 X 1+β2 X2 +⋯+ βm Xm + e
上式表示数据中应变量 Y 可以近似地表示为自变量
表15-2 27名糖尿病人的血糖及有关变量的测量结果
序 i 号
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27
总 固 胆 醇 mmol/L） （ X1
5.68 3.79 6.02 4.85 4.60 6.05 4.90 7.08 3.85 4.65 4.59 4.29 7.97 6.19 6.13 5.71 6.40 6.06 5.09 6.13 5.78 5.43 6.50 7.98 11.54 5.84 3.84
回 方 中 归 程 包 的 变 含 自 量
① X1 , X2 , X3 , X4 ② X2 , X3 , X4 ③ X1 , X3 X4 ④ X1 , X2 X4 ⑤ X1 , X2 X3
平 和 变 ） 方 （ 异 SS 回 SS 残
133.7107 133.0978 121.7480 113.6472 105.9168
各自变量的偏回归平方和可以通过拟合包含不同 自变量的回归方程计算得到， 15- 给出了例15 15自变量的回归方程计算得到 ， 表 15-5 给出了例 15-1 数 据分析的部分中间结果。 据分析的部分中间结果。 对例15-1数据作回归分析的部分中间结果 表15-5 对例 数据作回归分析的部分中间结果
88.8412 89.4540 100.8038 108.9047 116.6351
SS回(X1) = SS回(X1, X2 , X3, X4 ) − SS回(X2 ,X3, X4 ) =133.7107-133.0978=0.6129 SS回(X2 ) = SS回(X1, X2 , X3, X4 ) − SS回(X1,X3, X4 )
ˆ Q = ∑ (Y − Y ) 2 = ∑ [Y − (b0 + b1 X 1+b2 X 2 + ⋯ + bm X m )]2
求偏导数
原
理
最小二乘法
l11b1 + l12 b2 + ⋯ + l1m bm = l1Y l b + l b + ⋯ + l b = l 21 1 22 2 2m m 2Y ⋯⋯ l m1b1 + l m 2 b2 + ⋯ + l mm bm = l mY b0 = Y − (b1 X 1+b2 X 2 + ⋯ + bm X m )
结 果
=133.7107-121.7480 =11.9627 SS回(X3 ) = SS回(X1, X2 , X3, X4 ) − SS回(X1,X2 , X4 ) =133.7107-113.6472 = 20.0635 SS回(X4 ) = SS回(X1, X2 , X3, X4 ) − SS回(X1,X2 , X3 ) =133.7107-105.9168 = 27.7939
水 上 绝H0， 受H1 认 所 回 方 具 统 学 义 平 拒 接 为 建 归 程 有 计 意 。
2. 决定系数 2： 决定系数R SS回 SS残 2 R = = 1− SS总 SS总
0 ≤ R2 ≤1， 明 变 X1, X2 ,⋯, Xm 能 说 自 量 够
解 Y 变 的 分 ， 值 接 于 1， 明 释 化 百 比 其 愈 近 说 模 对 据 拟 程 愈 。 例 型 数 的 合 度 好 本
F ~ F (m,n − m − 1)
表15-3 多元线性回归方差分析表 (α = 0.05)
变异来源 总变异 回 归 残 差 自由度 n-1 m n-m-1 SS SS 总 SS 回 SS 残 MS SS 回 /m SS 残 /(n-m-1) F MS 回/MS 残 P
表15-4 例15-1的方差分析表
条件
(1) Y 与 X 1 , X 2 ,⋯, X m 之间具有线性关系。 (2)各例观测值 Yi (i = 1,2,⋯, n) 相互独立。 方差为σ 2 的正态分布， 它等价于对任意 (3)残差 e 服从均数为 0、 一组自变量 X 1 , X 2 ,⋯, X m 值，应变量 Y 具有相同方差，并且服从正态 分布。
甘 三 油 脂 (mmol/L) X2
1.90 1.64 3.56 1.07 2.32 0.64 8.50 3.00 2.11 0.63 1.97 1.97 1.93 1.18 2.06 1.78 2.40 3.67 1.03 1.71 3.36 1.13 6.21 7.92 10.89 0.92 1.20
偏 归 数 (1)求 回 系 b0 ,b1,b2 ,⋯,bm
建立回归方程
一 般 步 骤
ˆ Y = b0 + b1 X 1+b2 X 2 + ⋯ + bm X m
(2)检验并评价回归方程 检验并评价回归方程 及各自变量的作用大小
二、多元线性回归方程的建立 Baidu Nhomakorabea15-1 27名糖尿病人的血清总胆固
醇、甘油三脂、空腹胰岛素、糖化血红 蛋白、空腹血糖的测量值列于表15-2中， 试建立血糖与其它几项指标关系的多元 线性回归方程。
目的：作出以多个自变量估计应变量的多元 线性回归方程。 资料：应变量为定量指标；自变量全部或大 部分为定量指标，若有少量定性或等级指标 需作转换。 用途：解释和预报。 意义：由于事物间的联系常常是多方面的， 一个应变量的变化可能受到其它多个自变量 的影响，如糖尿病人的血糖变化可能受胰岛 素、糖化血红蛋白、血清总胆固醇、甘油三 脂等多种生化指标的影响。
计算公式：R = R2 ，本例R = 0.6008 = 0.7751 若 m=1 自变量，则有R =| r |，r 为简单相关系数。
（二）对各自变量 指明方程中的每一个自
变量对Y的影响（即方差分析和决定系数检 验整体）。 1. 偏回归平方和
含 义 回归 程 某一 变 X j 的 方 中 自 量 偏回 归 平 和 示 型 含 其 m-1 个 变 方 表 模 中 有 它 自 量 的 件 该 变 对Y的 归 献 相 于 条 下 自 量 回 贡 ， 当 从 回归 程 方 中剔 X j 后 除 所引 的 归平 起 回 方 和 减 量 或 m-1 个 变 的 础 新 的 少 ， 在 自 量 基 上 增 Xj引 的 归 方 的 加 。 加 起 回 平 和 增 量
133.7107 R = = 0.6008 222.5519
2
表 血 含 变 的 60%可 总 固 、 油 明 糖 量 异 由 胆 醇甘 三 、 岛 和 化 红 白 变 来 释 脂 胰 素 糖 血 蛋 的 化 解 。
3.复相关系数 复相关系数
可用来度量应变量 Y 与多个自变 量间的线性 相
ˆ 关程度， 亦即观 察值 Y 与估计值Y 之间的 相关程 度。
2. t 检验法 是一种与偏回归平方和检验完全等 价的一种方法。计算公式为
tj =
bj Sb
j
j
bj 为偏回归系数的 估计值，Sb 是bj 的标准误。
检 假 ： 验 设 从 由 为 H0：β j = 0 ，t j 服 自 度 ν = n − m −1的 t 分 布 如 | t j |≥ tα / 2,n−m−1 ， 在 （ 。 果 则 α 0.05） 平 拒 水 上 绝 H0， 受 H1， 明X j 与Y 有 性 归 系 接 说 线 回 关 。
结果
0.1424 t1 = = 0.390 0.3656 − 0.2706 t3 = = −2.229 0.1214 0.3515 t2 = = 1.721 0.2042 0.6382 t4 = = 2.623 0.2433
结论
t0.05 / 2,22 = 2.074 ， t4 >| t3 |> 2.074 ，P
糖 血 化 红 白 ) 蛋 (% X4
8.2 6.9 10.8 8.3 7.5 13.6 8.5 11.5 7.9 7.1 8.7 7.8 9.9 6.9 10.5 8.0 10.3 7.1 8.9 9.9 8.0 11.3 12.3 9.8 10.5 6.4 9.6
血 糖 (mmol/L) Y
11.2 8.8 12.3 11.6 13.4 18.3 11.1 12.1 9.6 8.4 9.3 10.6 8.4 9.6 10.9 10.1 14.8 9.1 10.8 10.2 13.6 14.9 16.0 13.2 20.0 13.3 10.4
第十五章 多元线性回归分析
(Multiple Linear Regression)
• Multiple linear regression • Choice of independent variable • Application
讲述内容
第一节 多元线性回归 第二节 自变量选择方法 第三节 多元线性回归的应用 及其注意事项
三、假设检验及其评价
（一）对回归方程 1. 方差分析法： 方差分析法： H0 : β1 = β2 =⋅⋅⋅ = βm = 0 ，
H1 : 各β j （j=1,2, ,m)不 为 0， ⋅⋅⋅ 全
α = 0.05
SS总 = SS回 + SS残
SS回 / m MS回 F= = SS残 （n − m −1) MS残 /
统 学 值 小 均 于 0.05， 明 3 和b4 有 计 意 说 b 义 而b 和b2 则 有 计 意 。 ， 没 统 学 义 1
lij = ∑ ( X i − X i )( X j − X j ) = ∑ X i X j − l jY = ∑ ( X j − X j )(Y − Y ) = ∑ X jY −
∑X ∑X
i
j
n
j
, i , j=1,2, ⋅⋅⋅,m j = 1, 2⋯ , m
∑ X ∑Y ,
n
ˆ Y = 5.9433+ 0.1424X1 + 0.3515X2 − 0.2706X3 + 0.6382X4
0.6129/1 11.9627 /1 F1 = = 0.152， F2 = = 2.962 88.8412 /(27 − 4 −1) 88.8412/(27 − 4 −1)
20.0635/1 F3 = = 4.968 88.8412 /(27 − 4 −1) 27.7939 /1 ， F4 = = 6.883 88.8412 /(27 − 4 −1)