第九章-多元相关与回归分析
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
▪ b0 ，b1，b2 ，，bp是参数
▪ μ 是被称为误差项的随机变量 ▪ y 是x1,，x2 ， ，xp 的线性函数加上误差项μ ▪ μ包含在y里面但不能被p个自变量的线性关系 所解释的变异性
多元回归模型 (基本假定)
1. 误差项μ是一个期望值为0的随机变量， 即E(μ)=0
• 对于自变量x1，x2，…，xp的所有值，μ 的方差 2都相同
i1
~F(p,np1)
yiyˆ2 np1
i1
3. 确定显著性水平和分子自由度p、分母自由度 4. n-p-1找出临界值F 4. 作出决策：若F>F ，拒绝H0
回归系数检验和推断
回归系数检验的必要性
回归方程显著，并不意味着每个解释变量对因 变量Y的影响都重要,因此需要进行检验：
回归方程显著
每个回归系数 都显著
• 误差项μ是一个服从正态分布的随机变量， 即μ-N(0,2)，且相互独立
多元回归方程 (multiple regression equation)
1. 描述因变量 y 的平均值或期望值如何依赖 于自变量 x1， x2 ，…，xp的方程
2. 多元线性回归方程的形式为
3.
E( y ) = b0+ b1 x1 + b2 x2 +…+ bp xp
学习目标
1. 回归模型、回归方程、估计的回归方程 2. 回归方程的拟合优度 3. 回归方程的显著性检验 4. 利用回归方程进行估计和预测 5. 非线性回归 6. 用 SPSS 进行回归分析
9.1 多元线性回归模型
9.1.1 多元回归模型与回归方程 9.1.2 估计的多元回归方程 9.1.3 参数的最小二乘估计
回归系数的推断
(置信区间)
回归系数在1- 置信水平下的置信区间为
bˆi t2(np1)sbˆi
回归系数的 抽样标准差
sbˆ1
sy
xi x2
回归系数的检验
(步骤)
1. 提出假设
– H0： bi = 0 (自变量 xi 与 因变量 y 没有线性关系) – H1： bi 0 (自变量 xi 与 因变量 y有线性关系)
2. 计算检验的统计量 t
t bˆi ~t(np1)
Sbˆi
3. 确定显著性水平，并进行决策
▪ t>t2，拒绝H0； t<t2，不能拒绝H0
多元回归模型与回归方程
多元回归模型
(multiple regression model)
1. 一个因变量与两个及两个以上自变量的回归
2. 描述因变量 y 如何依赖于自变量 x1 ， x2 ，…， xp
和误差项 μ 的方程，称为多元回归模型 3. 涉及 p 个自变量的多元回归模型可表示为
bb b b y01 x 1 2 x 2 p x p
▪ b1，b2，，bp称为偏回归系数 ▪ bi 表示假定其他变量不变，当 xi 每变
动一个单位时，y 的平均变动值
估计的多元回归方程
估计的多元回归的方程
(estimated multiple regression equation)
1. 用样本统计量 bˆ0,bˆ1,bˆ2, ,bˆp
估计回归方程中的 参数 b0,b1,b2, ,bp
修正的判定系数
• 在样本容量一定的条件下，不断向模型中 增加自变量，即使新增的变量与Y不相关， 模型的R2也可能上升，至少不会下降。
• 在实际应用中，研究人员更欢迎简单的模 型，这样的模型更简单和易于解释。如果 根据R2来选择模型，显然会倾向于复杂的 模型。
• 更常用的指标是“修正后的Ra2”。
修正多重判定系数 (adjusted multiple coefficient of
9.2 回归方程的拟合优度ห้องสมุดไป่ตู้
9.2.1 多重判定系数 9.2.2 估计标准误差
多重判定系数
多重判定系数
(multiple coefficient of
determination)
1. 回归平方和占总平方和的比例
2. 计算公式为
n
R2
yˆi
i1
y2
SSR1SSE
n
yi y2
SST
SST
i1
3. 因变量取值的变差中，能被估计的多元回 归方程所解释的比例
二者之间的差别是否显著
– 如果是显著的，因变量与自变量之间存在线性 关系
– 如果不显著，因变量与自变量之间不存在线性 关系
线性关系检验
1. 提出假设
– H0：b1b2bp=0 线性关系不显著 – H1：b1，b2，，bp至少有一个不等于0
2. 计算检验统计量F
n
FSSSnE SppR1n
yˆiy2 p
n
n
Q (bˆ0,bˆ1,bˆ2, ,bˆp) (yiy ˆ)2 ei2最小
i 1
i 1
2. 求解各回归参数的标准方程如下
Q
b
0
b0 bˆ0
0
Q
b
i
bi bˆi
0
(i 1,2,, p)
参数的最小二乘法
(例题分析)
【例】一家大型商业银行在多个地区设有分 行，为弄清楚不良贷款形成的原因，抽取 了该银行所属的25家分行2002年的有关业 务数据。试建立不良贷款y与贷款余额x1、 累计应收贷款x2、贷款项目个数x3和固定资 产投资额x4的线性回归方程，并解释各回 归系数的含义
bb b b 时得到的方程 y ˆ ˆ 0 ˆ 1 x 1 ˆ2 x 2 ˆp x p
2. 由最小二乘法求得
▪ bˆ0,bˆ1,bˆ2, ,bˆp是 b0,b1,b2, ,bp
估计值
▪ yˆ 是 y 的估计值
参数的最小二乘估计
参数的最小二乘法
1. 使因变量的观察值与估计值之间的离差平方和
达到最小来求得 bˆ0,bˆ1,bˆ2, ,bˆp。即
determination)
1. 用样本容量n和自变量的个数p去修正R2得到 2. 计算公式为
Ra2
11R2
n1 np1
3. 避免增加自变量而高估 R2 4. 意义与 R2类似 5. 数值小于R2
估计标准误差 Sy
1. 对误差项μ的标准差 的一个估计值 2. 衡量多元回归方程的拟合优度 3. 计算公式为
n
Sy
yi yˆi2
i1
np1
SSE MSE np1
9.3 显著性检验
9.3.1 线性关系检验 9.3.2 回归系数检验和推断
线性关系检验
线性关系检验
1. 检验因变量与所有自变量之间的线性关系是 否显著，也被称为总体的显著性检验
2. 检验方法是将回归离差平方和(SSR)同剩余离 差平方和(SSE)加以比较，应用 F 检验来分析
▪ μ 是被称为误差项的随机变量 ▪ y 是x1,，x2 ， ，xp 的线性函数加上误差项μ ▪ μ包含在y里面但不能被p个自变量的线性关系 所解释的变异性
多元回归模型 (基本假定)
1. 误差项μ是一个期望值为0的随机变量， 即E(μ)=0
• 对于自变量x1，x2，…，xp的所有值，μ 的方差 2都相同
i1
~F(p,np1)
yiyˆ2 np1
i1
3. 确定显著性水平和分子自由度p、分母自由度 4. n-p-1找出临界值F 4. 作出决策：若F>F ，拒绝H0
回归系数检验和推断
回归系数检验的必要性
回归方程显著，并不意味着每个解释变量对因 变量Y的影响都重要,因此需要进行检验：
回归方程显著
每个回归系数 都显著
• 误差项μ是一个服从正态分布的随机变量， 即μ-N(0,2)，且相互独立
多元回归方程 (multiple regression equation)
1. 描述因变量 y 的平均值或期望值如何依赖 于自变量 x1， x2 ，…，xp的方程
2. 多元线性回归方程的形式为
3.
E( y ) = b0+ b1 x1 + b2 x2 +…+ bp xp
学习目标
1. 回归模型、回归方程、估计的回归方程 2. 回归方程的拟合优度 3. 回归方程的显著性检验 4. 利用回归方程进行估计和预测 5. 非线性回归 6. 用 SPSS 进行回归分析
9.1 多元线性回归模型
9.1.1 多元回归模型与回归方程 9.1.2 估计的多元回归方程 9.1.3 参数的最小二乘估计
回归系数的推断
(置信区间)
回归系数在1- 置信水平下的置信区间为
bˆi t2(np1)sbˆi
回归系数的 抽样标准差
sbˆ1
sy
xi x2
回归系数的检验
(步骤)
1. 提出假设
– H0： bi = 0 (自变量 xi 与 因变量 y 没有线性关系) – H1： bi 0 (自变量 xi 与 因变量 y有线性关系)
2. 计算检验的统计量 t
t bˆi ~t(np1)
Sbˆi
3. 确定显著性水平，并进行决策
▪ t>t2，拒绝H0； t<t2，不能拒绝H0
多元回归模型与回归方程
多元回归模型
(multiple regression model)
1. 一个因变量与两个及两个以上自变量的回归
2. 描述因变量 y 如何依赖于自变量 x1 ， x2 ，…， xp
和误差项 μ 的方程，称为多元回归模型 3. 涉及 p 个自变量的多元回归模型可表示为
bb b b y01 x 1 2 x 2 p x p
▪ b1，b2，，bp称为偏回归系数 ▪ bi 表示假定其他变量不变，当 xi 每变
动一个单位时，y 的平均变动值
估计的多元回归方程
估计的多元回归的方程
(estimated multiple regression equation)
1. 用样本统计量 bˆ0,bˆ1,bˆ2, ,bˆp
估计回归方程中的 参数 b0,b1,b2, ,bp
修正的判定系数
• 在样本容量一定的条件下，不断向模型中 增加自变量，即使新增的变量与Y不相关， 模型的R2也可能上升，至少不会下降。
• 在实际应用中，研究人员更欢迎简单的模 型，这样的模型更简单和易于解释。如果 根据R2来选择模型，显然会倾向于复杂的 模型。
• 更常用的指标是“修正后的Ra2”。
修正多重判定系数 (adjusted multiple coefficient of
9.2 回归方程的拟合优度ห้องสมุดไป่ตู้
9.2.1 多重判定系数 9.2.2 估计标准误差
多重判定系数
多重判定系数
(multiple coefficient of
determination)
1. 回归平方和占总平方和的比例
2. 计算公式为
n
R2
yˆi
i1
y2
SSR1SSE
n
yi y2
SST
SST
i1
3. 因变量取值的变差中，能被估计的多元回 归方程所解释的比例
二者之间的差别是否显著
– 如果是显著的，因变量与自变量之间存在线性 关系
– 如果不显著，因变量与自变量之间不存在线性 关系
线性关系检验
1. 提出假设
– H0：b1b2bp=0 线性关系不显著 – H1：b1，b2，，bp至少有一个不等于0
2. 计算检验统计量F
n
FSSSnE SppR1n
yˆiy2 p
n
n
Q (bˆ0,bˆ1,bˆ2, ,bˆp) (yiy ˆ)2 ei2最小
i 1
i 1
2. 求解各回归参数的标准方程如下
Q
b
0
b0 bˆ0
0
Q
b
i
bi bˆi
0
(i 1,2,, p)
参数的最小二乘法
(例题分析)
【例】一家大型商业银行在多个地区设有分 行，为弄清楚不良贷款形成的原因，抽取 了该银行所属的25家分行2002年的有关业 务数据。试建立不良贷款y与贷款余额x1、 累计应收贷款x2、贷款项目个数x3和固定资 产投资额x4的线性回归方程，并解释各回 归系数的含义
bb b b 时得到的方程 y ˆ ˆ 0 ˆ 1 x 1 ˆ2 x 2 ˆp x p
2. 由最小二乘法求得
▪ bˆ0,bˆ1,bˆ2, ,bˆp是 b0,b1,b2, ,bp
估计值
▪ yˆ 是 y 的估计值
参数的最小二乘估计
参数的最小二乘法
1. 使因变量的观察值与估计值之间的离差平方和
达到最小来求得 bˆ0,bˆ1,bˆ2, ,bˆp。即
determination)
1. 用样本容量n和自变量的个数p去修正R2得到 2. 计算公式为
Ra2
11R2
n1 np1
3. 避免增加自变量而高估 R2 4. 意义与 R2类似 5. 数值小于R2
估计标准误差 Sy
1. 对误差项μ的标准差 的一个估计值 2. 衡量多元回归方程的拟合优度 3. 计算公式为
n
Sy
yi yˆi2
i1
np1
SSE MSE np1
9.3 显著性检验
9.3.1 线性关系检验 9.3.2 回归系数检验和推断
线性关系检验
线性关系检验
1. 检验因变量与所有自变量之间的线性关系是 否显著，也被称为总体的显著性检验
2. 检验方法是将回归离差平方和(SSR)同剩余离 差平方和(SSE)加以比较，应用 F 检验来分析