一元线性回归模型

§2.1.4 回归与因果关系


回归分析研究的一个变量对另一个变量的依 赖关系可以是一种因果关系，但也可能不是 因果关系。 统计关系本身不可能意味着任何因果关系

§2.1.5 回归与相关




回归分析和相关分析都是研究变量间关系的统计学 课题 两者的主要差别： ◇回归分析中需要区别自变量和因变量；相关分析 中则不需要区分 ◇相关分析中所涉及的变量y与x全是随机变量。而 回归分析中，因变量y是随机变量，自变量x 可以是 随机变量，也可以是非随机的确定变量 ◇相关分析的研究主要是为刻画两类变量间线性相 关的密切程度。而回归分析不仅可以揭示变量X对 变量y的影响大小，还可以由回归方程进行预测和 控制
第3章 一元线性回归模型
如在回归模型中斜率β 和截距α 的估计量
i i 2 i百度文库i i i
2、高斯-马尔可夫定理：如果回归模型(3.1)的 ˆ 和 ˆ 是关于β 和α 最 条件⑴~⑸成立，估计量 小方差的线性无偏估计。
x y x ˆ c y , 其中c x x 1 ˆ ˆ Y X d Y , 其中 d Xc N
Yi Xi i
(i 1,, N)
(3.1)
第3章 一元线性回归模型
如果回归模型满足： ⑴X与Y之间的关系是线性的； ⑵X是非随机变量，它的取值是确定的； (i 1,, N) ⑶误差项的期望为0； E(i ) 0 ⑷对于所有的观测值，误差项ε i具有相同的 方差；即 Var ( ) E(2 ) 2 (i 1,, N) i i ⑸随机变量ε i之间统计上是独立的。 ⑹误差项ε i服从正态分布N(0，σ 2)。(i 1,, N) 则 Y X 称为古典线性回归模型。
i
i i i
2 i
i
第3章 一元线性回归模型
ˆ 和 ˆ 的分布 3、估计量 因为它们都是Yi的线性组合，也服从正态分布。
ˆ ~ N(,
2
X 2 1 ˆ ~ N , ( ) 2 N xi
2
x
) 2
i
第3章 一元线性回归模型
此外还有两者的协方差
第3章 一元线性回归模型
由⑵ 和⑶，可以推出，误差项ε i与X不相关。 对因变量Y i来说，对应于误差项有： 随机变量Y i的期望值满足 E(Y ) X i i 随机变量Y i具有相同的方差； 随机变量Y i是相互独立。 (i 1,, N) §3.2 最佳线性无偏估计 1、线性估计量的定义 如果用随机变量Y i的线性表达式：k1Y1+…+kNYN作 为参数α 或β 的估计，它就称为该参数的线性估计 量。
第3章 一元线性回归模型
3、R2与相关系数 由拟合优度(也称判定系数)的定义
2 ˆ (Yi Y)
RSS R T SS
2
( Y Y)
i
2
ˆ2
( X X) (Y Y)
i i
2 2 rXY
2
ˆ X ) ( ˆ X) ˆ (X X) ˆ Y ( 因为 Y ˆ ˆ i i i 这样拟合优度就等于相关系数的平方。但拟合优度 不仅反映两个变量的相关性，而且还表明了两个变 量的因果关系。相关系数无法反映变量间的因果关 系，因此高相关并不能推断因果关系的存在。
当误差项的方差未知时，可用其样本方差代替：
X ˆ, ˆ) Cov( 2 xi
2
s
2
ˆ
2 i
4、例子(例3.1)
N2

2 ˆ ˆ X i ) (Yi
N2
第3章 一元线性回归模型
§3.3 参数假设检验、置信区间和回归系数检验 1、假设检验方法 有三种检验方法，第一种可以用置信区间法(计算 参数分布的置信区间不用原假设)，第二种是统计 量法，即根据原假设确定统计量，再算出统计量的 样本值，判断是否大于由显著性水平确定的临界值， 决定接受还是拒绝原假设。第三种p值法，是第二 方法的变化，由统计量的样本值获得对应的显著性 水平(通常计量软件提供，很便利)。 2、回归系数的检验 由于误差项的方差通常未知，用t统计量如斜率β
R

TSS
第3章 一元线性回归模型
R2也称为判定系数，它是一个描述性统计量， 通常认为R2的值高则回归直线拟合的好。值得 注意的是在截面数据的研究中，即使模型令人 满意，R2值仍可能很低，原因是各观测值之间 存在较大的变差。书中第46页的例3.5，公立 和私立学校的入学人数的回归模型说明了这一 点。与此不同的是在时间序列分析中，人们经 常会得到高的R2值，这是因为随着时间增长的 变量都有可能很好地解释另一个随时间增长的 变量。
t N2
第3章 一元线性回归模型 2 ˆ ( ) / s ˆ , 其中s ˆ s / x
0 i
对截距α 可类似处理。s2是回归方程的残差 平方和除以N-2(误差项的样本方差)。 ˆ t sˆ 例3.1(续)，参数β 置信区间 c §3.4 方差分析和相关性 1、离差平方和的分解
第3章 一元线性回归模型
§3.1 模型 在第1章中介绍了最小二乘法(LS)，是一种用 曲线拟合数据的方法。下面还要进一步讨论 回归模型的定义以及相关的概率性质。 1、一元线性回归模型的定义 对于给定的X(自变量)的观测值，可以观测到 Y(因变量)的多个可能值(差异反映在误差项 ε 上)。可用模型表示为
2 2 ˆ ˆ (Yi Y) (Yi Yi ) (Yi Y) 2
第3章 一元线性回归模型
2、拟合优度R2 在上式中左边项称为总变差(与因变量Y的样本方差 相对应)，记为TSS；右边第一项称为回归方程的残 差平方和，记为ESS；右边第二项称为回归平方和 (是回归项的变差，与回归项的样本方差相对应)。 记为RTT。上面的分解式就变为：TSS=ESS+RSS 这里实际上是用残差平方和、回归平方和来解释总 变差。回归平方和能够解释总变差的成份越大，回 归方程拟合曲线的程度就越高，为此引入拟合优度 这一指标： RSS 2