最小二乘估计

对a, b1和 b2求偏导数，并令其等于零后，解方程则可 得：
二元线性回归

公式中：
二元线性回归

相应的剩余标准差:

其中:
例题

我国1988–1998 年的城镇居民人均全年耐用消费品支出、人均全年可 支配收入和耐用消费品价格指数的统计资料如下表所示。试建立城镇 居民人均全年耐用消费品支出关于可支配收入X1和耐用消费品价格指 数X2的回归模型，并进行回归分析。

已知一组实验数据如表所示。
试求最小二乘拟合曲线。 解: 可设拟合曲线为y=a+bx
例题
用最小二乘原理，代入公式得：b=1.02;a=-1.1 所以拟合曲线为y=-1.1+1.02x
原理-二元线性回归

已知函数形式为:

式中，均为独立变量，故是二元线性回归。 若有实验数据：
二元线性回归

对应的y值是 y= y1,y2,…….yn。与一元线性回归讨论方 ቤተ መጻሕፍቲ ባይዱ类似，求出总偏差：





勒让德创立最小二乘法 随机误差的早期研究：伽利略、辛普森 高斯和最小二乘法 正如美国统计学家斯蒂格勒所说，“最小二乘法之于数理 统计学犹如微积分之于数学””。
原理


在研究两个变量之间的关系时，可以用回归分析的方 法进行分析。当确定了描述两个变量之间的回归模型 后，就可以使用最小二乘法估计模型中的参数，进而 建立经验方程。 在现实世界中，这样的情形大量存在着：两个变量X 和Y（比如身高和体重）彼此有一些依赖关系，由X可 以部分地决定Y的值，但这种关系又是不确定的。人们 常常借助统计学中的回归模型来寻找两个变量之间的 关系。

一元线性回归

首先，求偏差平方和，得： 2 n n φ= vi 2 yi a bxi

i 1 i 1 φ是a, b的函数。按最小二乘法，当a, b选择合适，能使 φ为最小时，y=a+bx才是最佳曲线。 对a和b分别求出偏导数。得：
vi i 1 a n vi 2 i 1 b
最小二乘法
报告人：刘真
历史简介


1801年，意大利天文学家朱赛普· 皮亚齐发现了第一颗 小行星谷神星。 时年24岁的高斯根据皮亚齐的观测资料，利用他自己 建立的行星轨道计算理论，成功计算出了谷神星的轨 道。 1801年12月31日夜，德国天文爱好者海因里希· 奥尔伯 斯根据高斯计算出来的轨道重新发现了谷神星。 高斯使用的最小二乘法的方法发表于1809年他的著作 《天体运动论》中。
一元线性回归
一元线性回归

由于实验数据总是存在着误差，所以，把各组数据代入(1) 式中，两边并不相等。相应的作图时，数据点也并不能准 确地落在公式对应的直线上，如图所示。第i个数据点与直 线的偏差为
vi yi xi
2

2
如果测量时，使x较之y的偏差很小，以致可以忽略（即Δxi 很小 ）时，我们可以认为x的测量是准确的，而数据的偏 差，主要是y的偏差，因而有：
sxy b
sxx a y bx
一元线性回归

公式中：
sxy
xx
x s x x x n
i
2
x y xy
i i i i 2 i
n
n
i

对a, b求二阶偏导数为：
vi 2 2n 2 a vi 2 2 xi 2 2 b vi 2 2 xi ab
原理-一元线性回归

已知函数为线性关系，其形式为： y=a+bx (1) 式中a, b为要用实验数据确定的常数。此类方程叫线性 回归方程，方程中的待定常数a, b叫线性回归系数。 由实验测得的数据是 x= x1, x2,………. xn 时， 对应的y值是y= y1,y2,…….yn

在多元回归中残差向量为：

残差平方和为：
多元线性回归

多元回归系数的估计表达式：

多元回归模型残差的样本方差：

也可得到多元判定系数R2：
原理-非线性回归

设由实验获得了两个变量x,y的一组数据(xi, yi),且由数据点 在x，y坐标中的分布规律可以判断出两个变量间成非线性 关系。用一条曲线（数学关系式）最佳地代替数据点的分 布规律方法： （1）根据数据点的分布尽可能准确地绘出一条曲线，并和 已有确切数学表示式的曲线相比较，寻找合适的数学关系 式。 （2）进行变量替换，将 化，在 使非线性关系线性
=20.2925
原理-多元线性回归

（ t=1,2,3….T）
对y产生影响的解释变量共有k-1（x2t,x3t…,xkt）个，系数
（β1’β2’…..βk）分别衡量了解释变量对因变量y的边际影响的 程度。
方程的矩阵形式为：
（y是T×1矩阵，X是T×k矩阵，β是k×1矩阵，u是T×1矩 阵）
多元线性回归
2


n
2 yi a bxi 4 2 yi a bxi xi
一元线性回归


令上式等于零，得： n n yi na b xi 0 i 1 i 1 5 n n n yixi a xi b xi 2 0 i 1 i 1 i 1 解方程，得：
-1715年，天文学家罗杰柯茨所发论文中所蕴含统计方法 -1749年，欧拉在研究木星和土星之间相互吸引力作用对各自轨道影响 -1750年，天文学家梅耶通过对月球表面上某定点的观测，得到一个含3个未知数27 个方程的线性方程组 -1787年，拉普拉斯在研究天文学时，得到一个含4个未知数24个方程的线性方程组
2 2
2
一元线性回归

2
a b ab 2 2 4 n xi xi
2 2
v
i
2


2
v
i
2
(

2
v
i
2
)
2

4 xi xi n
2


2

4n xi x 0
2
所以前述求出的a, b可使φ为极小值。因而由a, b所确 定的曲线y=a+bx就是用最小二乘法拟合的最佳曲线。
2
R
sxy sxxsyy
回归方程的精度和相关系数

R称为相关系数。其值可正可负，一般有：
0 R 1

当 R 1时， s 减小，数据点越靠近最佳值两旁。 两变量间的关系线性相关，可以认为是线性关系， 最佳直线所反应的函数关系也越接近两变量间的 客观关系，同时还说明了测量的精密度高。
例题
例题

解：根据经济理论和对实际情况的分析可以知道，城 镇居民人均全年耐用消费品支出Y依赖于可支配收入 X1和耐用消费品价格指数X2的变化，因此我们设定回 归模型为
例题

将上述结果代入公式：a=158.5442;b1=0.0494;b2=0.9117 最后，得估计的回归方程 计算回归估计标准误差：


数据点的分布应是线性分布，可用
反映分布规律。
例
根据数据分布情况，可以选用双曲线作为拟合曲线
线性化： 得：
例
Thank you!
vi yi yi a bxi
一元线性回归

我们的目的是根据数据点确定回归常数a和b，并且希 望确定的a和b能使数据点尽量靠近直线，也就是使v尽 量的小。由于偏差v大小不一，有正有负，所以实际上 只能希望总的偏差（vi2）最小。 按照最小二乘法，最好地拟合于各数据点的最佳曲线 应使各数据点与曲线偏差的平方和为最小。
回归方程的精度和相关系数

为了估计回归方程的精度，进一步计算数据点 xi, yi 偏 离最佳直线y=a+bx的大小，所以计算剩余标准差 s ， 它反映着回归方程与各数据点的拟合程度。
s

vi n2
2

(1R ) syy n2
2
其中：
( yi ) 2 syy yi n
历史简介

法国科学家勒让德于1806年独立发现“最小二乘法”， 但因不为世人所知而默默无闻。 勒让德曾与高斯为谁最早创立最小二乘法原理发生争 执。 1829年，高斯提供了最小二乘法的优化效果强于其他 方法的证明，因此被称为高斯-莫卡夫定理。
PK
系统发育过程



最小二乘法是提供“观测组合”的主要工具之一，它依据 对某事件的大量观测而获得“最佳”结果或“最可能”表 现形式。 先驱者的相关研究