参数的最小二乘法估计
一元线性回归模型的基本假设二、参数的普通最小二乘估计（OLS）
§2.2一元线性回归模型的参数估计一、一元线性回归模型的基本假设二、参数的普通最小二乘估计（OLS）三、参数估计的最大或然法(ML)四、最小二乘估计量的性质五、参数估计量的概率分布及随机干扰项方差的估计单方程计量经济学模型分为两大类：线性模型和非线性模型•线性模型中，变量之间的关系呈线性关系•非线性模型中，变量之间的关系呈非线性关系一元线性回归模型：只有一个解释变量i i i X Y μββ++=10i=1,2,…,nY 为被解释变量，X 为解释变量，β0与β1为待估参数，μ为随机干扰项回归分析的主要目的是要通过样本回归函数（模型）SRF尽可能准确地估计总体回归函数（模型）PRF。
估计方法有多种，其中最广泛使用的是普通最小二乘法（ordinary least squares,OLS）。
为保证参数估计量具有良好的性质，通常对模型提出若干基本假设。
注：实际这些假设与所采用的估计方法紧密相关。
一、线性回归模型的基本假设假设1、解释变量X是确定性变量，不是随机变量；假设2、随机误差项μ具有零均值、同方差和不序列相关性：E(μi)=0i=1,2,…,nVar(μi)=σμ2i=1,2,…,nCov(μi,μj)=0i≠j i,j=1,2,…,n假设3、随机误差项μ与解释变量X之间不相关：Cov(X i,μi)=0i=1,2,…,n假设4、μ服从零均值、同方差、零协方差的正态分布μi~N(0,σμ2)i=1,2,…,n注意：1、如果假设1、2满足，则假设3也满足;2、如果假设4满足，则假设2也满足。
以上假设也称为线性回归模型的经典假设或高斯（Gauss）假设，满足该假设的线性回归模型，也称为经典线性回归模型（Classical Linear Regression Model,CLRM）。
二、参数的普通最小二乘估计（OLS）给定一组样本观测值（X i ,Y i ）（i=1,2,…n ）要求样本回归函数尽可能好地拟合这组值.普通最小二乘法（Ordinary least squares,OLS ）给出的判断标准是：二者之差的平方和∑∑+-=-=ni i i n i X Y Y Y Q 121021))ˆˆ(()ˆ(ββ最小。
一元线性回归模型及参数的最小二乘估计课件-高二数学人教A版(2019)选择性必修第三册
§8.2 一元线性回归模型及其应用 第1课时 一元线性回归模型及参数的最小二乘估计
1 一元线性回归模型 2 最小二乘法和
经验回归方程
3 利用经验回归方程
进行预测
01 一元线性回归模型
知识梳理
一元线性回归模型：我们称
Y＝bx＋a＋e， Ee＝0，De＝σ2
为Y关于x的_一__元__线__性__回__归_
8
∑i＝1xiyi－8 x b^ ＝ 8
∑i＝1x2i －8 x
y
2
＝132245－6－8×8×52×25982＝14，
所以a^ ＝ y －b^ x ＝98－14×52＝12，故经验回归方程为y^＝14x＋12.
(2)若该次考试数学平均分为120分，物理平均分为91.5分，试由(1)的结 论预测数学成绩为128分的同学的物理成绩.
n
(xi－ x )2
n
x2i －n x 2
i＝1
i＝1
由题意可得 x ＝15×(1＋1.5＋2＋2.5＋3)＝2， y ＝15×(0.9＋0.7＋0.5＋0.3＋0.2)＝0.52.
5
(xi－ x )(yi－ y )＝－1×0.38－0.5×0.18＋0.5×(－0.22)＋1×(－0.32)
i＝1
(1)(2)(3)(4)(5)回归模型，(6)(7)函数模型.
练1习1 若某地财政收入x与支出y满足一元线性回归模型y＝bx＋a＋e(单
位：亿元)，其中b＝0.7，a＝3，|e|≤0.5，如果今年该地区财政收入10亿
元，年支出预计不会超过
A.9亿元 C.10亿元
一元线性回归模型参数的最小二乘法估计
8.2.1一元线性回归模型1.生活经验告诉我们,儿子的身高与父亲的身高相关.一般来说,父亲的身高较高时，儿子的身高通常也较高.为了进一步研究两者之间的关系，有人调查了14名男大学生的身高及其父亲的身高，得到的数据如表1所示.编号1234567891011121314父亲身高/cm 174 170 173 169 182 172 180 172 168 166 182 173 164 180 儿子身高/cm 176 176 170 170 185 176 178 174 170 168 178 172 165 182从图上看，散点大致分布在一条直线附近根据我们学过的整理数据的方法:相关系数r =0.886．父亲身高/cm180 175 170 165 160160 165 170 175180 185 190 ·· ·· · · · 儿子身高/cm· · · · ·185 1).问题1:可以得到什么结论？由散点图的分布趋势表明儿子的身高与父亲的身高线性相关，通过相关系数可知儿子的身高与父亲的身高正线性相关，且相关程度较高．2).问题2:是否可以用函数模型来刻画？不能，因为不符合函数的定义.这其中还受其它因素的影响.3).问题3:那么影响儿子身高的其他因素是什么？影响儿子身高的因素除父亲的身外,还有母亲的身高、生活的环境、饮食习惯、营养水平、体育锻炼等随机的因素，儿子身高是父亲身高的函数的原因是存在这些随机的因素.4).问题4: 你能否考虑到这些随机因素的作用，用类似于函数的表达式,表示儿子身高与父亲身高的关系吗?用x表示父亲身高，Y表示儿子的身高,用e表示各种其它随机因素影响之和，称e为随机误差, 由于儿子身高与父亲身高线性相关，所以Y=bx+a.考虑随机误差后，儿子的身高可以表示为：Y=bx+a+e由于随机误差表示大量已知和未知的各种影响之和，它们会相互抵消，为使问题简洁，可假设随机误差e的均值为0，方差为与父亲身高无关的定值 . 2σ2即E e D eσ:()0,().==我们称①式为Y 关于x 的一元线性回归模型，其中，Y 称为因变量或响应变量，x 称为自变量或解释变量 . a 称为截距参数，b 称为斜率参数；e 是Y 与bx+a 之间的随机误差．2,()0,().Y bx a e E e D e σ=++⎧⎨==⎩① 2、一元线性回归模型如果用x 表示父亲身高，Y 表示儿子的身高,e 表示随机误差.假定随机误差e 的均值为0，方差为与父亲身高无关的定值 ，则它们之间的关系可以表示为2σ4.问题5:你能结合具体实例解释产生模型①中随机误差项的原因吗?产生随机误差e的原因有：(1)除父亲身高外，其他可能影响儿子身高的因素,比如母亲身高、生活环境、饮食习惯和锻炼时间等.(2)在测量儿子身高时，由于测量工具、测量精度所产生的测量误差.(3)实际问题中,我们不知道儿子身高和父亲身高的相关关系是什么，可以利用一元线性回归模型来近似这种关系,这种近似关系也是产生随机误差e的原因.8.2.2一元线性回归模型参数的最小二乘法估计二、自主探究问题1.为了研究两个变量之间的相关关系， 我们建立了一元线性回归模型表达式 刻画的是变量Y 与变量x 之间的线性相关关系，其中参数a 和b 未知，我们如何通过样本数据估计参数a 和b?2,()0,().Y bx a e E e D e σ=++⎧⎨==⎩问题2.我们怎样寻找一条“最好”的直线，使得表示成对样本数据的这些散点在整体上与这条直线最“接近”？从成对样本数据出发，用数学的方法刻画“从整体上看，各散点与蓝色直线最接近”利用点到直线y=bx+a 的“距离”来刻画散点与该直线的接近程度，然后用所有“距离”之和刻画所有样本观测数据与该直线的接近程度.父亲身高/cm180 175 170 165 160160 165 170 175180 185 190 ·· ·· · · · 儿子身高/cm· · · · ·185 父亲身高/cm180 175 170 165 160160 165 170 175 180 185 190·· ·· · · · 儿子身高/cm· · · · ·185设满足一元线性回归模型的两个变量的n 对样本数据为(x 1,y 1)，(x 2，y 2），…，(x n ，y n )父亲身高/cm180 175170165 160160165 170 175 180 185 190·· · · · · · 儿子身高/cm· ·· · · 185()()(1,2,3,,-).i i i i i i i i i i i y bx a e i n y bx a e e x y x bx a =++=⋅⋅⋅+=+由），得(显然越小，表示点，与点，的距离越小，()0,.i i i x y =即样本数据点离直线y=bx+a 的竖直距离越小，如上图特别地，当e 时，表示点在这条直线上1-)ni i i y bx a =+∑因此可用(来刻画各样本观测数据与直线y=bx+a 的整体接近程度.()iix y ，y=bx+a()i i x bx a +，·[]21(,)()ni i i Q a b y bx a ==-+∑残差平方和： 即求a ，b 的值，使Q ( a ，b )最小残差：实际值与估计值之间的差值，即 使Q 取得最小值，当且仅当b 的取值为121()()()nii i nii xx y y b xx ==--=-∑∑b.,ˆ,ˆ的最小二乘估计叫做求得a b a b(,).x y 经验回顾直线必经过的符号相同与相关系数r b ˆ最小二乘法我们将 称为Y 关于x 的经验回归方程，也称经验回归函数或经验回归公式，其图形称为经验回归直线，这种求经验回归方程的方法叫最小二乘法．ˆˆˆy bxa =+12111=i ni n22i ni n x x y y ˆb ,x x ˆˆa x y x y x xy b .i i i i i i ΣΣx )n ΣΣ(()()n ====⎧--⎪=⎪⎨-⎪⎪--=⎩-问题2:依据用最小二乘估计一元线性回归模型参数的公式,求出儿子身高Y 关于父亲身高x 的经验回归方程.儿子的身高不一定会是177cm ，这是因为还有其他影响儿子身高的因素，回归模型中的随机误差清楚地表达了这种影响,父亲的身高不能完全决定儿子的身高，不过，我们可以作出推测，当父亲的身高为176cm 时，儿子身高一般在177cm 左右.当x=176时， ,如果一位父亲身高为176cm,他儿子长大后身高一定能长到177cm 吗？为什么？177y ≈083928957ˆy .x .=+的意义？∧b残差的定义,e a bx Y ++=一元线性回归模型,,Y y 对于通过观测得响应到的数据称量为变观测值ˆ,y通过经验回归方程得到称为预报值的ˆ.ˆey y =-残观测值减去预报值称为即差判断模型拟合的效果:残差分析问题3:儿子身高与父亲身高的关系，运用残差分析所得的一元线性回归模型的有效性吗？残差图:作图时纵坐标为残差,横坐标可以选为样本编号,或身高数据或体重估计值等，这样作出的图形称为残差图．从上面的残差图可以看出，残差有正有负，残差点比较均匀地分布在横轴的两边，可以判断样本数据基本满足一元线性回归模型对于随机误差的假设.所以，通过观察残差图可以直观判断样本数据是否满足一元线性回归模型的假设，从而判断回归模型拟合的有效性.所以，只有图(4）满足一元线性回归模型对随机误差的假设图(1)显示残差与观测时间有线性关系,应将时间变量纳入模型； 图(2)显示残差与观测时间有非线性关系,应在模型中加入时间的非线性函数部分; 图(3)说明残差的方差不是一个常数，随观测时间变大而变大图(4)的残差比较均匀地集中在以横轴为对称轴的水平带状区域内.根据一元线性回归模型中对随机误差的假定，残差应是均值为0，方差为 的随机变量的观测值.2σ观察以下四幅残差图，你认为哪一个残差满足一元线性回归模型中对随机误差的假定？1.残差等于观测值减预测值2.残差的平方和越小越好；3.原始数据中的可疑数据往往是残差绝对值过大的数据；4. 对数据刻画效果比较好的残差图特征:残差点比较均匀的集中在水平带状区域内．归纳小结（残差图中带状越窄，精度越高）1.关于残差图的描述错误的是( )A.残差图的横坐标可以是样本编号B.残差图的横坐标也可以是解释变量或预报变量C.残差点分布的带状区域的宽度越窄相关指数越小D.残差点分布的带状区域的宽度越窄残差平方和越小C 三、巩固提升2.根据如下样本数据:得到的经验回归方程为 ,则( ) A. >0, >0B. >0, <0C. <0, >0D. <0, <0 x 2 3 4 5 6 Y42.5-0.5-2-3a $a $a $a$$b $b$b$b $$ybx a =+$ B3.某种产品的广告支出费用x(单位:万元)与销售额Y(单位:万元)的数据如表:已知Y 关于x 的经验回归方程为 =6.5x+17.5,则当广告支 出费用为5万元时,残差为________. x 2 4 5 6 8Y 30 40 60 50 70$y当x=5时, =6.5×5+17.5=50,表格中对应y=60,于是残差为60-50=10.$y10一元线性回归模型的应用例1.经验表明,对于同一树种,一般树的胸径(树的主干在地面以上1.3m处的直径)越大,树就越高.由于测量树高比测量胸径困难，因此研究人员希望由胸径预测树高.在研究树高与胸径之间的关系时,某林场收集了某种树的一些数据如下表所示,试根据这些数据建立树高关于胸径的经验回归方程.编号 1 2 3 4 5 6胸径/cm 18.1 20.1 22.2 24.4 26.0 28.3树高/m 18.8 19.2 21.0 21.0 22.1 22.1编号7 8 9 10 11 12胸径/cm 29.6 32.4 33.7 35.7 38.3 40.2树高/m 22.4 22.6 23.0 24.3 23.9 24.7dh· · ·· · · · · · · · · 解: 以胸径为横坐标,树高为纵坐标作散点图如下：散点大致分布在一条从左下角到右上角的直线附近，表明两个变量线性相关，并且是正相关，因此可以用一元线性回归模型刻画树高与胸径之间的关系.0.249314.84h d =+··· ·· · · · · · · · 用d 表示胸径,h 表示树高,根据据最小二乘法,计算可得经验回归方程为0.249314.84h d =+根据经验回归方程，由胸径的数据可以计算出树高的预测值(精确到0.1)以及相应的残差，如下表所示.编号胸径/cm 树高观测值/m 树高预测值/m 残差/m1 18.1 18.8 19.4 -0.62 20.1 19.2 19.9 -0.73 22.2 21.0 20.4 0.64 24.4 21.0 20.9 0.15 26.0 22.1 21.3 0.86 28.3 22.1 21.9 0.27 29.6 22.4 22.2 0.28 32.4 22.6 22.9 -0.39 33.7 23.0 23.2 -0.210 35.7 24.3 23.7 0.611 38.3 23.9 24.4 -0.512 40.2 24.7 24.9 -0.2以胸径为横坐标，残差为纵坐标，作残差图，得到下图.30252015-1.0-0.5 0.0 0.5 1.0· · · · · · · 残差/m· · · ·· 354045胸径/cm观察残差表和残差图，可以看到残差的绝对值最大是0.8，所有残差分布在以横轴为对称轴、宽度小于2的带状区域内 .可见经验回归方程较好地刻画了树高与胸径的关系，我们可以根据经验回归方程由胸径预测树高.编号1 2 3 4 5 6 7 8 年份 1896 1912 1921 1930 1936 1956 1960 1968 记录/s 11.8010.6010.4010.3010.2010.1010.009.95例2.人们常将男子短跑100m 的高水平运动员称为“百米飞人”.下表给出了1968年之前男子短跑100m 世界纪录产生的年份和世界纪录的数据.试依据这些成对数据，建立男子短跑100m 世界纪录关于纪录产生年份的经验回归方程以成对数据中的世界纪录产生年份为横坐标,世界纪录为纵坐标作散点图,得到下图在左图中，散点看上去大致分布在一条直线附近，似乎可用一元线性回归模型建立经验回归方程.将经验回归直线叠加到散点图，得到下图：76913031.4902033743.0ˆ1+-=t y用Y 表示男子短跑100m 的世界纪录,t 表示纪录产生的年份 ,利用一元线性回归模型来刻画世界纪录和世界纪录产生年份之间的关系 . 根据最小二乘法,由表中的数据得到经验回归方程为：从图中可以看到，经验回归方程较好地刻画了散点的变化趋势，请再仔细观察图形，你能看出其中存在的问题吗?你能对模型进行修改,以使其更好地反映散点的分布特征吗？仔细观察右图，可以发现散点更趋向于落在中间下凸且递减的某条曲线附近.回顾已有的函数知识，可以发现函数y=-lnx的图象具有类似的形状特征注意到100m短跑的第一个世界纪录产生于1896年, 因此可以认为散点是集中在曲线y=f(t)=c1+c2ln(t-1895)的周围，其中c1、c2为未知参数，且c2<0.y=f(t)=c1+c2ln(t-1895)这是一个非线性经验回归函数，如何利用成对数据估计参数c1、c2令x=ln(t-1895)，则Y=c2x+c1对数据进行变化可得下表：编号 1 2 3 4 5 6 7 8 年份/t 1896 1912 1921 1930 1936 1956 1960 1968 x 0.00 2.83 3.26 3.56 3.71 4.11 4.17 4.29 记录/s 11.80 10.60 10.40 10.30 10.20 10.10 10.00 9.95将x=ln(t-1895)代入：得 8012653.114264398.0ˆ2+-=x y上图表明,经验回归方程对于成对数据具有非常好的拟合精度.将经验回归直线叠加到散点图，得到下图： 8012653.114264398.0ˆ2+-=x y8012653.11)1895ln(4264398.0ˆ2+--=t y经验回归方程为对于通过创纪录时间预报世界纪录的问题，我们建立了两个回归模型，得到了两个回归方程，你能判断哪个回归方程拟合的精度更好吗？8012653.114264398.0ˆ2+-=x y① 2ˆ0.4264398ln(1895)11.8012653y t =--+② 我们发现，散点图中各散点都非常靠近②的图象， 表明非线性经验回归方程②对于原始数据的拟合效果远远好于经验回归方程①.(1).直接观察法.在同一坐标系中画出成对数据散点图、非线性经验回归方程②的图象(蓝色)以及经验回归方程①的图象(红色).28212811ˆ,ˆQ Q (()0.004)0.669i i i i eu ===≈=≈∑∑8012653.114264398.0ˆ2+-=x y① 2ˆ0.4264398ln(1895)11.8012653yt =--+②（2).残差分析:残差平方和越小,模型拟合效果越好.Q 2明显小于Q 1，说明非线性回归方程的拟合效果 要优于线性回归方程.R 2越大，表示残差平方和越小，即模型的拟合效果越好 R 2越小，表示残差平方和越大，即模型的拟合效果越差. 21212ˆ()11()n i i nii i y y y y R ==-=-=--∑∑残差平方和。
stata中最小二乘法
stata中最小二乘法最小二乘法（Ordinary Least Squares, OLS）是一种常见的回归分析方法，用于估计线性回归模型的参数。
该方法通过最小化观测值与模型预测值之间的残差平方和来找到最佳的模型参数估计值。
在接下来的内容中，我们将详细介绍最小二乘法的原理、应用、计算方法以及在Stata软件中的实际操作。
最小二乘法的原理最小二乘法的原理基于残差平方和的最小化。
在一个线性回归模型中，我们假设因变量Y与自变量X之间存在线性关系，即Y = βX + ε，其中β是系数，ε是误差项。
最小二乘法的目标是找到最佳的β估计值，使得实际观测值与模型预测值之间的残差平方和最小化。
具体来说，最小二乘法通过求解以下最小化问题来得到β的估计值：min Σ(yi - βxi)²其中，yi是第i个观测值的因变量取值，xi是第i个观测值的自变量取值。
通过对上述问题进行求导，可以得到最小二乘法的估计公式：β = (Σ(xi - x̄)(yi - ȳ)) / (Σ(xi - x̄)²)其中，x̄和ȳ分别是自变量X和因变量Y的均值。
上述公式即为最小二乘法的估计公式，用于估计线性回归模型的系数。
最小二乘法的应用最小二乘法在统计学和经济学中被广泛应用于线性回归模型的参数估计。
例如，我们可以使用最小二乘法来估计收入与消费之间的关系、股票价格与市盈率之间的关系、甚至是生产成本与产量之间的关系。
通过最小二乘法，我们可以得到线性回归模型的系数估计值，从而确定自变量对因变量的影响程度。
此外，最小二乘法也常用于时间序列分析和面板数据分析中。
在时间序列分析中，我们可以使用最小二乘法来估计变量随时间变化的趋势和季节性影响；在面板数据分析中，最小二乘法可以用来估计不同个体或单位之间的差异和影响因素。
最小二乘法的计算方法在实际应用中，最小二乘法的计算通常通过矩阵运算来进行。
对于简单的一元线性回归模型，最小二乘法的计算比较简单，只需要计算自变量X和因变量Y的均值，然后代入上述的估计公式即可得到系数的估计值。
最小二乘法估计
机器学习领域应用
线性回归模型
在机器学习中，最小二乘法是线性回归模型的核心算法之一。通过最小化预测值与实际值之间的平方误差，可以 训练出预测精度较高的线性回归模型。
特征选择
最小二乘法也可以用于特征选择，通过计算特征的系数大小，可以判断哪些特征对模型的预测结果影响较大，从 而进行特征筛选和优化。
06 最小二乘法的未来发展与 研究方向
用于研究社会现象和人类行为 ，如市场调查、人口统计等。
最小二乘法的历史与发展
历史
最小二乘法最早由法国数学家勒让德 于1805年提出，并广泛应用于天文、 物理和工程领域。
发展
随着计算机技术的进步，最小二乘法 在数据处理和统计分析方面得到了广 泛应用和改进，出现了多种扩展和变 种，如加权最小二乘法、广义最小二 乘法等。
加权最小二乘法（WLS）
总结词
详细描述
加权最小二乘法是一种改进的线性回 归分析方法，通过给不同观测值赋予 不同的权重来调整误差的平方和。
加权最小二乘法（Weighted Least Squares，WLS）是对普通最小二乘法 的改进，通过给不同观测值赋予不同 的权重来调整误差的平方和。这种方 法适用于存在异方差性的数据，即误 差项的方差不恒定的情况。通过合理 地设置权重，WLS能够更好地拟合数 据并提高估计的准确性。
广泛的应用领域
最小二乘法适用于多种统计模型 和回归分析，是线性回归分析中 最常用的方法之一。
缺点
假设限制
01
最小二乘法要求数据满足线性关系和误差项独立同分布等假设，
这些假设在实际应用中可能难以满足。
对异常值敏感
02
虽然最小二乘法相对稳健，但仍然容易受到异常值的影响，可
能导致估计结果偏离真实值。
参数率定方法包括最小二乘法、最大似然法、遗传算法、贝叶斯
参数率定方法包括最小二乘法、最大似然法、遗传算法、贝叶斯参数率定是许多实际问题中不可或缺的一步，它通过调整模型参数以使模型结果与实际观测值尽可能一致。
常用的参数率定方法包括最小二乘法、最大似然法、遗传算法和贝叶斯方法。
最小二乘法是参数率定中最常见的方法之一。
它通过最小化观测值与模型预测值之间的残差平方和来确定最优参数。
具体而言，最小二乘法将观测值与模型预测值的差值进行平方，并对所有观测值求和，最终得到的结果越小越好。
这种方法在估计线性回归模型中广泛应用，它能够快速计算出参数的近似解，但对异常值相对敏感。
最大似然法是另一种常用的参数率定方法，尤其适用于具有随机误差的模型。
该方法的核心思想是选择能使观测值出现的概率最大化的参数值。
在实际操作中，最大似然法通常需要先假设一个数据分布，然后通过最大化似然函数来求解参数。
相对于最小二乘法，最大似然法能够更好地处理非线性问题和异常值。
遗传算法是一种模拟自然进化过程的优化算法，在参数率定中也得到了广泛应用。
遗传算法通过模拟生物进化中的选择、交叉和变异等过程，从一组初始参数中搜索到最优解。
它通过适应度函数来评估每个参数组合的优劣，并根据一定的选择规则进行参数选择和交叉变异操作。
遗传算法在搜索空间较大、问题复杂的参数率定问题中具有较强的鲁棒性和全局寻优能力。
贝叶斯方法是一种基于概率统计的参数率定方法，它结合了观测数据和先验信息，并通过贝叶斯公式计算参数的后验概率分布。
贝叶斯方法将参数视为随机变量，通过考虑不确定性和先验知识，得到更合理和准确的参数估计。
该方法在参数估计精度、模型预测和不确定性分析等方面具有优势，但计算复杂度较高。
综上所述，参数率定方法包括最小二乘法、最大似然法、遗传算法和贝叶斯方法。
这些方法各有特点，适用于不同类型的参数率定问题。
在实际应用中，我们需要根据具体情况选择合适的方法，并结合实际问题进行参数率定，以得到准确和可靠的模型参数。
参数最小二乘估计量的统计性质
ˆ
பைடு நூலகம்
(1 n
x
ki)
yi
(1 n
x
ki)(
xi
ui)
(
1 n
x
k i) ui
(2.3.7)
(2.3.7)表明 ˆ 是ui的线性函数。
二、无偏性
由(2.3.3)知 ˆ ki ui ，取期望值便有
E(ˆ ) ki E(ui)
(2.3.8)
其中E(ui) = 0，(2.3.8)表明 ˆ 是β的无偏估计量。
此时 ˆ* 与最小二乘估计量 ˆ 相等：
ˆ* ci yi ciki ki yi ˆ (2.3.15)
将此结果代入(2.3.14)便有
V (ˆ*)
2 u
k
2 i
2 u
xi2
此结果与(2.3.10)式相同。
(2.3.16)
对于ˆ 的最小方差性的证明与 ˆ 的证明完全类
似，请读者自己完成。
这样我们证明了，只要经典回归模型的假定2—5 满足，回归参数的最小二乘估计量就是线性、无 偏、最佳估计量，简称为最佳线性无偏估计量 (BLUE: best linear unbiased estimators)。这一 结论就是著名的高斯-马尔可夫 (Gauss Markov) 定理。 无偏性与最佳性结合起来构成了估计量好坏的重要 标志。由于最小二乘估计量的最佳线性无偏估计量 的特性，才使得最小二乘法得到了广泛的应用。
足条件
ci 0
ci xi 1
(2.3.13)
下面我们将在满足（2.3.13）的前提下，寻求 ˆ*
的最小方差：
V
(ˆ*)
V
(
ci
yi)
2 u
ci2
第3章 线性模型参数的最小二乘估计法
的概率为
∏ P =
n i =1
Pi
=
1
σ1σ 2 "σ n
n
2π
∑ − δi2 e i=1
(2σi2 )dδ1dδ 2 "dδ n
1. 最小二乘原理
| 测量值 l1,l2 ,",ln 已经出现，有理由认为这n个测 量值出现于相应区间的概率P为最大。要使P最
ti /0 C
10
20
30
40
50
60
li / mm 2000.36 2000.72 2000.8 2001.07 2001.48 2000.60
| 1）列出误差方程
vi = li − ( y0 + ay0ti )
| 令 y0 = c, ay0 = d为两个待估参量，则误差方程为
vi = li − (c + tid )
x2 ,",
xt
)
⎪⎪ ⎬
⎪
vn = ln − fn (x1, x2 ,", xt )⎪⎭
残差方程式
1. 最小二乘原理
| 若 l1,l2 ,",ln 不存在系统误差，相互独立并服从正 态分布，标准差分别为σ1,σ 2 ,",σ n，则l1, l2 ,", ln出
现在相应真值附近 dδ1, dδ2,", dδn 区域内的概率
大，应有
δ12
+
δ
2 2
+"
+
δ
2 n
= 最小
σ12 σ 22
最小二乘估计原理
最小二乘估计原理一、最小二乘估计的基本原理1.建模假设：假设观测值中的噪声服从零均值的高斯分布。
2.线性假设：假设模型是线性的，即观测值与参数之间的关系可以用线性方程来表示。
3.误差假设：假设观测值中的噪声是相互独立的。
在最小二乘估计中，我们假设观测值y可以由一个线性方程表达，即：y=Xβ+ε其中，y是一个n维列向量，表示观测值；X是一个n×m维矩阵，表示观测值与参数之间的线性关系；β是一个m维列向量，表示参数；ε是一个n维列向量，表示噪声。
我们的目标是通过最小化观测值与估计值之间的误差平方和来求解参数的最优解。
即，我们要找到估计参数β使得下式最小：∑(y-Xβ)²二、最小二乘估计的问题建模在实际应用中，我们往往通过收集大量的观测数据来进行参数估计。
假设我们收集了n组观测数据，可以用一个矩阵形式来表示，即：Y=Xβ+ε其中，Y是一个n×1维矩阵，表示观测值；X是一个n×m维矩阵，表示观测值与参数之间的线性关系；β是一个m×1维矩阵，表示参数；ε是一个n×1维矩阵，表示噪声。
根据最小二乘估计的原理，我们需要求解出参数估计值β。
为了简化问题，我们可以通过最小化误差平方和来得到β的解析解。
误差平方和可以表示为：∑(Y-Xβ)²对该函数进行求导，令其导数为零，我们可以得到参数估计值的解析表达式：β=(X^TX)^(-1)X^TY三、最小二乘估计的求解方法在实际应用中，我们可以使用多种方法来求解最小二乘估计的参数。
1.解析解法：通过求解误差平方和的导数为零的方程，可以得到参数的解析解表达式。
2.矩阵分解法：通过将矩阵X进行分解，如QR分解、奇异值分解等，可以简化计算过程。
3.数值优化法：通过使用优化算法，如梯度下降法、牛顿法等，可以求解参数的数值近似解。
四、最小二乘估计的应用1.回归分析：最小二乘估计可用于拟合数据点并得到回归模型的参数，如线性回归、多项式回归等。
最小二乘估计的推导
最小二乘估计的推导最小二乘估计是一种常用的参数估计方法，尤其在统计学和经济学领域得到广泛应用。
它的推导涉及到一些数学推理和统计原理，我将在本文中逐步解释和展示最小二乘估计的推导过程，并探讨其应用和优势。
1. 引言最小二乘估计是一种通过最小化观测值与预测值之间的差异来估计参数的方法。
它的基本思想是找到一组参数值，使得观测值与对应的预测值之间的平方差最小化。
这种方法在数据分析和回归分析中非常有用，因为它能够提供可靠的参数估计和预测模型。
2. 最小二乘估计的基本原理最小二乘估计的推导涉及到线性回归模型，即因变量Y与自变量X之间的线性关系。
假设我们有n个观测值，表示为（Xi，Yi），i=1，2，...，n。
我们的目标是找到一条直线Y=aX+b，使得所有观测值到这条直线的距离之和最小化。
距离的平方和可以表示为：S = Σ(Yi - (aXi + b))²我们的目标是最小化这个平方和。
为了找到最优的参数估计，我们需要找到使得S最小的a和b的值。
3. 最小化平方和我们可以通过对S求导，令导数等于零，来求解a和b的值。
具体地，我们分别对a和b求导，并令导数等于零：∂S/∂a = -2ΣXi(Yi - (aXi + b)) = 0∂S/∂b = -2Σ(Yi - (aXi + b)) = 0通过求解以上两个方程，我们可以得到最小二乘估计的闭合解：a = (ΣXiYi - n X̄Ȳ) / (ΣXi² - n X̄²)b = Ȳ - a X̄其中，X̄和Ȳ分别表示X和Y的均值，Σ表示求和符号。
4. 应用和优势最小二乘估计在实际应用中具有广泛的用途。
在经济学中，我们可以通过最小二乘估计来估计需求曲线和供给曲线的参数，从而预测市场的走势和变化。
在统计学中，最小二乘估计可以用于拟合数据并构建预测模型。
它是最经典的回归分析方法之一，可用于解释和预测变量之间的关系。
最小二乘估计具有一些优势。
最小二乘估计
最小二乘估计随着空间技术的发展，人类的活动开始进入了太空，对航天器（包括人造地球卫星、宇宙飞船、空间站和空间探测器等）的观测手段和轨道确定提出了很高的精度要求。
在计算技术高速发展的推动下，各种估计理论也因此引入到轨道估计方法中。
大约在1795年高斯在他那著名的星体运动轨道预报研究工作中提出了最小二乘法。
最小二乘法就成了估计理论的奠基石。
最小二乘估计不涉及观测数据的分布特性，它的原理不复杂，数学模型和计算方法也比较简单，编制程序不难，所以它颇受人们的重视，应用相当广泛。
对于严格的正态分布数据，最小二乘估值具有最优一致无偏且方差最小的特性。
实践证明，在没有粗差的情况下，大部分测量数据基本上符合正态分布。
这是最小二乘估计至今仍作为估计理论核心的基础。
最早的轨道确定就是利用最小二乘法，用全部观测数据确定某一历元时刻的轨道状态的“最佳”估值，即所谓的批处理算法定轨。
长期以来，在整个天体力学领域之中，各种天体的定轨问题，几乎都是采用这一方法。
卫星精密定轨的基本原理为：利用含有误差的观测资料和不精确的数学模型，通过建立观测量与卫星状态之间的数学关系，参数估计得到卫星状态及有关参数的最佳估值。
参数估计的基本问题就是对一个微分方程并不精确知道的动力学过程，用不精确的初始状态X0和带有误差的观测资料，求解其在某种意义下得卫星运动状态的“最佳”估值X。
常用的参数估计方法有两种，最小二乘法和卡尔曼滤波方法。
最小二乘法是在得到所有的观测数据之后，利用这些数据来估计初始时刻状态量的值，由于用到的观测数据多、计算方法具有统计特性，因此该方法精度高。
卡尔曼滤波在观测数据更新后，利用新的观测数据对状态量进行改进得到这一观测时刻的状态量，卡尔曼滤波适用于实时处理。
卫星精密定轨输运高精度的事后数据处理，通常采用最小二乘法进行参数估计。
记观测量的权阵为P。
利用加权最小二乘法计算总的观测方程方程y二Hx0•；，得x =（H T PH）JH T py卫星的参考状态为X； = X0 x0在精密定轨的过程中，由于状态方程和观测方程在线性化过程中会产生误差，上式的解算需要通过不断的迭代。
最小二乘法求解参数
最小二乘法求解参数
最小二乘法来估计参数，就是使得实际值与估计值的差距的平方最小。
β可以被已知的未知数计算得到是无偏估计的值。
但是用最小二乘法可以得到最好的线性无偏估计量，因为变异比较小。
所以这种方法就是最稳定的最通用的方法。
如果只有一个β1，也就是只有y与x1，则使用两样本t检验和回归分析是一样的。
因为两样本t检验就可以计算β的置信区间，因此也可以在该回归方程中。
另一种估计参数方法是最大似然函数，用此法估计参数值是一样的，但是仅对于y是连续值情况。
采用最小二乘估计式可以得到简单线性回归模型参数的估计量。
但是估计量参数与总体真实参数的接近程度如何。
在工程物理、化学工程、生物医学、统计学、经济学、信号处理、自动化、测绘学等领域中，许多问题都可归结为求解矩阵方程Ax=b 的问题。
通过计算机仿真说明了在模型中所有变量均具有不可忽略的误差时，全最小二乘法得到的参数估计更接近。
除了线性均方估计外，最小二乘估计是另一种不需要任何先验知识的参数估计方法，最小二乘估计不需要先验统计特性，适用范围更广。
、、。
第四章参数的最小二乘法估计讲解
第四章 最小二乘法与组合测量§1概述最小二乘法是用于数据处理和误差估计中的一个很得力的数学工具。
对于从事精密科学实验的人们来说，应用最小乘法来解决一些实际问题，仍是目前必不可少的手段。
例如，取重复测量数据的算术平均值作为测量的结果，就是依据了使残差的平方和为最小的原则，又如，在本章将要用最小二乘法来解决一类组合测量的问题。
另外，常遇到用实验方法来拟合经验公式，这是后面一章回归分析方法的内容，它也是以最小二乘法原理为基础。
最小二乘法的发展已经经历了200多年的历史，它最先起源于天文和大地测量的需要，其后在许多科学领域里获得了广泛应用，特别是近代矩阵理论与电子计算机相结合，使最小二乘法不断地发展而久盛不衰。
本章只介绍经典的最小二乘法及其在组合测量中的一些简单的应用，一些深入的内容可参阅专门的书籍和文献。
§2最小二乘法原理最小二乘法的产生是为了解决从一组测量值中寻求最可信赖值的问题。
对某量x 测量一组数据n x x x ,,,21 ，假设数据中不存在系统误差和粗大误差，相互独立，服从正态分布，它们的标准偏差依次为：n σσσ ,,21记最可信赖值为x ，相应的残差x x v i i -=。
测值落入),(dx x x i i +的概率。
dx v P i i ii )2exp(2122σπσ-=根据概率乘法定理，测量n x x x ,,,21 同时出现的概率为n i ii ni i dx v P P )]()(21exp[)2(12∑-∏=∏=σπσ 显然，最可信赖值应使出现的概率P 为最大，即使上式中页指数中的因子达最小，即∑=iii Min v 22σ权因子：22o i i w σσ=即权因子i w ∝21iσ，则2[]i i wvv wv Min ==∑再用微分法，得最可信赖值x11ni ii nii w xx w===∑∑ 即加权算术平均值这里为了与概率符号区别，以i ω表示权因子。
矩估计与最小二乘估计
矩估计与最小二乘估计
矩估计和最小二乘估计是经典的参数估计方法。
矩估计是指通过样本矩来估计总体参数，最小二乘估计是指通过最小化误差平方和来估计总体参数。
在矩估计中，我们首先确定需要估计的参数的矩的阶数。
然后，我们使用样本矩与总体矩之间的差异来估计参数。
例如，对于正态分布，我们可以使用样本均值和样本方差来估计总体均值和总体方差。
最小二乘估计中，我们要先建立一个模型，然后通过最小化预测值与实际值之间的误差平方和来估计模型参数。
例如，对于一条直线模型，我们可以通过最小化所有数据点到直线的距离的平方和来估计直线的斜率和截距。
两种方法都有其优点和缺点。
矩估计不需要对样本的分布做出假设，但是有时候可能会估计出偏差较大的参数。
最小二乘估计需要建立一个模型，但是可以通过非线性最小二乘估计来处理非线性模型。
总之，矩估计和最小二乘估计都是非常有用的参数估计方法，根据具体问题的不同，选择适合的方法可以更准确地估计总体参数。
- 1 -。
第五章线性参数的最小二乘法处理
5-1
最小二乘法（least square method）
1805年，勒让德（Legendre）应用“最小二乘法”， 确定了慧星的轨道和地球子午线段。 1809年，高斯（Gauss）论证其解的最佳性。
经典最小二乘法（即代数最小二乘法）
现代最小二乘法（即矩阵最小二乘法）
(n=t)
正规方程：误差方程按最小二乘法原理转化得到的 有确定解的代数方程组。
5-18
第二节、正规方程
一、等精度测量线性参数最小二乘法的正规方程 二、不等精度测量线性参数最小二乘法的正规方程 三、非线性参数最小二乘法处理的正规方程（略） 四二节
正规方程
一、等精度测量线性参数最小二乘处理的正规方程
误差方程
a11 , a12 , , a1t a , a ,, a 2t A 21 22 a n1 , a n 2 , , a nt
系数矩阵
误差方程
v1 l1 (a11 x1 a12 x 2 a1t xt ) v 2 l 2 (a 21 x1 a 22 x 2 a 2t xt ) v n l n (a n1 x1 a n 2 x 2 a nt xt )
相应的估计值
y1 a11 x1 a12 x 2 a1t xt y 2 a 21 x1 a 22 x 2 a 2t xt y n a n1 x1 a n 2 x 2 a nt xt
其误差方程：
v1 l1 (a11 x1 a12 x 2 a1t xt ) v 2 l 2 (a 21 x1 a 22 x 2 a 2t xt ) v n l n (a n1 x1 a n 2 x 2 a nt xt )
最小二乘法参数估计公式
最小二乘法参数估计公式在统计学和经济学中，最小二乘法是一种常用的参数估计方法。
它的目标是找到最能拟合数据的参数值，使得拟合曲线与观测值之间的误差最小。
最小二乘法参数估计公式是最小化误差平方和的一种数学表达方式。
最小二乘法参数估计公式可以用来解决线性回归问题。
线性回归是一种建立因变量与自变量之间关系的模型方法。
在线性回归中，我们假设因变量与自变量之间存在一种线性关系，可以通过最小二乘法来估计线性回归模型的参数。
最小二乘法参数估计公式可以用于求解线性回归模型的截距项和斜率项。
在线性回归模型中，截距项代表了当自变量为零时，因变量的取值；而斜率项代表了因变量对自变量的响应程度。
通过最小二乘法参数估计公式，我们可以找到最优的截距项和斜率项，使得拟合曲线与观测值之间的误差最小。
最小二乘法参数估计公式的推导过程是通过最小化误差平方和来实现的。
误差平方和是观测值与拟合值之间差异的平方累加，通过最小化误差平方和，我们可以找到使得误差最小的参数值。
最小二乘法参数估计公式的数学表达如下：β = (X'X)^-1X'Y其中，β表示参数向量，X表示自变量的设计矩阵，Y表示因变量的向量。
该公式通过求解矩阵的逆来计算参数向量。
最小二乘法参数估计公式的求解过程需要满足一些假设条件。
首先，我们假设误差项满足正态分布，并且具有零均值和常数方差。
其次，我们假设自变量之间不存在多重共线性，即设计矩阵X的列之间线性无关。
最后，我们假设误差项与自变量之间不存在相关性。
最小二乘法参数估计公式在实际问题中有着广泛的应用。
例如，在经济学中，我们可以使用最小二乘法来估计供给曲线和需求曲线的参数，从而分析市场的均衡和价格变动。
在金融学中，我们可以使用最小二乘法来估计资产收益率的参数，从而进行投资组合的优化和风险管理。
在医学研究中，我们可以使用最小二乘法来估计药物的剂量与效果之间的关系，从而确定最佳的治疗方案。
最小二乘法参数估计公式是一种常用的统计方法，在各个领域中都有广泛的应用。
参数的最小二乘法估计
最小二乘法的应用领域
回归分析
在统计学中，最小二乘法被广泛应用 于线性回归分析，用于估计回归模型 的参数。
01
工程领域
最小二乘法在工程领域也有广泛应用， 例如用于参数估计、系统辨识、控制 设计等任务。
05
02
曲线拟合
最小二乘法可用于拟合曲线，例如多 项式曲线、指数曲线等，以描述数据 之间的关系。
有效性
在所有无偏估计量中，最小二乘法估计量具有最小的方差，因此是有效的。
有效性意味着在同样的样本量下，最小二乘法估计量能够提供更精确的参数估计，减少估计误差。
05
最小二乘法估计的优缺点
优点
无偏性
一致性
在满足一定的假设条件下，最小二乘法估 计量是参数的真实值的无偏估计，即估计 量的期望值等于参数的真实值。
最小二乘法估计量是样本数据的线性 组合，其期望值等于总体参数的真实 值，因此具有无偏性。
无偏性意味着在多次重复抽样和估计 过程中，估计量的平均值将接近参数 的真实值。
一致性
随着样本量的增加，最小二乘法估计 量的值将逐渐接近参数的真实值，具 有一致性。
VS
一致性保证了在大样本情况下，最小 二乘法估计量能够给出相对准确的参 数估计。
对于非线性模型，可以通过变量变换 或引入非线性项，将其转化为线性模 型，再利用最小二乘法进行参数估计 。
在时间序列分析中的应用
趋势分析
通过最小二乘法拟合时间序列的趋势项，揭示时间序列的长期趋势和变化规律。
季节调整
对于具有季节性特征的时间序列，可以利用最小二乘法估计季节因子，进而对 原始序列进行季节调整。
8.2.2一元线性回归模型参数的最小二乘估计(第二课时)高二数学(人教A版2019选择性必修第三册)
(4)分析拟合效果：通过计算决定系数来判断拟合效果；
(5)写出非线性经验回归方程．
典例分析
练习 1．在回归分析中，R2 的值越大，说明残差平方和(
A．越大
B．越小
C．可能大也可能小
D．以上均错
^
B
)
练习 2．已知经验回归方程为y＝2x＋1，而试验得到的一组数据是(2,4.9)，(3,7.1)，(4，
3 150－3 025
^
^
所以z＝0.28x－3.95，即y＝e0.28x
－3.95
.
归纳小结
解决非线性回归问题的方法及步骤
(1)确定变量：确定解释变量为 x，响应变量为 y；
(2)画散点图：通过观察散点图并与学过的函数(幂函数、指数函数、对数函数、
二次函数、反比例函数等)作比较，选取拟合效果好的函数模型；
概念讲解
在使用经验回归方程进行预测时,需注意以下问题
1.回归方程只适用于我们所研究的样本的总体；
2.我们所建立的回归方程一般都有时间性；
3.样本采集的范围会影响回归方程的适用范围；
4.不能期望回归方程得到的预报值就是预报变量的精确值. 事实上, 它是预报变量
的可能取值的平均值.
PART.04
典例分析
6
7
8
年份/t
1896
1912
1921
1930
1936
1956
1960
1968
x
0.00
2.83
3.26
3.56
3.71
4.11
4.17
4.29
记录/s
11.80
8.2.2一元线性回归模型参数的最小二乘估计-【新教材】人教A版高中数学选择性必修第三册课件
这方面的工作称为残差分析.
问题3：儿子身高与父亲身高的关系，运用残差分析所得的一元线性回归模型的有效
性吗？
残差图：作图时纵坐标 为残差,横坐标可以选为样本编号，或身高数据，或体重估计
值等，这样作出的图形称为残差图．
从上面的残差图可以看出，残差有正有负，残差点比较均匀地散布在横轴的两边，可
以判断样本数据基本满足一元线性回归模型对于随机误差的假设。所以，通过视察残
i 1
当Q(a, b)取最小时，n[( y bx) a ]2 取最小值0，即a = y bx
n
此时，Q(a, b) [( yi y ) b( xi x)] =b
2
n
2
i 1
(x
i 1
i
n
n
i 1
i 1
x) 2b ( xi x)( yi y ) ( yi y ) 2
图（4）的残差比较均匀地集中在以横轴为对称轴的水平带状区域内.
所以，只有图(4）满足一元线性回归模型对随机误差的假设。
随机误差的假定？
(1)
(2)
(3)
(4)
根据一元线性回归模型中对随机误差的假定，残差应是均值为0、方差为 的
随机变量的观测值.
图（1）显示残差与观测时间有线性关系，应将时间变量纳入模型；
图（2）显示残差与观测时间有非线性关系，应在模型中加入时间的非线性函数部
分；
图（3）说明残差的方差不是一个常数，随观测时间变大而变大；
i 1
n
n
[( yi y ) b( xi x)] 2 [( yi y ) b( xi x)] [( y b x) a ] n[( y b x) a ]2
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第四章最小二乘法与组合测量§1概述最小二乘法是用于数据处理和误差估计中的一个很得力的数学工具。
对于从事精密科学实验的人们来说，应用最小乘法来解决一些实际问题，仍是目前必不可少的手段。
例如，取重复测量数据的算术平均值作为测量的结果，就是依据了使残差的平方和为最小的原则，又如，在本章将要用最小二乘法来解决一类组合测量的问题。
另外，常遇到用实验方法来拟合经验公式，这是后面一章回归分析方法的内容，它也是以最小二乘法原理为基础。
最小二乘法的发展已经经历了200多年的历史，它最先起源于天文和大地测量的需要，其后在许多科学领域里获得了广泛应用，特别是近代矩阵理论与电子计算机相结合，使最小二乘法不断地发展而久盛不衰。
本章只介绍经典的最小二乘法及其在组合测量中的一些简单的应用，一些深入的内容可参阅专门的书籍和文献。
§2最小二乘法原理最小二乘法的产生是为了解决从一组测量值中寻求最可信赖值的问题。
对某量x 测量一组数据n x x x ,,,21 ，假设数据中不存在系统误差和粗大误差，相互独立，服从正态分布，它们的标准偏差依次为：n σσσ ,,21记最可信赖值为x ，相应的残差x x v i i -=。
测值落入),(dx x x i i +的概率。
根据概率乘法定理，测量n x x x ,,,21 同时出现的概率为显然，最可信赖值应使出现的概率P 为最大，即使上式中页指数中的因子达最小，即权因子：22oi iw σσ=即权因子i w ∝21i σ，则再用微分法，得最可信赖值x11ni ii nii w xx w===∑∑即加权算术平均值这里为了与概率符号区别，以i ω表示权因子。
特别是等权测量条件下，有：以上最可信赖值是在残差平方和或加权残差平方和为最小的意义下求得的，称之为最小二乘法原理。
它是以最小二乘方而得名。
为从一组测量数据中求得最佳结果，还可使用其它原理。
例如（1）最小绝对残差和法：Min v i =∑ （2）最小最大残差法：Min v i =max （3）最小广义权差法：Min v v i i =-m in m ax以上方法随着电子计算机的应用才逐渐引起注意，但最小二乘法便于解析，至今仍用得最广泛。
§3.线性参数最小二乘法先举一个实际遇到的测量问题，为精密测定三个电容值:321,,x x x 采用的测量方案是，分别等权、独立测得323121,,,x x x x x x ++,列出待解的数学模型。
1x =0.32x =-0.4 1x +3x =0.52x +3x =-0.3这是一个超定方程组，即方程个数多于待求量个数，不存在唯一的确定解，事实上，考虑到测量有误差，记它们的测量误差分别为4321,,,v v v v ，按最小二乘法原理∑=Min vi2分别对321,,x x x 求偏导数，令它们等于零，得如下的确定性方程组。
(1x -0.3)+(1x +3x -0.5)=0 (2x +0.4)+(2x +3x +0.3)=0 (1x +3x -0.5)+(2x +3x +0.3)=0可求出唯一解1x =0.325,2x =-0.425,3x =0.150这组解称之为原超定方程组的最小二乘解。
以下，一般地讨论线性参数测量方程组的最小二乘解及其精度估计。
一、正规方程组设线性测量方程组的一般形式为： 即式中，有n 个直接测得值n y y y ,,,21 ，t 个待求量t x x x ,,,21 。
n>t,各i y 等权，无系统误差和粗大误差。
固i y 含有测量误差，每个测量方程都不严格成立，故有相应的测量残差方程组i y 实测值j x 待估计量，最佳估计值，最可信赖值∑=tj j ijx a1最可信赖的“y ”值。
按最小二乘法原理，待求的j x 应满足上式分别对j x 求偏导数，且令其等于零，经推导得⎪⎪⎭⎪⎪⎬⎫=+++=+++=+++][][][][][][][][][][][][22112222211211221111a x a a x a a x a a a x a a x a a x a a a x a a x a a x a a t t t t t t t t t t 正规方程组式中，j a ，y 分别为如下列向量][k l a a 和][y a j 分别为如下两列向量的内积： ][k l a a =nk nl k l k l a a a a a a +++ 2211 ][y a j =n nj j j y a y a y a +++ 2211正规方程组有如下特点：（1）主对角线系数是测量方程组各列系数的平方和，全为正数。
（2）其它系数关于主对角线对称（3）方程个数等于待求量个数，有唯一解。
由此可见，线性测量方程组的最小二乘解归结为对线性正规方程组的求解。
为了便于进一步讨论问题，下面借助矩阵工具给出正规方程组的矩阵形式。
记列向量 和n ×t 阶矩阵 则测量方程组可记为：AX =Y ——一般意义下的方程组测量残差方程组记为当估计出的j x 已经是最可信赖的值，则AX 是i y 的最佳结果。
最小二乘原理记为 利用矩阵的导数及其性质有令()0x∂=∂T V V ，得正规方程组的矩阵形式。
展开系数矩阵T A A 和列向量T A L ，可得代数形式的正规方程组。
上述①②和矩阵的导数有关，因此，我们来分析“矩阵最小二乘法”。
二、矩阵最小二乘法 1.矩阵的导数设n t ⨯阶矩阵。
1112121222122()()t i t ij t ni n nt a a a A a a a a A A A a a a ⎛⎫⎪=== ⎪ ⎪⎝⎭)n 阶列向量（n+1阶矩阵）V 和t 阶列向量XV 与X 的转置（行向量）记为T V 与T X . 关于向量X 的标量函数。
定义如下几个导数。
（1）矩阵对标量x 的导数矩阵内A 元素ij a 是x 的函数，对矩阵AX 的导数，定义为各元素对x 的导数，构成新的导数矩阵。
若ij a 是变量x 的函数，则定义()ij da d dx dx=A(E-1) （2）标量函数对向量的导数标量函数ϕ，对列向量X 的导数，等于标量函数ϕ对向量X 的组成元素(1)i x i t =～的导数组成的列向量（行向量的转置）12()Tty y y y x x x x ∂∂∂∂=∂∂∂∂(E-2)标量函数ϕ，对行向量T X 的导数，等于标量函数ϕ对向量X 的组成元素(1)i x i t =～的导数组成的行向量。
21()()T T t y y y y yx x x x x∂∂∂∂∂==∂∂∂∂∂(E-3) （3）行（列）向量对列（行）向量的导数行向量T V 对列向量X 的导数等于行向量各组成元素，对列向量各组成元素分别求得11112221n n i n n t t v v x x v v v v v x x x x x xv v x x ∂∂⎛⎫ ⎪∂∂ ⎪ ⎪∂∂∂∂∂∂ ⎪∂∂== ⎪∂∂∂∂ ⎪ ⎪∂∂ ⎪ ⎪∂∂⎝⎭TV(E-4) 11122121()t TT n t T T Tn n it v v x x v v v v v x x x x x v v x x ∂∂⎛⎫ ⎪∂∂ ⎪ ⎪∂∂⎛⎫∂∂∂∂∂ ⎪∂∂== ⎪ ⎪∂∂∂∂∂⎝⎭ ⎪ ⎪∂∂ ⎪ ⎪∂∂⎝⎭＝T T V V X X (E-5)关于矩阵的导数有如下性质： （1）矩阵A 和B 乘积对标量x 的导数()d d d dx dx dx=+AB B AA B (E-6) （2）常数阵的导数为零矩阵。
0d dx=A(E-7) （3）向量关于自身转置向量的导数为单位方阵。
I ∂=∂T TX dX=X dX (E-8)（4）向量与向量转置乘积的导数()∂∂∂∂T TV V V =2V x x (E-9) ()2∂∂=∂∂T T T T V V V V X X(E-10) （5）关于常数矩阵与向量乘积的导数()∂=∂T X A A X (E-11) ()∂∂T T TA X =A X(E-12) ()∂∂∂∂T TV V AV =2AV X X(E-13) ()∂∂∂∂T TT TV AV =2V A X X(E-14) 利用（E-1）、（E-4）、和（E-5）三个定义式，容易证明式（E-6）、（E-7）、（E-8）、和（E-11）、（E-11）成立。
①以下证明式（E-9）注意到式（E-2）和式（E-4）即， 标量对列向量求导12()Ttx x x x ϕϕϕϕ∂∂∂∂=∂∂∂∂(E-2) 行向量对列向量求导111112221()n n Tn n t t v v x x v v v v v x x v v x x ∂∂⎛⎫⎪∂∂ ⎪ ⎪∂∂∂∂∂∂ ⎪∂∂== ⎪∂∂∂∂ ⎪ ⎪∂∂ ⎪ ⎪∂∂⎝⎭V X X XX(E-4) 式（E-9）左11112122()22n n i i n nt t v v v v x x v x v v v v xx ∂∂⎛⎫++ ⎪∂∂ ⎪∂⎪==∂⎪∂∂ ⎪++ ⎪∂∂⎝⎭∑类似地，可以证得式（E-10）成立。
②再证明式（E-13）注意到T V AV 是关于x 的标量函数，由式（E-2）知，只需证明由于1211121121212()()n n i i i Tn iin n n nn i i i v v v a a a x x x V v v v x v v v a a a x x x ∂∂∂⎛⎫ ⎪∂∂∂ ⎪∂⎪=∂ ⎪∂∂∂ ⎪⎪∂∂∂⎝⎭AV 11111111n ni i n n nnn n i i v v a v a v x x v v a v a v x ax α∂∂⎛⎫++ ⎪∂∂⎪ ⎪=⎪∂ ⎪++ ⎪∂⎝⎭＝11111111n n iin n n nn n i nv v a v a v x x v v a v a v x x ∂∂⎛⎫++⎪∂∂ ⎪ ⎪ ⎪∂∂ ⎪++ ⎪∂∂⎝⎭所以式（E-13）左()+2i i i AV x x x ∂∂∂===∂∂∂右T T T V V AV V AV 2.正规方程设线性测量方程组与基残差方程组分别为AX =Y (E-15) L AX =V -(E-16)式中A 为n t ⨯阶常数矩阵，X 为t 阶待求向量，L 是已知的n 阶的测量向量，（注意12,,n l l l 均是已测量所得），V 是n 阶残差向量。
由最小二乘原理 求()2∂∂=∂∂T TV V V V X X（矩阵性质(E-9)式） 注意到式（E-7）即常数阵的导数为零矩阵。
注意到式（E-11）即()∂=∂T X A A X，故所以 令()0∂=∂T V V X得正规方程组的矩阵形式 T T A A X =A L (E-18)当T A A 满秩的情形，可求出1()-=T T X A A A L (E-19)一般地，可从式（E-15）出发，用稳定的数值解法，计算A 的广义逆阵1A -得1A -=X L (E-20)要进一步去研究此问题，可参阅有关近代矩阵分析及其数值方法的专着 3．待求量X 的协方差矩阵。