最小二乘法
最小二乘法及其应用研究
最小二乘法及其应用研究最小二乘法是一种常用的数据分析方法，它的应用非常广泛，被用于解决很多实际问题。
本文将从什么是最小二乘法到最小二乘法的应用进行详细的阐述。
一、什么是最小二乘法最小二乘法是一种用于拟合数据的方法，它可以帮助我们找到一条曲线或者直线，在这条曲线或者直线上所有数据的误差最小。
假设我们有一些数据点，我们想要用一条直线来描述这些数据点的分布规律，那么最小二乘法就可以帮助我们找到一条直线，使得这些数据点到这条直线的距离最小。
二、最小二乘法的应用最小二乘法的应用非常广泛，下面我们将分别从几个方面来介绍：1. 拟合数据最小二乘法可以用于拟合各种类型的数据，比如直线、曲线、多项式等等。
例如，我们可以用最小二乘法来拟合一条直线，从而得到这些数据点的趋势。
2. 预测结果最小二乘法不仅可以用于拟合数据，同时还可以用于预测结果。
例如，我们可以用最小二乘法来预测一些未来的数据趋势。
3. 优化算法最小二乘法还可以用于优化算法。
例如，在机器学习中，最小二乘法可以用于优化线性回归算法，从而得到更加准确的预测结果。
4. 数据处理最小二乘法还可以用于数据处理。
例如，我们可以用最小二乘法来处理某些特殊类型的数据，从而得到更加准确的结果。
三、最小二乘法的优缺点最小二乘法虽然有很多应用，但是它也有一些缺点，下面我们将介绍一下最小二乘法的优缺点：优点：1. 算法简单，易于实现2. 可以处理大部分数据类型3. 在处理异常数据时有一定的容错能力缺点：1. 当数据量较大时，计算量也会变得很大2. 在处理异常数据时容易产生误差3. 对数据类型有一定的限制四、总结最小二乘法是一种非常有用的数据分析方法。
它的应用非常广泛，被用于解决众多实际问题。
然而，我们也不能够完全依赖最小二乘法。
我们需要根据具体情况，选择合适的数据分析方法，从而得到更加准确的结果。
最小二乘法定义
最小二乘法定义最小二乘法（Least Squares Method，简称LS）是指在数学中一种最常见的数据拟合方法，它是一种统计学意义上的估计方法，用来找出未知变量和已知变量之间的关系，其中模型参数是通过最小化数据集误差的平方和来估计的。
一、定义：最小二乘法（Least Squares Method）是指在数学中最常见的数据拟合方法，它是一种统计学意义上的估计方法，用来确定未知变量与已知变量之间的关系，其中模型参数是通过最小化数据集误差的平方和来估计的。
二、基本原理：最小二乘法的基本原理是利用数据点与一个被称为“模型函数”的预设函数之间的差异，来从中估计出模型函数的参数。
具体来说，这一差异可以以误差的平方和来衡量，最小二乘法就是最小这一平方和的方法。
三、步骤：1. 构造未知变量的模型函数，其中当需要拟合的参数数目大于等于给定数据点的个数时，就会导致一定的形式多项式模型函数有正解；2. 求解模型函数的最小平方误差的最优解，即求解参数的数值；3. 根据最优解找出最小平方误差的值；4. 对模型函数进行评价，判断是否尽可能地满足数据点；5. 若满足，则用找出的模型函数来预报未来的参数变化情况。
四、应用：1. 拟合统计图形：通过最小二乘法，可以得到曲线拟合的参数，绘制出统计图形的曲线，用来剖析统计数据；2. 回归分析：可以用最小二乘法预测变量和另一变量之间的关系，如：股票收益与股价价格之间的关系，从而得到有用的分析结果；3. 模型拟合：最小二乘法可以估计精确数据模型参数，这些模型参数可与实验数据相同；4. 图像分析：最小二乘法可用于分析图像特征，如：平面图像的特征提取与比较，目标图像分类，等；5. 信号处理：最小二乘法的应用也可扩展到信号处理领域，用该方法对信号和噪声之间的关系进行拟合，来消除信号中的噪声。
最小二乘法
最小二乘法设（x 1, y 1 ), (x 2, y 2), …, (x n, y n)是直角平面坐标系下给出的一组数据，若x 1<x 2<…<x n,我们也可以把这组数据看作是一个离散的函数。
根据观察，如果这组数据图象“很象”一条直线（不是直线），我们的问题是确定一条直线y = bx +a ,使得它能"最好"的反映出这组数据的变化。
最小二乘法是处理各种观测数据进行测量平差的一种基本方法。
如果以不同精度多次观测一个或多个未知量，为了求定各未知量的最可靠值，各观测量必须加改正数，使其各改正数的平方乘以观测值的权数的总和为最小。
因此称最小二乘法。
所谓“权”就是表示观测结果质量相对可靠程度的一种权衡值。
法国数学家勒让德于1806年首次发表最小二乘理论。
事实上，德国的高斯于1794年已经应用这一理论推算了谷神星的轨道，但迟至1809年才正式发表。
此后他又提出平差三角网的理论，拟定了解法方程式的方法等。
为利用最小二乘法测量平差奠定了基础。
最小二乘法也是数理统计中一种常用的方法，在工业技术和其他科学研究中有广泛应用。
在我们研究两个变量(x, y)之间的相互关系时，通常可以得到一系列成对的数据(x1, y1、x2, y2... xm , ym)；将这些数据描绘在x -y直角坐标系中(如图1), 若发现这些点在一条直线附近，可以令这条直线方程如(式1-1)。
Y计= a0 + a1 X (式1-1)其中：a0、a1 是任意实数为建立这直线方程就要确定a0和a1，应用《最小二乘法原理》，将实测值Yi与利用(式1-1)计算值(Y计= a0+a1X)的离差(Yi-Y计)的平方和｀〔∑(Yi - Y计)2〕最小为“优化判据”。
令: φ = ∑(Yi - Y计)2 (式1-2)把(式1-1)代入(式1-2)中得:φ = ∑(Yi - a0 - a1 Xi)2 (式1-3)当∑(Yi-Y计)平方最小时，可用函数φ 对a0、a1求偏导数，令这两个偏导数等于零。
最小二乘法的概念
最小二乘法1. 概念定义最小二乘法（Least Squares Method）是一种数学优化方法，用于找到一组参数，使得观测数据与模型预测值之间的平方误差最小。
它通过对误差的平方和进行最小化来估计未知参数的值。
在最小二乘法中，我们假设存在一个线性模型来描述观测数据与未知参数之间的关系。
给定n个观测数据点(xi, yi)，其中xi是自变量，yi是因变量，我们可以将线性模型表示为：yi = β0 + β1 * xi + εi其中β0和β1是待估计的未知参数，εi是服从正态分布的随机误差。
我们的目标是找到最佳拟合线，使得所有数据点到该线的距离之和最小。
2. 重要性最小二乘法在统计学和数据分析中具有广泛应用，并且具有以下重要性：2.1 参数估计通过最小二乘法可以估计出线性回归模型中的未知参数。
这些参数对于理解和解释观测数据与自变量之间关系非常重要。
例如，在经济学中，可以使用最小二乘法来估计供需曲线、收入弹性等经济模型中的参数。
2.2 模型拟合最小二乘法可以用于拟合数据，并找到最佳拟合线或曲线。
通过最小化误差平方和，我们可以找到与观测数据最接近的模型。
这对于预测和预测未来数据点非常有用。
2.3 假设检验在统计推断中，最小二乘法还可以用于假设检验。
我们可以利用最小二乘估计的参数进行假设检验，以确定自变量与因变量之间是否存在显著关系。
2.4 模型诊断除了参数估计和模型拟合外，最小二乘法还可以用于诊断模型的适应性和有效性。
通过分析残差（观测值与预测值之间的差异），我们可以检查模型是否满足所假设的条件，并进行必要的修正。
3. 应用最小二乘法广泛应用于各个领域，包括但不限于以下几个方面：3.1 线性回归分析线性回归是最常见的应用之一。
通过将观测数据与线性模型进行拟合，我们可以估计出自变量与因变量之间的关系。
线性回归可以用于预测、关联分析和因果推断等。
3.2 时间序列分析时间序列分析是对随时间变化的数据进行建模和预测的方法。
最小二乘法的推导
最小二乘法的推导最小二乘法是统计学中一种常用的数据拟合方法，它是将待拟合函数的拟合优度衡量为误差平方和最小化的问题，属于最优化策略。
它可以用来拟合非线性模型，使得得到的模型拟合更加精确。
一、最小二乘法概念最小二乘法是一种数据拟合方法，它是将待拟合函数的拟合优度衡量为误差平方和最小化的问题，属于最优化策略。
最小二乘法的主要思想是，对给定的一组观测值，在满足某种条件下，这组观测值可以用一个或几个理论模型来描述，从而使拟合模型尽可能逼近实际观测值，达到拟合精度最高的目的。
二、最小二乘法推导考虑一个最小二乘问题，我们希望拟合一组数据，它们的点坐标可以用一个关于d个未知参数（p1，p2，p3，…，pd）的多项式表示，即：F(x，p1，p2，p3，…，pd)将多项式中的参数（p1，p2，p3，…，pd）的值求出，就可以对已知数据进行拟合。
最小二乘法表示形式：要使拟合模型参数值与所拟合数据做到最拟合，就要将拟合模型和实际数据的差值最小化，也就是求出多项式中的参数的值，使得误差平方和最小根据最小二乘法的优化性质，我们可以写出最小二乘优化问题的形式将误差平方和最小化的条件写出来就为：S=（f(x1，p1，…，pd)-y1）^2＋（f(x2，p1，…，pd)-y2）^2＋…＋（f(xn，p1，…，pd)-yn）^2最小二乘问题表示为：min{S(p1，p2，…，pd)}其中p1，p2，…，pd是未知参数，我们要求这些参数值使得S 最小。
为了求得最小二乘拟合参数和进行形式转换，我们对S求偏导：S/pi=2*(f(xi，p1，…，pd)-yi)*f(xi，p1，…，pd)/pi 当S/pi=0时，即有(f(xi，p1，…，pd)-yi)*f(xi，p1，…，pd)/pi=0 于是，我们将最小二乘拟合参数pi的表达式改写为：pi=(A-1)*B其中A=∑(f(xi，p1，…，pd)/pi)^2，B=∑(f(xi，p1，…，pd)-yi)*f(xi，p1，…，pd)/pi根据最小二乘法，我们就可以求得最小二乘拟合参数pi的值了。
最小二乘法知识
最小二乘法知识最小二乘法是一种最优化方法，经常用于拟合数据和解决回归问题。
它的目标是通过调整模型参数，使得模型的预测值与观测值之间的差异最小。
最小二乘法的核心思想是最小化误差的平方和。
对于给定的数据集，假设有一个线性模型y = β₀ + β₁x₁ + β₂x₂ + ... +βₙxₙ，其中β₀, β₁, β₂, ... , βₙ 是需要求解的未知参数，x₁, x₂, ... , xₙ 是自变量，y 是因变量。
那么对于每个样本点 (xᵢ, yᵢ)，可以计算其预测值ŷᵢ = β₀ + β₁x₁ + β₂x₂ + ... + βₙxₙ，然后计算预测值与实际值之间的差异 eᵢ = yᵢ - ŷᵢ。
最小二乘法的目标是使得误差的平方和最小化，即最小化目标函数 E = ∑(yᵢ - ŷᵢ)²。
对于简单的线性回归问题，即只有一个自变量的情况下，最小二乘法可以通过解析方法求解参数的闭合解。
我们可以通过求偏导数，令目标函数对参数的偏导数等于零，求解出参数的最优解。
然而，对于复杂的非线性回归问题，解析方法通常不可行。
在实际应用中，最小二乘法通常使用迭代方法进行求解。
一种常用的迭代方法是梯度下降法。
梯度下降法通过反复进行参数更新的方式逐步降低目标函数的值，直到收敛到最优解。
具体而言，梯度下降法首先随机初始化参数的值，然后计算目标函数对于每个参数的偏导数，根据偏导数的方向更新参数的值。
迭代更新的过程可以通过下式表示：βₙ = βₙ - α(∂E/∂βₙ)其中，α 是学习率参数，控制每次更新参数的步长。
学习率需要适当选择，过小会导致收敛过慢，过大会导致震荡甚至不收敛。
最小二乘法除了可以用于线性回归问题，还可以用于其他类型的回归问题，比如多项式回归。
在多项式回归中，我们可以通过增加高次项来拟合非线性关系。
同样地，最小二乘法可以通过调整多项式的系数来使得拟合曲线与实际数据更加接近。
除了回归问题，最小二乘法还可以应用于其他领域，比如数据压缩、信号处理和统计建模等。
最小二乘法估计
机器学习领域应用
线性回归模型
在机器学习中，最小二乘法是线性回归模型的核心算法之一。通过最小化预测值与实际值之间的平方误差，可以 训练出预测精度较高的线性回归模型。
特征选择
最小二乘法也可以用于特征选择，通过计算特征的系数大小，可以判断哪些特征对模型的预测结果影响较大，从 而进行特征筛选和优化。
06 最小二乘法的未来发展与 研究方向
用于研究社会现象和人类行为 ，如市场调查、人口统计等。
最小二乘法的历史与发展
历史
最小二乘法最早由法国数学家勒让德 于1805年提出，并广泛应用于天文、 物理和工程领域。
发展
随着计算机技术的进步，最小二乘法 在数据处理和统计分析方面得到了广 泛应用和改进，出现了多种扩展和变 种，如加权最小二乘法、广义最小二 乘法等。
加权最小二乘法（WLS）
总结词
详细描述
加权最小二乘法是一种改进的线性回 归分析方法，通过给不同观测值赋予 不同的权重来调整误差的平方和。
加权最小二乘法（Weighted Least Squares，WLS）是对普通最小二乘法 的改进，通过给不同观测值赋予不同 的权重来调整误差的平方和。这种方 法适用于存在异方差性的数据，即误 差项的方差不恒定的情况。通过合理 地设置权重，WLS能够更好地拟合数 据并提高估计的准确性。
广泛的应用领域
最小二乘法适用于多种统计模型 和回归分析，是线性回归分析中 最常用的方法之一。
缺点
假设限制
01
最小二乘法要求数据满足线性关系和误差项独立同分布等假设，
这些假设在实际应用中可能难以满足。
对异常值敏感
02
虽然最小二乘法相对稳健，但仍然容易受到异常值的影响，可
能导致估计结果偏离真实值。
最小二乘法名词解释
最小二乘法名词解释
最小二乘法是一种数学优化方法，用于通过对观测数据进行拟合来求解线性回归问题。
它的基本原理是通过最小化观测数据与模型预测值之间的平方误差和，来确定最优的模型参数。
在最小二乘法中，有一些关键的术语和概念需要解释。
1. 观测数据：观测数据是在实际测量或观察中收集到的一系列数值。
在最小二乘法中，这些观测数据通常由两个向量表示，一个是自变量向量X，另一个是因变量向量Y。
2. 模型参数：模型参数是用于预测因变量的线性回归模型中的常数项和各个自变量的系数。
在最小二乘法中，我们通过最小化残差的平方和来确定最优的模型参数。
3. 残差：残差是观测数据的真实值与模型预测值之间的差异。
在最小二乘法中，我们希望通过调整模型参数使得残差的平方和最小化。
4. 残差平方和：残差平方和是残差的平方值的总和，用于衡量模型预测结果与观测数据之间的总体误差。
最小二乘法的目标就是通过最小化残差平方和来求解最优的模型参数。
5. 矩阵表示：最小二乘法可以利用矩阵运算来进行求解，这样可以简化计算并提高效率。
通常，自变量矩阵X、因变量矩阵Y、模型参数向量β和残差向量ε都是以矩阵形式表示。
6. 最优解：在最小二乘法中，我们寻找的是使得残差平方和最小的模型参数向量。
这个最优解可以通过数学推导或迭代算法来求解。
最小二乘法是一种常用且有效的回归分析方法，它在统计学、经济学、工程学等多个领域都有广泛的应用。
通过最小二乘法，我们可以利用已知的观测数据来估计未知的模型参数，从而进行预测、分析和决策。
最小二乘法
最小二乘法一、最小二乘法概述最小二乘法是1795年高斯在预测星体运行轨道最先提出的，它奠定了最小二乘估计理论的基础．到了20世纪60年代瑞典学者Austron 把这个方法用于动态系统的辨识中，在这种辨识方法中，首先给出模型类型，在该类型下确定系统模型的最优参数。
我们可以将所研究的对象按照对其了解的程度分成白箱、灰箱和黑箱。
于其内部结构、 机制只了解一部分，对于其内部运行规律并不十分清楚，这样的研究对象通常称之为 “灰箱”；如果我们对于研究对象的内部结构、 内部机制及运行规律均一无所知的话，则把这样的研究对象称之为“黑箱”。
研究灰箱和黑箱时，将研究的对象看作是一个系统，通过建立该系统的模型，对模型参数进行辨识来确定该系统的运行规律。
对于动态系统辨识的方法有很多，但其中应用最广泛，辨识效果良好的就是最小二乘辨识方法，研究最小二乘法在系统辨识中的应用具有现实的、广泛的意义。
应用最小二乘法对系统模型参数进行辨识的方法有离线辨识和在线辨识两种离线辨识是在采集到系统模型所需全部输入输出数据后，用最小二乘法对数据进行集中处理，从而获得模型参数的估计值；而在线辨识是一种在系统运行过程中进行的递推辨识方法，所应用的数据是实时采集的系统输入输出数据，应用递推算法对参数估计值进行不断修正，以取得更为准确的参数估计值。
假设一个SISO 系统如下图所示：图1 SISO 系统结构图其离散传递函数为：（1）输入输出的关系为：)()()()(1k y k e z G k u =+•- （2）进一步，我们可以得到：)()()()()(11k e z B k u z A k y +⋅=⋅-- （3）其中，扰动量)(k e 为均值为0，不相关的白噪声。
将式（3）写成差分方程的形式：)()()2()1()()2()1()(2121k e n k u b k u b k u b n k y a k y a k y a k y n n +-⋯+-+-+--⋯-----=（4）令T n k u k u k u n k y k y k y k ])()2()1()()2()1([)(-⋯----⋯----=ϕnn n n z a z a z a z b z b z b z A z B z G ---------+⋯++++⋯++==221122111111)()()(][2121n nb b b a a a ⋯⋯=θ则式（4）可以写为：)()()(k e k k y T+=θϕ （5）将上述式子扩展到N 个输入、输出观测值{)(),(k y k u }，k=1,2,…，N+n 。
最小二乘法
最小二乘法原理
若随机误差为正态分布，且不存在系统误差，对一 个量 X进行等权n次测量，得到数据x1,x2,…xn时
x
n
xi
i 1
n
n
n 2
u x
2 v i
n
nn 1
i 1
上式表明， vi2 越小，不确定度越小，所得x测量结果的可 信赖程度越高。当 v 为最小时，所得的结果可信赖程度
i 1 i i 1
最高。
最小二乘法的产生是为了解决从一组测量值 （n次）中，寻找t个最佳估计值（n ＞t ） 的问题。
待测量： X 1 , X 2 ,..., X t
直接测量量： Y1 , Y2 ,..., Yn
, Xt ) l2 Y2 f 2 ( X 1 , X 2 , , X t ) M ln Y f ( X , X , , X ) n n 1 2 t
uD 2
对高度h 的测量不确定度影响显著的因素主要有： 高度的测量重复性引起的不确定度 uh1 测微仪示值误差引起的不确定度
uh 2
4. 不确定度评定：评定不确定度分量，并给出其数 值和自由度 （1）计算直径D的标准不确定度 uD
测量重复性引起的标准不确定度分量 uD1
uD1 sD
sD 6
yi fi x1, x2 ,
即
vi li fi x1, x2 , , xt
, xt
测量数据 l1 , l2 ,, ln 的残差为 vi li yi
称为残差方程。
实例：取6次不同温度，测定该不同温度下铜棒的长度 共6次，测量数据如下表，试估计0℃时的铜棒长度l0和铜 的线膨胀系数α。
测量数据处理的完整步骤
最小二乘法计算例题
最小二乘法计算例题最小二乘法是数学统计学上十分常见的一种拟合方法，它可以用来在数据中拟合出一条曲线，使得一组数据集合最佳地拟合出一条曲线或多条曲线。
最小二乘法是统计方法中最常用的拟合方法，它的原理是根据给定的多个数据点，寻找最佳拟合的曲线，使得拟合曲线与所有已知数据点之间的距离最小。
最小二乘法最容易计算的曲线就是一元多项式曲线，它是任意数据点之间拟合出的参数曲线。
本文将介绍小二乘法的计算步骤和过程，以及一个示例，以帮助大家更加熟练地掌握这一知识点。
一、最小二乘法的概念最小二乘法是数学中一种常用的拟合方法，也叫参数估计法，它可以用来拟合给定的数据点，使得这个数据集合的距离最小。
最小二乘法的原理是尽可能最大地减少直线与数据点之间的距离，以期搜索到最佳拟合的曲线。
二、最小二乘法的计算步骤1.确定样本数据：首先要确定给定的样本数据，这些样本数据将用来计算最小二乘法获得最优拟合曲线。
2.计算最小二乘法残差：根据给定的数据点，可以计算出残差，残差就是拟合曲线与样本数据点之间的差值。
3.求解最小二乘公式：最小二乘法求解公式是用来获得拟合曲线中参数的最优值的公式。
4.使用极点最小二乘法：最小二乘法的极点求解法是求解最优拟合曲线的另一种方法，它的步骤与最小二乘法的求解步骤一样，但是使用了不同的数学方法。
三、最小二乘法计算例题下面我们来看一个具体的拟合曲线计算例题，此例题中要使用到最小二乘法，拟合给定的数据点。
所需数据： y=（3，2，1，0，-1）x=（1，2，3，4，5）要求：拟合出一条一元多项式曲线解法：1.计算残差：根据数据点求出残差，残差的计算公式为yi-ai-bxi，在此例题中，可以求出：3-a-b=12-a-2b=11-a-3b=20-a-4b=-1-1-a-5b=-32.求解最小二乘公式：根据求出的残差，可以求出最小二乘求解公式，公式为：b=(nΣxiyi-ΣxiΣyi) / (nΣx2i-（Σxi）2)a=（Σyi-bΣxi） / n在此例题中，可以求出：b= ( 5*6-15*-3) / (5*30-225) = 0.4a= (-3-0.4*15) / 5 = -2.23.使用极点最小二乘法：最后，我们可以使用极点最小二乘法，计算出最优的拟合曲线，其结果为：y=-2.2+0.4x因此，我们可以得出本例题的答案：y=-2.2+0.4x。
最小二乘法
性质2：只要适当大，总成立：S( xk z) S( xk ).
性质3：当充分大时，方向z与方向 S( xk )充分接近。
6.采用进退方法调整：一次成功迭代后将缩小，迭代 遇到困难时将放大。
Ax * b 2 A 2 可见，当δ 0时取到最小值.
例
给定方程组
2 x1 x1
2x2 2x2
3 1
,
试用最小二乘法求此方程组
x1 4 x2 3
的近似解。
解：令 F ( x) ( 2x1 2x2 3 )2 ( x1 2x2 1)2 ( x1 4x2 3 )2 ,
(3)
性质：若f（x）满足一定条件且x0充分接近x *，
则： (1)由迭代得到的{ x k }是收敛的; (2) 在一定条件下,收敛阶是二阶的。
3.改进的Gauss-Newton法：
因为S( x)
m
2
fi ( x)fi ( x)
2 AT
(x)
f
(x),
i 1
记 Hk 2 AkT Ak , 则Hk 是 ( x) 在点 xk 的Hesse 矩阵。
f1
其中
A(
x
k
)
x1
fm
x1
... ...
f1
xn
fm
xn
(
fi ( x x j
k
)
)mn
。
x xk
记 Ak A( x k ) , 则有
S( x) f ( xk ) Ak ( x xk ) 2 Akd k f ( xk ) 2
[ Akd k f ( x k ) ]T [ Akd k f ( x k ) ], 其中：d k x xk。 记 ( x) [ Akd k f ( xk ) ]T [ Akd k f ( xk ) ],则可用min ( x) 的极小点近似原问题的极小点。
最小二乘法
最小二乘法中文名称：最小二乘法英文名称：least square method定义：在残差满足VPV为最小的条件下解算测量估值或参数估值并进行精度估算的方法。
其中V为残差向量，P为其权矩阵。
应用学科：测绘学（一级学科）；大地测量学（二级学科）最小二乘法（又称最小平方法）是一种数学优化技术。
它通过最小化误差的平方和寻找数据的最佳函数匹配。
利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。
最小二乘法还可用于曲线拟合。
其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。
最小二乘法最小二乘法(least square)历史简介1801年，意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。
经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。
随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有结果。
时年24岁的高斯也计算了谷神星的轨道。
奥地利天文学家海因里希·奥尔伯斯根据高斯计算出来的轨道重新发现了谷神星。
高斯使用的最小二乘法的方法发表于1809年他的著作《天体运动论》中。
法国科学家勒让德于1806年独立发现“最小二乘法”，但因不为世人所知而默默无闻。
勒让德曾与高斯为谁最早创立最小二乘法原理发生争执。
1829年，高斯提供了最小二乘法的优化效果强于其他方法的证明，因此被称为高斯-莫卡夫定理。
（来自于wikipedia）最小二乘法公式最小二乘法公式∑(X--X平)(Y--Y平)=∑(XY--X平Y--XY平+X平Y平)=∑XY--X平∑Y--Y平∑X+nX平Y平=∑XY--nX平Y平--nX平Y平+nX平Y平=∑XY--nX平Y平∑(X --X平)^2=∑(X^2--2XX平+X平^2)=∑X^2--2nX平^2+nX平^2=∑X^2--nX平^2Y=kX+b: k=（（XY）平--X平*Y平）/（X^2--(X平）^2 ;b=Y平--kX平X平=1/n∑X i；(XY)平=1/n∑X i Y i最小二乘法原理用各个离差的平方和M=Σ(i=1到n)[y i-(ax i+b)]^2最小来保证每个离差的绝对值都很小。
最小二乘法的计算方法
题目
最小二乘法计算公式是什么？
答案解析
最小二乘法公式是一个数学的公式，在数学上称为曲线拟合，此处所讲最小二乘法，专指线性回归方程！最小二乘法公式为a=y(平均)-b*x（平均）。
最小二乘法（（又称最小平方法）是一种数学优化技术。
它通过最小化误差的平方和寻找数据的最佳函数匹配。
利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。
扩展资料：
普通最小二乘估计量具有上述三特性：
1、线性特性
所谓线性特性，是指估计量分别是样本观测值的线性函数，亦即估计量和观测值的线性组合。
2、无偏性
无偏性，是指参数估计量的期望值分别等于总体真实参数。
3、最小方差性
所谓最小方差性，是指估计量与用其它方法求得的估计量比较，其方差最小，即最佳。
最小方差性又称有效性。
这一性质就是著名的高斯一马尔可夫（（Gauss-Markov）定理。
这个定理阐明了普通最小二乘估计量与用其它方法求得的任何线性无偏估计量相比，它是最佳的。
最小二乘法
最小二乘法1：最小二乘法的原理与要解决的问题最小二乘法是由勒让德在19世纪发现的，形式如下式：标函数 = \sum（观测值-理论值）^2\\观测值就是我们的多组样本，理论值就是我们的假设拟合函数。
目标函数也就是在机器学习中常说的损失函数，我们的目标是得到使目标函数最小化时候的拟合函数的模型。
举一个最简单的线性回归的简单例子，比如我们有 m 个只有一个特征的样本： (x_i, y_i)(i=1, 2, 3...,m)样本采用一般的 h_{\theta}(x) 为 n 次的多项式拟合，h_{\theta}(x)=\theta_0+\theta_1x+\theta_2x^2+...\theta _nx^n,\theta(\theta_0,\theta_1,\theta_2,...,\theta_n) 为参数最小二乘法就是要找到一组\theta(\theta_0,\theta_1,\theta_2,...,\theta_n) 使得\sum_{i=1}^n(h_{\theta}(x_i)-y_i)^2 (残差平方和) 最小，即，求 min\sum_{i=1}^n(h_{\theta}(x_i)-y_i)^22 ：最小二乘法的矩阵法解法最小二乘法的代数法解法就是对 \theta_i 求偏导数，令偏导数为0，再解方程组，得到 \theta_i 。
矩阵法比代数法要简洁，下面主要讲解下矩阵法解法，这里用多元线性回归例子来描：假设函数h_{\theta}(x_1,x_2,...x_n)=\theta_0+\theta_1x_1+...+\t heta_nx_n 的矩阵表达方式为：h_{\theta}(\mathbf{x})=\mathbf{X}\theta\\其中，假设函数 h_{\theta}(\mathbf{x})=\mathbf{X}\theta 为 m\times1 的向量, \theta 为 n\times1 的向量，里面有 n 个代数法的模型参数。
最小二乘法算法
最小二乘法算法最小二乘法算法最小二乘法算法是一种常用的拟合曲线方法，被广泛应用于各个领域。
它的主要思想是通过最小化误差平方和来找出数据点与构建的曲线之间的最佳匹配。
在本文中，我们将从数学原理、应用场景和优缺点等方面对最小二乘法算法进行介绍。
数学原理上，最小二乘法算法是通过最小化数据点到拟合曲线的垂直距离（又称残差）的平方和来进行拟合。
假设我们有一组数据点{(x1,y1), (x2, y2), ... (xn, yn)}，我们想要找到一个函数f(x)来拟合这些数据。
最小二乘法算法通过求解下面的优化问题来找到最佳的拟合曲线：argmin Σ(yi - f(xi))^2其中，f(xi)表示在给定的x值处函数的取值，yi是对应的实际观测值。
通过求解这个优化问题，我们可以得到最佳的函数f(x)，使得误差平方和达到最小。
最小二乘法算法的应用场景非常广泛。
在统计学中，它被用于回归分析，以拟合数据并估计变量之间的关系。
在金融学中，最小二乘法常用于计算资产收益率的参数估计和风险度量。
在信号处理中，最小二乘法可以用于信号去噪和参数估计。
此外，最小二乘法还在计算机视觉、机器学习和优化问题等领域得到广泛应用。
最小二乘法算法有很多优点。
首先，它具备数学原理明确、计算简单高效的特点。
其次，最小二乘法算法能够充分考虑数据点的权重，从而对观测误差进行合理的处理。
此外，最小二乘法算法还具备良好的数学性质，例如解的存在性和唯一性。
这些优点使得最小二乘法算法成为了一个被广泛接受和使用的方法。
当然，最小二乘法算法也存在一些缺点。
首先，它对异常值和离群点非常敏感。
如果数据中存在不符合模型假设的点，最小二乘法算法的拟合结果可能会受到很大影响。
此外，最小二乘法算法也存在过拟合的问题，即过度拟合训练数据而失去了对未知数据的泛化能力。
因此，在应用最小二乘法算法时，我们需要对数据进行预处理和模型选择来减少这些问题的影响。
综上所述，最小二乘法算法是一种重要的数学工具，用于数据拟合和参数估计。
最小二乘法讲解
历史简介
• 1801年，意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。 经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失 去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数据开始 寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有结果。 时年24岁的高斯也计算了谷神星的轨道。奥地利天文学家海因里 希·奥尔伯斯根据高斯计算出来的轨道重新发现了谷神星。
5
例题
6
例题
7
例题
8
例题
9
例题
10
例题
11
例题
12
例题
13
例题
14
例题
15
习题
假设关于某设备的使用年限x和所支出的维修费用y （万元）有如下统计资料：
x
2
3
4
5
6
y
2.2 3.8 5.5 6.5 7.0
（1）求回归直线方程；
（2）估计使用10年 时，维修费用约是
多少？
16
习题
解：根据散点图知 x 与 y 成线性相关关系
（1）列表
xi
yi
xi 2
xi yi
2
2.2
4
4.4
3
3.8
9
11.4
4
5.5
16
22
5
6.5
25
32.5
6
7.0
36
42
合计 20
25
90 112.3
x4
y5
17
习题
112.3 5 4 5 b 90 5 42 1.23 a 5 1.23 4 0.08
2
历史简介
• 高斯使用的最小二乘法的方法发表于1809年他的著作《天体运动论》 中。
最小二乘法
(1)正交性的有关性质
在线性代数欧氏空间理论中 , 将 R 3 中两个向量 x,y之间的夹角φ满足的关系式 xTy=‖x‖2‖y‖2cosφ 推广到Rn. T
x y 1 设x,y∈Rn, 由Cauchy不等式 1 || x ||2 || y ||2
从而得到Rn中两个向量之间的夹角为
x y arccos || x ||2 || y ||2
(i , f ) ( xk )i ( xk ) f ( xk )
k 0
m
则:
(i , f ) ci (i ,i )
拟合函数 f ( x) c00 ( x ) c11 ( x ) cnn ( x)
例1
设函数y=f(x)的离散数据如下表所示, 试用二次 多项式拟和上述数据,并求平方误差. i 0 xi 0 yi 1.000 1 2 3 4 5 0.2 0.4 0.6 0.8 1 1.221 1.492 1.822 2.226 2.718
T
定理1
设x, y是Rn中的向量, x与y正交的充分必要条
件为xＴy=0.
证明 必要性. 当x与y正交，它们的夹角φ=π/2， 有xＴy=0. 充分性. 当xＴy=0, φ=π/2, 即x与y正交. 注：如果x与y正交, 记为x⊥y
定理2
设x, y∈Rn, 且x⊥y, 那 么： ‖x+y‖22＝‖x‖22＋‖y‖22．
假设x⊥R(A), 即αiＴx=0 (i=1,2,…,k). 从而AＴx=0 另一方面,如果AＴx=0, 那么有z∈Rk, 使Az=y∈R(A). 这时，yＴx=zＴAＴx=0,即x⊥y. 由z的任意性， 得Az是任意的， 因此x⊥R(A). 由这个定理， 容易得到： 推论1 设A是n×k阶矩阵， 那么R(A)有唯一的正交 补子空间N(AＴ).
简述最小二乘法基本原理
简述最小二乘法基本原理最小二乘法，这个名字听上去有点复杂，但其实它是个非常实用的工具。
接下来，就让我带你深入了解一下这个方法的基本原理吧。
1. 最小二乘法是什么？最小二乘法是一种用于数据拟合的数学工具。
简单来说，就是通过最小化预测值与实际观察值之间的差异来找到一个最佳的数学模型。
用通俗的话说，就是找到一种最佳的“贴合”方式，让预测的结果和实际的数据尽可能地接近。
1.1 背景故事想象一下你在散步时发现了一些石头，想要摆成一条直线。
可是石头的位置可能有点散乱，这时你就需要用一种方法来确定哪条直线最能通过这些石头。
最小二乘法就像是在告诉你：“没关系，我会帮你找到最适合的那条直线，让它尽量接近每一个石头。
”1.2 公式揭秘最小二乘法的核心思想是，找出一个直线（或者更复杂的模型），让这条直线与实际数据点之间的距离总和最小。
你可以想象一下，把数据点看作一群小球，而这条直线就像是一个横杆，我们要做的就是调整这根横杆的位置，使得所有小球到横杆的垂直距离总和最小。
2. 如何实现最小二乘法？最小二乘法的实现并不复杂，通常涉及几个关键步骤。
你可以把它想象成一种“精准调整”的过程，下面是它的基本操作步骤：2.1 确定模型首先，你需要确定一个模型。
例如，如果你认为数据点可以用一条直线来描述，那你就选择一个线性模型（即直线方程）。
如果情况更复杂，你可能会选择多项式或其他类型的模型。
2.2 计算最小化目标接下来，你要计算每个数据点到模型预测值的差距，这些差距叫做残差。
然后，你把这些残差的平方加起来，得到一个总的“误差”值。
最小二乘法的任务就是通过调整模型的参数，使这个总误差值最小。
换句话说，就是让模型尽可能地贴近实际数据。
2.3 求解参数最后，你需要通过一些数学方法来求解出让总误差最小的模型参数。
这个过程可以借助一些数学工具或者计算软件来完成，但核心思想就是不断调整，直到误差最小为止。
3. 应用实例最小二乘法不仅仅是个数学玩具，它在现实生活中有很多应用。
计算最小二乘法
计算最小二乘法最小二乘法是一种数学方法，广泛应用于数理统计学和回归分析中。
其本质是通过最小化观测值与估计值的差距，寻找最优的参数估计。
最小二乘法最早由高斯提出，后来由勒让德进行了推广。
它的基本思想是假设观测值与理论值之间存在误差，在这些误差服从正态分布的假设下，通过优化估计参数，使得观测值与理论值之间的差距最小化。
最小二乘法的数学表达式可由以下公式表示：Y = aX + b其中，Y为观测值，X为自变量，a和b为待求参数。
通过最小化残差平方和来确定参数a和b的值。
残差即观测值与估计值之间的差异量，可以用公式表示为：Residuals = Y - (aX + b)最小二乘法的计算步骤如下：1.收集样本数据，并绘制散点图，观察数据的分布情况。
2.根据观测值的模型假设，建立数学关系表达式。
3.计算残差。
将观测值带入模型表达式，并计算观测值与估计值之间的差异量。
4.计算残差平方和。
将所有观测值的残差平方求和。
5.对参数进行优化。
最小化残差平方和，找到使得残差最小的参数值组合。
6.通过最小二乘法的公式计算估计参数的值。
对于线性模型来说，可直接计算出斜率和截距。
最小二乘法的优势在于能够通过数学方法确定最佳参数估计，从而得到最优的模型拟合效果。
并且，最小二乘法对于数据中的异常值具有一定的抗干扰能力。
最小二乘法的应用十分广泛。
在数理统计学中，最小二乘法可用来进行参数估计。
在回归分析中，最小二乘法可用来拟合线性模型。
此外，在信号处理、图像处理、经济学、物理学等领域，最小二乘法也得到了广泛应用。
需要注意的是，最小二乘法仅适用于线性模型，并且对数据分布的假设有一定要求。
在应用最小二乘法时，需要进行模型诊断，验证所假设的模型是否合理。
总而言之，最小二乘法是一种重要的数学方法，通过最小化观测值与估计值之间的差异，确定最优的参数估计。
它在统计学和回归分析中有着广泛的应用，能够提供准确的模型拟合结果，并为解决实际问题提供重要的参考依据。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
浅谈加权最小二乘法及其残差图——兼答孙小素副教授何晓群 刘文卿ABSTRACTThe paper introduces some problems in relation to weighted least square regression ,and answers a question about weighted residual plots.关键词：异方差；加权最小二乘法；残差图；SPSS一、引言好几年没有翻《统计研究》了。
最近，有一同行朋友打电话告诉我《统计研究》2005年第11期上刊登了一篇有关我与刘文卿合作编著的《应用回归分析》（2001.6.中国人民大学出版社）教材的文章。
赶紧找到这期的《统计研究》，看到其中孙小素副教授的文章《加权最小二乘法残差图问题探讨——与何晓群教授商榷》一文，以下简称《孙文》。
认真拜读后感触良多。
首先衷心感谢孙小素副教授阅读了我们《应用回归分析》拙作的部分章节，同时感谢《统计研究》给我们提供这样一个好的机会，使我们能够借助贵刊对加权最小二乘法的有关问题谈谈更多的认识。
《孙文》谈到《应用回归分析》教材中有关加权最小二乘法残差图的问题。
摆出了与加权最小二乘法相关的三类残差图，指出第三类残差图的局限性。
直接的问题是三类残差图的作用，而更深层的原因应该是对加权最小二乘法统计思想的理解和认识上的差异。
二、对加权最小二乘法的认识1. 加权最小二乘估计方法拙作《应用回归分析》中对加权最小二乘法有详尽的讲述，这里仅做简要介绍。
多元线性回归方程普通最小二乘法的离差平方和为：∑=----=ni ip p i i p x x y Q 1211010)(),,,(ββββββ（1）普通最小二乘估计就是寻找参数p βββ,,,10 的估计值pβββˆ,,ˆ,ˆ10 使式（1）的离差平方和Q 达极小。
式（1）中每个平方项的权数相同，是普通最小二乘回归参数估计方法。
在误差项i ε等方差不相关的条件下，普通最小二乘估计是回归参数的最小方差线性无偏估计。
然而在异方差的条件下，平方和中的每一项的地位是不相同的，误差项i ε的方差2i σ大的项，在式（1）平方和中的取值就偏大，在平方和中的作用就大，因而普通最小二乘估计的回归线就被拉向方差大的项，方差大的项的拟合程度就好，而方差小的项的拟合程度就差。
由式（1）求出的pβββˆ,,ˆ,ˆ10 仍然是p βββ,,,10 的无偏估计，但不再是最小方差线性无偏估计。
加权最小二乘估计的方法是在平方和中加入一个适当的权数i w ，以调整各项在平方和中的作用，加权最小二乘的离差平方和为：∑=----=ni ip p i i i p w x x y w Q 1211010)( ),,,(ββββββ （2）加权最小二乘估计就是寻找参数p βββ,,,10 的估计值pww w βββˆ,,ˆ,ˆ10 使式（2）的离差平方和w Q 达极小。
所得加权最小二乘经验回归方程记做ppw w w w x x y βββˆˆˆˆ110+++= （3）理论上最优的权数i w 为误差项方差2i σ的倒数,即21ii w σ=（4）误差项方差大的项接受小的权数，以降低其在式（2）平方和中的作用; 误差项方差小的项接受大的权数，以提高其在平方和中的作用。
由（2）式求出的加权最小二乘估计pww w βββˆ,,ˆ,ˆ10 就是参数p βββ,,,10 的最小方差线性无偏估计。
一个需要解决的问题是误差项的方差2i σ是未知的,因此无法真正按照式（4）选取权数。
在实际问题中误差项方差2i σ通常与自变量的水平有关,可以利用这种关系确定权数。
例如2i σ与第j 个自变量取值的平方成比例时,即2i σ=k 2ijx 时,这时取权数为 21iji x w =（5） 更一般的情况是误差项方差2i σ与某个自变量j x 取值的幂函数m ij x 成比例，即2i σ=k mij x ,其中m 是待定的未知参数。
此时权数为m iji x w 1=（6） 这时确定权数i w 的问题转化为确定幂参数m 的问题，可以借助SPSS 软件解决。
《应用回归》书中和《孙文》中都讲了这个方法，本文不再重述。
需要注意的是，在实际问题中比例关系2i σ=k mij x 只是近似的，式（6）确定的权数i w 只是式（4）最优权数的近似值，因此所得的参数最小二乘估计也只是近似的最小方差线性无偏估计。
2. 变量变换的加权最小二乘法《孙文》中谈到：加权最小二乘法的实质是要对原始数据实施变换，获得新的解释变量和被解释变量，变换的方法是：2m jx y y -⋅='（y '表示变换后的被解释变量） （7）2mj h hx x x -⋅='，h =0,1,2,……,p （hx '是对应于原始变量h x 的新解释变量） （8）对变换后的变量（p x x x y '''',,,,10）重新进行普通最小二成估计（注意，此处的回归模型不包含常数项，增加了数据变换后派生出的一个新解释变量2mj x x -='），即可得到加权最小二乘法的经验回归方程：p pw w w w x x x y '++'+'='βββˆˆˆˆ1100 （9）以上是《孙文》中对加权最小二乘法的解释，其中公式（7）、（8）、（9）分别对应《孙文》中的公式（3）、（4）、（5）。
3. 两种方法的异同相同之处。
显然，式（3）与式（9）两个回归方程是等价的，把式（3）同时乘以2mjx w -=后就转化为式（9）。
不同之处。
首先，式（3）的回归方程ppw w w w x x y βββˆˆˆˆ110+++= 使用起来比较方便，因为利用该回归方程进行预测和控制时，无须按式（8）变换自变量的新值，直接将自变量的新值代入式（3）即可。
对这一点孙小素副教授也是认同的。
其实，所有方法的优劣评价根本就在于他是否方便于建模最终的应用。
其次，虽然两种加权回归方法所得的回归方程是等价的，但是对回归效果的拟合优度和检验是不同的，式（3）的加权最小二乘的总离差平方和、回归离差平方和、残差平方和的计算公式和关系为：∑∑∑===+-=-n i ni iw i w iw i ni w ii e w y yw y yw 112212)ˆ()( （10） 其中w y 是i y 用i w 加权的算术平均数。
由于式（9）的变换加权最小二乘回归方程不含常数项，所以不满足离差平方和分解式，而是对直接的平方和满足分解式，总平方和、回归平方和、残差平方和的计算公式和关系为：∑∑∑==='+'='n i ni iw iwn i ie yy 112212ˆ （11）等价于∑∑∑===+=ni ni iwi iwin i ii e w yw y w 112212ˆ （12） 对不含常数项的普通最小二乘回归，SPSS 软件就是用上述公式计算平方和并进而计算判定系数2R 和做F 检验的。
然而，这种做法的合理性是有欠缺的，因为总平方和∑='ni i y 12不能如实反映因变量的变差，仅是为了满足平方和分解式而这样做，有削足适履的嫌疑。
另外一种做法是以∑='-'ni y y 12)(作为总离差平方和，把∑∑=='-'-'n i ni iwie y y 1122)(作为回归离差平方和，而不使用∑='-'ni iwy y12)ˆ(作为回归离差平方和，Excel 软件不含常数项（即指定常数项为零）的普通最小二乘回归就是采用的这个方法。
对《孙文》所引用的《应用回归分析》例题，有关的计算结果见表1（a ）—（d ）。
从表中可以清楚看出用变换加权最小二乘法计算离差平方和存在明显的问题，判定系数2R 和检验统计量F 严重失真。
对同样的数据做变换加权最小二乘估计，市面上流行的不同软件的拟合优度检验却差别很大，SPSS 软件计算出的F =442.2，2R =0.968；Excel 软件计算出的F =74.26，2R =0.837。
对其他数值就不逐一对比了。
针对上述问题，变换加权最小二乘法实际上常用于式（5）成立的情况，即m =2，此时变换后的自变量j x '≡1，回归参数j β就相当于回归常数项了，对变换后的数据就可以用含有常数项的普通最小二乘估计方法，各种统计软件对变换加权最小二乘法回归的拟合优度检验的输出结果就都一致了。
遗憾的是，即使是在这种特殊情况下也仍然与直接用加权最小二乘估计方法不一致，这只需仔细比较两种情况的总离差平方和公式∑='-'ni iy y 12)(和∑=-ni w ii y yw 12)(的差异即可。
这种通过变换变量求解加权最小二乘估计方法的作用是什么呢？引用文献[1]第180页的一段文字给予解释：“许多回归软件包允许用户有选择地使用具体的权数进行加权最小二乘分析。
如果不能选择，通过对观察值的具体变换，使用不加权的最小二乘法，仍能得到加权最小二乘估计量。
”可见通过变换变量求解加权最小二乘估计的方法仅是作为参数估计的一种计算手段而存在的，如果你使用的软件仅具有普通最小二乘功能，就只能用变换变量的方法求解加权最小二乘的参数估计。
《应用回归分析》教材是结合SPSS 软件编写的，而SPSS 软件允许用户直接使用权数进行加权最小二乘分析，不必通过变换变量的方法求解加权最小二乘估计，因此我们在教材中没有给出这种通过变换变量求解加权最小二乘估计的方法。
纵上所述，在拥有像SPSS 这种能够直接计算加权最小二乘估计的软件时，就不必使用变换变量求解加权最小二乘估计的方法了。
即使使用的是变换变量求解加权最小二乘估计的方法，也应该把式（9）变换回式（3）的形式，用来直接表示出原始变量之间的关系。
因此《孙文》把式（9）称为加权最小二乘法的经验回归方程就显然不合适了。
我们也没有见到其他的文献用这个称法。
三、三类残差图的作用以残差为纵坐标轴以自变量（或回归值y ˆ）为横坐标轴画的散点图就是残差图。
《孙文》中的三类残差图如下：1. 普通残差图。
指用原始数据对线性回归模型做普通最小二乘估计所得的普通残差ie 所做的残差图，也就是《孙文》中所称的第一类残差图。
2. 加权普通残差图。
其残差是用原始数据做加权最小二乘估计所得的普通残差w e （在《孙文》中记做w e '），也就是《孙文》中所称的加权派生残差图，或第三类残差图。
3. 加权变换残差图。
其残差是用变换数据做加权最小二乘估计所得的普通残差w e '（在《孙文》中记做w e ），也就是《孙文》中所称的加权残差图，或第二类残差图。