62第二节 超定方程组的解
超定方程组最优解（最小二乘解）推导
超定⽅程组最优解（最⼩⼆乘解）推导⼀、超定⽅程组##超定⽅程组即为有效⽅程个数⼤于未知数个数的⽅程组。
（这⾥只讨论多元⼀次的情况）超定⽅程组可以写成矩阵的形式：Ax=b其中A为m×n的矩阵，其与b组成的增⼴矩阵[A|b]的秩⼤于n。
x为n维列向量未知数。
⼆、超定⽅程组的最⼩⼆乘解##超定⽅程组是⽆解的，但是我们可以求得其最⼩⼆乘解，就是将等式左右两端乘上A的转置。
\begin{equation}\begin{split}A TAx=A Tb\end{split}\end{equation}该⽅程有增⼴矩阵[A T A|A T b]的秩等于n，即该⽅程的未知数的个数等于有效⽅程的个数，所以该⽅程有唯⼀解且为原⽅程的最⼩⼆乘解。
平时记住结论直接⽤就好三、推导过程##（记录，⼤家不要看：其实⼩⽣也是只知道结论不知道结论是怎么来的，不过有⼀天看斯坦福⼤学的机器学习公开课的第⼆节，看到了推导过程。
）1.前置结论###1. trAB=trBA2. trABC=trBCA=trCAB3. ∇A trAB=B T4. trA=trA T5. tra=a6)∇A trABA T C=CAB+C T AB Ttr代表矩阵的迹，⼤写字母为矩阵⼩写字母表⽰实数，∇表⽰求导。
2.公式推导###作差[]Ax−b=a T1x−b1⋮a T m−b m构建最⼩⼆乘\begin{equation}\begin{split}\frac{1}{2}(Ax-b)^T(Ax-b) = \frac{1}{2}\sum_{i=1}m(a_i Tx-b_i)^2\end{split}\end{equation}对x求导\begin{equation}\begin{split}\nabla_x \frac{1}{2}(Ax-b)^T(Ax-b) = \nabla_x tr(x TA TAx-x TA Tb-b TAx+b Tb)\end{split}\end{equation}利⽤前置结论2)4)5)\begin{equation}\begin{split}\nabla_x \frac{1}{2}(Ax-b)^T(Ax-b) = \nabla_xtr[xx TA TA-\nabla_xb TAx-\nabla_xb TAx]\end{split}\end{equation}其中利⽤前置结论6)注：⼤括号下的A为前置结论中的A，⼤括号上的A为矩阵A。
解方程组的方法与步骤
解方程组的方法与步骤解方程组是数学中非常重要的一个概念，它涉及到了数学的基础知识和思维方法。
在实际应用中，解方程组有着广泛的应用，如物理、经济学、工程等领域。
本文将介绍解方程组的方法与步骤，帮助读者理解和掌握这一重要的数学技巧。
解方程组的方法主要有代入法、消元法和矩阵法。
其中，代入法是最基础的方法之一。
它的基本思想是将一个方程的解代入到另一个方程中，从而得到一个只包含一个未知数的方程。
通过反复代入，最终可以求解出所有未知数的值。
代入法适用于方程组中的某个方程较为简单，容易求解。
消元法是解方程组的另一种常用方法。
它的基本思想是通过变换方程组中的方程，使得方程组中的某个未知数的系数为0，从而简化方程组的求解过程。
消元法可以分为高斯消元法和高斯-约当消元法两种。
高斯消元法是通过逐行变换，将方程组化为阶梯形式，从而求解出未知数的值。
高斯-约当消元法是在高斯消元法的基础上，进一步将方程组化为行最简形式，从而得到方程组的解。
消元法适用于方程组中的各个方程都比较复杂，需要进行多次变换的情况。
矩阵法是解方程组的一种更为高级的方法。
它将方程组的系数矩阵和常数矩阵组合成增广矩阵，通过行变换将增广矩阵化为行最简形式，从而求解出未知数的值。
矩阵法适用于方程组较为复杂，未知数较多的情况。
矩阵法的优势在于它可以通过矩阵的性质和运算规则，简化方程组的求解过程，提高求解效率。
在实际应用中，解方程组的步骤一般包括以下几个方面。
首先，确定方程组的类型，即确定方程的个数和未知数的个数。
根据方程组的类型，选择合适的解法。
其次，对于代入法，选择一个方程，将其中一个未知数表示为其他未知数的函数，然后代入到其他方程中求解。
对于消元法，通过变换方程组中的方程，使得方程组化为简化形式。
对于矩阵法，将方程组的系数矩阵和常数矩阵组合成增广矩阵，通过行变换将增广矩阵化为行最简形式。
最后，根据方程组的形式，求解出未知数的值。
解方程组的过程中，需要注意一些常见的问题和技巧。
超定方程组的最小二乘解原理
超定方程组，又称为过定方程组，是线性代数中的一个概念。
当方程组的未知数数量少于方程数量时，该方程组就被称为超定方程组。
由于超定方程组通常没有精确解，我们常常会寻求一个近似解，使得所有方程的残差平方和最小。
这就是最小二乘解的原理。
一、最小二乘解的基本概念最小二乘法是一种数学优化技术，它通过最小化误差的平方和来寻找数据的最佳函数匹配。
利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和最小。
最小二乘法还可用于曲线拟合，其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。
二、超定方程组的性质对于超定方程组，由于方程数量多于未知数数量，因此通常不存在一个解能够使得所有方程同时成立。
这种情况下，我们需要寻找一个近似解，即一个解，使得所有方程的残差（即方程的实际值与解代入方程后得到的计算值之间的差）的平方和最小。
三、最小二乘解的原理最小二乘解的原理就是基于上述思想，通过最小化残差平方和来寻找超定方程组的近似解。
具体步骤如下：构建残差平方和函数：首先，我们需要构建一个表示残差平方和的函数。
假设超定方程组有(m) 个方程，(n) 个未知数（(m > n)），未知数的向量记作(\mathbf{x} = (x_1, x_2, \ldots, x_n)^T)，方程组的系数矩阵记作(\mathbf{A} = (a_{ij})_{m \times n})，常数项向量记作(\mathbf{b} = (b_1, b_2, \ldots, b_m)^T)。
那么，残差向量可以表示为(\mathbf{r} = \mathbf{A}\mathbf{x} - \mathbf{b})，残差平方和函数可以写为(S(\mathbf{x}) = \mathbf{r}^T\mathbf{r} = (\mathbf{A}\mathbf{x} - \mathbf{b})^T(\mathbf{A}\mathbf{x} - \mathbf{b}))。
求超越方程的解
先举一例，解方程"x^2+100*x+99=0"在matlab ”Command Window"中输入如下命令：x=solve('x^2+100*x+99=0','x')首先来求一个二元一次方程组9x+8y=10 式113x+14y=12 式2我们一般的解法是代入法，或者加减消去法。
比较繁琐。
这里我们只需输入如下命令即可求出解：[x,y]=solve('9*x+8*y=10','13*x+14*y=12','x','y')普通的代数方程用fzero函数或者solve函数就行了：用fzero函数：fzero('(x+0.025)/1.1*exp(x/0.025)-exp(1.1/0.025)',0)ans =1.0995用solve函数：solve('(x+0.025)/1.1*exp(x/0.025)=exp(1.1/0.025)')2009b在matlad里直接输入mupad 回车，就调出了mupad。
要是直接在matlab中引用，用下面的语句试一下：v=evalin(symengine,'numeric::solve(exp(1.1/0.025)=((x+0.025)/1.1)*exp(x/0.025))')v ={}我简单验证了一下，结果是对的。
但是为什么在mupad中解出来无解我很矛盾：因为这个就是调用mupad的。
现在在外面，手上没有MATLAB软件，试试看哈syms xeq=*exp(x/0.025)-exp(1.1/0.025);s=solve(eq)解符号方程方程。
这类方程除极少数情形（如简单的三角方程）外，只能近似地方程的数值解法也适用于代数方程。
解法或者根据ƒ(z)的解析性质来确定。
当ƒ(x)为实函数时，确定方程实根的分布的最常用方法是应用连续函数的中值定理：如果实的连续函数ƒ(x)在区间【α,b】的两个端点的值异号,则ƒ(x)在此区间内至少有一个根。
正定超定适定方程求解
正定超定适定方程求解正定超定适定方程是指一个方程组中包含的未知数个数大于等于方程组中的方程个数，而且方程组的系数矩阵是正定的。
在这种情况下，我们可以通过最小二乘法求解这个方程组，得到一个近似解。
假设我们有一个超定方程组Ax=b，其中A是一个m×n的矩阵，b 是一个m维的列向量，n>m。
我们需要找到一个向量x，使得Ax尽可能地接近b。
为了求解这个问题，我们可以构造一个目标函数，定义为目标向量x与方程组Ax-b的残差向量之间的欧几里得距离的平方和。
即：J(x) = ∥Ax-b∥²我们的目标是找到一个使得J(x)最小化的x，即最小化残差向量的平方和。
为了求解这个最小化问题，我们可以使用最小二乘法。
最小二乘法的核心思想是将目标函数关于待求解向量x的每一个分量求导，并令导数等于零，得到一个关于x的线性方程组。
这个线性方程组的解即为我们所要求的最小二乘解。
具体的步骤如下：1.计算矩阵A的转置矩阵AT。
2.将目标函数关于向量x的每一个分量求导，得到一个关于x的线性方程组：AT(Ax-b) = 0。
3.解这个线性方程组，得到向量x的近似解。
在实际求解过程中，我们通常使用QR分解来求解这个线性方程组。
QR分解将矩阵A分解为一个正交矩阵Q和一个上三角矩阵R的乘积，即A=QR。
然后，我们可以将线性方程组AT(Ax-b)=0代入QR分解中得到QTRx=QTB，再将R转置与R相乘得到RTRx=RTR，这个方程组的解即为我们所要求的最小二乘解。
需要注意的是，由于矩阵A是正定的，所以QR分解一定存在，且矩阵R是满秩的。
因此，我们可以通过求解这个方程组得到唯一的最小二乘解。
我们可以将求解得到的最小二乘解代入原方程组，得到近似解，检验解的准确性。
综上所述，正定超定适定方程可以通过最小二乘法求解。
最小二乘法是一种数值计算方法，可以用来求解方程组中的近似解。
在应用中，我们可以使用数值计算软件或编程语言来实现最小二乘法的求解过程。
最小二乘法解超定方程组
1. 最小二乘法解超静定方程组（1.《数值分析》，闵涛，秦新强，赵凤群编，P68页，例3-5） （2.《无网格法》，张雄，刘岩著，P10~11页）1.1 理论知识如果配点数(方程数)r 大于试函数中的项n (未知量个数)，将导致超定方程组：Gu =P(1)其中系数矩阵G 为r ×n 阶矩阵，P 为r 阶列阵。
方法一：利用最小二乘法求解，即令(1)中每个方程的误差的平方和最小：[][]0∂--=∂T Gu P Gu P u (2)方法二：或Ku =f (3)其中T T K =G G,f =G P (4)1.2 算例例3.5 利用最小二乘法解下列超定方程组1231231231232312521352x x x x x x x x x x x x ++=⎧⎪+-=-⎪⎨++=⎪⎪-+=-⎩ (5)方法一：利用最小二乘法求解其中系数矩阵G 为4×3阶矩阵，P 为4阶列阵。
43111131252315⨯⎡⎤⎢⎥-⎢⎥=⎢⎥⎢⎥-⎣⎦G (6)[]412112T⨯=--P(7)31123[,,]T x x x ⨯=u(8)1231123212331234331414121112311311252125213523152x x x x x x x x x x x x x x x ⨯⨯⨯⨯++-⎡⎤⎡⎤⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥+-+--⎢⎥⎢⎥⎢⎥⎢⎥-=-=⎢⎥⎢⎥⎢⎥⎢⎥++-⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦-++--⎣⎦⎣⎦⎣⎦Gu P(9)[]1231231231231231231231232222123123123123[]]2312,3125213522521352(2)(31)(2521)(352)x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x =--++-⎡⎤⎢⎥+-+⎢⎥=++-+-+++--++⎢⎥++-⎢⎥-++⎣⎦=++-++-++++-+-++T I Gu P Gu P (10)[][]0,∂--=∂T Gu P Gu P u(11)由于123[,,]T x x x =u 即分别对x 1，x 2，x 3球偏导，得到12312311231231232(2)2(31)22(2521)23(352)2(1511193)Ix x x x x x x x x x x x x x x x ∂=++-++-+∂+⨯⨯+-+⨯⨯-++=+++(12)同理可得12322(113636)Ix x x x ∂=++-∂ (13)12332(193315)Ix x x x ∂=+++∂ (14)令偏导数等于零1231123212332(1511193)02(113636)02(193315)0Ix x x x Ix x x x Ix x x x ⎧∂=+++=⎪∂⎪⎪∂=++-=⎨∂⎪⎪∂=+++=⎪∂⎩ (15)法方程组为：1231511193113636193315x x x -⎡⎤⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥-⎣⎦⎣⎦⎣⎦(16)解此方程组得最小二乘解:x 1= -1.5917 x 2= 0.5899 x 3=0.7572方法二：或3443331111123151119131135111363252112519331315⨯⨯⨯⎡⎤⎡⎤⎡⎤⎢⎥-⎢⎥⎢⎥⎢⎥=-=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥-⎢⎥⎣⎦⎣⎦-⎣⎦T K =G G(17)3441312112331135161112552⨯⨯⨯⎡⎤-⎡⎤⎡⎤⎢⎥-⎢⎥⎢⎥⎢⎥=-=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥--⎢⎥⎣⎦⎣⎦-⎣⎦T G P(18)法方程组为1231511193113636193315x x x -⎡⎤⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥-⎣⎦⎣⎦⎣⎦(19)解得x 1= -1.5917 x 2= 0.5899 x 3=0.7572。
数值线性代数课程设计—超定方程组的求解
数值线性代数课程设计—超定⽅程组的求解《数值线性代数课程设计》专业：信息与计算科学班级： 13405011学号： 1340501123姓名：邢耀光实验⽇期： 2016.05.09报告⽇期： 2015.05.13实验地点：数理学院五楼机房超定⽅程组的求解邢耀光（班级：13405011 学号1340501123）摘要：在实验数据处理和曲线拟合问题中，求解超定⽅程组⾮常普遍。
⽐较常⽤的⽅法是最⼩⼆乘法。
形象的说，就是在⽆法完全满⾜给定条件的情况下，求⼀个最接近的解。
最⼩⼆乘法（⼜称最⼩平⽅法）是⼀种数学优化技术。
它通过最⼩化误差的平⽅和寻找数据的最佳函数匹配。
利⽤最⼩⼆乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平⽅和为最⼩。
关键字：最⼩⼆乘问题，残量，超定⽅程组，正则化⽅程组，Cholesky 分解定理。
正⽂：最⼩⼆乘法的背景：最⼩⼆乘法（⼜称最⼩平⽅法）是⼀种数学优化技术。
它通过最⼩化误差的平⽅和寻找数据的最佳函数匹配。
利⽤最⼩⼆乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平⽅和为最⼩。
最⼩⼆乘法还可⽤于曲线拟合。
其他⼀些优化问题也可通过最⼩化能量或最⼤化熵⽤最⼩⼆乘法来表达。
最⼩⼆乘法经常运⽤在交通运输学中。
交通发⽣预测的⽬的是建⽴分区产⽣的交通量与分区⼟地利⽤、社会经济特征等变量之间的定量关系，推算规划年各分区所产⽣的交通量。
因为⼀次出⾏有两个端点，所以我们要分别分析⼀个区⽣成的交通和吸引的交通。
最⼩⼆乘问题：最⼩⼆乘问题多产⽣于数据拟合问题。
例如，假定给出m 个点1,...,m t t 和这m 个点上的实验或观测数据1,...,my y ，并假定给出在i t 上取值的n 个已知函数1(),...,()n t t ψψ。
考虑i ψ的线性组合1122(;)()()...()n n f x t x t x t x t ψψψ=+++ ，（1）我们希望在1,...,m t t 点上(;)f x t 能最佳的逼近1,...,m y y 这些数据。
求解超定线性方程组及其相关问题的神经网络算法_任传波
1996年7月Journal of Dalian University of TechnologyJul .1996收稿日期:1996-02-01;修订日期:1996-05-16任传波:男,1964年生,博士生求解超定线性方程组及其相关问题的神经网络算法任传波 于万明 云大真(大连理工大学工程力学系 116024)摘要 探讨了用神经网络求解超定线性方程组及其相关问题的可能性,并给出了求解的Hebb 算法.最后,求解了四个数值例子,获得了较为满意的结果.实例证明,对于用某些迭代法不能求解的线性方程组问题,本方法都能得到其收敛解.关键词:超定方程组;线性方程;神经网络/Hebb 算法分类号:O 242;O 142.2神经网络现在已成为国际上十分活跃的研究领域.它被广泛地应用于控制系统、识别系统、天气预报、图象处理等诸多领域,并获得了极大的成功,显示出非凡的活力.但是,神经网络在求解超定线性代数方程组及其相关问题方面的工作还不多见,作者在这方面进行了尝试,得到了较为满意的结果.神经网络是由多个非常简单的处理单元彼此按某种方式相互连接而形成的计算机系统,该系统是靠其状态对外部的输入响应来处理信息的.Hebb 算法是神经网络算法中最具有代表性的一种算法,可简单描述如下:如果一个处理单元从另一处理单元接收输入激励信号,而且两者均处于高激励状态,那么处理单元间权值应当增强.这一点将为本文的算法提供一个理论基础.按数学表示,其加权的改变为x ij (n +1)=x i j (n )+Z y i y j(1)其中:x ij (n +1)、x ij (n )分别为第n +1和第n 次调整前后从结点i 到结点j 的连接权值;Z 为训练速率系数,一般取Z ∈(0,1);y i 为结点i 的输出,并输入到结点j ;y j 为结点j 的输出.1 超定线性方程组的Hebb 算法1.1 超定线性方程组与神经网络在数学表达上的相似性设有一超定线性方程组如下:a 11x 1+a 12x 2+…+a 1k x k =T 1a 21x 1+a 22x 2+…+a 2k x k =T 2……a m 1x 1+a m 2x 2+…+a mk x k =T m m ≥k (2)式(2)可进一步改写成∑kj =1ai jx j =T i ; i =1,2,…,m (3)当m =k 时,式(2)就成为一般的线性代数方程组;下面的讨论同时也适应一般的线性代数方程组.为了把超定线性方程组和神经网络联系起来,本文研究具有一个输出结点的单层前馈神图1 单层前馈神经网络拓扑结构经网络的拓扑结构(如图1所示)和它的输入、输出之间数学关系.假设输入向量为A i =(a i 1,a i 2,…,a ik );输出为y i ;相应的权向量X =(x 1,x 2,…,x k )T .显然,其输入的加权和为s i =a i 1x 1+a i 2x 2+…+a ik x k =∑kj =1aijx j (4)其输出y i 应为y i =F (s i -θ)=F∑kj =1aijx j -θ(5)式中:F (s i -θ)为输出结点的转移函数,它可以是符号函数、线性函数和非线性函数;θ为门限值.假如取θ=0,F (s i )=s i ,则式(5)变为y i =∑kj =1aijx j (6)比较式(3)、(6)可以看出,这两式在数学表达上是完全相似的,系数向量与输入向量A i 相同.因此可以用神经网络训练算法来求解线性方程组(2).在方程组(2)中,系数向量A i =(a i 1,a i 2,…,a ik )与数值T i 可以看作是神经网络中输入和输出的训练对,这样的训练对数目就是方程组中方程的个数.通过这些训练对,可反复进行训练,直到权向量(即方程组的解)X =(x 1,x 2,…,x k )T 满足理想输出T i 为止.1.2 算法实现算法的基本思路是,将输入加到网络上(见图1),对每个输入向量计算其输出y i .如果实际输出y i 就是要求的理想输出T i ,则保持权值不变;如果y i ≠T i ,则按Hebb 规则修改权值x j ,即加权的修正量正比于该加权对应的输入和输出的乘积.据此可导出算法的关系式〔1、2〕x j (n +1)=x j (n )+Δx jΔx j =Z W ij T ij i ,j =1,2,…,k (7)式中:Z 为训练速率系数,一般取Z ∈(0,1);W ij =T i -y i .其算法步骤如下:(1)将所有加权值随机地置于较小的数(均匀随机分布数);(2)加入一个输入,即A i =(a i 1,a i 2,…,a ik ),计算输入加权和s i =∑kj =1aijx j ;(3)计算输出y i =F (s i )=s i ;(4)计算输出误差W ij =T i -y i ;(5)调节各权值x j (n +1)=x j (n )+Z W ij a ij ;(6)计算权值误差X j =|x j (n +1)-x j (n )|;420大连理工大学学报 第36卷 如果X j <X (j =1,2,…,k ),停机;否则,回到(2).在这里有两点需要说明:(a)用Hebb 算法求解超定线性代数方程组与一般的神经网络问题有些不同〔1、2〕.在这里,训练对及其个数是确定的,由方程组的结构所决定;必须取转移函数F (x )=x ,门限值θ=0.(b )Z 的取值对算法的收敛速度是非常重要的.收敛速度随Z 值的增加而加快〔1、3〕,但Z 值取得太大,不收敛;取得太小,收敛速度太慢.因此本文把Z 值在计算开始时取得较大,随权值调整次数的增加而减小,即取Z =A 1/(n +A 2)(9)式中:A 1和A 2为常数,并且A 1<A 2.n 为权值的调整次数,在程序运行过程中为一变量.n =1,2,…,N ;其中N 为收敛时权值的调整次数.2 数值算例为了验证算法在求解超定线性方程组及一般线性方程组方面的可行性,本文给出下面几个算例.例1 给一超定线性方程组为1112231-12411Tx 1x 2=〔3 1 7 11.1 6.9 7.2〕T(10)按上述算法求得的解如表1所示.在这里式(9)中的A 1=300,A 2=450,N =441.表1 例1的解值方 法x 1x 2本 文 法 2.03674 1.80266最小二乘法2.074111.80780表2 例2给定的数据表12345x i 00.2500.5000.750 1.000y i1.0001.2841.6492.1172.718 例2 给定表2所示数据,要求用二次多项式y =b 0+b 1x +b 2x 2拟合,问题化为求解超定线性方程组的拟解.用本文法求得的解为y = 1.00538+0.86161x +0.84658x 2(11)在这里式(9)中的A 1=300,A 2=855,N =987.用最小二乘法求得的解为y = 1.0052+0.8641x +0.8437x 2(12)通过与最小二乘法的结果比较可以看出本算法的解还是比较可靠的.例3 在本例中,取式(9)中的A 1=30,A 2=405,这时计算方程组(13)的N =17,方程组(14)的N =246.用本文算法求解的结果如表3所示;从表中可以看出,方程组(13)的解几乎等于精确解.为了进行比较,表3同时还给出了方程组(14)的高斯消去法和高斯列主元消去法的结果;本方法比这两种方法的精度都高.(13)421 第4期 任传波等:求解超定线性方程组及其相关问题的神经网络算法0.001 2.000 3.000- 1.000 3.7214.623- 2.0001.0725.643x 1x 2x 3= 1.0002.0003.000(14)表3 本文解与其他解的比较方 程 组 (13)x 1x 2x 3x 4方 程 组 (14)x 1x 2x 3精 确 解-1.00000- 1.00000-1.00000-1.00000-0.49040-0.051040.36750本文算法-0.99999-0.99999-0.99999-0.99999-0.49039-0.051040.36752高斯消去法-----0.40000-0.049800.40000列主元素法-----0.49000-0.051130.36780 例4 在本例中有两个方程组(15)和(16).其中(15)用高斯-赛德尔迭代法收敛,而用雅可比迭代法不收敛;(16)用高斯-赛德尔迭代法不收敛,而用雅可比迭代法收敛.对这两个方程组,用本文算法进行了求解,均收敛,并且精度还较高.在这里均取式(9)中的A 1=30,A 2=405.这时计算方程组(15)的N =307,方程组(16)的N =189.式(15)的解为:X =(x 1,x 2,x 3)T =(-0.1351,- 1.0809, 3.9187)T ;式(16)的解为:X =(x 1,x 2,x 3)T =(- 2.9995,2.9996,0.99851)T1.00.40.40.4 1.00.80.40.8 1.0x 1x 2x 3=123(15)12-2111221x 1x 2x 3=111(16) 针对上述算例,检验了算法的收敛性,给出了式(9)中A 1、A 2与N 对应关系的两种情况.表4为超定线性方程组的情况;表5为一般线性方程组的情况(在两表中三、四列为N 的值).这时训练速度系数Z 在计算过程中是变化的;由A 1、A 2及n 决定.从表中可以看出随着A 1与A 2比值的增加,在保证收敛的情况下,收敛速度是增加的.基于目前神经网络研究的水平,还没有正确地确定Z 的理论根据,这也是神经网络界正在进一步研究的课题〔1、3〕,本文只是根据经验和反复的数据试验给出了确定Z 值的一种方法.表4 超定时的NA 1A 2例1例2300450441不收敛3008551036987表5 一般时的NA 1A 2方程组(13)方程组(14)30255不收敛17930405172463 结束语(1)本文用神经网络算法对超定线性代数方程组和一般的线性代数方程组进行了求解;算法简单、易行.对一般的线性代数方程组来讲,只要存在解,且A 1和A 2取得合理,就一定能够得到收敛解,并且精度较高;这是迭代法所不能的.422大连理工大学学报 第36卷 (2)本算法的特点主要是对权值进行调整,它是决定收敛速度的关键.为了使收敛速度加快,对权值调整策略的进一步研究,将是一项很有意义的课题.参 考 文 献1 周继成.人工神经网络.北京:科学普及出版社,1993.2 李庆扬.数值分析.武汉:华中工学院出版社,1982.3 Yu Xia ohu.Dy na mic lea rning r ate optimiza tio n o f th e backpro pag atio n a lg orithm.IEEE Trans on Neural Networks ,1995,6(3):669～677Algorithm of neural network for solving overdetermined systems of linear equations and related problemsRen Chuanbo ,Yu Wanming,Yun Dazhen(Dept .o f Eng ineering M echa nics ,DU T )Abstract The possibility to solve ov er -determined sy stems of linea r equatio ns by usingneural netw o rks is discussed,and the Hebb algo rithm is giv en.Finally ,four num erical ex-am ples are solv ed and the results are satisfactory.The exam ples show:fo r system s o f linea r equatio ns that ca n 't be so lv ed with som e itera ted metho ds ,the conv ergent so lution o f them can be g o tten with the metho d pro posed.Key Words :ov er-determined sy stems;linear equations;neural netw o rks /the Hebb al-go rithm423 第4期 任传波等:求解超定线性方程组及其相关问题的神经网络算法。
2.6超定线性方程组的最小二乘解
超定线性方程组的最小二乘法超定线性方程组11112211211222221122n n n n m m mn n ma x a x a xb a x a x a x b a x a x a x b +++=⎧⎪+++=⎪⎨⎪⎪+++=⎩ 11121112122212......,,...............n nn m m m mn a a a x b a a a x b a a a R R ⎡⎤⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥===⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎣≠⎦⎦A A,b x A b （），（）(1)式无解，即为不存在解的矛盾方程组----超定线性方程组其中(1)Ax =b实例美国地质调查局（NGS）1974年准备更新北美地质资料（NAD），这是一个包含268000个节点（地点）的网络，它覆盖整个北美大陆，包括巴拿马地峡、格陵兰岛、夏威夷、波多黎哥等其他加勒比海诸岛。
地质资料中记录的经度和纬度必须经精确到几厘米，其原因是它构成了诸如测量、地图、法定边界、国家和区域土地使用计划，像高速路和公共使用线路等项目设计标准。
覆盖长达140年的数据资料包括180万个观测值，考虑其相对精度，必须转化为适合计算机运算的格式，其数学模型为包含928735个方程、928735个变量的线性方程组，但这个方程组无解！无解的线性方程组也成为不相容的，实际应用中常出现这类不相容问题。
即任意都不可能使()211221mi i in n i i a x a x a x b =+++-=∑ 等于零。
(2)12,,,n x x x 如果有向量使得达到最小，称为超定线性方程组（1）的最小二乘解211221()mi i in n i i a x a b a x b =+++-∑ n x x x 000T12(,,,) 000T 12(,,,)n x x x 当方程组的解不存在但又需要求解时，最好的方法就是寻找，使得尽可能的接近xAx b勒让德（法国数学家，1752--1833）椭圆积分理论奠基人之一、数论、初等几何与天体力学，取得了重要理论成果，如在欧拉提出椭圆积分加法定理后的40年中，他是仅有的在这一领域提供重大新结果的数学家。
超定方程组最小二乘解
超定方程组最小二乘解最小二乘法广泛地应用于工程计算中,用最小二乘法消除（平滑）误差，用最小二乘法从有噪声的数据中提取信号，从海量数据中找出数据变化的趋势，……。
甚至利用简单函数计算复杂函数的近似值，我们并不期望它的近似值多么精确（事实上很多时候也不用很精确），尽管如此还是希望计算出的近似数据与原始数据之间有相似之处.如果从线性代数角度来理解最小二乘法,实际上是将一个高维空间的向量投影到低维子空间所涉及的工作.一、 超定方程组的最小二乘解当方程组GX=b 的方程数多于未知数个数时,对应的系数矩阵G 的行数大于列数，此时方程组被称为是超定方程组。
设G=(g iu ）m ×n ，当m>n 时即所谓的高矩阵,绝大多数情况下,超定方程组没有古典意义下的解。
超定方程组的最小二乘解是一种广义解，是指使残差r = b – GX 的2—范数达取极小值的解，即22*||||min ||||GX b GX b m RX -=-∈ 该问题是一个优化问题。
命题1：如果X *是正规方程组G T GX=G T b 的解，则X ＊是超定方程组GX=b 的最小二乘解 证 由题设可得，G T （b – GX ＊）=0。
对任意n 维向量Y ，显然有 （X ＊ – Y )T G T (b – GX *)=0考虑残差2—范数平方，由22**22||)()(||||||Y X G GX b GY b -+-=-上式右端利用内积，得22*22*22*22||||||)(||||||||||GX b Y X G GX b GY b -≥-+-=-从而有｜| b – GY ｜|2 ≥ ｜｜ b – GX *｜|2等式仅当Y =X *时成立。
所以X *是超定方程组GX=b 的最小二乘解。
命题2：如果X ＊是超定方程组GX=b 的最小二乘解,则X ＊满足正规方程组G T GX=G T b 证 由题设，22*||||min ||||GX b GX b m RX -=-∈,利用2—范数与内积关系，知X ＊是下面二次函数的极小值点ϕ（X ） = (GX ，GX ) – 2(GX ，b ) + (b ，b ）取任意n 维向量v ，对任意实数t ,构造一元函数g （t ) = ϕ（X * + t v ）显然, g (t ) 是关于变量t 的二次函数g （t ) = (G (X ＊ + t v )，G （X ＊ + t v )) – 2(G （X ＊ + t v ),b ) + (b ，b )= g （0) + 2t [（GX ＊,Gv ） – (Gv ，b ）]+ t 2 (Gv ，Gv )由题设t =0是g (t )的极小值点。
超定线性方程组
超定线性方程组
超定线性方程组
超定线性方程组是一种有所不同的线性方程组，与典型的线性方程组不一样，
它拥有比一般的线性方程多出的变量和约束。
超定线性方程组可以用来解决具有极大复杂度的优化问题，甚至是非线性问题，为工业环境提供更多灵活性。
超定线性方程组的基本结构是将"多维变量"和"多维约束"之间关联起来，使得
解决此类问题更加容易。
超定线性方程组可以让计算机在任何具有多维变量和约束的环境中运行，从而能够更快地解决这些问题。
超定线性方程组的应用有很多，它可以被用于提高现有算法的性能，最大化作
业质量，优化电力系统，优化能源和可再生能源，优化证券交易，优化投资，优化计算机系统，控制自动机器人，优化供应链管理，等等。
超定线性方程组的强大之处在于它解决了复杂优化问题的能力和灵活性，可以
更好地适应多变复杂的实际场景。
超定线性方程组让计算机很好地利用多维变量，可以帮助我们更准确地推断出最优解，从而提高工程实践的性能。
总而言之，超定线性方程组是一种几何形式，可以利用更多维度的变量和约束，从而更好地求解优化问题。
它的应用广泛，在解决各种复杂的实际问题中发挥着重要作用，为工业现代化的发展提供了强有力的支撑。
超定方程组
超定方程组
超方程是指方程比未知变量多，无解的方程。
对于方程组Ra=y，R为n×m矩阵，如果R列满秩，且n>m。
则方程组没有精确解，此时称方程组为超定方程组。
比如给定的三点不在一条直线上，我们就无法得到这样一条直线，使得这条直线同时经过给定的三点。
也就是说给定的条件(限制)过于严格，导致解的不存在。
在实验数据处理和曲线拟合中，求解超定方程是非常常见的。
常用的方法是最小二乘法。
形象地说，就是在这些给定条件不能完全满足的情况下，寻找最接近的解。
超定方程组 2
如果有向量a使得下式的值达到最小，则称a为上述超定方程组 3。
在MATLAB里面有三种方法求解超定方程组，一是用伪逆法求解，x=pinv(A)*b；二是用左除法求解，x=Ab；三是用最小二乘法求解。
方程组有精确解，则称为是相容的，其充要条件是
rank(R)=rank(R,y)。
设rank(R)=r>0，则总存在分解R=FG，即满秩分解。
定理1
方程组必存在最小二乘解，且a是方程组的最小二乘解的充要条件是a是RT·R·a=RT·y的解。
定理2
若rank(R)=r<m，则方程组有无穷多个最小二乘解，其中2-范数最小的解称为方程组的极小最小二乘解，且该解是唯一的，为a'=GT(GGT)-1(FTF)-1FTy
定理3
超定方程组 4。
超定方程组伪逆解
例1：求超定方程组
的最小二乘解，并求误差平方和解：方程组写成矩阵式为正规方程组为即
解得
此时：
误差平方和为
伪逆可以提供最小二乘解
设线性方程组 中， , 是m维已知向量，x是n维解向量，当m＞n即方程组中方程的个数多于未知量的个数时，称此方程组为超定方程组。一般来说，超定方程组无解（此时为矛盾方程组），这时需要寻找方程组的一个“最近似”的解。
记 ，称使 即 最小的解 为方程组 的最小二乘解。可以证明如下定理：
超定方程最小二乘解
矩阵的每一行代表一个方程，m 行代表m 个线性联立方程。
n 列代表n 个变量。
如果m 是独立方程数，根据m<n 、m=n 、m>n 确定方程是 ‘欠定’、‘适定’ 还是 ‘超定’。
超定方程组：方程个数大于未知量个数的方程组。
对于方程组Ra=y ，R 为n×m 矩阵，如果R 列满秩，且n>m超定方程一般是不存在解的矛盾方程。
例如，如果给定的三点不在一条直线上， 我们将无法得到这样一条直线，使得这条直线同时经过给定这三个点。
也就是说给定的条件（限制）过于严格， 导致解不存在。
在实验数据处理和曲线拟合问题中，求解超定方程组非常普遍。
比较常用的方法是最小二乘法。
形象的说，就是在无法完全满足给定的这些条件的情况下，求一个最接近的解。
曲线拟合的最小二乘法要解决的问题，实际上就是求以上超定方程组的最小二乘解的问题。
欠定方程组: 方程个数小于未知量个数的方程组。
对于方程组Ra=y ，R 为n×m 矩阵，且n<m 。
则方程组有无穷多组解，此时称方程组为欠定方程组。
内点法和梯度投影法是目前解欠定方程组的常用方法。
超定方程组最小二乘解课程设计最小二乘法广泛地应用于工程计算中，用最小二乘法消除（平滑）误差，用最小二乘法从有噪声的数据中提取信号，从海量数据中找出数据变化的趋势，……。
甚至利用简单函数计算复杂函数的近似值，我们并不期望它的近似值多么精确（事实上很多时候也不用很精确），尽管如此还是希望计算出的近似数据与原始数据之间有相似之处。
如果从线性代数角度来理解最小二乘法，实际上是将一个高维空间的向量投影到低维子空间所涉及的工作。
一、超定方程组的最小二乘解当方程组GX=b 的方程数多于未知数个数时，对应的系数矩阵G 的行数大于列数，此时方程组被称为是超定方程组。
设G=(g iu )m ×n ，当m>n 时即所谓的高矩阵，绝大多数情况下，超定方程组没有古典意义下的解。
电路中的超定方程组求解
电路中的超定方程组求解超定方程组是指含有多于未知数个数的方程的方程组。
在电路中，超定方程组的求解是一种常见的问题，尤其是在电路参数求解或网络分析中。
解决电路中超定方程组的方法有很多种，我将在本文中介绍其中两种常见的方法：最小二乘法和广义逆法。
一、最小二乘法最小二乘法是一种求解超定方程组的经典方法。
它的基本思想是通过最小化残差平方和来寻找一组近似解，使得方程组的误差最小化。
设超定方程组为Ax=b，其中A为m×n的系数矩阵，b为m维列向量，m>n。
最小二乘法的目标是找到一个n维列向量x，使得 ||Ax-b||^2 最小。
最小二乘法的求解步骤如下：1. 计算系数矩阵A的伪逆矩阵A+；2. 计算伪逆解x=A+b；3. 得到最小二乘解。
最小二乘法在电路参数求解、数据拟合和信号处理等领域有广泛应用，其优点是稳定可靠。
二、广义逆法广义逆法是另一种求解超定方程组的常见方法。
它通过求解广义逆矩阵来获得一组最优解。
设超定方程组为Ax=b，其中A为m×n的系数矩阵，b为m维列向量，m>n。
广义逆法的目标是找到一个n维列向量x，使得 ||Ax-b|| 最小。
广义逆法的求解步骤如下：1. 计算系数矩阵A的广义逆矩阵A#；2. 计算解x=A#b；3. 得到广义逆解。
广义逆法在电路网络分析、图像处理和机器学习等领域有广泛应用，其优点是求解速度快。
总结：超定方程组求解在电路中具有重要的意义，可以帮助我们求解电路参数或者进行电路网络分析。
本文介绍了两种常见的求解方法：最小二乘法和广义逆法。
最小二乘法通过最小化残差平方和来求解近似解，而广义逆法则通过求解广义逆矩阵来获得一组最优解。
读者可以根据具体的问题选择合适的求解方法，以解决电路中的超定方程组求解问题。
总之，电路中的超定方程组求解是电路参数求解和网络分析中的重要问题，我们可以运用最小二乘法和广义逆法等方法来求解。
通过合理选择求解方法，我们能够有效地解决电路中的超定方程组求解问题，提高电路设计和分析的准确性和效率。
2-6超定方程组的最小二乘法
a11 x1 a12 x 2 a1n x n b1 a x a x a x b 21 1 22 2 2n n 2 a m1 x1 a m 2 x 2 a mn x n bm
mn
Ax b
A (aij )mn , x R , b R
n
m
aij x j
j 1
n
的平方和最小，即求解问题： min F ( x) (bi aij x j ) b Ax
2 i 1 j 1 m n 2 2
此问题称为线性最小二乘问题，其解称为 超定线性方程组Ax b的最小二乘解。
2、用平方根法或LDLT 法求解方程组Mx f
x1 x 2 5 例10 求方程组 x1 2 x 2 4 2 x 3 x 10 2 1 的最小二乘解.
解
1 1 2 A A 1 2 3
T
1 -1 -1 2 6 9 2 -3
多元函数 F ( x)的偏导数
m n F 2 aik bi aij x j xk k 1 j 1
k 1,2, , n
令 得方程组
F 0 xk
k 1, 2, , n
m n ai1 aij x j i 1 j 1 n m ai 2 aij x j j 1 i 1 m n ain aij x j j 1 i 1
9 14
5 1 1 2 29 T A b 4 1 2 3 10 43
6 9 x1 29 正则方程组 9 14 x 2 43
麦克斯韦方程组超定问题的解释
（ Ｉ ｎ ｓ ｔ ｉ ｔ ｕ ｔ ｅ ｏ ｆ Ａｐ ｐ ｌ ｉ ｅ ｄ Ｐ ｈ ｙ ｓ ｉ ｃ ｓ ａ ｎ ｄ Ｃ ｏ ｍｐ ｕ ｔ ａ ｔ ｉ ｏ ｎ ａ ｌ Ｍａ ｔ ｈ ｅ ｍａ ｔ ｉ ｃ ｓ ，Ｂ ｅ ｉ ｊ ｉ ｎ ｇ １ ０ ０ ０ ９ ４ ）
ｅ ｑ ｕａ ｔ ｉ ｏｎ ｓ ａ ｒ ｅ ｔ ｈｏ ｕｇ ｈｔ ａ ｓ ｉ ｎ ｉ ｔ ｉ ａ ｌ ｃ ｏ ｎｄ ｉ ｔ ｉ ｏ ｎｓ ｏ ｆ ｃ ｕ ｒ ｌ ｏ ｎｅ ｓ ．Ｂｅ ｃ ａ ｕｓ ｅ ｏｆ ｔ ｈｉ ｓ ｅ ｘ ｐｌ ａ ｎ ａ ｔ ｉ ｏ ｎ，ｔ ｗｏ ｄ ｉ ｖ ｅ ｒ —
ｇ ｅ ｎ ｃ ｅ ｅ ｑ ｕ ａ ｔ ｉ ｏ ｎ ｓ ｕ ｓ ｕ ａ ｌ ｌ ｙ ａ ｒ ｅ ｎ ｏ ｔ ｓ ｏ ｌ ｖ ｅ ｄ ｉ ｎ ｃ ｏ ｍｐ ｕ ｔ ａ ｔ ｉ ｏ ｎ ａ ｌ ｅ ｌ ｅ ｃ ｔ ｒ ｏ ｍａ ｇ ｎ ｅ ｔ ｉ ｃ ｓ ． Ａ ｃ ｉ ｒ ｃ ｕ ｌ ａ ｒ ｌ ｏ ｇ ｉ ｃ ａ ｌ ｆ ａ ｌ ｌ ａ ｃ ｙ ｏ ｆ ｔ ｈ ｉ ｓ ｅ ｘ ｐ ｌ ａ ｎ ａ ｔ ｉ ｏ ｎ ｉ ｓ ｆ ｏ ｕ ｎ ｄ， ａ ｎ ｄ ｔ ｗｏ ｄ ｉ ｖ ｅ ｒ ｇ ｅ ｎ ｃ ｅ ｅ ｑ ｕ ａ ｔ ｉ ｏ ｎ ｓ ｃ ａ ｎ ｎ ｏ ｔ ｂ ｅ ｉ ｇ ｎ ｏ ｒ ｅ ｄ ｉ ｎ ｃ ｏ ｍｐ ｕ — ｔ ａ ｔ ｉ ｏ ｎ ａ ｌ ｅ ｌ ｅ ｃ ｔ ｒ ｏ ｍａ ｇ ｎ ｅ ｔ ｉ ｃ ｓ ，ｗｈ ｉ ｃ ｈ ，ｂ ｕ ｔ ｆ ｕ ｎ ｄ ａ ｍｅ ｎ ｔ ａ １ ．Ｔｈ ｅ ｄ ｅ ｆ ｉ ｎ ｉ ｔ ｉ ｏ ｎ ｏ ｆ ｄ ｉ ｆ ｆ ｅ ｒ — ｅ ｎ ｔ ｉ ａ ｌ ｌ ｉ ｎ ｅ ａ ｒ ｄ ｅ ｐ ｅ ｎ ｄ ｅ ｎ ｃ ｅ ｉ ｓ ｅ ｍｐ ｌ ｏ ｙ ｅ ｄ ｔ ｏ ｅ ｘ ｐ ｌ ａ ｉ ｎ ｏ ｖ ｅ ｒ — ｄ ｅ ｔ ｅ ｒ ｍｉ ｎ ａ ｔ ｉ ｏ ｎ ｏ ｆ Ｍａ ｘ ｗｅ ｌ ｌ ’ Ｓ ｅ ｑ ｕ ａ ｔ ｉ ｏ ｎ ｓ ．Ｉ ｎ ｔ ｈ ｅ ｇ ｅ ｎ ｅ ｒ ａ ｌ ｉ ｚ ｅ ｄ ｄ ｅ ｆ ｉ ｎ ｉ ｔ ｉ ｏ ｎ， ｓ ｅ ｖ ｅ ｒ ａ ｌ ｏ ｖ ｅ ｒ ｄ ｅ ｔ ｅ ｒ ｍｉ ｎ ｅ ｄ ｅ ｑ ｕ ａ ｔ ｉ ｏ ｎ ｓ ｂ ｅ ｃ ｏ ｍｅ ｗｅ ｌ ｌ — ｄ ｅ ｔ ｅ ｒ ｍｉ ｎ ｅ ｄ ｏ ｎ ｅ ｓ ， ｗｈ ｉ ｃ ｈ ａ ｖ ｏ ｉ ｄ ｓ ｏ ｍｅ ａ ｍｂ ｉ ｇ ｕ ｉ ｔ ｙ ． Ｔｈ ｉ ｓ ｐ ａ ｐ ｅ ｒ ｉ ｎ Ｅｎ ｇ ｌ ｉ ｓ ｈ ｃ ａ ｎ ｂ ｅ ｒ ｅ ｆ ｅ ｒ ｒ ｅ ｄ ｔ ｏ ａ ｒ Ｘｉ ｖ ：１ ０ ０ ２ ． ０ ８ ９ ２ ．
超定齐次方程组的解
超定齐次方程组的解
（原创实用版）
目录
1.超定齐次方程组的定义
2.超定齐次方程组的解法
3.超定齐次方程组的应用
正文
一、超定齐次方程组的定义
超定齐次方程组是线性代数中的一个重要概念，它是指由一组包含多个变量的线性方程所组成的方程组，其中每个方程的系数都是常数。
超定齐次方程组的解法是线性代数中的一个重要研究领域，它在数学、物理、工程等多个领域都有着广泛的应用。
二、超定齐次方程组的解法
求解超定齐次方程组，通常需要先确定方程组的秩，然后根据秩的大小来判断方程组是否有解。
如果方程组的秩等于方程的个数，那么方程组就是齐次的，此时方程组有唯一解。
如果方程组的秩小于方程的个数，那么方程组就是非齐次的，此时方程组无解。
对于齐次方程组，求解的方法主要有两种：一种是高斯消元法，另一种是矩阵分解法。
高斯消元法是一种比较常用的方法，它通过不断地消元，最终将方程组化为阶梯形矩阵，从而求得方程组的解。
矩阵分解法则是利用矩阵的特性，将方程组分解为两个矩阵的乘积，从而求得方程组的解。
三、超定齐次方程组的应用
超定齐次方程组在实际应用中有着广泛的应用，比如在物理中，它可以用来求解力学系统的平衡状态；在工程中，它可以用来求解电路的电流和电压等。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2x1 4x2 11.0478 3x1 5x2 2.9119
x1 2x2 5.5239
b1 b2 b3
解得最小二乘解为
x1 x2
3.0403 1.2418
2x1 x2 7.3224 b4
m
n
m
故误差平方和为 I r 2 2
数学学院 信息与计算科学系
nm
m
即有 ( aij aik )xk aij bi ( j 1,2,..., n)
k 1 i1
i 1
此线性方程组写成矩阵形式就是
AT Ax AT b
故x*是 ATAx=ATb 的解.
定理得证.
这里 ATAx=ATb 是关于x1,x2, …,xn的线性 方程组，称为正规方程组或法方程组.
数学学院 信息与计算科学系
解的存在唯一性
由于ATA是n 阶方阵，且是对称阵，当R(A)=n 时， 对任意 y≠0，有Ay≠0 ，所以
yT ( AT A) y ( Ay, Ay) Ay 2 0 2
可见ATA是正定矩阵，必有det(ATA)>0。故法方程
AT Ax AT b
的解存在且唯一.
2 2 yT AT (b Ax* )
2
Ay
2 2
b Ax*
2
Ay 2
b Ax*
2
2
2
2
所以x*是Ax=b 的最小二乘解.
数学学院 信息与计算科学系
必要性 误差向量r=b-Ax 的第 i 个分量为
n
ri bi aik xk (i 1,2,..., m),
k 1
1 2
2 1
3 1
5 2
x1 x2
2 4
3 5
1 2
12
3 6
2 1
7
数学学院 信息与计算科学系
即有
此时有
18
3
3
46
x1
x2
51 48
任取一n维向量 x x, 令 y x x , 则y≠0, 且
b Ax 2 b Ax* Ay 2
2
2
(b Ax* Ay, b Ax* Ay)
(b Ax*, b Ax* ) 2( Ay, b Ax* ) ( Ay, Ay)
b Ax*
(bi
aik xk )2
(bi bi )2
i 1
k 1
i 1
I (11 11.0478)2 (3 2.9119)2 (6 5.5239)2 (7 7.3224)2
0.34065942
x2
3 6 7
b
数学学院 信息与计算科学系
2 4
11
3 1
5 2
x1 x2
3 6
2 1
7
正规方程组为 ATAx=ATb，即
2 4
11
2 43 5Biblioteka 数学学院 信息与计算科学系
第二节 超定方程组的最小二乘解
设方程组Ax=b中, A=(aij)mn, b是m 维已知向量, x是n 维解向量,当 m>n 即方程组中方程的个数多于 自变量的个数, 称此方程组为超定方程组.
例如
就是一个超定方程组
数学学院 信息与计算科学系
一般说来，超定方程组无解（此时为矛盾方程
数学学院 信息与计算科学系
2 x1 4 x2 11
例1 求超定方程组
3 x1 5 x2 x1 2 x2
3 6
2 x1 x2 7
的最小二乘解，并求误差平方和.
解 方程组写成矩阵形式为
2 4
11
Ax
3 5
1 2
2
1
x1
m
n
记
I
I( x1, x2 ,..., xn )
r
2 2
(bi
aik xk )2
i 1
k 1
误差最小，由多元函数求极值的必要条件，可得
I
x j
m
n
2 (bi aik xk )aij
i 1
k 1
0
( j 1,2,..., n)
设解为 x ( x1 , x2 , ..., xn )T
组），这时需要寻找方程组的一个“最近似”的解.
定义
记误差向量 r=b-Ax, 称使
r
2
最小的解x*
2
为方程组Ax=b 的最小二乘解.
定理 x*是 Ax=b的最小二乘解的充要条件为x* 是 ATAx=ATb 的解.
数学学院 信息与计算科学系
定理 x*是 Ax=b的最小二乘解的充要条件为x*
是 ATAx=ATb 的解. 证 充分性 若存在 n维向量 x* 使ATAx*=ATb,