最小二乘法
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2. 逼近问题 这里指的 是“连续函数逼近问题”，即对连续函数如，研究用有限维空间 中的简单函数如来近似(逼近)连续函数。为此，需按如下步骤进行： 首先，要选择逼近函数的类型。通常就在中的一个有限维空间(或多项 式空间)中选择一个函数(或多项式)，作为的逼近函数。 其次，对逼近函数提出按什么度量标准来逼近。有了这些标准(即条 件)，才能按这些标准确定出具体的。 通常研究的两种基本的逼近问题是： (1) 最佳平方逼近 即对，求出，使得 或用赋范线性空间的范数记号 这里inf是下确界记号，其定义见有关微积分教材，不妨直观地理解为它 是“最小的更精确、更严格的数学表达”。
例6.2.1 例已知数据如下：
试求其拟合曲线。 解 根据上面数据，图近似一条直线 ， 得法方程
解之得 得拟合曲线
平方误差
(正定性)
(2) ,
(齐次性)
(3)
(三角不等式)
则称为线性空间上的范数，并且称为为赋范线性空间，仍记为。
对于连续函数空间，并定义(并证明满足范数3个基本条件)的如下3种范
数：
范ห้องสมุดไป่ตู้：
范数：
范数
这就是空间应用中最基本的3种范数。
定义 6.1.4 设是赋范线性空间，其范数为，若序列，如果有
，使
则称序列依范数收敛于，记作
6.2 曲线拟合的(线性)最小二乘法 1. 最小二乘拟合问题的提法
设在个节点上给定的离散函数，即给定离散数据(或称实验数据或观测 数据) ( 6.2.1 ) 要在某特定的函数空间中找出一个函数作为的近似函数模型，要求在出 的值与的误差(工程中也称残差)
( 6.2.2 ) 的平方和最小，即(记)
(6.2.3 ) 或为了体现数据的重要性不同，引入对应上不同点的权函数值,因而( 6.2.3 )式写成更一般的带权形式（6.2.4） 这就是最小二乘法拟合问题，称为在个节点()上的最小二乘法(即拟合曲 线或经验公式，或称为回归线)。通常，在简单情形下，取为多项式空 间，这时 为
在线性代数中已作详细讨论的线性空间有： (1) 维实向量的全体，按照向量的加法和数乘，构成实数域上的线 性空间。 (2) 行列的矩阵的全体，按照矩阵的加法和数乘，构成实数域上的线性 空间。 推广到连续函数，有 (3) --定义在区间上的连续实值函数的全体，按通常函数的加法与数乘， 构成上的线性空间，称为连续函数空间。 (4) —定义在区间上次数不超过次的多项式的全体，同样按照定义加法 和数乘，也构成上的线性空间。显然是的子空间。 以上的几个实数域上的线性空间，可扩展为复数域上的线性空间。 以后如无特别指明，均讨论为实数域上的线性空间。 定义 6.1.1 对数域上的线性空间，有，若存在不全为零的数，使得下列 等式成立
则称是线性相关的，否则，等式只对才能成立，则称是线性无关的。
定义6.1.2 称是由线性空间中个线性无关元素生成的，即都有 这时，
(1) 记 (2) 称 是的一组基； (3) 称是维的； (4) 系数称为在基下的坐标，并记为 如果的线性无关的元素可以无限地扩充，则称为无限维的；就是无限维 的。
特别地，用中的一组线性无关函数生成则,有 由坐标惟一确定。 对n次多项式空间,设,则
这相当于求多元函数 (6.2.7)
的极小值。按照求极值的必要条件，应有 整理为 这里引用两个离散点列上的函数值向量的内积
(6.2.8) 于是有
(6.2.9) 它称为的法方程或正则方程，是阶线性代数方程组，其系数矩阵为
(6.2.10) 这时，如果非奇异，则方程组(6.2.9)的解存在惟一。但需注意，这 里的每个元素中的是离散点集上的值向量组，而不是连续函数组，由的 线性无关未必能使线性无关，因此，不能直接引用6.1节内积性质定理 6.1.1，由的线性无关性而推断非奇异。 但由于在应用中通常取且，故借助更详细的理论推导，可知这里的 确是非奇异的，因而有惟一解 ,从而得 并且由于(6.2.7)式的是非负的上无界的二次函数，没有最大值，但 可以达到最小值，现在既然存在惟一的解解,则在 从上述求解过程可见，根据已知数据求最小二乘拟合曲线有两个主要步 骤：①选定拟合模型的形式，即选定②求最小二乘解，即求出拟合曲 线，它转化为求解相应的法方程。
6.1* 拟合问题与逼近问题/线性空间基础知识 1. 拟合问题
假设已获得某函数关系的成批离散实验数据或观测数据，拟合问题 就是为这样的大量离散数据建立对应的、近似的连续模型的一种应用基 础问题。所建立的模型的基本形式是一条曲线(一元函数)，称为拟合曲 线或经验公式。
其实，利用离散数据建立对应的连续模型，上一章讨论的插值方法 也是其中一种，在那里，其特点是要求目标模型（即插值函数）要过已 知的离散点，且所得的插值函数通常用来作非插值节点上的近似计算。 在这一章的拟合问题中，它不要求目标模型（即拟合曲线）精确地过已 知的各离散点（离散点本来就可能不准确），只是要求目标模型符合已 知离散点分布的总体轮廓，并且尽可能接近已知的数据，即与已知的离 散点的误差按某种意义尽量地小。关键就在“误差按某种意义尽量地 小”这一点上，可以有多种不同提法，通常采用“误差的平方和最小”的 原则，这就是“最小二乘拟合问题”。
下面，为了简便，有时就使用inf场合写成min。 (2) 最佳一致逼近 即对，求出，使得 或用赋范线性空间的范数记号 最佳一致逼近也称为chebyshev逼近。
从上述可见，最小二乘拟合问题实际上就是针对已知的离散数据的 (离散)平方逼近问题；插值问题就是针对已知的离散函数点，要求以插 值函数与已知离散点相等为逼近标准的逼近问题。本书除了重点介绍针 对离散数据 的多项式插值(第5章)、最小二乘曲线拟合（本章6.2-6.4 节）以外，还介绍连续函数最佳平方逼近的初步知识（本章6.5节，并 冠以*号）。
通过内积，又引进正交（垂直）的概念。 定义 6.1.6 设为内积空间，若对任意的，有 则称与正交。 通过内积，还可以导出中的范数，即对于，可定义并证明满足范数定义 的如下范数 根据上述定义，现在有： 对于空间，如上已定义过，设,, 则内积为 从而导出的范数为向量2-范数 更一般地，对给定实数称为权系数，中带权的内积及导出的2-范数分别 为
至此，我们已经引进了赋范线性空间、内积线性空间及其有关概念。 需要特别指出的是有关内积、正交，包括后面还要讲到的正交函数和正 交多项式等概念及其有关性质，均可分为“连续意义下”和“离散意义 下”的两种定义。以上对主要是在连续意义下给出定义，对于离散点列 上的情形(这是在处理离散数据过程中回碰到的问题)，我们在遇到时说 明。
(6.2.5) 在一般情形下，取为线性空间，其中是上已知的线性无关组，这时为
(6.2.6) 显然(6.2.5)是(6.2.6)的一种特殊情形。由于两式中关于待定参量(也称回
归系数) 都是一次的，所以是一种线性模型，而上述问题称为线性最小二乘拟 合。
2. 最小二乘解的解法/法方程 如何由已知数据求出最小二乘解呢？
第六章 曲线拟合的最小二乘法/函数平方逼近初 步
这一章也属于近似计算的范畴，或者说是函数逼近的问题，主要介绍离 散数据的最小二乘拟合，也叫做曲线拟合的最小二乘法，并自然地过渡 到连续函数的最佳平方逼近。为了使问题有更清晰、更简洁的数学表 述，在这一章中还复习、补充一些可供使用的线性空间基本理论和正交 多项的基本知识，并鼓励大家使用这些理论知识。
给出如下定理： 定理6.1.1 设 ，由它们的内积构成的矩阵(称为Gram矩阵)
则 非奇异的充分必要条件是 线性无关。 证明：注意到非奇异(即)的充分必要条件是齐次方程组
() 只有零解 。 必要性：现设有系数使线性组合，则有 即满足齐次方程组。于是，如果非奇异(即)，则有，从而线性无关。 充分性：设有参数满足前式的齐次方程组，则它们满足上式，进而有， 按内积的正定性，可知有。如果线性无关，则，从而齐次方程组只有零 解，故非奇异。
从上述又可见（可能有的读者一时还不太懂），如果有线性空间理 论的基础知识，逼近问题的陈述必定更清晰和简洁。
3. 线性空间 在数学理论中，对集合引起某种的所谓结构（即关系），从而称该集合 为某种数学空间。最基本又常用的一种空间结构是：对集合的任意两个 元素确定一种“加法”和对某数域（通常用到的是实数域R，对于复数域 C也有类似的推广）上的任意一个数与集合中任意一个元素确定一种“数 乘法”，并称这两种运算为“集合在数域上的线性运算”或“线性空间结 构”，而把所论的集合、数域、线性运算合称为线性空间。
由n+1 个坐标惟一确定，而为线性无关基。记
是n+1维空间，也是的一个n+1维子空间。又如
都是的子空间。
4. 范数/赋范线性空间
对线性空间的元素引进范数的概念，从而称为赋范线性空间。对和已在
第2章2.5节引进范数定义，下面引进一般的线性空间范数的定义。
定义6.1.3 设，若存在惟一的实数，满足条件
(1) ,其中当且仅当
或
对 及取，上述定义就称在上一致收敛于；若依范数收敛于，则上
述定义称平方收敛或均方收敛。
5. 内积/内积空间
在平面几何和空间几何中，以坐标表示的任意两个向量x, y数量积（或
称“·乘”）分别定义为
推广到线性空间中，任意两个向量，的数量积称为内积，记为,并定义 为 同时将引进内积的线性空间称为n维Euclid（欧几里得）空间，一般仍记 为。Euclid空间便自然地推广了夹角和正交（垂直）的概念。又对于复 线性空间，也有类似的结构，并称为空间。 定义6.1.5 设是数域(如实数域或复数域)上的线性空间，若对，有中一个 数与之对应，记为，满足条件： (1) ,其中 (2) , 为的共轭 (3) , (4) , 则称为与的内积；而定义了内积的线性空间X称为内积空间。只要不混 淆，内积空间仍可为X。
类似地，对带权内积为 对连续空间，设 ，则可定义内积和导出2-范数(也称Euclid范数)
同样，也给出上的权函数，从而可定义带权的内积和范数
所谓权函数，其严格定义是： 定义 6.1.7 如果是定义在(有限或无限)上的非负函数；存在()；对非负 的，由必有 ，则称为上的一个权函数。
对连续函数空间的内积，有一个与最小二乘原理应用有关的性质，
例6.2.1 例已知数据如下：
试求其拟合曲线。 解 根据上面数据，图近似一条直线 ， 得法方程
解之得 得拟合曲线
平方误差
(正定性)
(2) ,
(齐次性)
(3)
(三角不等式)
则称为线性空间上的范数，并且称为为赋范线性空间，仍记为。
对于连续函数空间，并定义(并证明满足范数3个基本条件)的如下3种范
数：
范ห้องสมุดไป่ตู้：
范数：
范数
这就是空间应用中最基本的3种范数。
定义 6.1.4 设是赋范线性空间，其范数为，若序列，如果有
，使
则称序列依范数收敛于，记作
6.2 曲线拟合的(线性)最小二乘法 1. 最小二乘拟合问题的提法
设在个节点上给定的离散函数，即给定离散数据(或称实验数据或观测 数据) ( 6.2.1 ) 要在某特定的函数空间中找出一个函数作为的近似函数模型，要求在出 的值与的误差(工程中也称残差)
( 6.2.2 ) 的平方和最小，即(记)
(6.2.3 ) 或为了体现数据的重要性不同，引入对应上不同点的权函数值,因而( 6.2.3 )式写成更一般的带权形式（6.2.4） 这就是最小二乘法拟合问题，称为在个节点()上的最小二乘法(即拟合曲 线或经验公式，或称为回归线)。通常，在简单情形下，取为多项式空 间，这时 为
在线性代数中已作详细讨论的线性空间有： (1) 维实向量的全体，按照向量的加法和数乘，构成实数域上的线 性空间。 (2) 行列的矩阵的全体，按照矩阵的加法和数乘，构成实数域上的线性 空间。 推广到连续函数，有 (3) --定义在区间上的连续实值函数的全体，按通常函数的加法与数乘， 构成上的线性空间，称为连续函数空间。 (4) —定义在区间上次数不超过次的多项式的全体，同样按照定义加法 和数乘，也构成上的线性空间。显然是的子空间。 以上的几个实数域上的线性空间，可扩展为复数域上的线性空间。 以后如无特别指明，均讨论为实数域上的线性空间。 定义 6.1.1 对数域上的线性空间，有，若存在不全为零的数，使得下列 等式成立
则称是线性相关的，否则，等式只对才能成立，则称是线性无关的。
定义6.1.2 称是由线性空间中个线性无关元素生成的，即都有 这时，
(1) 记 (2) 称 是的一组基； (3) 称是维的； (4) 系数称为在基下的坐标，并记为 如果的线性无关的元素可以无限地扩充，则称为无限维的；就是无限维 的。
特别地，用中的一组线性无关函数生成则,有 由坐标惟一确定。 对n次多项式空间,设,则
这相当于求多元函数 (6.2.7)
的极小值。按照求极值的必要条件，应有 整理为 这里引用两个离散点列上的函数值向量的内积
(6.2.8) 于是有
(6.2.9) 它称为的法方程或正则方程，是阶线性代数方程组，其系数矩阵为
(6.2.10) 这时，如果非奇异，则方程组(6.2.9)的解存在惟一。但需注意，这 里的每个元素中的是离散点集上的值向量组，而不是连续函数组，由的 线性无关未必能使线性无关，因此，不能直接引用6.1节内积性质定理 6.1.1，由的线性无关性而推断非奇异。 但由于在应用中通常取且，故借助更详细的理论推导，可知这里的 确是非奇异的，因而有惟一解 ,从而得 并且由于(6.2.7)式的是非负的上无界的二次函数，没有最大值，但 可以达到最小值，现在既然存在惟一的解解,则在 从上述求解过程可见，根据已知数据求最小二乘拟合曲线有两个主要步 骤：①选定拟合模型的形式，即选定②求最小二乘解，即求出拟合曲 线，它转化为求解相应的法方程。
6.1* 拟合问题与逼近问题/线性空间基础知识 1. 拟合问题
假设已获得某函数关系的成批离散实验数据或观测数据，拟合问题 就是为这样的大量离散数据建立对应的、近似的连续模型的一种应用基 础问题。所建立的模型的基本形式是一条曲线(一元函数)，称为拟合曲 线或经验公式。
其实，利用离散数据建立对应的连续模型，上一章讨论的插值方法 也是其中一种，在那里，其特点是要求目标模型（即插值函数）要过已 知的离散点，且所得的插值函数通常用来作非插值节点上的近似计算。 在这一章的拟合问题中，它不要求目标模型（即拟合曲线）精确地过已 知的各离散点（离散点本来就可能不准确），只是要求目标模型符合已 知离散点分布的总体轮廓，并且尽可能接近已知的数据，即与已知的离 散点的误差按某种意义尽量地小。关键就在“误差按某种意义尽量地 小”这一点上，可以有多种不同提法，通常采用“误差的平方和最小”的 原则，这就是“最小二乘拟合问题”。
下面，为了简便，有时就使用inf场合写成min。 (2) 最佳一致逼近 即对，求出，使得 或用赋范线性空间的范数记号 最佳一致逼近也称为chebyshev逼近。
从上述可见，最小二乘拟合问题实际上就是针对已知的离散数据的 (离散)平方逼近问题；插值问题就是针对已知的离散函数点，要求以插 值函数与已知离散点相等为逼近标准的逼近问题。本书除了重点介绍针 对离散数据 的多项式插值(第5章)、最小二乘曲线拟合（本章6.2-6.4 节）以外，还介绍连续函数最佳平方逼近的初步知识（本章6.5节，并 冠以*号）。
通过内积，又引进正交（垂直）的概念。 定义 6.1.6 设为内积空间，若对任意的，有 则称与正交。 通过内积，还可以导出中的范数，即对于，可定义并证明满足范数定义 的如下范数 根据上述定义，现在有： 对于空间，如上已定义过，设,, 则内积为 从而导出的范数为向量2-范数 更一般地，对给定实数称为权系数，中带权的内积及导出的2-范数分别 为
至此，我们已经引进了赋范线性空间、内积线性空间及其有关概念。 需要特别指出的是有关内积、正交，包括后面还要讲到的正交函数和正 交多项式等概念及其有关性质，均可分为“连续意义下”和“离散意义 下”的两种定义。以上对主要是在连续意义下给出定义，对于离散点列 上的情形(这是在处理离散数据过程中回碰到的问题)，我们在遇到时说 明。
(6.2.5) 在一般情形下，取为线性空间，其中是上已知的线性无关组，这时为
(6.2.6) 显然(6.2.5)是(6.2.6)的一种特殊情形。由于两式中关于待定参量(也称回
归系数) 都是一次的，所以是一种线性模型，而上述问题称为线性最小二乘拟 合。
2. 最小二乘解的解法/法方程 如何由已知数据求出最小二乘解呢？
第六章 曲线拟合的最小二乘法/函数平方逼近初 步
这一章也属于近似计算的范畴，或者说是函数逼近的问题，主要介绍离 散数据的最小二乘拟合，也叫做曲线拟合的最小二乘法，并自然地过渡 到连续函数的最佳平方逼近。为了使问题有更清晰、更简洁的数学表 述，在这一章中还复习、补充一些可供使用的线性空间基本理论和正交 多项的基本知识，并鼓励大家使用这些理论知识。
给出如下定理： 定理6.1.1 设 ，由它们的内积构成的矩阵(称为Gram矩阵)
则 非奇异的充分必要条件是 线性无关。 证明：注意到非奇异(即)的充分必要条件是齐次方程组
() 只有零解 。 必要性：现设有系数使线性组合，则有 即满足齐次方程组。于是，如果非奇异(即)，则有，从而线性无关。 充分性：设有参数满足前式的齐次方程组，则它们满足上式，进而有， 按内积的正定性，可知有。如果线性无关，则，从而齐次方程组只有零 解，故非奇异。
从上述又可见（可能有的读者一时还不太懂），如果有线性空间理 论的基础知识，逼近问题的陈述必定更清晰和简洁。
3. 线性空间 在数学理论中，对集合引起某种的所谓结构（即关系），从而称该集合 为某种数学空间。最基本又常用的一种空间结构是：对集合的任意两个 元素确定一种“加法”和对某数域（通常用到的是实数域R，对于复数域 C也有类似的推广）上的任意一个数与集合中任意一个元素确定一种“数 乘法”，并称这两种运算为“集合在数域上的线性运算”或“线性空间结 构”，而把所论的集合、数域、线性运算合称为线性空间。
由n+1 个坐标惟一确定，而为线性无关基。记
是n+1维空间，也是的一个n+1维子空间。又如
都是的子空间。
4. 范数/赋范线性空间
对线性空间的元素引进范数的概念，从而称为赋范线性空间。对和已在
第2章2.5节引进范数定义，下面引进一般的线性空间范数的定义。
定义6.1.3 设，若存在惟一的实数，满足条件
(1) ,其中当且仅当
或
对 及取，上述定义就称在上一致收敛于；若依范数收敛于，则上
述定义称平方收敛或均方收敛。
5. 内积/内积空间
在平面几何和空间几何中，以坐标表示的任意两个向量x, y数量积（或
称“·乘”）分别定义为
推广到线性空间中，任意两个向量，的数量积称为内积，记为,并定义 为 同时将引进内积的线性空间称为n维Euclid（欧几里得）空间，一般仍记 为。Euclid空间便自然地推广了夹角和正交（垂直）的概念。又对于复 线性空间，也有类似的结构，并称为空间。 定义6.1.5 设是数域(如实数域或复数域)上的线性空间，若对，有中一个 数与之对应，记为，满足条件： (1) ,其中 (2) , 为的共轭 (3) , (4) , 则称为与的内积；而定义了内积的线性空间X称为内积空间。只要不混 淆，内积空间仍可为X。
类似地，对带权内积为 对连续空间，设 ，则可定义内积和导出2-范数(也称Euclid范数)
同样，也给出上的权函数，从而可定义带权的内积和范数
所谓权函数，其严格定义是： 定义 6.1.7 如果是定义在(有限或无限)上的非负函数；存在()；对非负 的，由必有 ，则称为上的一个权函数。
对连续函数空间的内积，有一个与最小二乘原理应用有关的性质，