最小二乘法原理及其简单应用_邹乐强
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
【关键词】最小二乘法；回归模型；参数估计；系统辨识
最小二乘法作为一种传统的参数估计方法， 早已经被大家所了 解。 然而大多同学对最小二乘法的认识都比较模糊，仅仅把最小二乘 法理解为简单的线性参数估计。 事实上，最小二乘法在参数估计、系统 辨识以及预测、预报等众多领域都有着广泛的应用。 本文就最小二乘 法的引入、最小二乘法原理的简单证明、最小二乘法在线性参数估计、 欧氏空间、多项式拟合以及经济领域的模型参数估计等应用方面进行 具体的阐释。 本文的一些理论建立在学习过高等代数、数值分析及了 解简单的经济计量学的基础上。 本文的理论简明易懂，仅对现实中常 见的问题用最小二乘法理论结合阐释。
0.6
2 2
2 22
2
S2
2
2
2 2
2 17.0
2
2 2
2
221
2 2
t2
t2
2 2
2
2 2
22
221
2
21
2
0 0.1
0
2 2
2
0.01 2
2
Y=
S2
23 2
S2
2
4
S2
25
2
S2
26
2
22=
2 2
41.0
2
2 2
2 2
76.0
2 2
22120.5
22
2 2
22175.1
2
2
1 2
2
,M= 2
2
2
'
'
'
α1 C＝0,α2 C＝0，…，αn C＝0
''
'
而 α1 ,α2 ,…,αn 按行正好排成矩阵 A'，上述一串等式结合起来就是
A'(B-AX)=0 或 A'AX=A'B
这就是最小二乘解所满足的代数方程， 它是一个线性方程组，系
数矩阵 A'A，常数项是 A'B
3 最小二乘法简单运用举例
3.1 用最小二乘法求中学数学中《直线型经验公式》的最佳近似解 例 一个弹簧的长度 L 和它悬挂的重量 W 间的关系如下：
有最小二乘法原理知：
2364k+42b=519.2 42k+6b=69.2
解得：k=0.497 b=8.054 3.2 实验数据的最小二乘法拟合
例 在落体运动中，物体的位移 S 与时间 t 的关系可表为 S=S0+νt＋ 1 gt2 2
S0 表出位移，v 表初速，g 为重力加速度。 在一次落体实验中，得到 如下数据：
（*）
i=1
不等于零。
00
0
00
0
我们设法找到实数组 x1 ,x2 ,…,xs 使最小，这样的 x1 ,x2 ,…,xs 称为方
程组的最小二乘解。 这样问题就叫最小二乘法问题。 [1]
2 最小二乘法原理的证明
2.1 最小二乘法原理的初等证明 定理：X=(x1,x2,……xn)T 是矛盾方程组（1.1）的最小二乘解的充要条
［责任编辑：翟成梁］
●
（上接第 256 页）学生预测文章的发展方向 ，通 过 找 到 文 章 的 关 键 词 、 主题句来帮助学生理解文章。 在快速阅读中，那些与问题联系最大的 句子中往往含有一定的词汇重复，如同义词、反义词、上下义词等，教 师可以利用词汇衔接对学生进行查找特定信息的训练，从而降低答案 搜索的盲目性，提高答题的速度和准确性。 4．4 教师应该把写作训练与阅读教学结合起来。 教师应 在 指 导 学 生 借助词汇衔接分析语篇的同时，引导学生运用词汇衔接手段进行英语 写作训练，从而使阅读和写作起到相辅相成的作用。
因此我们决定选取 x 的一次式 ax+b 来表达。 当然最好能选到适当的
a，b 使下面的等式
3.6a+b-1.00=0
3.7a+b-0.9=0
3.8a+b-0.9=0
3.9a+b-0.81=0
4.0a+b-0.60=0
4.1a+b-0.56=0
4.2a+b-0.35=0
都成立。 实际上是不可能的，任何 a，b 代入上面各式都会发生误
件是 X 是方程组
Σ 1Σ 1 1Σ 1 Σ m
m
m
m
2
( ai1 )x1+
ai1ai2 x2+…+
ai1ain xn= ai1bi
i=1
i=1
i=j
i=1
1 1 1 1 1 1 m
m
m
m
Σ Σ Σ Σ ai2ai1 x1+
2
ai2
x2+…+
ai2ain xn= ai2bi
2.2
i=1
i=1
i=1
i=1
在转向为一般的最小二乘法问题：
实系数线性方程组
a11x1+a12x2+…+a1nxn-b1=0
a21x1+a22x2+…+a2nxn-b2=0
1.1
…………
am1x1+am2x2+…+amnxn-bm=0
可能无解。 即任何一组实数 x1,x2,……,xs 都可能使
m
Σ(ai1x1+ai2x2+…+ainxn-bi)2
X= i=1
m
(j=1,2,……,n) 2.4
Σaij
i=1
化简得：
1 1 1 1 1 1 1 1 m
m
m
m
Σ Σ Σ Σ aijai1 x1 +
aijai2 x2 + … +
a aij i,j-1 xj -1 +
2
aij
xj +
i=1
i=1
i=1
i=1
1Σ 1 1Σ 1 Σ m
m
m
a aij i,j+1 xj+1+…+
2
1 2
2
2
2
2
2
2 2
221
2
2
t3 t4 t5
22
t 1 3 2 2
=2 2
22 2
1 2 t4 2
2 2
1 2
2 2
2 2
t 1 5
2 2
2 2
0.2 0.3 0.4 0.5
0.04
2 2
2
0.09
2 2
0.16
2 2
2
0.25
2 2
1 t t 2
22 2
6
2
2 22
62
2 2 6 1.5 0.55
aijain xn= aijbi (j=1,2,…n)
i=1
i=1
i=1
这就是方程组⑵。 不难看出方程组⑵的系数矩阵为 ATA（AT 表示
A 的转置矩阵），由 A 列满秩知|ATA|≠0，故⑵有唯一解。 必要性得证。
充 分 性 ：设 X 是 方 程 组 （2）2.2 的 解 ，由 xj( j=1,2,...,n)满 足 方 程 组
叙述成：
找 X 使（*）最小，就是在 L(α1,α2,…，αn)中找一向量 Y，使得 B 它的 距离比到子空间 L(α1,α2,…，αn)中其它向量的距离都短。
应用前面所讲的结论，设
Y=AX=x1α1+x2α2+…+xnαn 是所要求的向量，则
C=B-Y=B-AX
必须垂直于子空间 L(α1,α2,…,αn)。 为此只需而且必须 (C,α1)＝(C,α2)=…=(C,αs)=0 根据矩阵乘法规则， 上述一串等式可以写成矩阵相乘的式子，即
2.2，也就是满足⑷式，再由于 A 列满秩，aij(i=1，2，...，m)不全为零，故⑶
m
Σ2
中二次项系数 aij ＞0，因此，⑷中式 Y 有最小值且最小值点为 X=(x1，
i=1
x2，... ，xn)，所以 X 是方程组⑴的最小二乘解。
2.2 利用欧氏空间证明最小二乘法 下面我们利用欧氏 空 间 的 概 念
差。 于是想找 a，b 使上面各式的误差的平方和最小，即找到 a，b 使
(3.6a+b-1.00)2+(3.7a+b-0.9)2+(3.8a+b-0.9)2+(3.9a+b-0.81)2+(4.0a+
b-0.60)2+(4.1a+b-0.56)2+(4.2a+b-0.35)2
最小。 这里讨论的是误差的平方即二乘方 ，故称为最小二乘法 。 现
知⑴式中 Y 有最小值，且 X 是最小值点。 由二次函数的性质得知二次
m
Σ2
函 数 aij 〉0（j=1,2,……,n），故 aij 不 全 部 为 零 （与 A 列 满 秩 的 假 设 一
i=1
致），且 X 满足：
m
Σ[aij(ai1x1+…+ai,j-1xi,j-1+ai,j+1xi,j+1+…+ainxn-bn)]
W
2
4
6
8
10
12
L
8.9
10.1
11.2
12.0
13.1
13.9
求关于 L、W 的经验公式。
解 设所求的经验公式为
L=kW+b
把表中各数据代入此方程得方程组：
222k+b=6.8
2
24k+b=10.1
2
226k+b=11.2
2
228k+b=12.0 2210k+b=13.1
2
2212k+b=13.9
t(秒)
0
0.1
0.2
0.3
0.4
0.5
s(厘 米 )
0.6
17.0
41.0
76.0
120.5
Hale Waihona Puke Baidu
175.1
试根据以上数据确定 S0 和 v、g.
解 现在要用五个实验点拟合的是二次多项式（n=5,m=21）
即 S=a0+a1t+a2t2
有最小二乘法的曲线拟合原理知
2
22
221
t1
t2
12
S2
21
2 2
2 2
2010 年 第 23 期
用 距 离 的 概 念 ，（*）就 是|Y-B|2
00
0
最小二乘法就是找 x1 ,x2 ,…,xs 使 Y 与 B 的距离最短，但从（*），知
道向量 Y 就是
a a 2 2
2 11 2
22 2 12 2
a2 2
2 1n 2
22
2
a a a 2
21
2 2
Y=x ＋x + +x … 1 2 2 22
所以 M'M= 1.5 0.55 0.225 ，
0.55 0.225 0.0979
2 2 0.8214 -5.893 8.929
(M'M)-1＝ -5.893 72.68 -133.93 8.929 -133.93 267.86
22 2 2 a0
0.9445
即 V1= a1 =(M'M)-1M'Y= 104.327
x≠
≠
2
≠≠…
≠ ≠ ≠ ≠
x≠≠ ≠≠
≠m ≠
Σ ≠
≠ ≠
a1jx1
≠ j=1
≠ ≠
n
Σ Y=
≠ ≠
≠ ≠
j=1
a2jx2
≠ ≠
n
≠ ≠ ≠ ≠ ≠ ≠
≠≠=AX
≠ ≠ ≠ ≠
2.5
Σa x ≠
≠
≠≠
mj m ≠≠
≠ j=1
≠
282
科技信息
○职校论坛○
SCIENCE & TECHNOLOGY INFORMATION
2010 年 第 23 期
SCIENCE & TECHNOLOGY INFORMATION
○职校论坛○
科技信息
最小二乘法原理及其简单应用
邹乐强 （河南工程技术学校 河南 焦作 454000）
【摘 要】最小二乘法是从误差拟合角度对回归模型进行参数估计或系统辨识，并在参数估计、系统辨识以及预测、预报等众多领域中得到 极为广泛的应用。然而，最小二乘法因其抽象、难懂常常被大家所忽视。本文就最小二乘法的引入，原理的证明，简单的应用进行归纳和总结，使 读者对最小二乘法有更为清晰、系统、全面地认识。
来表达最小二乘法，并给出最小二乘解所满足的代数条件。 令
a≠
≠ 11
≠
A＝
a≠
≠
21
≠≠…
a≠≠
≠ m1
a12 … a22 … …… am2 …
a≠ 1n ≠
≠
a2n
≠ ≠
…
≠ ≠
a ≠≠ mn ≠
b≠ ≠
≠1 ≠
≠≠
B=
b≠
≠
2
≠≠…
≠ ≠ ≠ ≠
b≠≠ ≠≠
≠m ≠
≠n
≠
x≠ ≠
≠1 ≠
≠≠
X=
a2
487.65
所拟合的二次多项式为
S=0.9455+104.327t+487.65t2
所以 g=2×a2＝2×487.65＝975.3 厘米 ／ 秒 2. 科
● 【参考文献】
［1］ 北京大学数学系几何与代数教研室代数小组. 高等代数. 高等教育出版社, 1988,2：388-390. ［2］高 富 德 .最 小 二 乘 法 的 初 等 证 明 .玉 溪 师 专 学 报 ，1989,4：1-2. ［3］ 黄 铎 ， 陈 兰 平 ， 王 凤 .数 值 分 析 .科 学 出 版 社 ,2004,3：159-161. ［4］ 李 子 奈 ， 叶 阿 忠 .高 等 计 量 经 济 学 .清 华 大 学 出 版 社 ,2000,1：27-29. ［5］ 张 保 法 .经 济 计 量 学 .经 济 科 学 出 版 社 ,2000,4：18-24. ［6］张金槐.线性模型参数估计及其改进.
aij xj +2 (aj(ai1x1+…+ai,j-1xj-1+ai,j+1xj+1+…+a1nxnbj))xj
i=1
i=1
m
Σ + (ai1x1+…+ai,j-1xj-1+ai,j+1xj+1+…+ainxn-bj)2 i=1
j=1,2,3, … … ,n
必 要 性 ：设 X=(x1,x2,……,xn)T 是 方 程 组⑴的 最 小 二 乘 解 ，由 定 义 1
1 问题的引入
例 已知某种材料在生产过程中的废品率 y 与某种化学成分 x 有关。 下列表中记载了某工厂生产中 y 与相应的 x 的几次数值：
y(%) 1.00
0.9
x(%)
3.6
3.7
0.9
0.81
0.6
0.56 0.35
3.8
3.9
4.0
4.1
4.2
我们想找出 y 对 x 的一个近似公式。
解 把表中数值划出图来看， 发现它的变化趋势近于一条直线。
1 1 1 1 1 1 m
m
m
m
Σ Σ Σ Σ ainai1 x1+
ainai2 x2+…+
2
ain
xn=
ainbi
i=1
i=1
i=1
i=1
的 解[2]
1 1 m
n
2
Σ Σ 证明：设 Y= bi- aikxk
2.3
i=1
k=1
把 Y 整理为关于 xj(1≦j≦n)的二次函数得
1Σ 1 Σ m
m
22
Y=
2
2 2
22
2 22…
2
2
2 2
…
2
22
2 2
2n
2 2
… n 2 2 22
a22
22
2 m1 2
a22
22
2 m2 2
a22
22
2 mn 2
把 A 的各列向量分别记为 α1,α2,…，αn。 由它们生成的子空间为 L
(α1,α2,…，αn)，Y 就是 L(α1,α2,…，αn)中的向量。 于 是 最 小 二 乘 法 问 题 可
最小二乘法作为一种传统的参数估计方法， 早已经被大家所了 解。 然而大多同学对最小二乘法的认识都比较模糊，仅仅把最小二乘 法理解为简单的线性参数估计。 事实上，最小二乘法在参数估计、系统 辨识以及预测、预报等众多领域都有着广泛的应用。 本文就最小二乘 法的引入、最小二乘法原理的简单证明、最小二乘法在线性参数估计、 欧氏空间、多项式拟合以及经济领域的模型参数估计等应用方面进行 具体的阐释。 本文的一些理论建立在学习过高等代数、数值分析及了 解简单的经济计量学的基础上。 本文的理论简明易懂，仅对现实中常 见的问题用最小二乘法理论结合阐释。
0.6
2 2
2 22
2
S2
2
2
2 2
2 17.0
2
2 2
2
221
2 2
t2
t2
2 2
2
2 2
22
221
2
21
2
0 0.1
0
2 2
2
0.01 2
2
Y=
S2
23 2
S2
2
4
S2
25
2
S2
26
2
22=
2 2
41.0
2
2 2
2 2
76.0
2 2
22120.5
22
2 2
22175.1
2
2
1 2
2
,M= 2
2
2
'
'
'
α1 C＝0,α2 C＝0，…，αn C＝0
''
'
而 α1 ,α2 ,…,αn 按行正好排成矩阵 A'，上述一串等式结合起来就是
A'(B-AX)=0 或 A'AX=A'B
这就是最小二乘解所满足的代数方程， 它是一个线性方程组，系
数矩阵 A'A，常数项是 A'B
3 最小二乘法简单运用举例
3.1 用最小二乘法求中学数学中《直线型经验公式》的最佳近似解 例 一个弹簧的长度 L 和它悬挂的重量 W 间的关系如下：
有最小二乘法原理知：
2364k+42b=519.2 42k+6b=69.2
解得：k=0.497 b=8.054 3.2 实验数据的最小二乘法拟合
例 在落体运动中，物体的位移 S 与时间 t 的关系可表为 S=S0+νt＋ 1 gt2 2
S0 表出位移，v 表初速，g 为重力加速度。 在一次落体实验中，得到 如下数据：
（*）
i=1
不等于零。
00
0
00
0
我们设法找到实数组 x1 ,x2 ,…,xs 使最小，这样的 x1 ,x2 ,…,xs 称为方
程组的最小二乘解。 这样问题就叫最小二乘法问题。 [1]
2 最小二乘法原理的证明
2.1 最小二乘法原理的初等证明 定理：X=(x1,x2,……xn)T 是矛盾方程组（1.1）的最小二乘解的充要条
［责任编辑：翟成梁］
●
（上接第 256 页）学生预测文章的发展方向 ，通 过 找 到 文 章 的 关 键 词 、 主题句来帮助学生理解文章。 在快速阅读中，那些与问题联系最大的 句子中往往含有一定的词汇重复，如同义词、反义词、上下义词等，教 师可以利用词汇衔接对学生进行查找特定信息的训练，从而降低答案 搜索的盲目性，提高答题的速度和准确性。 4．4 教师应该把写作训练与阅读教学结合起来。 教师应 在 指 导 学 生 借助词汇衔接分析语篇的同时，引导学生运用词汇衔接手段进行英语 写作训练，从而使阅读和写作起到相辅相成的作用。
因此我们决定选取 x 的一次式 ax+b 来表达。 当然最好能选到适当的
a，b 使下面的等式
3.6a+b-1.00=0
3.7a+b-0.9=0
3.8a+b-0.9=0
3.9a+b-0.81=0
4.0a+b-0.60=0
4.1a+b-0.56=0
4.2a+b-0.35=0
都成立。 实际上是不可能的，任何 a，b 代入上面各式都会发生误
件是 X 是方程组
Σ 1Σ 1 1Σ 1 Σ m
m
m
m
2
( ai1 )x1+
ai1ai2 x2+…+
ai1ain xn= ai1bi
i=1
i=1
i=j
i=1
1 1 1 1 1 1 m
m
m
m
Σ Σ Σ Σ ai2ai1 x1+
2
ai2
x2+…+
ai2ain xn= ai2bi
2.2
i=1
i=1
i=1
i=1
在转向为一般的最小二乘法问题：
实系数线性方程组
a11x1+a12x2+…+a1nxn-b1=0
a21x1+a22x2+…+a2nxn-b2=0
1.1
…………
am1x1+am2x2+…+amnxn-bm=0
可能无解。 即任何一组实数 x1,x2,……,xs 都可能使
m
Σ(ai1x1+ai2x2+…+ainxn-bi)2
X= i=1
m
(j=1,2,……,n) 2.4
Σaij
i=1
化简得：
1 1 1 1 1 1 1 1 m
m
m
m
Σ Σ Σ Σ aijai1 x1 +
aijai2 x2 + … +
a aij i,j-1 xj -1 +
2
aij
xj +
i=1
i=1
i=1
i=1
1Σ 1 1Σ 1 Σ m
m
m
a aij i,j+1 xj+1+…+
2
1 2
2
2
2
2
2
2 2
221
2
2
t3 t4 t5
22
t 1 3 2 2
=2 2
22 2
1 2 t4 2
2 2
1 2
2 2
2 2
t 1 5
2 2
2 2
0.2 0.3 0.4 0.5
0.04
2 2
2
0.09
2 2
0.16
2 2
2
0.25
2 2
1 t t 2
22 2
6
2
2 22
62
2 2 6 1.5 0.55
aijain xn= aijbi (j=1,2,…n)
i=1
i=1
i=1
这就是方程组⑵。 不难看出方程组⑵的系数矩阵为 ATA（AT 表示
A 的转置矩阵），由 A 列满秩知|ATA|≠0，故⑵有唯一解。 必要性得证。
充 分 性 ：设 X 是 方 程 组 （2）2.2 的 解 ，由 xj( j=1,2,...,n)满 足 方 程 组
叙述成：
找 X 使（*）最小，就是在 L(α1,α2,…，αn)中找一向量 Y，使得 B 它的 距离比到子空间 L(α1,α2,…，αn)中其它向量的距离都短。
应用前面所讲的结论，设
Y=AX=x1α1+x2α2+…+xnαn 是所要求的向量，则
C=B-Y=B-AX
必须垂直于子空间 L(α1,α2,…,αn)。 为此只需而且必须 (C,α1)＝(C,α2)=…=(C,αs)=0 根据矩阵乘法规则， 上述一串等式可以写成矩阵相乘的式子，即
2.2，也就是满足⑷式，再由于 A 列满秩，aij(i=1，2，...，m)不全为零，故⑶
m
Σ2
中二次项系数 aij ＞0，因此，⑷中式 Y 有最小值且最小值点为 X=(x1，
i=1
x2，... ，xn)，所以 X 是方程组⑴的最小二乘解。
2.2 利用欧氏空间证明最小二乘法 下面我们利用欧氏 空 间 的 概 念
差。 于是想找 a，b 使上面各式的误差的平方和最小，即找到 a，b 使
(3.6a+b-1.00)2+(3.7a+b-0.9)2+(3.8a+b-0.9)2+(3.9a+b-0.81)2+(4.0a+
b-0.60)2+(4.1a+b-0.56)2+(4.2a+b-0.35)2
最小。 这里讨论的是误差的平方即二乘方 ，故称为最小二乘法 。 现
知⑴式中 Y 有最小值，且 X 是最小值点。 由二次函数的性质得知二次
m
Σ2
函 数 aij 〉0（j=1,2,……,n），故 aij 不 全 部 为 零 （与 A 列 满 秩 的 假 设 一
i=1
致），且 X 满足：
m
Σ[aij(ai1x1+…+ai,j-1xi,j-1+ai,j+1xi,j+1+…+ainxn-bn)]
W
2
4
6
8
10
12
L
8.9
10.1
11.2
12.0
13.1
13.9
求关于 L、W 的经验公式。
解 设所求的经验公式为
L=kW+b
把表中各数据代入此方程得方程组：
222k+b=6.8
2
24k+b=10.1
2
226k+b=11.2
2
228k+b=12.0 2210k+b=13.1
2
2212k+b=13.9
t(秒)
0
0.1
0.2
0.3
0.4
0.5
s(厘 米 )
0.6
17.0
41.0
76.0
120.5
Hale Waihona Puke Baidu
175.1
试根据以上数据确定 S0 和 v、g.
解 现在要用五个实验点拟合的是二次多项式（n=5,m=21）
即 S=a0+a1t+a2t2
有最小二乘法的曲线拟合原理知
2
22
221
t1
t2
12
S2
21
2 2
2 2
2010 年 第 23 期
用 距 离 的 概 念 ，（*）就 是|Y-B|2
00
0
最小二乘法就是找 x1 ,x2 ,…,xs 使 Y 与 B 的距离最短，但从（*），知
道向量 Y 就是
a a 2 2
2 11 2
22 2 12 2
a2 2
2 1n 2
22
2
a a a 2
21
2 2
Y=x ＋x + +x … 1 2 2 22
所以 M'M= 1.5 0.55 0.225 ，
0.55 0.225 0.0979
2 2 0.8214 -5.893 8.929
(M'M)-1＝ -5.893 72.68 -133.93 8.929 -133.93 267.86
22 2 2 a0
0.9445
即 V1= a1 =(M'M)-1M'Y= 104.327
x≠
≠
2
≠≠…
≠ ≠ ≠ ≠
x≠≠ ≠≠
≠m ≠
Σ ≠
≠ ≠
a1jx1
≠ j=1
≠ ≠
n
Σ Y=
≠ ≠
≠ ≠
j=1
a2jx2
≠ ≠
n
≠ ≠ ≠ ≠ ≠ ≠
≠≠=AX
≠ ≠ ≠ ≠
2.5
Σa x ≠
≠
≠≠
mj m ≠≠
≠ j=1
≠
282
科技信息
○职校论坛○
SCIENCE & TECHNOLOGY INFORMATION
2010 年 第 23 期
SCIENCE & TECHNOLOGY INFORMATION
○职校论坛○
科技信息
最小二乘法原理及其简单应用
邹乐强 （河南工程技术学校 河南 焦作 454000）
【摘 要】最小二乘法是从误差拟合角度对回归模型进行参数估计或系统辨识，并在参数估计、系统辨识以及预测、预报等众多领域中得到 极为广泛的应用。然而，最小二乘法因其抽象、难懂常常被大家所忽视。本文就最小二乘法的引入，原理的证明，简单的应用进行归纳和总结，使 读者对最小二乘法有更为清晰、系统、全面地认识。
来表达最小二乘法，并给出最小二乘解所满足的代数条件。 令
a≠
≠ 11
≠
A＝
a≠
≠
21
≠≠…
a≠≠
≠ m1
a12 … a22 … …… am2 …
a≠ 1n ≠
≠
a2n
≠ ≠
…
≠ ≠
a ≠≠ mn ≠
b≠ ≠
≠1 ≠
≠≠
B=
b≠
≠
2
≠≠…
≠ ≠ ≠ ≠
b≠≠ ≠≠
≠m ≠
≠n
≠
x≠ ≠
≠1 ≠
≠≠
X=
a2
487.65
所拟合的二次多项式为
S=0.9455+104.327t+487.65t2
所以 g=2×a2＝2×487.65＝975.3 厘米 ／ 秒 2. 科
● 【参考文献】
［1］ 北京大学数学系几何与代数教研室代数小组. 高等代数. 高等教育出版社, 1988,2：388-390. ［2］高 富 德 .最 小 二 乘 法 的 初 等 证 明 .玉 溪 师 专 学 报 ，1989,4：1-2. ［3］ 黄 铎 ， 陈 兰 平 ， 王 凤 .数 值 分 析 .科 学 出 版 社 ,2004,3：159-161. ［4］ 李 子 奈 ， 叶 阿 忠 .高 等 计 量 经 济 学 .清 华 大 学 出 版 社 ,2000,1：27-29. ［5］ 张 保 法 .经 济 计 量 学 .经 济 科 学 出 版 社 ,2000,4：18-24. ［6］张金槐.线性模型参数估计及其改进.
aij xj +2 (aj(ai1x1+…+ai,j-1xj-1+ai,j+1xj+1+…+a1nxnbj))xj
i=1
i=1
m
Σ + (ai1x1+…+ai,j-1xj-1+ai,j+1xj+1+…+ainxn-bj)2 i=1
j=1,2,3, … … ,n
必 要 性 ：设 X=(x1,x2,……,xn)T 是 方 程 组⑴的 最 小 二 乘 解 ，由 定 义 1
1 问题的引入
例 已知某种材料在生产过程中的废品率 y 与某种化学成分 x 有关。 下列表中记载了某工厂生产中 y 与相应的 x 的几次数值：
y(%) 1.00
0.9
x(%)
3.6
3.7
0.9
0.81
0.6
0.56 0.35
3.8
3.9
4.0
4.1
4.2
我们想找出 y 对 x 的一个近似公式。
解 把表中数值划出图来看， 发现它的变化趋势近于一条直线。
1 1 1 1 1 1 m
m
m
m
Σ Σ Σ Σ ainai1 x1+
ainai2 x2+…+
2
ain
xn=
ainbi
i=1
i=1
i=1
i=1
的 解[2]
1 1 m
n
2
Σ Σ 证明：设 Y= bi- aikxk
2.3
i=1
k=1
把 Y 整理为关于 xj(1≦j≦n)的二次函数得
1Σ 1 Σ m
m
22
Y=
2
2 2
22
2 22…
2
2
2 2
…
2
22
2 2
2n
2 2
… n 2 2 22
a22
22
2 m1 2
a22
22
2 m2 2
a22
22
2 mn 2
把 A 的各列向量分别记为 α1,α2,…，αn。 由它们生成的子空间为 L
(α1,α2,…，αn)，Y 就是 L(α1,α2,…，αn)中的向量。 于 是 最 小 二 乘 法 问 题 可