高等代数第九章 7第七节 向量到子空间的距离.最小二乘法
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
返回 上页 下页
最小， 找X使(1)最小，就是在L(α1, α2,…,αs)中找一向 使(1)最小 就是在 中找一向 使得B到它的距离比到子空间 1, α2,…,αs) 到它的距离比到子空间L(α 量Y ，使得 到它的距离比到子空间 中其它向量的距离都短. 中其它向量的距离都短 应用前面所讲的结论， 应用前面所讲的结论，设 结论 Y = AX = x1α 1 + x 2α 2 + L + x sα s 是所求的向量， 是所求的向量，则 C=B-Y=B-AX 必须垂直于子空间L(α1, α2,…,αs). 为此只须而且必 为此只须而且必 只须而且 必须垂直于子空间 须内积
返回 上页 下页
回到前面的例子， 回到前面的例子，易知 前面的例子
3 .6 3 .7 3 .8 A = 3 .9 4 .0 4 .1 4 .2 1 1 1 1 , 1 1 1 1.00 0.90 0.90 B = 0.81 0.60 0.56 0.35
分别记成 由它们生成的 把A的各列向量分别记成 1, α2,…,αs. 由它们生成的 的各列向量分别记成α 子空间为 就是L(α 子空间为L(α1, α2,…,αs). Y就是 1, α2,…,αs)中的向 就是 中的向 于是最小二乘法问题可叙述成： 最小二乘法问题可叙述成 量. 于是最小二乘法问题可叙述成：
可能无解. 可能无解 即任何一组数 x1,x2,…,xs 都可能使
(a i 1 x1 + a i 2 x 2 + L + a is x s − bi ) 2 ∑
i =1 n
(1)
不等于零. 我们设法找实数组 设法找实数组x (1)最 不等于零 我们设法找实数组 10,x20,…,xs0使(1)最 这样的x 称为方程组的最小二乘解. 小，这样的 10,x20,…,xs0称为方程组的最小二乘解 这种问题就叫最小二乘法问题 这种问题就叫最小二乘法问题. 最小二乘法问题
y(%) x(%) 1.00 3.6 0.9 3.7 0.9 3.8 0.81 3.9 0.60 4.0 0.56 4.1 0.35 4.2
我们想找出 对 的一个近似公式. 我们想找出y对x的一个近似公式 找出
返回 上页 下页
把表中数值画出图 发现它的变化趋势近于一 画出图， 变化趋势近于 解 把表中数值画出图，发现它的变化趋势近于一 条直线. 因此我们决定选取 决定选取x的一次式ax+b来表达 条直线 因此我们决定选取 的一次式 来表达. 当然最好能选到适当的a, b使得下面的等式 当然最好能选到Leabharlann Baidu当的 使得下面的等式 3.6a+b–1.00=0 ， 3.7a+b–0.9=0 ， 3.8a+b–0.9=0 ， 3.9a+b–0.81=0 ， 4.0a+b–0.60=0 ， 4.1a+b–0.56=0 ， 4.2a+b–0.36=0 . 都成立. 实际上是不可能的. 任何a, 代入上面各式 都成立 实际上是不可能的 任何 b代入上面各式 都发生些误差. 于是想到找 使得各式的平方和 都发生些误差 于是想到找 a, b 使得各式的平方和 最小，即找a, 使 最小，即找 b使
返回
β β-δ γ γ-δ -
β-γ W
上页
下页
这就证明了，向量到子空间各向量间的距离 这就证明了，向量到子空间各向量间的距离 各向量间的 以垂线最短. 以垂线最短 这个几何事实可以用来解决一些实际问题. 这个几何事实可以用来解决一些实际问题 其 几何事实可以用来解决一些实际问题 就是解决最小二乘法问题 中的一个应用就是解决最小二乘法问题. 中的一个应用就是解决最小二乘法问题 已知某种材料在生产过程中的废品率 废品率y与 例 已知某种材料在生产过程中的废品率 与某种化 学成分x有关 下列表中记载了某工厂生产中y与相 有关. 记载了某工厂生产中 学成分 有关 下列表中记载了某工厂生产中 与相 应的x的几次数值： 应的 的几次数值：
第七节
向量到子空间的最小 距离·最小二乘法
间的距离等于向量 在解析几何中，两个点 和β间的距离等于向量 解析几何中 两个点α和 间的距离等于 α-β的长度 在欧氏空间中我们同样可引入 - 的长度. 定义13 长度|α-β|称为向量α和β的距离, 记为d(α, 称为向量 定义13 长度|α-β|称为向量α和β的距离, 记为d(α, β). 不难证明距离 不难证明距离d(α, β)=|α-β|的三条性质： 距离 - 的三条性质： 1) d(α, β)=d(β, α); 2) d(α, β)≥0，并且仅当 ，并且仅当α=β时等号才成立； 时等号才成立； 三角不等式） 3) d(α, β)≤d(α, γ)+d(γ, β) （三角不等式） (证明留给大家作练习 证明留给大家作练习.) 证明留给大家作练习
返回
上页
下页
最小二乘法问题： 最小二乘法问题：线性方程组
a11 x1 + a12 x 2 + L + a1 s x s − b1 = 0 , a x + a x + L + a x − b = 0 , 21 1 22 2 2s s 2 LLLLLL a n1 x1 + a n 2 x 2 + L + a ns x s − bn = 0
返回 上页 下页
现给定β 中的向量 现给定 ，设γ是W中的向量，满足 -γ垂直于 是 中的向量，满足β- 垂直于 W. 要证明 到W中各向量的距离以垂线最短，就 证明β到 中各向量的距离以垂线最短， 是要证明，对于 中任一向量 ，有 要证明，对于W中任一向量δ |β-γ| ≤ |β-δ|. 我们可以画出下面的示意图： 我们可以画出下面的示意图： 示意图 证明 由 β-δ=(β-γ)+(γ-δ) 是子空间， 因W是子空间，γ∈W,δ∈W, 是子空间 ∈ ∈ 垂直于γ则γ-δ∈W. 故β-γ垂直于 -δ. - ∈ - 垂直于 δ 由勾股定理， 由勾股定理， |β-γ|2+|γ-δ|2=|β-δ|2. 证毕. 故 |β-γ| ≤ |β-δ|. 证毕
返回 上页 下页
(3.6a+b–1.00)2 + (3.7a+b–0.9)2 + (3.8a+b–0.9)2 +(3.9a+b–0.81)2 + (4.0a+b–0.60)2 + (4.1a+b–0.56)2 +(4.2a+b–0.36)2 最小. 这里讨论的是误差的平方 二乘方， 误差的平方即 最小 这里讨论的是误差的平方即二乘方，故称为 最小二乘法. 现在转向一般的 最小二乘法 现在转向一般的
返回 上页 下页
下面利用欧氏空间的概念来表达最小二乘法， 下面利用欧氏空间的概念来表达最小二乘法， 欧氏空间 来表达最小二乘法 并给出最小二乘解所满足的代数条件 最小二乘解所满足的代数条件. 并给出最小二乘解所满足的代数条件 令
a11 a 21 A= M a n1 L a1 s b1 a 22 L a 2 s b2 ,B = M , M M b a n 2 L a ns n s ∑ a1 j x j j =1 x1 s x2 a x X = , Y = ∑ 2 j j = AX . j =1 M M x s s ∑ a nj x j j =1 a12
最小二乘解a, 所满足的方程就是 最小二乘解 b所满足的方程就是 T a A A − AT B = 0 b
返回 上页 下页
即为
106.75a + 27.3b − 19.675 = 0 , 27.3a + 7b − 5.12 = 0 .
解得 a=-1.05，b=4.81 （取三位有效数字）. 三位有效数字） ，
返回
上页
下页
(C , α 1 ) = (C , α 2 ) = L = ( C , α s ) = 0 .
返回 上页 下页
回忆矩阵乘法规则，上述一串等式可以写成矩阵 回忆矩阵乘法规则，上述一串等式可以写成矩阵 矩阵乘法规则 等式可以 相乘的式子， 相乘的式子，即 α1TC=0, α2TC=0, …, αsTC=0 . 按行正好排成矩阵A 上述一串等 而α1T, α2T,…,αsT按行正好排成矩阵 T，上述一串等 合起来就是 式可合起来就是 AT(B-AX)=0 . (BATAX=ATB 或 这就是最小二乘解所满足的代数方程 最小二乘解所满足的代数方程， 这就是最小二乘解所满足的代数方程，它是一个 线性方程组，系数矩阵是 线性方程组，系数矩阵是ATA，常数项是ATB. 这种 ，常数项是 线性方程组总是有解的. 线性方程组总是有解的
(2)
返回
上页
下页
距离的概念，(1)就是 用距离的概念，(1)就是 |Y-B|2 . 最小二乘法就是找 就是找x 最小二乘法就是找 10,x20,…,xs0使Y与B的距离最短 与 的距离最短. 向量Y就是 但从(2)，知道向量 但从 ，知道向量 就是
a11 a12 a1 s a 21 a 22 a2 s Y = x1 + x 2 + L + xs M . M M a a a n1 n2 ns
返回 上页 下页
在中学所学几何中知道一个点到一个平面（或 在中学所学几何中知道一个点到一个平面（ 几何中知道一个点 一条直线）上所有点的距离以垂线最短. 距离以垂线最短 一条直线）上所有点的距离以垂线最短 下面可以 一个固定向量和 证明一个固定向量 证明一个固定向量和一个子空间中各向量间的距离 也是以“垂线最短” 也是以“垂线最短”. 先设一个子空间 ，它是由向量 1, α2,…,αk所 先设一个子空间W，它是由向量α 子空间 向量 生成，即W=L(α1, α2,…,αk). 说一个向量 垂直于子 说一个向量 向量α垂直于子 生成， 空间W 就是指向量 垂直于W中任何一个向量. 向量α垂直于 空间 ，就是指向量 垂直于 中任何一个向量 易证α垂直于 的充分必要条件是 垂直于 中的每 垂直于W中的 易证 垂直于W的充分必要条件是α垂直于 中的每 垂直于 个向量α 个向量 i(i=1,2,…,k).
最小， 找X使(1)最小，就是在L(α1, α2,…,αs)中找一向 使(1)最小 就是在 中找一向 使得B到它的距离比到子空间 1, α2,…,αs) 到它的距离比到子空间L(α 量Y ，使得 到它的距离比到子空间 中其它向量的距离都短. 中其它向量的距离都短 应用前面所讲的结论， 应用前面所讲的结论，设 结论 Y = AX = x1α 1 + x 2α 2 + L + x sα s 是所求的向量， 是所求的向量，则 C=B-Y=B-AX 必须垂直于子空间L(α1, α2,…,αs). 为此只须而且必 为此只须而且必 只须而且 必须垂直于子空间 须内积
返回 上页 下页
回到前面的例子， 回到前面的例子，易知 前面的例子
3 .6 3 .7 3 .8 A = 3 .9 4 .0 4 .1 4 .2 1 1 1 1 , 1 1 1 1.00 0.90 0.90 B = 0.81 0.60 0.56 0.35
分别记成 由它们生成的 把A的各列向量分别记成 1, α2,…,αs. 由它们生成的 的各列向量分别记成α 子空间为 就是L(α 子空间为L(α1, α2,…,αs). Y就是 1, α2,…,αs)中的向 就是 中的向 于是最小二乘法问题可叙述成： 最小二乘法问题可叙述成 量. 于是最小二乘法问题可叙述成：
可能无解. 可能无解 即任何一组数 x1,x2,…,xs 都可能使
(a i 1 x1 + a i 2 x 2 + L + a is x s − bi ) 2 ∑
i =1 n
(1)
不等于零. 我们设法找实数组 设法找实数组x (1)最 不等于零 我们设法找实数组 10,x20,…,xs0使(1)最 这样的x 称为方程组的最小二乘解. 小，这样的 10,x20,…,xs0称为方程组的最小二乘解 这种问题就叫最小二乘法问题 这种问题就叫最小二乘法问题. 最小二乘法问题
y(%) x(%) 1.00 3.6 0.9 3.7 0.9 3.8 0.81 3.9 0.60 4.0 0.56 4.1 0.35 4.2
我们想找出 对 的一个近似公式. 我们想找出y对x的一个近似公式 找出
返回 上页 下页
把表中数值画出图 发现它的变化趋势近于一 画出图， 变化趋势近于 解 把表中数值画出图，发现它的变化趋势近于一 条直线. 因此我们决定选取 决定选取x的一次式ax+b来表达 条直线 因此我们决定选取 的一次式 来表达. 当然最好能选到适当的a, b使得下面的等式 当然最好能选到Leabharlann Baidu当的 使得下面的等式 3.6a+b–1.00=0 ， 3.7a+b–0.9=0 ， 3.8a+b–0.9=0 ， 3.9a+b–0.81=0 ， 4.0a+b–0.60=0 ， 4.1a+b–0.56=0 ， 4.2a+b–0.36=0 . 都成立. 实际上是不可能的. 任何a, 代入上面各式 都成立 实际上是不可能的 任何 b代入上面各式 都发生些误差. 于是想到找 使得各式的平方和 都发生些误差 于是想到找 a, b 使得各式的平方和 最小，即找a, 使 最小，即找 b使
返回
β β-δ γ γ-δ -
β-γ W
上页
下页
这就证明了，向量到子空间各向量间的距离 这就证明了，向量到子空间各向量间的距离 各向量间的 以垂线最短. 以垂线最短 这个几何事实可以用来解决一些实际问题. 这个几何事实可以用来解决一些实际问题 其 几何事实可以用来解决一些实际问题 就是解决最小二乘法问题 中的一个应用就是解决最小二乘法问题. 中的一个应用就是解决最小二乘法问题 已知某种材料在生产过程中的废品率 废品率y与 例 已知某种材料在生产过程中的废品率 与某种化 学成分x有关 下列表中记载了某工厂生产中y与相 有关. 记载了某工厂生产中 学成分 有关 下列表中记载了某工厂生产中 与相 应的x的几次数值： 应的 的几次数值：
第七节
向量到子空间的最小 距离·最小二乘法
间的距离等于向量 在解析几何中，两个点 和β间的距离等于向量 解析几何中 两个点α和 间的距离等于 α-β的长度 在欧氏空间中我们同样可引入 - 的长度. 定义13 长度|α-β|称为向量α和β的距离, 记为d(α, 称为向量 定义13 长度|α-β|称为向量α和β的距离, 记为d(α, β). 不难证明距离 不难证明距离d(α, β)=|α-β|的三条性质： 距离 - 的三条性质： 1) d(α, β)=d(β, α); 2) d(α, β)≥0，并且仅当 ，并且仅当α=β时等号才成立； 时等号才成立； 三角不等式） 3) d(α, β)≤d(α, γ)+d(γ, β) （三角不等式） (证明留给大家作练习 证明留给大家作练习.) 证明留给大家作练习
返回
上页
下页
最小二乘法问题： 最小二乘法问题：线性方程组
a11 x1 + a12 x 2 + L + a1 s x s − b1 = 0 , a x + a x + L + a x − b = 0 , 21 1 22 2 2s s 2 LLLLLL a n1 x1 + a n 2 x 2 + L + a ns x s − bn = 0
返回 上页 下页
现给定β 中的向量 现给定 ，设γ是W中的向量，满足 -γ垂直于 是 中的向量，满足β- 垂直于 W. 要证明 到W中各向量的距离以垂线最短，就 证明β到 中各向量的距离以垂线最短， 是要证明，对于 中任一向量 ，有 要证明，对于W中任一向量δ |β-γ| ≤ |β-δ|. 我们可以画出下面的示意图： 我们可以画出下面的示意图： 示意图 证明 由 β-δ=(β-γ)+(γ-δ) 是子空间， 因W是子空间，γ∈W,δ∈W, 是子空间 ∈ ∈ 垂直于γ则γ-δ∈W. 故β-γ垂直于 -δ. - ∈ - 垂直于 δ 由勾股定理， 由勾股定理， |β-γ|2+|γ-δ|2=|β-δ|2. 证毕. 故 |β-γ| ≤ |β-δ|. 证毕
返回 上页 下页
(3.6a+b–1.00)2 + (3.7a+b–0.9)2 + (3.8a+b–0.9)2 +(3.9a+b–0.81)2 + (4.0a+b–0.60)2 + (4.1a+b–0.56)2 +(4.2a+b–0.36)2 最小. 这里讨论的是误差的平方 二乘方， 误差的平方即 最小 这里讨论的是误差的平方即二乘方，故称为 最小二乘法. 现在转向一般的 最小二乘法 现在转向一般的
返回 上页 下页
下面利用欧氏空间的概念来表达最小二乘法， 下面利用欧氏空间的概念来表达最小二乘法， 欧氏空间 来表达最小二乘法 并给出最小二乘解所满足的代数条件 最小二乘解所满足的代数条件. 并给出最小二乘解所满足的代数条件 令
a11 a 21 A= M a n1 L a1 s b1 a 22 L a 2 s b2 ,B = M , M M b a n 2 L a ns n s ∑ a1 j x j j =1 x1 s x2 a x X = , Y = ∑ 2 j j = AX . j =1 M M x s s ∑ a nj x j j =1 a12
最小二乘解a, 所满足的方程就是 最小二乘解 b所满足的方程就是 T a A A − AT B = 0 b
返回 上页 下页
即为
106.75a + 27.3b − 19.675 = 0 , 27.3a + 7b − 5.12 = 0 .
解得 a=-1.05，b=4.81 （取三位有效数字）. 三位有效数字） ，
返回
上页
下页
(C , α 1 ) = (C , α 2 ) = L = ( C , α s ) = 0 .
返回 上页 下页
回忆矩阵乘法规则，上述一串等式可以写成矩阵 回忆矩阵乘法规则，上述一串等式可以写成矩阵 矩阵乘法规则 等式可以 相乘的式子， 相乘的式子，即 α1TC=0, α2TC=0, …, αsTC=0 . 按行正好排成矩阵A 上述一串等 而α1T, α2T,…,αsT按行正好排成矩阵 T，上述一串等 合起来就是 式可合起来就是 AT(B-AX)=0 . (BATAX=ATB 或 这就是最小二乘解所满足的代数方程 最小二乘解所满足的代数方程， 这就是最小二乘解所满足的代数方程，它是一个 线性方程组，系数矩阵是 线性方程组，系数矩阵是ATA，常数项是ATB. 这种 ，常数项是 线性方程组总是有解的. 线性方程组总是有解的
(2)
返回
上页
下页
距离的概念，(1)就是 用距离的概念，(1)就是 |Y-B|2 . 最小二乘法就是找 就是找x 最小二乘法就是找 10,x20,…,xs0使Y与B的距离最短 与 的距离最短. 向量Y就是 但从(2)，知道向量 但从 ，知道向量 就是
a11 a12 a1 s a 21 a 22 a2 s Y = x1 + x 2 + L + xs M . M M a a a n1 n2 ns
返回 上页 下页
在中学所学几何中知道一个点到一个平面（或 在中学所学几何中知道一个点到一个平面（ 几何中知道一个点 一条直线）上所有点的距离以垂线最短. 距离以垂线最短 一条直线）上所有点的距离以垂线最短 下面可以 一个固定向量和 证明一个固定向量 证明一个固定向量和一个子空间中各向量间的距离 也是以“垂线最短” 也是以“垂线最短”. 先设一个子空间 ，它是由向量 1, α2,…,αk所 先设一个子空间W，它是由向量α 子空间 向量 生成，即W=L(α1, α2,…,αk). 说一个向量 垂直于子 说一个向量 向量α垂直于子 生成， 空间W 就是指向量 垂直于W中任何一个向量. 向量α垂直于 空间 ，就是指向量 垂直于 中任何一个向量 易证α垂直于 的充分必要条件是 垂直于 中的每 垂直于W中的 易证 垂直于W的充分必要条件是α垂直于 中的每 垂直于 个向量α 个向量 i(i=1,2,…,k).