欧氏空间

欧氏空间
在线性空间中，向量之间的运算只有加法和数乘这两种基本运算，而向量的度量性质，如长度、夹角、距离等，在线性空间中没有得到反映。

因此有必要在线性空间中引入度量的概念。

而在解析几何中我们看到，向量的长度与夹角等度量性质都可以通过向量的内积表示，所以我们选取内积作为基本概念。

在线性空间中引入内积以后就成为欧氏空间。

一、定义与基本性质
【定义1】设V 是实数域R 上的一个线性空间，如果在V 上定义一个二元实函数，记作()βα,，称为内积。

如果它有以下性质：
1. ()()αββα,,=
2. ()()βαβα,,k k =
3. ()()()γ
βγαγβα
,,,+=+
4. ()0,≥αα，当且仅当0=α
时，()0,=αα
这里γβα,,是V 中任意向量，k 是任意实数，就称线性空间V 对内积()βα,构成一个欧几里得空间，简称欧氏空间。

注：1. 二元函数意为对V 中任意向量βα,，有唯一的实数对应 2. 内积的定义方法不唯一，不同的内积构成的欧氏空间不同 例：设V 是一个n 维实线性空间，在V 中取定一组基。

设A 是一个正定矩阵，定义V 的内积如下：
()()⎪⎪⎪⎪
⎪⎭
⎫ ⎝⎛=⎪⎪⎪⎪⎪⎭
⎫
⎝⎛=n n n n y y y x x x
212
1
212
1
εεεβεεεα ()()⎪⎪⎪⎪⎪⎭
⎫
⎝⎛
=n n y y y A x x x
212
1
,βα
由于A 为正定矩阵，显然这样定义的内积符合定义中所列条件。

因此，V 对内积()βα,构成一个欧氏空间。

3. 定义中的性质1.说明内积是对称的。

因此，与性质2.及3.相对应的有：
.2'()()βαβα,,k k = .3'()()()γ
αβαγβα,,,+=+
进一步的，在欧氏空间V 中，对任意向量s 21,,,ααα ；t
21,,,βββ 及任意实数s 21,,,k k k ；t 21,,,l l l ，都有
()∑∑∑∑=====⎪⎪⎭
⎫
⎝⎛s i t
j j
i
j
i t
j j
j s
i i i l k l k 11
11
,,β
α
βα
【定义2】由()0,≥αα，设α是欧氏空间中的一个向量，非负实数
()αα,称为向量α的长度，记为α。

向量的长度一般都是正数，只有零向量的长度才等于零。

我们把长度为1的向量称为单位向量。

长度的性质： 1. α
α⋅=k k ，V R k ∈∈α, 2.
β
αβα+≤+
（运用柯西-布捏可夫斯基不等式）
证明：
()()()()
()2
2
2
2
2
,
,
2
,
,
β
α
β
β
α
α
β
β
β
α
α
α
β
α
β
α
β
α
+
=
+
+
≤
+
+
=
+
+
=
+
考虑解析几何中向量夹角β
α,的余弦可以通过内积表示为
()
β
α
β
α
β
α
,
,
cos=
由于1
cos≤
θ，因此，为了在欧氏空间中引入夹角概念，必须首先证明
()
1
,
≤
β
α
β
α
【柯西-布捏可夫斯基不等式】对于欧氏空间V中任意两个向量β
α,，都有
()β
α
β
α≤
,
当且仅当β
α,线性相关时等号成立。

证明：（分β
α,线性相关或线性无关两种情况）
若β
α,线性相关，不妨设α
βk
=
()()()β
α
α
α
α
α
α
α
β
α=
=
=
=k
k
k,
,
,
若β
α,线性无关，那么对任意实数k，0
≠
+β
αk
因此，()()()()0
,
,
2
,
,2>
+
+
=
+
+α
α
β
α
β
β
β
α
β
αk
k
k
k
即实系数方程()()()0
,
,
2
,2=
+
+α
α
β
α
β
βx
x无实数解。

因此，()()()0
,
,
,2<
-α
α
β
β
β
α
即()()()α
α
β
β
β
α,
,
,2<
两边开方，既得()β
α
β
α≤
,
这时，我们就可以定义两个向量的夹角。

【定义3】欧氏空间
V 中两个非零向量βα,之间的夹角β
α,规定
为
()
π
βαβ
αβαβα≤≤=,0,,arccos
,
【定义4】如果向量βα,的内积为零，即()0,=βα。

那么βα,称为正交或垂直，记作β
α
⊥。

显然，两个非零向量正交的充分必要条件是它们的夹角为2
π
并且，从定义可以看出，零向量与任何向量正交，零向量是唯一与自己正交的向量。

【勾股定理】当βα,正交时，2
2
2
β
α
β
α+=+
证：()()()2
2
2
,,,β
α
ββααβαβαβ
α
+=+=++=+
推广到多个向量的情形，即如果向量m ααα,,,21 两两正交，那么
2
2
2
2
1
2
21m
m
αααααα+++=+++
【定义5】设βα,是欧氏空间V 中两个向量，它们之间的距离
()βα,d 定义为
()βαβα-=,d
距离的性质有： 1. ()()αββα,,d d = 2. ()0,≥βαd ，当且仅当β
α=时成立
（()()βαβα
βα--=,,d ）
3. ()()()γββαγα,,,d d d +≤
证：()()()
()()
γ
ββαγββαγββαγαγα,,,d d d +=-+-≤-+-=-=
二、度量矩阵
设V 是一个n 维线性空间，在V 中取定一组基n εεε,,,21 ，对V 中两个向量
n n x x x εεεα+++= 2211
n n y y y εεεβ+++= 2211
有()()∑∑
=-=n i n
j j
i j i y x 1
1
,,ε
εβα
这样，就将向量之间的内积通过基之间的内积表示出来。

因此，只需确定基之间的内积即可。

【定义6】设n εεε,,,21 是欧氏空间V 的一组基，矩阵
()()()()()
()()()
()A n n n n n n =⎪⎪
⎪⎪
⎪
⎭⎫
⎝⎛εεεεεεεεεεεεεεεεεε,,,,,,,,,21
2221212111
称为基n εεε,,,21 的度量矩阵。

()()T
212
1
,XAY y y y A x x x n n =⎪⎪⎪⎪
⎪⎭
⎫
⎝
⎛=
βα
在知道了一组基的度量矩阵之后，任意两个向量的内积就可以通过坐标按上式计算，因而度量矩阵完全确定了内积。

度量矩阵的性质： 1. 度量矩阵是正定矩阵
证：由()()i j
j
i
εε
ε
ε,,=，A
为实对称矩阵。

又0
≠α
时，()0,>αα，
即0≠X
时，0>T
XAX ，故A 为正定矩阵。

2. 设n εεε,,,21 n ηηη,,,21 分别是n 维欧氏空间V 的两组基，它们的度量矩阵分别为A 和B ，由n εεε,,,21 到n ηηη,,,21 的过渡矩阵为C ，那么AC C B T =（不同基的度量矩阵是合同的）。

证明：n εεε,,,21 到n ηηη,,,21 的过渡矩阵为C 即∑==
+++=n
k k
ki
n ni i i i
c
c c c 1
2211εεεεη
因此
()()∑∑∑∑∑∑=-=-===
=
⎪⎭
⎫
⎝⎛==n k n
l lj
kl ki
n
k n
l l k lj ki
n
l l lj n k k ki j i ij c a c
c c
c c b 11
11
11,,,εεεεηη
即AC C B T =
3. V 是一个n 维欧氏空间，则任一正定矩阵D 都可以看成V 的某一组基的度量矩阵。

（证明思想：n 阶正定矩阵都是合同的）
特别的单位矩阵也可看成V 的某一组基的度量矩阵。

三、标准正交基
欧氏空间与线性空间的主要差别是在欧氏空间中有度量性质，而度量性质又是由内积的概念做基础，内积可以通过度量矩阵表示。

因此，如何选择基，使得度量矩阵最简单是一个重要问题。

【定义7】欧氏空间V 中一组非零的向量，如果它们两两正交，就称为一个正交向量组。

显然，正交向量组是线性无关的。

在n 维欧氏空间中，两两正交
的非零向量不能超过n 个。

【定义8】在n 维欧氏空间中，由n 个正交向量组成的基称为正交基。

由单位向量组成的正交基称为标准正交基。

设n εεε,,,21 是一组标准正交基，由定义有，
()()n j i j
i j i j
i
,,2,1,0
1, =⎩⎨
⎧≠==当当εε
显然，一组基为标准正交基的充分必要条件是：它的度量矩阵为单位矩阵。

同时，由于度量矩阵的性质3.在n 维欧氏空间中，标准正交基是存在的。

在标准正交基下，向量的内积有特别简单的表达式。

设
n n x x x εεεα+++= 2211
n n y y y εεεβ+++= 2211
()Y
X y x y x y x T
n n =+++=
2211,βα
这一内积表达式，对于任一组标准正交基都是一样的。

即所有的标准正交基，在欧氏空间中有相同的地位。

【定理1】n 维欧氏空间中任一个正交向量组都能扩充成一组正交基。

证明：设m ααα,,,21 是一正交向量组，我们对m n -作数学归纳法。

当0
=-m
n 时，m ααα,,,21 就是一组正交基了。

假设k
m
n =-时定理成立，也就是说，可以找到向量k βββ,,,21 ，
使得k m βββααα,,,,,,,2121 成为一组正交基。

现在来看1+=-k m n 的情形，因为n m <，所以一定有向量β不能被m ααα,,,21 线性表出，作向量
m
m m k k k αααβα----=+ 22111
这里s 21,,,k k k 是待定系数。

用i α与1+m α作内积，得
()()()
()m i k i i i i m i ,,2,1,,,1 =-=+αααβαα
取()
()
i i i i
k αααβ,,=
有()0,1=+m i αα 由β的选择可知，0≠+1
m α。

因此，1
21,,,,+m m αααα 是一正交向量
组，根据归纳法假定，121,,,,+m m αααα 可以扩充成一正交基。

【定理2】对于n 维欧氏空间中任意一组基n εεε,,,21 ，都可以找到一组标准正交基n ηηη,,,21 ，使
()()n i L L i i ,,2,1,,,,,,,2121 ==ηηηεεε
证明：（施密特正交化）设n εεε,,,21 是一组基，我们来逐个的求出向量n ηηη,,,21
首先，可取11
1
1
εεη=，一般的，假定已经求出m ηηη,,,21 ，它们是
单位正交的，具有性质
()()m
i L L i i ,,2,1,,,,,,,2121 ==ηηηεεε
下一步求1+m η
因为()()m m L L ηηηεεε,,,,,,2121 =，所以1+m ε不能被m ηηη,,,21 线性表出。

作向量()∑=+++-
=m
1
i i
i m m m ηηε
εξ,1
11
显然有，0
≠+1m ξ且()m i i m ,,2,1,0,1 ==+ηξ
令1
11
+++=
m m m ξξη
121,,,,+m m ηηηη 就是一单位正交向量组，同时
()()121121,,,,,,++=m m L L ηηηεεε
【定理3】
1. 由标准正交基到标准正交基的过渡矩阵是正交矩阵。

2. 如果第一组基是标准正交基，同时两组基之间的过渡矩阵是正交矩阵，那么第二组基一定也是标准正交基。

证明：设n εεε,,,21 及n ηηη,,,21 是欧氏空间V 的两组基，并设由
n
εεε,,,21 到n ηηη,,,21 的过渡矩阵是A
1.）设n εεε,,,21 及n ηηη,,,21 是标准正交基，那么它们的度量矩阵都是单位矩阵，又由n εεε,,,21 到n ηηη,,,21 的过渡矩阵是A ,即
A A EA A E T
T
==
所以A 是一个正交矩阵。

2.）设A 是一个正交矩阵，如果n εεε,,,21 是标准正交基，那么它的度量矩阵是单位矩阵，于是n ηηη,,,21 的度量矩阵为
E
A A EA A T
T
==
所以，n ηηη,,,21 是标准正交基。

四、同构
【定义9】实数域R 上欧式空间V 与V '称为同构的，如果由V 到V '有一个双射σ，满足
1. ()()()βσασβα
σ+=+
2. ()()ασασk k =
3. ()()()()βαβσασ,,=
这里R k V ∈∈,,βα这样的映射σ称为V 到V '的同构映射。

如果σ是欧氏空间V 到V '的一个同构映射，那么σ也是线性空间
V
到V '的一个同构映射。

因此，欧氏空间的同构具有线性空间同构的
性质。

设σ是欧氏空间V 到V '的一个同构映射： 1. ()0=0σ 2. ()()V
∈-=-αασασ
3. ()()()()s s k k k k k k ασασασααασs s +++=+++ 22112211
4.
V
中向量s 21,,,ααα 线性相关的充分必要条件是他们的象
()()()s ασασασ,,,21 线性相关。

欧氏空间的同构关系也具有反身性、对称性、传递性。

证明：（反身性）每个欧氏空间到自身的恒等映射显然是一同构映射。

因而同构关系是反身的。

（对称性）设σ是欧氏空间V 到V '的一个同构映射，它的逆映射
1
-σ
也适合定义中的1.与2.，且对于V '∈βα,，有
()()()()()()()()()βσασβσσασσβα1
1
1
1
,,,----==
这就是说，1-σ是V '到V 的一个同构映射，因而同构关系是对称的。

（传递性）设τσ,分别是V 到V '，V '到V ''的同构映射，τσ适合定义中的1.与2.，且对于V ∈βα,
()()()()()()()()()()()()βαβσασβσταστβτσατσ,,,,===
这就是说τσ是V 到V ''的一个同构映射，因而同构关系是传递的。

【定理3】两个有限维欧氏空间同构的充分必要条件是它们的维数相等。

证明：（必要性）
如果欧氏空间V 与V '是同构的，那么他们作为线性空间也是同构的。

所以他们的维数相同。

（充分性）
设欧氏空间V 与V '的维数相同都为n
在V 中取一组标准正交基n εεε,,,21 ，在V '中取一组标准正交基
n εεε''',,,2
1 定义V 到V '的一个映射σ为
()n n n n k k k k k k εεεεεεσ'++'+'=+++ 2
2112211
显然σ是一个双射，且
()()()βσασβασ+=+ ()()ασασk k =
如果
n n x x x εεεα+++= 2211
n n y y y εεεβ+++= 2211
则
()n n x x x εεεασ'++'+'= 2
211 ()n n y y y εεεβσ'++'+'= 2
211 由于n εεε,,,21 ,n εεε''',,,21 都是标准正交基，所以
()()()()βαβσασ,,2211=+++=
n n y x y x y x
因此σ是欧氏空间V 到V '的一个同构映射，故V 与V '是同构的。

这个定理说明，欧氏空间的结构完全被它的维数决定。

五、子空间
欧氏空间的子空间对于元空间的内积显然也是一个欧氏空间。

现在讨论欧氏空间中子空间的正交关系。

【定义10】设1V 是欧氏空间V 的一个子空间。

如果一个向量α对于任意的1V ∈β，恒有()0,=βα，则称α与子空间1V 正交，记为1V ⊥α。

【定义11】设1V ,2V 是欧氏空间V 的两个子空间。

如果对于任意的21,V V ∈∈βα，恒有()0,=βα，则称1V ,2V 为正交的，记为21V V ⊥。

因为只有零向量与它自己正交，因此， 1. 若V
V ⊥∈α
α，，则0=α
2. 若21V V ⊥，则{}0=⋂21V V
【定理4】如果子空间s 21,,,V V V 两两正交，那么和s 21V V V +++ 是直和。

证明：设s i V i i ,,2,1, =∈α，且
0=+++s ααα 21
用i α与等式两边作内积，得()0,=i i αα 从而0=i
α
即s 21V V V +++ 是直和
【定义12】子空间2V 称为子空间1V 的一个正交补，如果21V V ⊥，并且V
V V =+2
1。

1V 的正交补记为⊥
1
V ，()()()V V V 维维维=+⊥11
证：因为⊥
⊥1
1V V ，⊥+11V V 是直和
又V
V V =+⊥
11，因此，()()()V V V 维维维=+⊥11
⊥
1
V 恰好由V 中与1V 正交的全部向量组成。

证明：当{}0=1V 或V V =1时，显然成立。

设{}0≠1V 且V
V ≠1
，在1V 中取一组正交基m εεε,,,21 ，可以把它扩
充成V 的一组正交基n m m εεεεε,,,,,,121 +,则
()n m L V εε,,11 +⊥
=
设V
∈α
,则
n n m m m m a a a a a εεεεεα++++++=++ 112211
依次用m εεε,,,21 与上式做内积，得
()0
,=i i i a εε
又()0,≠i i εε，所以
021====m a a a
⊥
++∈++=1
11V a a n n m m εεα
另一方面，当然⊥1V 中任一向量都与1V 正交，因此，⊥1V 恰好由V 中与1V 正交的全部向量组成。

由此可知，若1V ⊥α，则⊥
∈1
V α
由⊥
⊕=1
1V V V
可知，V 中任一向量α都可以唯一的分解为
21ααα+=
其中⊥∈∈1211,V V αα，我们称1α为向量α在子空间1V 上的内映射。

【定理5】n 维欧氏空间V 的每一个子空间1V 都有唯一的正交补。

证明：如果{}0=1V ，那么它的正交补就是V ，唯一性是显然的。

设{}0≠1V ，在1V 中取一组正交基m εεε,,,21 ，可以把它扩充成V 的一组正交基n m m εεεεε,,,,,,121 +那么子空间()n m L εε,,1 +就是1V 的一个正交补。

设2V ，3V 都是1V 的正交补，于是
3
121V V V V V V ⊕=⊕=
令22V ∈α，由第二式
312ααα+=，其中3311,V V ∈∈αα
由于1312,αααα⊥⊥
()()()()()0,,,,,11131113112==+=+=ααααααααααα
即0=1α，332V ∈=αα
即32
V V ⊂
同理可证2
3V V ⊂
因此32V V =
六、正交变换
【定义13】欧氏空间V 的线性变换A 称为正交变换，如果它保持向量的内积不变，即对于任意的V ∈βα,都有
()()βαβα,,=A A
【定理6】设是n 维欧氏空间V 的一个线性变换，于是下面四个命题是相互等价的：
1.
A
是正交变换
2.
A
保持向量的长度不变，即对于α
αα=∈A ,
V
3. 如果n εεε,,,21 是标准正交基，那么n εεεA A A ,,,21 也是标准正交基
4.
A
在任一组标准正交基下的矩阵是正交矩阵
证明：（1. 与2. 等价） 如果A 是正交变换，那么
()()αααα,,=A A
两边开方，既得
α
α=A
反过来，如果A 保持向量的长度不变，那么
()()αααα,,=A A ()()ββββ,,=A A
()()()()βαβαβαβα
++=++,,A A
又
()()()()()()βββαααβαβα
A A A A A A A A ,,2,,++=++
()()()()βββαααβαβα,,2,,++=++
即
()()βαβα,,=A A
A
是正交变换
（1. 与3. 等价）
设n εεε,,,21 是一组标准正交基，即
()()n j i j
i j i j
i
,,2,1,0
1, =⎩⎨
⎧≠==当当ε
ε
如果A 是正交变换，那么
()()()n j i j
i j i j
i
j
i
,,2,1,0
1,, =⎩⎨
⎧≠===当当ε
ε
ε
ε
A A
这就是说n εεεA A A ,,,21 是标准正交基
反过来，如果n εεεA A A ,,,21 是标准正交基，那么，由
n n x x x εεεα+++= 2211
n n y y y εεεβ+++= 2211
n n x x x εεεαA A A A +++= 2211 n
n y y y εεεβA A A A +++= 2211
()()β
αβα,2211=+++=
n n y x y x y x A ,A
因此，A 是正交变换 （3. 与4. 等价）
设A 在标准正交基n εεε,,,21 下的矩阵为A ，即
()()A n n εεεεεε,,,,,,2121 =A A A
如果n εεεA A A ,,,21 是标准正交基，那么A 可以看做由标准正交基
n
εεε,,,21 到n εεεA A A ,,,21 的过渡矩阵，因此，A 是正交矩阵。

反过来，如果A 是正交矩阵，那么n εεεA A A ,,,21 是标准正交基。

因为正交矩阵是可逆的，并且其逆矩阵也是正交矩阵，两个正交矩阵的乘积仍是正交矩阵，因此
1. 正交变换是可逆变换，其逆变换仍是正交变换
2. 两个正交变换的乘积也是正交变换 如果A 是正交矩阵，那么由
E
AA
T
=
可知，
12
=A
或者1±=A
因此，正交变换的行列式等于1+或者1-。

行列式等于1+的正交变换通常称为旋转，或者称为第一类的；行列式等于1-的正交变换称为第二类的。

例：在欧氏空间中任取一组标准正交基n εεε,,,21 ，定义线性变换A 为
n
i i i ,,2,1,,11 ==-=εεεεA A
那么A 就是一个第二类的正交变换，从几何上看，这是一个镜面反射。

【定理7】如果A 是n 维欧氏空间V 的一个正交变换，1V 是A 的一个不变子空间，则⊥1V 也是A 的不变子空间。

证明：设⊥∈1V α，要证⊥∈1V αA ，即1
V ⊥αA
任取1V ∈β，1
V ∈β
A ,因1
V ⊥α
()0,=βα
因此
()()0,,==βαβαA A
即1
V ⊥αA ，⊥∈1V αA ，⊥1V 也是A 的不变子空间。

七、对称变换
【定义14】设A 是欧氏空间的一个线性变换，如果对V 中任意两个向量βα,，都有
()()βαβαA ,,A =
则A 称为一个对称变换。

【定理8】n 维欧式空间V 的线性变换A 是对称变换的充要条件是A 在任一组标准正交基下的矩阵都是对称矩阵。

证明：（必要性）
如果A 是n 维欧式空间V 的一个对称变换，n εεε,,,21 是V 的一组标准正交基，并设A 在基n εεε,,,21 下的矩阵是
⎪⎪⎪
⎪⎪⎭
⎫
⎝⎛=nn n n n n a a a a a a a a a A
2
1
22221
11211
于是
()()ji
j
n ni i i
j
a a a a =+++=ε
εεεε
ε,,2211 i
A
()()ij
n nj j j j a a a a =+++=εεεε
ε
ε
2211,,i
i
A
因为A 是一个对称变换，所以
()n j i a a ji
ij ,,2,1, ==
即A 是一个对称矩阵 （充分性）
如果A 在标准正交基n εεε,,,21 下的矩阵A 是对称的，那么对于V 中任意两个向量βα,
()X
n εεεα,,,21 = ()Y
n εεεβ,,,21 =
其中Y X ,分别是βα,对于基n εεε,,,21 的坐标所对应的列向量 都有
()()()β
αβαA ,,A ====AY X
Y A X
Y
AX T
T T
T
所以A 是一个对称变换。

实对称矩阵的性质复习： 1. 实对称矩阵的特征值都是实数
2. 实对称矩阵的属于不同特征值的特征向量是正交的
3. 对于任意一个n 级实对称矩阵A 都存在一个n 级正交矩阵T ，使AT
T
AT
T T 1
-=成对角形。

【定理9】如果A 是n 维欧氏空间V 的一个对称变换，那么可以找到V 的一组标准正交基，使A 在这组基下的矩阵是对角矩阵。

证明：任取V 的一组标准正交基n εεε,,,21 ，则A 在这组基下的矩阵A 是一个实对称矩阵，因此有正交矩阵T ，使AT
T
AT T T 1
-=成对角
形。

令()()T n n εεεηηη,,,,,,2121 =
因T 是正交矩阵，所以n ηηη,,,21 也是V 的标准正交基，而且A 在
n ηηη,,,21 下的矩阵就是对角矩阵AT
T 1-
【定理10】如果A 是n 维欧氏空间V 的一个对称变换，1V 是A 的一个不变子空间，则⊥1V 也是A 的不变子空间。

证明：设⊥∈1V α，要证⊥∈1V αA ，即1
V ⊥αA
任取1V ∈β，都有1
V ∈β
A ,因1
V ⊥α
()0,=βαA
因此
()()0,,==βαβαA A
即1
V ⊥αA ，⊥∈1V αA ，⊥1V 也是A 的不变子空间。

八、最小二乘法
问题提出：实系数线性方程组
⎪⎪
⎩
⎪⎪
⎨⎧=+++=+++=+++n
s ns n n s s s s b x a x a x a b x a x a x a b x a x a x a
22112222212111212111
可能无解。

即任何一组实数s x x x ,,,21 都使
()
*1
2
2211
∑=-+++n
i n s is i i b x a x a x a
不等于零。

我们设法找0
020
1
,,,s
x x x
使*式最小，这样的0
020
1
,,,s
x x x
称
为方程组的最小二乘解。

这种问题叫最小二乘法问题。

【定理11】设1V 欧氏空间V 的一个子空间。

α是V 中一个向量，再设β是1V 中一个向量，使β
α-垂直于1V 。

则对1V 中任一向量γ，都
有
γ
αβα-≤-
证明：()()γ
ββαγα-+-=-
由1,V ∈γβ，1V ∈-γβ
因此
()()γββα-⊥-
所以
2
2
2
γ
αγ
ββ
α-=-+-
即
γ
αβα-≤-
由此可知，向量到子空间各向量的距离以垂线为最短。

由于α可表示为
()βαβα-+=
其中，⊥
∈-∈1
1,V V βα
β
因此，也可以说向量到子空间各向量的距离以该向量到它在此空间上的内射影的距离为最短。

回到最小二乘问题上。

设
⎪⎪⎪⎪⎪⎭
⎫
⎝⎛=⎪⎪⎪⎪⎪⎭
⎫
⎝⎛=n
ns n n s s b b b B a a a a a a a a a A
2
1
2
1
22221
11211
AX x a x
a x a Y x x x X s i j nj s
i j
j s
i j j n =⎪⎪⎪⎪⎪⎪
⎪⎪⎭
⎫
⎝⎛=⎪⎪⎪⎪⎪⎭
⎫
⎝⎛=∑∑∑===1
12112
1
*式即为2
B
Y
-
最小二乘问题就是找0
0201
,,,s
x x x
使Y 到B 的距离为最短。

把A 按列分块，记为s ααα,,,21 ，用W 表示由s ααα,,,21 生成的子空间。

即()s L W
ααα,,,21 =
W
a x a x a x Y s s ∈+++= 2211
因此，为了找X 使*式最小，即在W 中找一个向量Y ，使得B 到Y
的距离比B 到W 中其他向量的距离都短。

即AX
B Y
B -=-垂直于W
即()()()0,,,21=-==-=-AX B AX B AX B s ααα 即()0=-
AX
B A T
B A AX A T
T
=
这就是最小二乘解所满足的线性方程组。

它的系数矩阵是A A T ，常数项是B A T 。