正交补与正交投影
第3讲 实内积空间汇总
第3讲 实内积空间内容：1. 实内积空间2. 正交基及正交补与正交投影3. 内积空间的同构4. 正交变换与对称变换在线性空间中，元素（向量）之间的运算仅限于元素（向量）的线性运算．但是，如果以向量作为线性空间的一个模型，则会发现向量的度量(即长度)与向量间的位置关系在线性空间的理论中没有得到反映，而这些性质在许多实际问题中却是很关键的．因此，将在抽象的线性空间中引进内积运算，导出内积空间，并讨论正交变换与正交矩阵及对称变换与对称矩阵．§1 内积空间在解析几何中，向量的长度与夹角等度量性质都可以通过向量的数量积来表示，而向量的数量积具有以下的代数性质：对称性),(),(αββα=；可加性 ),(),(),(γβγαγβα+=+；齐次性R k k k ∈∀=),,(),(βαβα；非负性0),(≥αα，当且仅当0=α时,0),(=αα．以数量积为基础,向量的长度与夹角可表示为： ),(ααα=，βαβαβα⋅>=<),(,cos ．可见数量积的概念蕴涵着长度与夹角的概念，将该概念推广至抽象的线性空间．定义1.1 设V 是实线性空间，若对于V 中任意两个元素（向量）α和β，总能对应唯一的实数，记作),(βα，且满足以下的性质：(1) 对称性 ),(),(αββα=(2) 可加性 ),(),(),(γβγαγβα+=+(3) 齐次性 R k k k ∈∀=),,(),(βαβα(4) 非负性 0),(≥αα，当且仅当0=α时，0),(=αα． 则称该实数是V 中向量α和β的内积．称内积为实数的实线性空间V 为欧几里得(Euclid)空间，简称为欧氏空间．称定义了内积的线性空间为内积空间．例 1.1 在n 维向量空间n R 中,任意两个向量：T n x x x ),,,(21 =α，T n y y y ),,,(21 =β，若规定：βαβαT nk k k n n y x y x y x y x ==+++=∑=12211),( ，则容易验证,这符合内积的定义，是n R 中向量α和β的内积．另外，若规定:∑==nk k k y kx 1),(βα，0>k ，同样可验证，这也是n R 中向量α和β的内积．由此可见，在同一个实线性空间的元素之间，可以定义不同的内积，即内积不是唯一的．从而，同一个实线性空间在不同内积下构成不同的欧氏空间．例 1.2 在[]b a ,上连续的实函数的实线性空间[]b a C ,中，对任意函数[]b a C x g x f ,)(),(∈，定义：⎰=ba dx x g x f g f )()(),(，则可以证明这是[]b a C ,上)(x f 与)(x g 的一种内积．欧氏空间V 中的内积具有如下的性质：(1) V o o ∈∀==ααα,0),(),((2) R k V k k ∈∀∈∀=,,),,(),(βαβαβα(3) V ∈∀+=+γβαγαβαγβα,,),,(),(),((4) ),(),(1111∑∑∑∑=====n j ni j i j i n i n j j j i i y x l k y l x k事实上，由定义1.1有：0),(0),0(),(===αβαβαo ；),(),(),(),(βααβαββαk k k k ===；),(),(),(),(),(),(γαβααγαβαγβγβα+=+=+=+；因此,性质(1)至(3)成立，再结合数学归纳法容易验证性质(4)也成立．定义1.2 设α是欧氏空间V 中的任一元素（向量），则非负实数),(αα称为元素（向量）α的长度或模，记作α．称长度为1的元素（向量）称为单位元素（向量），零元素（向量）的长度为0．由定义1.2易知，元素（向量）的长度具有下列性质： (1) V R k k k ∈∀∈∀⋅=ααα,,(2) 当o ≠α时,,11=αα即αα1是一个单位元素（向量）．通常称此为把非零元素（向量）α单位化．定理1.1 (Cauchy-Schwarz 不等式)． 设βα,是欧氏空间V 中的任意两个元素（向量），则不等式βαβα⋅≤),(，对V ∈∀βα,均成立，并且当且仅当α与β线性相关时，等号成立．证明：当α与β至少有一个是零元素（向量）时，结论显然成立．现在设βα,均为非零元素（向量），则)),(),(,),(),((ββββααββββαα--[]0),(),(),(2≥-=βββααα， 因此有[]),(),(),(2ββααβα≤， 即βαβα⋅≤),(．而且当且仅当ββββαα),(),(=，即α与β线性相关时，等号成立．定义1.3 设x 与y 是欧氏空间V 中的任意两个元素（向量），则称yx y x ),(arccos =θ为x 与y 的夹角，记作,,><y x 即 ),0(,),(arccos ,πθ≤><≤=>=<y x yx y x y x ． 例 1.3 试证明欧氏空间V 中成立三角不等式V y x y x y x ∈∀+≤+,,．证明 因),(2y x y x y x ++=+),(),(2),(y y y x x x ++=，由Schwarz Cauchy -不等式，有 222222)(2),(2y x y y x x y y x x y x +=++≤++=+， 即有 y x y x +≤+ ．§2 正交基及正交补与正交投影1 正交基定义 2.1 设y x ,是欧氏空间V 中的任意两个元素（向量），如果0),(=y x ，则称元素（向量）x 与y 正交，记作.y x ⊥．由定义2.1易知，零元素（向量）与任何元素（向量）均正交．若,o x ≠由于,0),(>x x 所以非零元素（向量）不会与自身正交，即只有零元素（向量）才与自己正交．例 2.1 在2R 中,对于任意两个向量x 与y 的内积，定义：(1)y x y x T =1),(；(2) Ay x y x T =),(，其中⎥⎦⎤⎢⎣⎡=2111A ．由此所得的两个欧氏空间分别记为21R 与22R ，试判断向量T x )1,1(0=与T y )1,1(0-=在21R 与22R 中是否正交？解 由于 011)1,1(),(100=⎪⎪⎭⎫⎝⎛-=y x ；01112111)1,1(),(200≠=⎪⎪⎭⎫ ⎝⎛-⎥⎦⎤⎢⎣⎡=y x ． 故向量x 与y 在21R 中正交,在22R 中不正交．说明：两元素（向量）正交与否由所在空间的内积确定． 此外，在欧氏空间V 中也有勾股定理，即当y x ⊥时,有 222y x y x +=+.可将其推广至多个元素（向量），即当m ααα,,,21 两两正交时，有22221221m m αααααα+++=+++ ．定义2.2 欧氏空间V 中一组非零元素（向量），若两两正交，则称其为一个正交元素（向量）组．定理 2.1 若m ααα,,,21 是欧氏空间V 中一个正交元素（向量）组，则m ααα,,,21 线性无关．证明 设有一组数m k k k ,,,21 ,使o k k k m m =+++ααα 2211，在上式两边分别用),2,1(m i i =α作内积，可得),,2,1(,0),(),(),(21m i k k k i m m i i ==+++αααααα， 由于j i ≠时,0),(=j i αα故可得),,2,1(0),(m i k i i i ==αα，又 0≠i α时, 0),(>i i αα, 从而有),2,1(0m i k i ==，所以m ααα,,,21 线性无关．推论：在n 维欧氏空间中，正交元素（向量）组所含元素（向量）的个数不会超过n 个．定义2.3 在n 维欧氏空间V 中，由n 个元素（向量）构成的正交元素（向量）组称为V 的正交基；由单位元素（向量）组成的正交基叫作标准正交基．定理 2.2 (Schmidt 正交化方法) 设n ααα,,,21 是n 维欧氏空间V 的任意一个基，则总可将其进行适当运算后化为V 的一个正交基，进而将其化为一个标准正交基．证明 因为m ααα,,,21 线性无关，所以),,2,1(0n i i =≠α． 首先, 取11αβ=；其次, 令1111222),(),(ββββααβ-=，则可得两个正交元素（向量）21,ββ；再次, 令222231111333),(),(),(),(ββββαββββααβ--=，则得到三个正交元素（向量）.,,321βββ依此进行下去，一般有),,3,2(),(),(),(),(),(),(111122221111n i i i i i i i i i i =----=----ββββαββββαββββααβ 这样得到V 的一个正交基．再将其单位化，令 ),,2,1(1n i i i i ==ββγ，则可得V 的一组标准正交基n γγγ,,,21 ．例2.1 在4R 中,将基T )0,0,1,1(1=α,T )0,1,0,1(2=α,T )1,0,0,1(3-=α, T )1,1,1,1(4--=α,用Schmidt 正交化方法化为标准正交基．解 先正交化令 ;)0,0,1,1(11T ==αβ ;)0,1,21,21(),(),(1111222T -=-=ββββααβ ;)1,31,31,31(),(),(),(),(222231111333T -=--=ββββαββββααβ T )1,1,1,1(),(),(),(),(),(),(33334222241111444--=---=ββββαββββαββββααβ 再单位化令 T )0,0,21,21(1111==ββγ T)0,62,61,61(1222-==ββγ T )123,121,121,121(1333-==ββγ T )21,21,21,21(1444--==ββγ则 4321,,,γγγγ 就是所要求的标准正交基．例2.2 设n εεε,,,21 是n 维欧氏空间V 的一个标准正交基， n n x x x x εεε+++= 2211，n n y y y y εεε++= 2211，则有),(),(11∑∑===n j j j n i i i y x y x εε∑==n i ii y x 1．在标准正交基下，V 中任意两个元素（向量）的内积等于它们对应坐标的乘积之和．定义2.4 设n εεε,,,21 是n 维欧氏空间V 的一个基，x ，y 在其基下的坐标表示分别为T n x x x x ),,,(21 =，T n y y y y ),,,(21 =，（∑==n i i i x x 1ε，∑==n i i i y y 1ε），则有Gy x y g x y x y x y x T j nj i ij i j j n j i i i n j j j n i i i ====∑∑∑∑======111111),(),(),(εεεε．其中，)(ij g G G =为n 阶方阵，n j i g j i ij ,,2,1,),,( ==εε．称G 为度量矩阵，它为对称可逆矩阵．2 正交补与正交投影定义 2.5 设1W 和2W 是欧氏空间V 的两个子空间，若对任意的21,W y W x ∈∈总有0),(=y x 成立，则称1W 与2W 正交，记作21W W ⊥.若对某个确定的x 及任意的W y ∈，总有0),(=y x 成立，则称x 与W 正交，记作x W ⊥．例 2.3 设{}R y x y x W ∈=,)0,,(1,{}R z z W ∈=),0,0(2 ,则容易得1W 和2W 均为3R 的子空间,且 12W W ⊥．定理2.3 设s W W W ,,,21 是欧氏空间V 的子空间，且两两正交，则s W W W +++ 21是直和．证明 设),,2,1(s i W i i =∈α且 o s =+++ααα 21,分别用iα在上式两边作内积，得0),(=i i αα,即),,2,1(s i oi ==α,即s W W W +++ 21是直和．定义 2.6 设1W 和2W 是欧氏空间V 的两个子空间，若21W W ⊥，且V W W =+21，则称1W 与2W 互为正交补，记作⊥=21W W 或12W W V ⊕=． 定理 2.4 欧氏空间V 的任一个子空间W ，都存在唯一的正交补W ⊥．证明 先证存在性．设m εεε,,,21 是子空间W 的一个标准正交基，则可以扩充为V 的一个标准正交基：n m m εεεεε,,,,,1,21 +，显然：),,(1n m L W εε +⊥=．再证唯一性．设1W 与2W 都是W 的正交补，则1W W V ⊕=，2W W V ⊕=，令任意的o x W x ≠∈,2,则 W x ∉,且W y y x ∈∀=,0),(,所以1W x ∈ ,即12W W ⊂．同理有 21W W ⊂.因此得 12W W =．定理2.4既证明了欧氏空间中任意子空间的正交补是存在且唯一的，又给出了正交补的计算方法．另外，V 中的任一向量x 都可唯一地分解为⊥∈∈+=W z W y z y x ,,．由此可引进正投影的概念．定义2.7 设x 是欧氏空间V 中任意的一个元素（向量），W 是V 的一个子空间，且x 被分解为.,,⊥∈∈+=W z W y z y x ,则称y 元素（向量）为x 元素（向量）在子空间W 上的正投影(又称内投影)．显然W W =⊥⊥)(，故z 为元素（向量）x 在⊥W 上的正投影．例2.4 设 {}R x x W ∈=)0,0,(,则W 是3R 的一个子空间，且它的正交补为{}R z y z y W ∈=⊥,),,0(.若3),,(R c b a ∈=α,α在W 上的正投影为)0,0,(a ,在⊥W 上的正投影为),,0(c b .§3 实内积空间的同构定义3.1 设V 与U 是两个欧氏空间,若存在V 到U 的一个一一对应σ,使(1) U V ∈∈∀+=+)(),(;,),()()(βσασβαβσασβασ(2) U k R k V k k ∈∈∀∈∀=)(;,),()(ασαασασ(3) U V ∈∈∀=)(),(;,),,())(),((βσασβαβαβσασ则称σ为V 到U 的一个同构映射，并称欧氏空间V 与U 同构．同构作为欧氏空间的关系与线性空间的同构相同，因此有：同构的有限维欧氏空间必有相同的维数；任意一个n 维欧氏空间均与n R 同构．此外，欧氏空间的同构还具有以下性质：反身性:任意一个欧氏空间V 均与自己同构；对称性:若V 与V '同构,则V '与V 同构；传递性:若V 与V '同构, V '与V ''同构,则V 与V ''同构．事实上，(1) V 到V 的恒等映射是一个同构映射；(2)设σ是V 到V '的同构映射，记1-σ为σ的逆映射，则对V ∈∀βα,有βαβασσβσασσ+=+=+--))(())()((11))(())((11βσσασσ--+=， ))(())(())((111ασσαασσασσ---===k k k k ，))(),((),()))(()),(((11βσασβαβσσασσ==--，即1-σ是V '到V 的一个同构映射．(3) 传递性的证明留作习题．§4 正交变换与对称变换1 正交变换与正交矩阵定义 4.1 设V 是一个欧氏空间,σ是V 上的线性变换，如果对任意的元素（向量）V ∈βα,,均有),())(),((βαβσασ=成立,则称σ是V 上的一个正交变换．例如，恒等变换是一个正交变换，坐标平面上的旋转变换也是一个正交变换．正交变换可以从以下几个方面来刻画．定理4.1 设σ是欧氏空间V 上的一个线性变换，则下列命题是等价的：(1) σ是一个正交变换；(2) 保持元素（向量）的长度不变,即对任意的V ∈α,有αασ=)(；(3) V 中的任意一个标准正交基在下的象仍是一个标准正交基；(4) 在任一个标准正交基下的矩阵是正交矩阵，即E A A AA T T ==．证明 采用循环证法。
线性代数中的正交补与正交投影
线性代数中的正交补与正交投影线性代数是数学中的一个重要分支，研究向量空间以及线性变换等概念和性质。
正交补与正交投影是线性代数中的两个重要概念，对于理解向量空间的性质和线性变换的特性具有重要意义。
一、正交补在线性代数中，给定一个向量空间V，如果存在一个向量空间W，使得W中的任意向量与V中的任意向量的内积为零，则称W为V的正交补，记作$W=V^{\perp}$。
在实向量空间中，正交补的概念更加容易理解。
例如，对于平面内的一个向量空间V，它的正交补W就是与V所张成的平面垂直的那条直线。
而对于三维空间，V的正交补W则是与V所张成的平面垂直的那个平面。
对于一个向量空间V，它的维数为n，则它的正交补的维数为m = dim(V) - dim(W)。
正交补的维数可以帮助我们判断向量空间的性质以及进行相关计算。
二、正交投影正交投影是线性代数中一个重要的概念，它可以帮助我们理解向量空间中的投影操作。
在给定一个向量空间V和一个向量v时，正交投影可以将向量v投影到V上。
具体而言，对于一个向量空间V和一个向量v，V的正交补空间为$V^{\perp}$。
我们想要将向量v在V上进行投影，可以通过正交补空间来实现。
投影操作的思想是，我们将向量v拆分成V上的一个分量和V的正交补空间上的一个分量。
其中，V上的分量可以称为正交投影。
正交投影的计算公式如下：$$P_V=\frac{v\cdot u}{u\cdot u}u$$其中，$u$为向量空间V上的一个向量，$v$为待投影的向量。
计算得到的正交投影向量$P_V$与向量空间V中的每个向量都正交，并且长度最短。
正交投影的概念和计算方法在实际应用中经常被使用。
例如，在计算机图形学中，正交投影可以帮助我们实现三维物体在二维屏幕上的投影效果。
三、应用实例1. 线性回归中的正交多项式回归在统计学中，线性回归是一种重要的数据分析方法。
当我们需要对多项式进行回归时，可以使用正交多项式回归方法。
正交多项式回归通过寻找一组正交多项式作为基函数，将输入数据在这组基函数上进行投影。
阵列信号处理(知识点)
信号子空间：设N 元阵接收p 个信源，则其信号模型为：()()()()1piiii x t s t a N t θ==+∑在无噪声条件下，()()()()()12,,,P x t span a a a θθθ∈称()()()()12,,,P span a a a θθθ为信号子空间，是N 维线性空间中的P 维子空间，记为P N S 。
P N S 的正交补空间称为噪声子空间，记为N P N N -。
正交投影设子空间m S R ∈，如果线性变换P 满足，()1),,,2),,,0m mx R Px S x S Px x x R y S x Px y ∀∈∈∀∈=∀∈∀∈-=且则称线性变换P 为正交投影。
导向矢量、阵列流形设N 元阵接收p 个信源，则其信号模型为：()()()()1piiii x t s t a N t θ==+∑，其中矢量()i ia θ称为导向矢量，当改变空间角θ，使其在空间扫描，所形成的矩阵称为阵列流形，用符号A 表示，即(){|(0,2)}a A θθπ=∈波束形成波束形成（空域滤波）技术与时间滤波相类似，是对采样数据作加权求和,以增强特定方向信号的功率，即()()()()HHy t W X t s t W a θ==，通过加权系数W 实现对θ的选择。
最大似然已知一组服从某概率模型()f X θ的样本集12,,,N X X X ，其中θ为参数集合，使条件概率()12,,,N f X X X θ最大的参数θ估计称为最大似然估计。
不同几何形态的阵列的阵列流形矢量计算问题假设有P 个信源，N 元阵列，则先建立阵列的几何模型求第i 个信源的导向矢量()i i a θ 选择阵元中的一个作为第一阵元，其导向矢量()1[1]i a θ=然后根据阵列的几何模型求得其他各阵元与第一阵元之间的波程差n ∆，则确定其导向矢量()2jn i a eπλθ∆=最后形成N 元阵的阵列流形矢量()11221N j j N Pe A e πλπλθ-∆∆⨯⎡⎤⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦ 例如各向同性的NxM 元矩形阵，阵元间隔为半个波长，当信源与阵列共面时：首先建立阵列几何模型：对于第m 行、第n 列的阵元，其与第1行、第1列阵元之间的波程差为(1)sin()(1)cos()mn i i n d m d θθ∆=---故：()1122(sin()cos())22((1)sin()(1)cos())11N j j d j j d N M NM P NM Pe e A e e ππθθλλππθθλλθ-∆-∆---⨯⨯⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥==⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦而当信源与阵列不共面时： 首先将信源投影到阵列平面然后建立阵列模型对于第m 行、第n 列的阵元，其与第1行、第1列阵元之间的波程差为[(1)sin()(1)cos()]sin()mn i i i n d m d θθϕ∆=-+-故：()1122(sin()cos())cos()22((1)sin()(1)cos())cos()11N j j d j j d N M NM P NM Pe e A e e ππθθϕλλππθθϕλλθ-∆-∆---⨯⨯⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥==⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦线性约束最小方差准则（LCMV ）的自适应波束形成算法： 对于信号模型：()()()0X t s t a J N θ=++， 波束形成输出：()()()()0()H H H yt W X t s t W a W J N θ==++LCMV 准则实际上是使()0HW a θ为一个固定值的条件下，求取使得()HWJ N +方差最小的W 作为最有权值，即：()0min .H X W HW R Ws t W a Fθ⎧⎪⎨⎪=⎩，其中F 为常数利用拉格朗日乘子法可解得：()10X opt W R a μθ-=当取1F =时，则()()11H X a R a μθθ-=，μ的取值不影响SNR 和方向图。
丘维声高等代数第十章2
(k) = k
因此，是 V 上的线性变换。▌ 性质 实内积空间 V 上的正交变换是 V 到自身 的同构映射。 证明 只需证明正交变换是单射：设是 V 上 的正交变换，任取 , V ，若 =，则
| |2 ( , ) ( ( ), ( )) | ( ) |2 | |2 | |2 0
所以
2 , U
从而 2 U ，由此得 1 2 U U ，即
V U U
所以 ( , ) 0 设 U U ， 则 U 且 U ， 从而 ，即U U { } 。 综上所述，V U U 。 ▌
T 1
4.326 A 1.739
T
由 X 是 () 的最小二乘解，可得
k 1.739kg / cm
于是，此弹簧的受力方程为
12
y 4.326 1.739 x
▌
推论 设 AX 是不相容线性方程组，这里
A R mn , R m 。若 rank( A ) = n，则此方程组有
AX AX ( AX , AX ) 0 ( AX )T AX 0 ( AX )T A 0 AT ( AX ) 0
AT AX AT
故 X 应为线性方程组
AT AX AT
③
的解。 可以证明 对任意 A R mn , R m ，线性方
1
( 2 , j ) ( 1 , j ) ( , j ) (1 , j ) ( , j ) ( , 1 )( 1 , j ) ( , m )( m , j ) ( , j ) ( , j )( j , j ) ( , j ) ( , j ) 0
射影定理的原理和应用
射影定理的原理和应用1. 射影定理的原理射影定理是在线性代数中常用的一条重要定理，它描述了向量空间中的向量通过投影运算能够分解为两个互相垂直的向量的和。
1.1 向量空间和内积空间在介绍射影定理之前，我们先来了解一下向量空间和内积空间的概念。
•向量空间是指具有加法和数乘运算的集合，满足一些基本的性质，如封闭性、结合律、分配律等。
在向量空间中，我们可以定义向量的加法和数乘运算。
•内积空间是在向量空间的基础上引入了内积的概念。
内积是一个函数，它将两个向量映射为一个标量，满足一些基本的性质，如对称性、线性性、正定性等。
1.2 射影定理的表述射影定理的表述如下：在内积空间中，对于任意一个向量b和一个子空间M，存在唯一的向量a ∈ M，使得向量b与M中的任意向量m的差向量都垂直。
即，有b - a ∈ M⊥其中，M⊥表示M的正交补空间。
1.3 射影向量的计算为了计算向量b在子空间M上的射影向量a，我们可以使用射影公式进行计算。
射影公式如下：a = Pm(b) = (mb * m) / (m * m) * m其中，Pm(b)表示向量b在子空间M上的射影向量，mb表示向量b在子空间M上的投影向量，m表示子空间M的一组基。
2. 射影定理的应用射影定理在实际问题中有着广泛的应用，例如在图像处理、信号处理、机器学习等领域。
2.1 图像处理中的应用在图像处理中，我们常常需要对图像进行降噪处理。
射影定理可以帮助我们去除图像中的噪声，并恢复出清晰的图像。
具体地，我们可以将图像看作是向量空间中的向量，其中每个像素点对应一个维度。
通过将图像向量投影到一个合适的子空间上，可以得到图像在该子空间上的射影向量，从而滤除图像中的噪声。
2.2 信号处理中的应用在信号处理中，射影定理可以用于信号压缩和信号恢复的问题。
例如，在无线通信中，由于带宽受限，需要对信号进行压缩以减少传输的数据量。
通过将信号投影到一个合适的子空间上，并保留最重要的部分信息，可以实现信号的压缩。
线性空间和欧式空间
线性空间和欧式空间第六章线性空间和欧式空间§1线性空间及其同构一线性空间的定义设V是一个非空集合，K是一个数域，在集合V的元素之间定义了一种代数运算，叫做加法；这就是说，给出了一个法则，对于V中任意两个元素和，在V中都有唯一的一个元素与他们对应，成为与的和，记为在数域K与集合V的元素之间还定义了一种运算，叫做数量乘法，即对于数域K中任一数k与V中任一元素，在V中都有唯一的一个元素与他们对应，称为k与的数量乘积，记为k，如果加法与数量乘法满足下述规则，那么V称为数域K上的线性空间。
加法满足下面四条规则：1）；交换律2）()()；结合律3）在V中有一个元素0，对于V中任一元素都有0（具有这个性质的元素0称为V的零元素）；存在零元4）对于V中每一个元素，都有V中的元素，使得0（称为的负元素）.存在负元数量乘法满足下面两条规则：5）1；存在1元6）k(l)(kl).数的结合律数量乘法与加法满足下面两条规则：7）(kl)kl；数的分配律8）k()kk.元的分配律在以上规则中，k,l表示数域中的任意数；,,等表示集合V中任意元素。
例1．元素属于数域K的mn矩阵，按矩阵的加法和矩阵的与数的数量乘法，构成数域K上的一个线性空间，记为Mm,n(K)。
例2．全体实函数（连续实函数），按函数的加法和数与函数的数量乘法，构成一个实数域上的线性空间。
例3．n维向量空间K是线性空间。
n1例4．向量空间的线性映射的集合HomK(K,K)是线性空间。
二．简单性质1．零元素是唯一的。
2．负元素唯一。
3．00，k00，(1)4．若k0，则k0或者0。
三.同构映射定义：设V,V是数域K上的线性空间.AHomK(V,V)是一个线性映射.如果A 是一一映射，则称A是线性空间的同构映射，简称同构。
线性空间V与V'称为同构的线性空间。
定理数域P上两个有限维线性空间同构的充分必要条件是他们有相同的维数。
同构映射的逆映射以及两个同构映射的乘积还是同构映射。
线性代数中的正交补与正交投影
线性代数中的正交补与正交投影线性代数是数学中的一个重要分支，研究线性方程组、向量空间和线性变换等概念。
在线性代数中，正交补和正交投影是两个关键的概念。
本文将从理论和应用的角度来介绍线性代数中的正交补与正交投影。
1. 正交补正交补是线性代数中的一个重要概念，用于描述给定向量空间中与另一给定子空间正交的所有向量的集合。
设V为一个向量空间，W为V的子空间，则W的正交补可以表示为W的所有与V中所有向量都正交的向量的集合，用W⊥表示。
正交补的定义：给定向量空间V和子空间W，W的正交补为所有与W中元素正交的向量所构成的集合，即W⊥={v∣v∈V, v⋅w=0,∀w∈W}。
正交补的性质：（1）若W是V的子空间，则W与W⊥的交集只包含零向量；（2）W⊥是一个子空间，且dim(V)=dim(W)+dim(W⊥)。
2. 正交投影正交投影是线性代数中的一个重要概念，用于描述向量在给定子空间上的投影。
正交投影可以将一个向量分解为两个正交的部分：其一在子空间上，其二在子空间正交补上。
设V为一个向量空间，W为V的子空间，v为V中的一个向量。
v 在W上的正交投影可以表示为Pw(v)，即将v投影到子空间W上得到的向量。
正交投影的定义：给定向量空间V和子空间W，v在W上的正交投影定义为Pw(v)，满足v−Pw(v)∈W⊥。
Pw(v)可以通过求解最小化问题得到：Pw(v)=argminw∈W‖v−w‖。
正交投影的性质：（1）Pw(v)是W上最接近v的向量；（2）Pw(v)与v−Pw(v)正交；（3）Pw(v)的范数‖Pw(v)‖≤‖v‖。
3. 正交补和正交投影的应用正交补和正交投影在实际问题中有广泛的应用。
下面以几个具体的例子来说明其应用。
例子一：考虑一个三维空间中的平面P，以及一个向量v，求v在平面P上的正交投影。
首先，我们需要找到平面P的一个正交基{u1,u2}，然后使用正交投影公式计算Pw(v)。
这样，我们就可以将向量v分解为两个正交的部分：一个在平面P上，一个在平面P的正交补上。
第2章 内积空间-2
1 2
1 2
cos sin
sin cos
1 2
G
1 2
就是一个正交变换。因为此变换的矩阵表示 G 是正
交矩阵。
矩阵分析简明教程
例2 HouseHolder变换
如图，
e2
x
x ( x, e1 )e1 ( x, e2 )e2 ,
2β
y
e1
因此向量 x 关于“与 e2 轴正交的直线”对称的镜
一、正交补与投影定理
定义 2.4.1 设 V1,V2 是数域 R上欧氏空间 V 的
两个子空间。向量 V 。如果对任意 V1 ，都 有 ( , ) 0 ，则称 与子空间 V1 正交，记
为 V1 。如果对任意 V2 ，都有 V1 ， 则称子空间 V1 与 V2 正交，记为 V1 V2
就称 x 为方程组的最小二乘解，这种方法就称为
最小二乘法。
矩阵分析简明教程
令 y A x ，显然 y R( A) ，因此求不相容方 程组的最小二乘解的问题即为在 R( A) 中找出向 量 Ax，使得向量b 到 Ax 的距离比到子空间 R( A) 中其它向量的距离都短，即Ax 是向量 b 在 R( A)
1. 正交投影的概念
定义 设 V1 是数域 R上欧氏空间V 的子空间。
向量 V 。如果有 1 V1 , 2 V1 使得
1 2
则称 1 是 在 V1 上的正交投影。
定理 （投影定理）设 V1 是数域 R 上欧氏空间V 的
子空间，则对任意 V ， 在 V1 上存在唯一 的正交投影。
矩阵分析简明教程
设 Rn 为单位向量，对任意 Rn ，定义
H ( E 2 H )
称H 为Householder 变换（初等反射变换），则 H 是 Rn 的正交变换。
2-4 酉(正交)变换与正交投影
P 2 UU H）（UU H ) U (U H U )U H UU H P （
H P H UU H） UU H P （ 充分性。 因为E=P+(E-P) 到R(P)的正交投影 P是酉空间Cn ，所以
x C n , x Px ( I P ) x
C n R( P ) R( I P )
重点： 施密特正交化方法；正交子空间及其正交补；
正交投影；酉变换；算子范数；相容性
难点： 正交基及子空间的正交关系，算子范数及其与
向量范数的相容性
☆
在第一章中，我们看到线性空间上的线性变 换是能够保持向量的加法与数乘两种运算的变换
☆ 那么到了酉（欧式）空间中，这种线性变换是 否能保持向量的度量性质的不变呢？ ☆ 由于度量性质是由内积定义的，所以接下来研 究保持内积不变的酉（正交）变换。
2 解答 (1) 因为L的标准正交基是 5
P 2 5 2 1 5 5 4 1 5 2 5 5 2 5 1 5
1 1
的正交投影。
1 5
T
(2)
4 5 PL：PL ( x ) Px 2 5
PL2 ( x ) PL ( x1 ) x1 PL ( x )
作为线性变换，经常称正交投影在自然基底下的矩阵为 正交投影矩阵，记为P, 不发生混淆的情况下，也称为正 交投影。正交投影记为 PL：PL ( x ) Px
定理3 设PL是酉空间Cn到L正交投影， u1，u2 , , ur
第二章 内积空间与赋范线性空间
1 2
欧氏空间与酉 空 间
标准正交基与向量的正交化
正交子空间 酉(正交)变换与正交投影 向量范数与矩阵范数 向量范数与矩阵范数的相容性
内积空间中的正交和投影
投影的性质
投影是非扩张的，即 $|mathbf{P}_{U}(mathbf{a})| leq
|mathbf{a}|$。
正交在解析几何、线性代数和物理等领域中都有广泛的应用，例如在解决物理问题、 图像处理和机器学习等领域中经常需要用到向量的正交。
02
内积空间中的投影
投影的定义
投影是将一个向量从内积空间投影到另一个子空间的过程。具体来说，给定向量$mathbf{a}$和子空间 $U$，投影$mathbf{P}_{U}(mathbf{a})$是满足$mathbf{P}_{U}(mathbf{a}) in U$且使 $mathbf{P}_{U}(mathbf{a}) perp mathbf{u}$的向量，其中$mathbf{u} in U$。
当子空间是超平面时，投影表示将向量投射到超平面 的法线方向上，使向量与超平面的距离最近。
投影在优化和机器学习中有广泛应用，例如在求解约 束优化问题时，可以将目标函数在约束条件下的解看
作是原问题解在约束子空间上的投影。
03
投影和正交的应用
在线性代数中的应用
线性子空间
投影可以将一个向量投射到指定的线性子空间上，通过计算向量的投影，可以得 到向量在子空间上的分量。
内积空间中的正交和投影的重要性
• 正交和投影是内积空间中的重要概念，它们在数学、物理和工程等领域中有着广泛的应用。正交表示两个向量相互垂直， 而投影则表示一个向量在另一个向量上的分量。这些概念在解决实际问题时非常有用，例如在信号处理、图像处理、量子 力学等领域中都有广泛的应用。
酉(正交)变换
P = PL
2 L
Department of Mathematics
Department of Mathematics
化成正交向量组 β 1 , β 2 ,L , β m .
β 1 = α1 , β 2 = α 2 − ( β 1 , α 2 ) β 1
(β1 , β1 ) (β1 ,α 3 ) (β 2 ,α 3 ) β3 = α3 − β1 − β2 (β1 , β1 ) (β 2 , β 2 )
M
Department of Mathematics
Department of Mathematics
二. 正交投影 定义: 设酉（欧氏） 定义 设酉（欧氏）空间 V = L ⊕ M , L ⊥ M , 的线性变换， ∀x ∈ V , x = x1 + x 2 , T 为 V 的线性变换， x1 ∈ L, x2 ∈ M , 有：T ( x ) = x 1 正交投影,记为 则称 T 为 V 到 L 的正交投影 记为 PL 性质1 性质 性质2 性质 正交投影是线性变换 是酉（欧氏） 设 PL 是酉（欧氏）空间 V 到 L 的正交 投影， 投影，则：
5, n维欧氏空间V的子空间 满足 的子空间W满足 维欧氏空间 的子空间 满足: i) (W ⊥ )⊥ = W
dimW + dimW ⊥ = dimV = n ii)
iii) W ⊕ W = V 必是W的余子空间 的余子空间. ⅳ) W的正交补 W ⊥必是 的余子空间 的正交补
Department of Mathematics
Department of Mathematics
2． 维欧氏空间 的每个子空间 V1 都有 ． 维欧氏空间V的每个子空间 n 唯一正交补. 唯一正交补 3. 两两正交的子空间的和必是直和． 两两正交的子空间的和必是直和．
第3节正交补空间与正交投影(09-10第二学期)
设 W 是欧氏空间 V 的一个子集,如果 V 中的向量
ξ 与 W 中的每个向量都正交,则称 ξ 与 W 正交,记作 ξ ⊥W.
定义 9.3.1 设 W 是欧氏空间 V 的一个非空子集,V 中与 W 正交的所有向量组成的集合称为 W 的正交补, 记作 W ,即
⊥
W ⊥ = {ξ ∈ V 〈ξ , β 〉 = 0 对任意的β ∈ W }
β 2 = β − β 1 = β − x1α 1 − x2α 2 −
⊥
− x rα r
⊥
由于 V = W ⊕ W ， β 1 ∈ W ， 而 所以 β 2 ∈ W ， β 1 即 是 β 在 W 上的正交投影. 确定了 x1 , x2 ,
, xr ，也就 ⊥ 确 定 了 β1 . 由 于 β 2 ∈ W ， 这 等 价 于 β 2 ⊥ α i ， i = 1, 2, , r . 即
α 4 作内积得到
( β , α 4 ) = k (α 4 , α 4）
所以
1 −3 k= = =− 2 (α 4 , α 4） 6
(β ,α4 )
高等代数与解析几何
这样，就得到向量 β 在由向量 α 1 , α 2 , α 3 生成的子空 间 W 上的正交投影
1 1⎞ ⎛1 fW ( β ) = α = β − kα 4 = β + α 4 = ⎜ , 2, 0, ⎟ 2 2⎠ ⎝2
< β 2 , αi >= 0 (i = 1, 2, 3), 可得线性方程组
⎧ 7 x1 − 5 x2 + 5 x3 = 4, ⎪ ⎨ −5 x1 + 6 x2 − 2 x3 = −1, ⎪ 5 x − 2 x + 6 x = 3. 1 2 3 ⎩
9-2 投影定理
d ( x, M ) = inf x − y
y∈M
(1)
问题 是否存在 y ∈ M ,使得
d ( x, M ) = x − y ?
如果存在这样的
(2)
y ,是否唯一? 是否唯一?
定义1 是线性空间, 定义1 设 X 是线性空间, x , y 是 X 中 的两点, 的两点,称集合
{ z = α x + (1− α ) y | 0 ≤ α ≤ 1}
2
2
= 2 y − x + 2 y0 − x − (y − x) + (y0 − x)
2 2
2
1 = 2δ + 2δ − 4 ( y + y0 ) − x . 2 由 M 的凸性, ( y0 + y ) ∈ M , 所以 2
1 2 2 || ( y0 + y ) − x || ≥ δ 2
(4)
1 ( yn + ym ) − x = yn + ym − 2x = 2 2
1 是凸集, 因为 M是凸集,所以 ( yn + ym )∈M,由此可得 2
vn + vm ≥ 2δ ,又因为 yn −ym =vn −vm ,所以有
yn − ym
2
= vn − vm
2
2 2 2
= − vn + vm + 2( vn + vm )
§2 投影定理
主要内容 一 极小化向量定理 二 投影定理
一
极小化向量定理
是度量空间, 的非空子集, 设 X 是度量空间, M 是 X 的非空子集,
x 是 X 中的一点, 中的一点, 一点
称
inf d ( x , y )
复平面向量正交的几何意义
复平面向量正交的几何意义全文共四篇示例，供读者参考第一篇示例：复平面向量正交是指两个向量的夹角为90度，即两个向量垂直于彼此。
在几何意义上，向量的正交性具有以下重要意义：复平面向量正交可以帮助我们计算向量的长度和方向。
两个向量正交意味着它们之间的夹角为90度，那么我们可以利用三角函数关系来求解两个向量的长度。
具体而言，设两个向量为a和b，它们的夹角为θ，则有两个向量的夹角余弦公式为cosθ=a·b/|a||b|，根据这个公式可以求解两个向量的长度。
在正交的情况下，向量的投影可以只考虑其中一个分量，从而简化计算。
复平面向量正交还可以用来判断线段和直线的垂直关系。
当两个向量正交时，它们可以表示为坐标系中的两条垂直线段或者直线。
这一性质可以应用于几何题目中，例如求解垂直平分线的位置，判断两直线是否垂直等。
复平面向量正交也可以用来解决图形的对称性问题。
在坐标系中，两个向量正交可以表示图形的对称轴，这对于许多几何题目的解决是非常有帮助的。
如果两个向量正交，则它们可以确定图形的对称中心，通过这个中心可以方便地求解图形的对称性质。
复平面向量正交还可以用来帮助我们理解向量的正交补。
在向量空间中，某一向量的正交补是与该向量正交的所有向量组成的子空间。
正交补的概念在线性代数中有着重要的应用，通过正交补可以方便地求解线性方程组的解以及判断向量空间的性质。
复平面向量正交在几何意义上具有重要的作用，能够帮助我们求解向量长度和方向、判断线段和直线的垂直关系、解决图形的对称性问题以及理解向量的正交补等。
通过学习和应用复平面向量正交的相关知识，我们可以更深入地理解向量的性质，丰富数学的几何知识，为解决实际问题提供更多的数学工具和思路。
第二篇示例：复数在数学中是一个非常重要的概念，它不仅仅是代表着一个数值，还可以被看作是一个坐标，从而呈现出了一种向量的性质。
在复平面中，我们可以把复数看作是平面上的一个点，这样就有了向量的概念。
内积空间中的正交性
内积空间中的正交性Inner Product Spaces and Orthogonality在三维空间中，如右图1所示任取一平面M ,空间中的每一个矢量x必能分解成两个直交的向量和，其中一个向量耳在平面M上，另一个向量乙与平面M垂直，即x = x0 + z ,“丄z.这种向量的分解形式，在一般的内积空间是否成立图2.4.1三维空间向量的分解，向量x = x0 + z其中兀丄乙2.4.1正交分解定义2.4.1正交设X是内积空间，x, y&X ,如果(x,刃=0,则称x与y正交或垂直，记为x丄)，•如果X 的子集A 中的每一个向量都与子集B中的每一个向量正交，则称A与B正交，记为A丄3 .特别记X丄A,即向量x与人中的每一个向量垂直.定理2.4.1勾股定理设X是内积空间,X,yex,若兀丄〉，，则卜+y『=|卜『+ |卜『・证明卜+y『=(x+y,x + y)= (x,x) + (x,y) + (y,x) + (y,刃= (x,x)+ (>,>)=II<+II4. □注仁在内积空间中，是否存在卜+y『=||x『 + |卜『=>兀丄y显然由ll-v+yf = (A-, x) + (A-, y) + 059 + (y, y)=卜『+ 卜『+ 2Re(x,y), 可知在实内积空间中卜+〉，『=卜『+||y『n X丄y成立.定义2.4. 2 正交补Orthogonal comp I ement设X是内积空间，MuX,记M丄={x|x丄M,xeX},则称M丄为子集M的正交补.显然有X -={0}, {0}丄=X 以及M丄0 M = {0}.性质2.4.1设X是内积空间，Mu X ,则M-是X的闭线性子空间.证明(1) M丄是X的线性子空间Vx, y e M丄，已 K、g e M ,有(ax+0y, Z)= (ax, z) + (0y, z) = a(A, Z)+0(y, z) = 0 ,于是ax+/3y e M丄，因此M丄是X的线性子空间.(2) M丄是X的闭子空间设{x } U M丄，且依范数A；T兀(n TOO),于是火G M ,有(■'o, Z) = (lim A;,z) = lung, Z)= 0 ."Tao n—►»因此丄，即M-是X的闭子空间.口注2：由于完备度量空间中的子空间完备的充要条件是子空间闭，因此在Hilbert空间中(完备的内积空间)，任意子集M的正交补M丄是完备的子空间，即Hilbert空间的正交补M丄也是Hi Ibert空间.定义2.4.3正交分解设M是内积空间X的子空间，xeX,如果存在丄，使得x=x° + z,则称比为x在M上的正交投影或正交分解.引理2.4.1设X是内积空间，M是X的线性子空间，xeX,若存在yeM ,使得= d(x,M),那么x- y丄M ・证明令z = x-y,若？不垂直于M,则存在e M ,使得(乙片)工0,显然儿工0 .因为VaeK t有=|忖「一a（〉i，Z）-圧（◎ ”）+ a应yj=hl!' 一 &（z，>\）~ a［（”,乙）-压（”,儿）］特别取& =上上2,贝ij可得CviOjh-^if = hlf -叱'刃）=ltf"7^7 -1灿'=ll A->if="少八即知||z-ayj|< J（x,Af）.又由于ay\ e M ,所以II2-a”II = |卜一y一Sill = ||x—（>' + a”）|| >d（x,M）.产生矛盾，故x-y丄M. □定理2.4.1投影定理设M是Hilbert空间H的闭线性子空间，则H中的元素x在M中存在唯一的正交投影, 即Fx 已H、x = x0 + z ,其中丄.（或表示为H = M ®M~'）证明（1）寻找几进行分解.Px 已 H，设d（x y M） = inj｛|卜- >'］｝ = a > 0,则存在｛y n｝ u M ,使得|卜”—x||Td （〃T8）,首先证｛儿｝是M中的基本列，因为\fm,neN有||儿厂儿『=||（几一Q + （x-儿）『=2II 儿~4 + 2 卜-儿『-||（v n - x） - （A-儿）『=2||儿-第+2卜-儿『-彳卜九+儿）-彳因为儿及M是子空间，知*（儿+儿）GM,所以£（儿,+儿）-彳"，于是|卜”,一儿『S2||儿7『+2|卜一儿『—4/ T OQ M T QC）故｛儿｝是旳中的基本列，又因M是闭子空间，即为完备空间，所以｛儿｝是"中的收敛列.不妨设儿T入（“ ->oc）,则有« = ||.V-X0|| = J(A\;W) •令7 = x-A0,因此有X = x o + z t其中A o e A/ ,且根据前面引理知乙eM丄.(2)分解的唯一性.假设还存在z’eM丄使得+ 那么有0 = (x o-x1) + (<-^1) , Z~Z t丄,于是只需0的分解具有唯一性.若0 =丫+疋，y'eM , 丄，则0 = (0$) = (V + z\y1) = (>-\y1) + (鸣V) = ||y,||2可见〉"=0及z' = 0,即0的分解具有唯一性.口例2.4.1证明在内积空间上，x丄，的充要条件是VaeK有卜+巧阻卜||.证明必要性=> 若x丄y,则有(x, y) = 0 > \/aeK有(x,ay) = &(x,y) = 0 ,于是由勾股定理«：||x+ay||= = |M|=+|H|2>H2-充分性U若VaeK有|卜+ ay|| > ||.v|| ,且y工0时，0外+讨-卜『=(x+ ay y x+ ay)-(x,x)=(x, x) + Q(” x) + 讯兀刃 + Q 颈•” y) - (兀X)=o(y, x)+可(巧y)+a(y, y)]特别取于是，(>',y)0<||x + « y||： -||.r||==-沁(y, x) = -< 0"-"""(y,>) ||y||-故(x,y) = O,即x丄y. □2.4. 2标准正交系在三维空间中，任何一向量a可写成a = ①冬+6®，其中5= (1,0,0) , e2 = (0,1,0) , (0,0,1) , q =(羽勺)9a2 =(0灼),a3 = (a.ej ,显然当心丿时9化丄勺，而(弓,弓)=1・可见a = a勺)勺+ (a迢旭+ (a,勺)勺，那么在有限维内积空间中是否具有同样的结论呢定义2.4.4标准正交系设X是内积空间，亿｝是X中的点列，若满足则称仅｝为乂中的标准正交系.例2.4.2在"维内积空间川中，向量组勺= (1,0,•••,()), 6 =(0丄0,・..,0),…，e” =(0,...,0,1),是卅的一个标准正交系.口例2.4.3在尸中,向量勺=(0,...,0丄,0,…,0,. .) (” = 1,2,・..),则｛e”｝是广的一个标准正交n系・□例2.4.4在Z?[-龙虫]中，对于f.g e Z?[-龙，/r],定义内积为则下列三组向量均是芒[-兀刃的标准正交系,仇｝ = ｛匕|耳=cos/*〃= l,2,・・・｝;｛—｝二｛匕卜” =sin/u‘ = l,2,・・・｝;. 1｛q｝ = ｛q，S，4 5 =厉=cos/u；s =sinm‘ = l,2,・・・｝・□注3:如果线性空间上中的点列迢｝的任意有限个元素线性独立，则称亿｝为线性独立系.可验证标准正交系是线性独立系.设g,q：,・..,eQ是标准正交系｛叮的一个有限子集，如果存在％,如…心&K使得那么对于任意的^(1<;<^)k kJ =勺(％，气)=(勺％心)=另(匕勺心)=(Z叽心)=(0,e nf) = °・r-l /-I反过来，任何一个线性独立系经过正交化后为标准正交系.定理2・4・2设｛叮为内积空间X 的标准正交系,0,蛰…他｝ u ｛叮,记M =…，ej 9 k 那么VxeX ,兀0 =艺（兀叫圮,是丫在M 上的正交投影•即兀wM , X = x 0 + z » （A -X 0）丄M • i -i k 证明 显然x 0 e M , Vy e M ,由于存在a^a z e^,a k eK ,使得丫 =乞01仏、于是 j-i k k （x-q,y ） = （x -另（x,q 冷迓qej i-i j-i=a ，Z 叭）（x ，气圮,，Z 叭）/-Ir-1 i-1X k =£爲（x,s ）-£q（yq ）（sc ）=o ・□ j -i i-i 注4：上述定理中的M 为R 维闭子空间，作为内积空间M 与用同构，M 也是完备的子 空间，根据投影定理，x 在M 上的正交投影忑唯一存在.定理2.4.3设｛£｝为内积空间X 中任意的一组线性独立系，则可将｛兀｝用格拉姆-施密 特（Gram-Schmidt ）方法化为标准正交系亿｝,且对任何自然数“，有噱〉，阳wKX n =艺冰匕'€n =艺血X »&-1 1-1同时span ｛e ｛灼,…％｝ = spcu^,兀,…,亠｝ •记M] =$/"/"｛©｝,根据上述定理可将"在A/】上做正交分 解x 2 =（心勺）勺+ v 2,即冬丄勺，v 2 e ,得v 2 = x 2 一 （x“勺）弓•七=（吃，勺）勺+11吋I 勺.记M z = span ｛e^e 2｝,将x 3在上做正交分解“=（坷，勺）勺+（“,勺）勺+岭，则些工0及V 3 e M ；,得v 3 = x 3 -（.Xj,e x ）e^ -（x 3,e 2）e 2 ,可令® =行，从而治A 3是勺,冬,勺的线性组合，e 3是 A P X 2V ¥3的线性组合.ZI-1以此类推，可令叫=£-£（耳,必，且有勺心…41正交，进而令0/-I于是令"计则有脸卜1,6丄勺，且有证明令勺二 则有甌卜1n-1 n-1 nx n =匕+》（£,◎）©=II 气」Is+2L （暫用）勺=•r-i i-i i-i 同时可得e”是丑,兀,…，兀的线性组合.口。
正交补与正交投影
THANKS
感谢您的观看
在物理和工程中的应用
运动学和动力学
在物理中的运动学和动力学中，正交 投影被用于描述物体在空间中的位置、 速度和加速度，以及力的作用方向和 大小。
控制系统
信号处理
在信号处理中，正交投影被用于信号 的滤波、降噪和特征提取等任务，以 提高信号的质量和识别准确率。
在工程中的控制系统领域，正交投影 被用于描述系统的状态变化，以及系 统输入和输出的关系。
Part
05
正交补与正交投影的实例分析
线性代数中的实例分析
线性子空间的正交补
在向量空间中，如果一个子空间A的补集与A正交，则称A的正交补为A的极小正交补。例如，在三维空间中，平 面A由向量(1,0,0)和(0,1,0)张成，则A的正交补是垂直于A的直线，即(0,0,z)。
正交投影
对于任意一个向量x，在子空间A上的正交投影记作P_A(x)，它是一个向量，满足x-P_A(x)属于A的正交补。例如， 在二维平面中，点(2,3)到直线x+y=1上的正交投影是点(1,-1)。
正交补与正交投影
• 正交补的定义与性质 • 正交投影的定义与性质 • 正交补与正交投影的应用 • 正交补与正交投影的关系 • 正交补与正交投影的实例分析
目录
Part
01
正交补的定义与性质
正交补的定义
正交补的定义
对于一个给定的向量空间V，如果一个 子空间U满足U的正交补定义为V中与 U正交的所有向量的集合，则称U为V 的一个正交补。
正交补
将一个向量或一个子空间的正交补转 化为投影，即该向量或子空间在另一 个指定子空间上的投影。
正交补与正交投影的异同点
相同点
正交补和正交投影都是基于向量的正交关系，都涉及到将一个向量或子空间转换到另一个子空间的过 程。
内积空间的正交补基与正交补投影
内积空间的正交补基与正交补投影内积空间是线性代数中的一种重要概念，它在向量空间的研究中具有广泛的应用。
在内积空间中，我们可以通过正交补基和正交补投影来描述向量的性质和空间的关系。
本文将介绍内积空间的概念，正交补基的定义和性质，以及如何利用正交补投影进行向量的分解。
一、内积空间的概念内积空间是指具有内积运算的向量空间。
在这个空间中，我们可以定义两个向量之间的内积，记作⟨x，y⟩，其中x和y为内积空间中的向量。
内积满足以下性质：1. 对称性：⟨x，y⟩ = ⟨y，x⟩2. 线性性：⟨kx，y⟩ = k⟨x，y⟩，⟨x1 + x2，y⟩ = ⟨x1，y⟩ + ⟨x2，y⟩，其中k为标量。
3. 正定性：⟨x，x⟩≥ 0，当且仅当x = 0时，⟨x，x⟩ = 0。
在内积空间中，我们可以定义向量的长度（或者称为模）和向量之间的夹角。
向量的长度由内积的平方根给出，即∥x∥ = √⟨x，x⟩。
向量之间的夹角可以通过余弦定理进行计算，即cosθ = ⟨x，y⟩ /(∥x∥∥y∥)，其中θ为两个向量之间的夹角。
二、正交补基的定义和性质在内积空间中，我们可以定义正交补基。
对于内积空间中的一个子空间V，其正交补子空间记作V⊥，它由与V中任意向量正交的向量组成。
具体而言，V⊥中的向量与V中的任意向量的内积为0，即⟨x，y⟩= 0，其中x属于V，y属于V⊥。
V⊥中的向量与V中的向量正交，相互垂直。
正交补基是指V中的一组线性无关向量，它与V⊥中的一组线性无关向量共同组成了整个内积空间的一组基。
换句话说，正交补基是一组既包含V中的基向量，又包含V⊥中的基向量的基。
正交补基的性质如下：1. V中的基向量与V⊥中的基向量互为正交。
2. V中的基向量与V中的其它基向量正交。
3. V⊥中的基向量与V⊥中的其它基向量正交。
通过使用正交补基，我们可以方便地对向量进行分解和表示。
三、正交补投影的概念和应用正交补投影是利用正交补基来进行向量的分解和表示的重要方法。
正交投影——精选推荐
投影的严格定义是：一个从向量空间V射到它自身的线性变换P是投影，当且仅当P2= P。
另外一个定义则较为直观：P是投影，当且仅当存在V的一个子空间W，使得P将所有V中的元素都映射到W中，而且P在W上是恒等变换。
用数学的语言描述，就是：，使得，并且在现实生活中，阳光在地面上留下各种影子。
这就是投影变换最直白的例子。
可以理想化地假设阳光都是沿着同一个方向（比如说垂直于地面的角度）照射而来，大地是严格的平面，那么，对于任意一个物体（比如说一只正在飞行的鸟），它的位置可以用向量(x, y, z) 来表示，而这只鸟在阳光下对应着一个影子，也就是 (x, y, 0)。
这样的一个变换就是一个投影变换。
它将三维空间中的向量 (x, y, z) 到映射到向量 (x, y, 0) 。
这是在x-y平面上的投影。
这个变换可以用矩阵表示为因为对任意一个向量 (x, y, z) ，这个矩阵的作用是：注意到如果一个向量原来就是表示地面上的一点的话（也就是说它的z分量等于0），那么经过变换P后不会有改变。
也就是说这个变换在子空间x-y平面上是恒等变换，这证明了P的确是一个投影。
另外，所以P = P2，这也证明P的确是投影。
基本性质变换T是沿着k方向到直线m上的投影。
T的像空间是m而零空间是k。
这里假定投影所在的向量空间V是有限维的（因此不需要考虑如投影的连续性之类的问题）。
假设子空间U与W分别为P的像空间与零空间（也叫做核）。
那么按照定义，有如下的基本性质:1.P在像空间U上是恒等变换：2.整个向量空间可以分解成子空间U与W的直和：。
也就是说，空间里的每一个向量v，都可以以唯一的方式写成两个向量u与w的和：v= u+ w，并且满足、。
事实上，每一个向量v都可以写成。
P(v)显然在像空间中，而另一方面，所以v−P(v)在零空间中。
如果向量空间被赋予了内积，那么就可以定义正交和其它相关的概念(比如线性算子的自伴随性)了。
在内积空间（赋予了内积的向量空间）中，有正交投影的概念。
证明列空间左零空间正交补
证明列空间左零空间正交补证明列空间和左零空间是正交补是线性代数中的一项重要内容。
在学习这个证明之前，我们需要先明确一些基本概念。
首先，我们需要了解什么是列空间和左零空间。
列空间可以看作矩阵中所有列向量的生成空间，而左零空间则是该矩阵左乘一个向量得到的结果为零的所有向量的空间。
简单来说，列空间和左零空间就是一个矩阵对于向量空间的“投影”。
证明列空间和左零空间是正交补的过程如下：第一步，我们需要证明列空间和左零空间的交集只包含零向量。
也就是说，如果一个向量同时属于列空间和左零空间，那么这个向量必须是零向量。
我们可以通过假设向量v既属于列空间，又属于左零空间来证明这个结论：假设v既属于列空间也属于左零空间，那么矩阵A可以表示成A = B + C，其中B是列向量的线性组合，C是左零空间的向量的线性组合。
由于左零空间的定义，C左乘向量时需要得到0，因此Av = Bv。
同时，v还需要满足属于列空间，所以Bv可以表示成向量w的线性组合，即Bv = Aw，其中w是向量空间中的任意向量。
于是，我们得到了Av = Aw。
由此可知，v的线性组合是由A的结果的线性组合知道的，也就是说，v属于A结果的生成空间。
但是，根据左零空间的定义，Av = 0，因此，v必须是零向量。
第二步，我们需要证明列空间和左零空间的和等于整个向量空间。
也就是说，一个任意的向量必须能够分解为列空间和左零空间的向量之和。
我们可以通过假设一个任意的向量x来证明这一点。
假设x属于向量空间，那么x可以表示成x = v + u，其中v属于列空间，u属于左零空间。
此时，我们只需要证明v和u是正交的即可。
由于v属于列空间，因此v可以表示成矩阵A的任意列向量的线性组合。
于是，我们得到Av的值就是v的值。
同时，因为u属于左零空间，因此Au =0。
因此，我们可以得到v和u的内积为v和Au的内积，即v.T * Au = 0。
由于左零空间的定义，Au等于0，因此v和u的内积就是0，也就是说，它们是正交的。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
.
例题4.5
.
一般的线性最小二乘问题
(比如说多项式)
我们的目标是
.
一般的线性最小二乘问题
.
一般的线性最小二乘问题
.
例子 4.1
back
.
例子4.2
解: 子空间 W 的法方向(正交补空间)为 z 轴,
back
.
例子4.3
共三种方法
back
.
命题 4.1 的证明
证明: =0
back
.
定理 4.2 的证明
.
例子4.2
正交投影的求法
例子4.3
.
正交投影的性质，最佳逼近元
证明
.
最小二乘法
为了确定a, b的值，需要通过实验得到一组数据。
解: 由已知条件有
讨论参数a与b的确定方法。
.
最小二乘法
将多目标的问题转化为单目标的问题。有几种方法： (最大偏差达到最小)
(偏差的绝对值之和达到最小) (偏差的平方和达到最小) 以偏差的平方和达到最小为目标的方法称为最小二乘法
.
最小二乘法
.
最小二乘法: 例题4.4
试用最小二乘法建立x与y之间的经验公式。 用最小二乘法求解问题的一般骤如下： （1）数据描点； （2）初步确定经验公式； （3）列出法方程组，求解； （4）精度检验； （5）修正（如果需要）。
.
例题4.4：数据描点（草图），观察
.
例题4.4：经验公式
(2) 初步确定经验公式：
§4 正交补空间与正交投影
向量与集合正交 正交补空间 正交投影
定义,求法,性质
最小二乘法
问题的提法 问题的求解
主讲人：
.
正交补空间
V欧几里得空间, S是V的一个非空子集,
定义：设Ｗ是欧几里得空间V的一个非空子集, V中与W正交的所有向量组成的集合称为Ｗ的正交补
例子4.1
证明 证明
.
正交投影
作映射 它具有性质：
证明: 分两步
因此
back
.
定理 4.3 的证明
back
证：
.
( x) a bx (即0( x) 1 1( x) x)
(3) 建立法方程组：
m
xi
xi xi2
a b
yi xi yi
代入
6 396.6
28339665..628
a b
1011415786.3
解得：a 95.3524 b 2.2337
( x) 95.2524 2.2337x