(完整版)张贤达教授课件-清华之第2讲
现代信号分析与处理技术_第2讲_最优滤波方法

{
}
p −1 ⎧⎡ ⎤ ∗ ⎫ = E ⎨ ⎢ d (n) − ∑ w(l ) x(n − l ) ⎥ d (n) ⎬ l =0 ⎦ ⎩⎣ ⎭
即:
ξ min = rd (0) − ∑ w(l )r (l )
l =0
∗ dx
p −1
或:
H ξ min = rd (0) − rdx w
或:
H -1 ξ min = rd (0) − rdx Rx rdx
k =0
因此最优线性预测器的Wiener-Hopf方程为:
⎡ rx (0) rx∗ (1) rx∗ (2) ⎢ rx (1) rx (0) rx∗ (1) ⎢ rx (2) rx (1) rx (0) ⎢ ⎢ r ( p − 1) rx ( p − 2) rx ( p − 3) ⎣x rx ( p − 2) ⎥ ⎢ w(1) ⎥ ⎢ rx (2) ⎥ ∗ rx ( p − 3) ⎥ ⎢ w(2) ⎥ = ⎢ rx (3) ⎥ ⎥⎢ ⎥ ⎥ ⎢ ⎥ ⎢ w( p − 1) ⎥ ⎢ r ( p ) ⎥ rx (0) ⎦ ⎣ ⎦ ⎣x ⎦
信息科学与工程学院 杨绿溪
• 维纳滤波
FIR维纳滤波 应用:滤波、线性预测、噪声抑制、反卷积MMSE均衡器 IIR维纳滤波
• 线性离散卡尔曼滤波器
- - -高斯假设下的序贯贝叶斯滤波 • 非线性最优滤波-序贯MC贝叶斯滤波
• 基本的粒子滤波器应用实例
参考书和参考文献
• 杨绿溪,现代数字信号处理,科学出版社,2007年11月。 • 张贤达,现代信号处理,清华大学出版社,2002年10月。 • T.Kailath, A innovations approach to LS estimation, IEEE T-AC, Vo.13, 1968, pp.641-655. • M.S.Arulampalam, S.Maskell, N.Gordon, T.Clapp, A tutorial on particle filters for online nonlinear/non-Gaussian Bayesian tracking, IEEE Transactions on Signal Processing, Vol.50, No.2, pp.174-188, 2002. 专辑 • Z.Chen. Bayesian filtering: From Kalman filters to particle filters, and beyond. Adaptive system lab., Macmaster Univ., Canada. [online]. http://soma.crl.mamaster.ca/zhechen /download. 另有2004-03, P-IEEE专辑
5.7 因果ARMA模型辨识 高斯有色噪声中的谐波恢复 清华大学《现代信号处理》讲义 -张贤达

∞
k 2
( j ) h ( j + n ) ∑ a (i ) h ( j + m i )
i =0
p
b( j + m )
∵ ∑ a (i ) x ( n i ) = ∑ b ( j ) e ( n j )
i=0 j =0
q
h
δ
修正Yule-Walker方程: 方程: 修正 方程
∑ a (i ) c
Φ 4 = Φ1 + Φ 2 + Φ 3
四阶累积量定义
c4 x (τ 1 ,τ 2 ,τ 3 ) = cum x * ( n ), x ( n + τ 1 ), x ( n + τ 2 ), x ( n + τ 3 ) = α (1)α (2)α (3)α * (4) e j (ω1τ1 +ω 2τ 2 +ω 3τ 3 ) +
τ1 = τ 2 = τ 3 = τ
c4 x (τ ,τ ,τ ) = ∑ α (i ) e jωiτ = c4 x (τ )
4
i =1 p
虚拟谐波: 虚拟谐波:
x ( n ) = ∑ α (i ) e j (ω i n +Φ i )
2 i =1
p
Rx (τ ) = ∑ α (i ) e jωiτ
f m +1 ( m, 0) ≠ 0
比检验 f ( m, 0) ≠ 0 更稳定
残差时间序列法: 残差时间序列法:
已辨识出, 假设 a (i ), i = 1, , p已辨识出,并滤波 y ( n ) = x ( n ) + v ( n )
y ( n ) = ∑ a (i ) y ( n i )
清华大学《现代信号处理》课件

现代信号处理(离散随机信号处理)电子工程系本课程要讨论的主要问题:(1)对信号特性的了解随机信号(随机过程,时间序列––随机过程的一个实现)信号模型→参数估计→现代谱估计:参数化谱估计讨论信号模型及模型参数的估计问题,比较参数谱估计方法和周期图方法的优劣。
(2)对统计意义下最优滤波器设计的研究平稳条件下:Wiener滤波器理论非平稳条件下:Kalman滤波理论上的目标,实际算法可达到的最佳结果(3)对环境的自适应,具备“学习能力”的滤波算法自适应均衡、波束形成、线性自适应滤波器(4)更多信息的利用,挖掘(针对非高斯问题)线性系统、功率谱:二阶矩,高斯过程的完全刻划非线性、多谱:高阶量,循环平稳(5)对时间(空间)–––频率关系的适应性:全局特性与局域特性,小波变换,时频分析信号处理算法设计面向的几个主要因素n信噪比n先验知识n雷达n通信系统n电子对抗n对先验知识的利用:统计基础上的假设、学习过程n算法复杂性与性能要求的匹配性一些进展中的课题盲自适应信号处理序列贝叶斯估计、粒子滤波阵列信号处理等等与信号处理紧密关联的学科人工神经网络统计学习理论模式识别等等教材n张旭东,陆明泉:离散随机信号处理,2005年10月,清华大学出版社主要参考书①S. Haykin, Adaptive Filter theory, Third Edition, Prentice-Hall, 1996,//Fouth Edition 2001 (电子工业出版社均有影印本)①S.M. Kay, Modern Spectral Estimation: Theory & Application,Prentice-Hall, 1988①S.M. Kay, Fundamentals of Statistical Signal Processing: Estimation Theory, Prentice Hall PTR, 1993.①S. Mallat, A Wavelet Tour of Signal Processing, Academic press, 1998,Second Edition 1999①扬福生, 小波变换的工程分析与应用, 科学出版社, 2000.① D. G. Manolakis, et,al. Statistical and Adaptive Signal Processing, Mcgraw-Hall, 2000.①J. G. Proakis, et al. Algorithms for Statistical Signal Processing, Prentice hall, 2002①张贤达现代信号处理第2版清华大学出版社课程成绩n平时作业10%n2个Matlab作业40%(布置后2周内提交)n期末开卷考试50%1.1随机信号基础被噪声干扰的初相位是随机值的正弦波信号本质上均是随机的,但将信号作为随机信号处理,还是做为确定信号处理,与我们的应用目标和我们的先验知识有关,一般地,我们总是选择对应用有利的处理方式。
MUSIC方法_清华大学《现代信号处理》讲义_-张贤达

改进方法1: (求根MUSIC方法)
基本思想:Pisarenko谐波分解 (不需一维搜索)
a H ( )G 0
j
或
j ( m 1)
G H a( ) 0
T
a( ) 1, e , , e
z e j
p( z ) 1, z, , z
m 1 T
波束形成器:
w opt
1 H R xx a (d ) 1 H a(d )R xx a (d )
5. 改进的MUSIC方法
改进方法1:
ˆ ( ) a H ( )Ua P( ) H a ( )GG H a( )
p
ˆ 2 U
i 1
2 i
i
H s s 2 k k
观测空间 = 信号子空间 + 噪声子空间
特征值分解后,与大特征值对 应 与小特征值对 应
子空间的几何意义:
U S, G
H H H S S S S G H U U H S, G H I H G S G G G
S S I p , GH G Im p , G H S 0 S H G 0
Vandermonde矩 阵
j p e j ( m 1) p e 1
方向矩阵
满列秩 1 2 p
1 j1 e j ( m 1)1 e
1 e j2 e j ( m 1)2
2
加性噪声
2
1 lim N N
2
n 1
N
z (n) w H E x(n)x H (n) w
2
《清华政治经济学》课件

4
达和演讲技巧。
教师将布置一些与课程相关的练习和作 业,巩固学生的理论知识。
学习资源
在线资源和资料
提供网上学习平台、在线课程和 录播课程,方便学生自主学习和 复习。
期刊和书籍
介绍相关的学术期刊和著作,帮 助学生深入了解前沿的研究和发 展。
社交媒体和网站
推荐一些与政治经济学相关的博 客、新闻网站和社交媒体账号, 提供实时资讯和讨论。
课程大纲
介绍每个章节的主题和重点内容,帮助您明确 课程的结构和进度。
评估方式
通过个人作业、小组项目和期中期末考试等方 式对学生的学习成果进行评估。
教材概述
1 选用教材
2 每章节重点
介绍主要教材和参考书籍, 供学生进一步学习和提升 理解。
列出每个章节的核心知识 点和重要概念,帮助学生 抓住重点和准备复习。
考试与评估
期中和期末考试
定期进行的考试,帮助学生检验知识掌握和理解程度。
个人和小组项目
学生将在个人或小组内完成一些实践项目,应用理论知识去解决实际问题。
出勤和课堂参与
学生的出勤和积极参与将作为考核的一部分,鼓励学生积极参与课堂讨论和活动。
3 阅读材料推荐
推荐一些与课程相关的经 典论文和研究报告,扩展 学生对该领域的知识。
课堂活动
1
讨论和分组活动
通过小组讨论和合作,培养学生的批判
小组案例研究
2
性思维和团队合作能力。
学生将参与实际案例的研究和分析,应
用政治经济学理论解决现实问题。
3
学生演示讲解
学生将有机会进行演示和讲解,提高表
课堂练习和作业
《清华政治经济学》PPT 课件
这个PPT课件将帮助您更好地了解清华大学的政治经济学课程,课程内容和 教学方法。准备好深入研究这个有趣而有挑战性的领域了吗?
最大熵谱估计 清华大学《现代信号处理》讲义 -张贤达

P (ω ) =
1
k = p
∑
p
λk e
jω k
= λ k
∑
p
k e jω k
与AR功率谱等价 AR功率谱等价
Fejer-Riesz定理: 定理: 定理
W ( z) =
k = p
∑
p
k z k W (ω ) = →
z =e jω
k = p
∑
2
p
k e jω k
p
若 W (ω ) ≥ 0 ,则一定可以找到一个 A( z ) = ∑ a (i ) z i 满足
1 J (ω ) = 2π
1 ∫π log P (ω )dω + k∑p λk R ( k ) 2π =
π
p q
∫
π
-π
P (ω )e jω k d ω
1 + ∑ k C ( k ) 2π k = q
log P (ω )e jω k d ω ∫-π
π
P (ω ) =
k = q p
π
倒谱(cepstrum) ln P (ω )
∫ π log P (ω )dω
1 π 相关函数匹配: ∫ P (ω )e jω k d ω = R ( k ), k = 0, ±1,L , ± p 2π π 条件 倒谱匹配:1 π log P (ω )e jω k d ω = C ( k ), k = 0, ±1, L , ± p 2π ∫π
i=0
W ( z ) = A( z ) =
2
∑ a (i ) z
i =0
p
i
而且若 A( z ) = 0 的根全部在单位园内,则A(z)是唯一确定 的。故有
短时Fourier变换与Gabor变换 清华大学《现代信号处理》讲义 -张贤达

⑵ (t )为正交函数
⑶ Vj Wj
H ( ), G( ) 希望具有FIR、线性相位,但满足以上条件
的滤波器组H、G不能同时具备FIR和线性相位,此时 只能用两个滤波器组以满足FIR和线性相位:
H ,G,
Vj Wj
H ,G
Vj Wj , Wj Vj
Vj
Gabor原子
* Gabor变换: amn (t ) mn (t )dt
mn (t ) (t mT )e j 2 nFt
⑴ 选择 g (t ) (t ) ⑵ 计算Gabor变换 ⑶ 计算Gabor展开,得到 (t ) 的时域表示形式
完全重构条件:
紧凑框架(snug frame): A B 紧致框架(tight frame): A B 正合框架(exact frame):框架元素 jk (t ) 独立 “一个都不能少” Rietz基(正合框架): jk (t ) 的所有元素相互独立
正交小波, 多分辨分析 滤波器组 ( H , G)
Vj Wj
H ( ) 2 H ( ) 2 1 2 2 V j W j的条件 G ( ) G ( ) 1 H ( )G * ( ) H ( )G * ( ) 0
则 ⑴ (t ) 为正交函数
双线性变换 “能量分布”
信号取全局,核函数取局部的两个典型例子 例3: Gabor变换:
amn (t ) g * (t mT )e j 2 ( nF )t dt (t ), gmn (t )
g mn (t ) g (t mT )e j 2 ( nF )t
m n
清华大学人工智能导论课件_高级搜索2

1 T * voff _ line f (t ) T t 1
其中T是到目前为止的进化代数,f*(t)是 第t代中,染色体的最好指标函数值。
适应函数
一般情况下,我们可以直接选取问题的 指标函数作为适应函数。如求函数f(x)的 最大值,就可以直接采用f(x)为适应函数。 但在有些情况下,函数f(x)在最大值附近 的变化可能会非常小,以至于他们的适 应值非常接近,很难区分出那个染色体 占优。在这种情况下,希望定义新的适 应函数,要求该适应函数与问题的指标 函数具有相同的变化趋势,但变化的速 度更快。
在线比较法
该方法用当前代中染色体的平均指标函 数值来刻划算法的变化趋势。计算方法 如下:
1 von _ line f (t ) T t 1
其中T为当前代中染色体的个数 。
T
离线比较法
该方法与在线比较法有些相似,但是用 进化过程中每代最好解的指标函数值的 平均值,来评价算法的进化过程。计算 方法如下:
交配
交配发生在两个染色体之间,由两个被 称之为双亲的父代染色体,经杂交以后, 产生两个具有双亲的部分基因的新的染 色体。当染色体采用二进制形式编码时, 交配过程是以这样一种形式进行的:
交配位置
a1 a2 ... ai ai+1 ... an b1 b2 ... bi bi+1 ... bn
a1 a2 ... ai bi+1 ... bn b1 b2 ... bi ai+1 ... an
p ( xi )
F ( xi )
F (x j )
j 1
N
x1 x6 x2
x5 x4
x3
模拟“轮盘赌” 算法
ESPRIT方法清华大学《现代信号处理》讲义-张贤达

Estimating Signal Parameters via Rational Invariant Technique
1. 基本ESPRIT方法
x(n) As(n) w(n) y(n) x(n 1) AΦs(n) w(n 1)
1
A
e
j1
e j(m1)1
1
e j p
J1
Im1,0
和
J2
0,Im1 ,则
XX12
J1X J2X
X
X1 最后一行
第一行
X2
AS
W
Vandermonde 矩阵
A
A1 最后一行
第一行
ቤተ መጻሕፍቲ ባይዱ
A2
旋转矩阵
A2 A1Φ
不考虑噪声时
XX12
A1S A2S
A1ΦS
R xx
APAH
2I
Us
,
U
n
Σs 0
0
2I
UsH
U
准则函数:
max
R
max
UT SbU UT SwU
max Q uTi Sbui i1 uTi Swui
ui是矩阵对(Sb ,Sw )的第i个最大广义特征值对应的广 义特征向量。令i 1, , c 1,则矩阵Uc1=[u1, , uc1] 的列构成c类信号的最优类鉴别子空间。
yi,k UTc1si,k描述样本特征向量si,k在最优类鉴别子空间 的投影。若不同类型的特征向量投影分别用 ,, 等符号 画出,则投影图直观地给出了不同特征的类鉴别性能。
满秩 广义特征值是广义特征多项式 | A B | 0 的根
Cxx ,Cxy APAH , APΦH AH Cxx Cxy APAH APΦH AH AP I ΦH AH
Pisarenko谐波分解 清华大学《现代信号处理》讲义 -张贤达

Z变换
X ( z ) 2 cos ( 2π f ) z 1 X ( z ) + z 2 X ( z ) = 0
T
两边同乘y, 两边同乘 ,取数学期望
E {yy T } a = E {( x + v ) v T } a
白噪声
R y a = σ 2 Ia R y a = σ 2a
特征方程的系数向量(特征向量 特征方程的系数向量 特征向量) 特征向量 特征值分解 R y = UΣU T
谐波恢复的ARMA建模法: 建模法: 谐波恢复的 建模法
∑ a x(n i) = 0
i =0 i
2p E x ( n + m ) ∑ ai x ( n i ) = 0 i =0
2p
∑ a R ( m i ) = 0,
i =0 i x
2p
m
y (n) = x(n) + v(n)
2p 2p
R y ( k ) = Rx ( k ) + σ 2δ ( k )
(1 2 cos ( 2π f ) z
特征方程
1
+ z 2 ) X ( z ) = 0
不为零
∴ 1 2 cos ( 2π f ) z 1 + z 2 = 0
其根 z = cos ( 2π f ) ± j sin ( 2π f ) = e ± j 2π f
现代信号处理算法PPT课件

2
课程内容
第一章 概述 第二章 数字信号处理基础 第三章 自适应信号处理 第四章 现代谱估计 第五章 多速率信号处理与小波变换 第六章 数字语音信号处理
3
考核
读论文报告一篇—平时成绩 课程考试--2小时
The past, present, and future of image & multidimensional signal processing. IEEE SP Magazine, March 1998
The past, present, and future of speech processing. -, May 1998 Highlights of statistical signal & array processing. -, Sep. 1998 Highlights of signal processing for communication. -, March
13
信号处理发展趋势
特点 • 以算法为中心, 更加注重实现与应用 • 突出一个“非”, 呈现“智、多、新”
趋势 ➢ “非”
SP向着非平稳、非高斯、非线性方向发展 - 非线性信号处理 - 非平稳信号处理 - 多分辨信号处理
14
信号处理发展趋势(续)
➢ ”智“ 信号处理与智能技术相结合
• 各种智能及其关系 – 生物智能(BI) – 人工智能(AI): – 计算智能(CI): – 相互关系:BI >AI>CI
12
信号处理与现代通信(续)
信号处理与现代通信的密切关系还具体表现在通信的 如下方面: 接入网的宽带化-ADSL 骨干网的信道倍增-DCME 语音、图像和视频信息的压缩与传输 无线信道的估计、均衡与信道分配 3G/4G移动通信中的多用户检测和智能天线 软件无线电技术 加密、认证 网络信号处理
随机信号 清华大学《现代信号处理》讲义 -张贤达

i = m +1
∑
M
q iH R x q i
约束条件:q iH q i = 1 拉格朗日乘子法: 代价函数 J (q i ) =
i = m +1
∑
M
q R xqi +
H i
i = m +1
∑
M
λi (1 q iH q i )
J (q i ) = R x q i λi q i = 0 * q i 特征值λi 和特征向量u i
课程特点及考核
课程特点 现代信号处理的主要理论、方法和应用 “与前沿接轨” 数学知识(矩阵分析、数理统计、最优化) 创新能力的培养 考核方式 习题(11%) 计算机仿真(实验3次,24%) 考试(65%)
第一章 随机信号
本章主要介绍随机信号的基本概念: 本章主要介绍随机信号的基本概念:相关 函数、功率谱密度、两个信号的正交、 函数、功率谱密度、两个信号的正交、统计不 相关和统计独立、 相关和统计独立、相干信号以及它们的几个典 型应用。 型应用。
R x q i = λi q i
Lagrange乘子λi 和基向量必须分别选取为自相关矩阵R x的
正交的两个典型应用( 正交的两个典型应用(续)
离散K-L变换 x = ∑ wi u i
i =1 m
若R x只有K 个大特征值,其余M K 个特征值可忽略,则 x = ∑ wi u i
i =1 K
正交的几何解释
1. 常数向量的正交(常数向量:元素为常量的向量)
夹角: cos θ = x, y x, x xH y = x y y, y
正交:
x, y = x H y = 0
两常数向量夹角为90°
匹配滤波器 & Wiener滤波器(清华大学《现代信号处理》讲义 张贤达)

H 0 (ω )
白化滤波器
匹配滤波器
广义匹配滤波器
* (ω )e − jωT ω 情况 = ( ) 1 S 此时 H= 0
0
取 W (ω ) =
1 Pv (ω )
Pv v (ω ) W (ω ) = 1, ∀ω (ω )= P (ω ) = S (ω )W (ω ) S
2
* = = H 0 (ω ) S (ω )e − jωT0 S * (ω )W * (ω )e − jωT0
−∞
=− H ( ω )e − jωt = H * (ω )e − jωt
* h ∴ so (t ) = ∫ (t − τ )s(τ )dτ =h(t − τ ), s(τ ) −∞
∞
1 = 2π
信噪比
∫
∞
−∞
H (ω )e jω t S (ω )dω
1 ∞ jωT0 ω H e S (ω )d ω ( ) 2 ∫ −∞ 2π S = 1 ∞ 2 N P H dω ω ω ( ) ( ) v ∫ −∞ 2π
∫
∞
−∞
S (ω ) dω Pv (ω )
2
S * (ω ) − jωT0 取 max 的条件: H (ω ) Pv (ω ) = e Pv (ω )
S * (ω ) − jωT0 H opt (ω ) = e Pv (ω )
情况1:若 v(t ) 标准白噪声 (σ v2 = 1)
H opt (ω ) = S * (ω )e − jωT0
白化滤波器:
(ω + z1 ) (ω + zn ) Px (ω ) = α (ω + p1 ) (ω + pn )
2
(完整版)张贤达教授课件-清华之第0讲

10. Jian Li and Xian-Da Zhang, ”Hybrid Iterative Decod-
6
16
ing for Low-Density Parity-Check Codes Based on
Finite Geometries,” IEEE Communications Letters,
tion,” IEEE Trans. Communications, vol.54, no.11,
pp.1913-1917, 2006.
5. Xi-Lin Li and Xian-Da Zhang, “Non-orthogonal joint diagonalization free of degenerate solution,” IEEE Trans. Signal Processing, vol.55, no.5, pp.18031814, May 2007.
Performance Analysis and Optimal Node Locations,”
IEEE Transactions on Communications (
)
19. Xiyuan Wang and Xian-Da Zhang, ”Optimal Beam-
9
16
forming in MIMO Two-Way Relay Channels,” IEEE
9. Jian Li, Xian-Da Zhang and Beaulieu, N.C., ”Precise
Calculation of the SEP of 128- and 512-Cross-QAM in AWGN,” IEEE Communications Letters, vol.12, no.1, pp.1-3, Jan. 2008.
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
unvecm,n(a) = Am×n =
a .2.
am+2 ..
···
am(n−1)+2 ..
am a2m ···
amn
a11 .
vec(A) = .
. amn
36 56
rvec(A) = [a11,··· ,a1n,··· ,am1,··· ,amn]
unvecm,n(a) = Am×n =⇒ vec(Am×n) = a
A−1 = diag(a− 1 1,a− 2 1,··· ,a− m1)
6 56
(11) A
A
⇐⇒ A−1 = AT
A
⇐⇒ A−1 = AH
n×n
(Sherman-Morrison ) A
xy
n×1
(A + xyH)
(A
+
xy
H)
−1
=
A −1
−
A−1xyHA−1 1 + yHA−1x
(Wood-
(2) A D
A U −1
(A − UD−1V )−1
−A−1U(D − V A−1U)−1
9 56
VD
= −D−1V (A − UD−1V )−1
(D − V A−1U)−1
(3) A D
A U −1
(A − UD−1V )−1
VD
= −(D − V A−1U)−1V A−1
−(A − UD−1V )−1UD−1 (D − V A−1U)−1
(3)
|A −1|
=
1 |A|
(4)
(5) (A−1)−1 = A
(6) A−1
AH
5 56
(AH)−1 = (A−1)H
A−H = (A−1)H
(7) AH = A, (A−1)H = A−1 (8) (A∗)−1 = (A−1)∗ (9) A B
(AB)−1 = B−1A−1
(10) A = diag(a1,a2,··· ,am)
+
1 βm
bmbH mbm bH m 1
11 56
bm = −R− m1rm βm = ρm − rH mR− m1rm = ρm + rH mbm
R− m1 +=1 Qm+1 = Qm qm qH m αm
R− m1 +1Qm+=1 Rm rm rH m ρm
Qm qm = Im 0m
qH m αm
AA−1 = I
3 56
A
n×n
A AA−1 = A−1A = I
n×n A−1
A−1 A
A ∈ Cn×n
(1) A (2) A−1
(3) rank(A) = n (4) A (5) A (6) det(A) = 0
(7) Ax = b (8) Ax = 0
(
b x=0 )
A
4 56
A−1
:
(1) A−1A = AA−1 = I (2) A−1
n×m
AA−A = A A−
1
A−1
AA−1A = A
2
L ALA = AI = A
20 56
3
R ARA = IA = A
x = Gy
Ax = y
AGA = A,
(GA)# = GA
GA
1
G 21 56
2
Am×n
m
Ax = y
xo = AH(AAH)−1y
G Ax = y
AGA = A,
1
x ˆ = Gy (AG)# = AG
Duncan-Guttman
:
(A−UD−1V )−1 = A−1+A−1U(D −V A−1U)−1V A−1
(1.7.17)
1.7.14 -
8 56
(1) A
A U −1 A−1 + A−1U(D − V A−1U)−1V A−1
= VD
−(D − V A−1U)−1V A−1
−A−1U(D − V A−1U)−1 (D − V A−1U)−1
x = A†y ⇒ Ax = y
Ax = y
A†AA†y
A†y = A†AA†y
y
A†AA† = A†
A†Ax = A†Ax =
(2)
24 56
m×n A A†
m×n
A
(AHA)−1AH
LA = In×n
L= AL =
Im×m
AL = A(AHA)−1AH = (AL)H R=
AH(AAH)−1
AR = Im×m
清华大学 张贤达教授 《矩阵分析与应用》 学习矩阵理论的很好的一部书
2010 09 26 · 6A314
1 56
: (FIT) 3-117 ( ) FIT 1-113 ( ) : 62794875 ( ), 62794138 ( )
Email: zxd-dau@; fmhan@
A U −1 (A − UD−1V )−1
VD
= (U − AV −1D)−1
−(V − DU−1A)−1 (D − V A−1U)−1
10 56
Hermitian Hermitian
Rm+1 =
Rm rm rH m ρm
Rm −1 R− m1 +1
R− m1 +=1
R− m1 0m 0H m 0
bury ):
(A + UBV )−1 = A−1 − A−1UB(B + BV A−1UB)−1BV A−1
= A−1 − A−1U(I + BV A−1U)−1BV A−1
7 56
= A−1 − A−1U(B−1 + V A−1U)−1V A−1
B=I (A − UV )−1 = A−1 + A−1U(I − V A−1U)−1V A−1
dk Hdk = −1
32 56
A† k =
A† k−1 − dkbk bk
4. Moore-Penrose
Am×n 1
r B = AAT
2 C1 = I 3
Ci+1 = 1 itr(CiB)I − CiB,
i = 1,2,··· ,r − 1
4
33 56
A† = r tr(CiB)
CiAT
Ci+1B = O tr(CiB) = 0
rvec(A) = (vec(AT))T, vec(AT) = (rvec(A))T
(commutation matrix)
37 56
Kmnvec(A) = vec(AT)
1 0 00 00 0 0
1 0 00 00 0 0
00 10 00 0 0
00 00 10 0 0
00 00 10 0 0
01 0 0 0 0 0 0
Ax Ax − y
2
Ax = y
22 56
x ˆ = Gy + (I − GA)z,z
3
Ax = y
A
xo = (AHA)−1AHy
§1.6 Moore-Penrose
A
A−
A
A A−
A†
A A−
A
AA−A =
23 56
Ax = y A†
x = A†y xy
x = A†y
A†A
A†AA†y
A A†
(
)
(
)
m×n min(m,n) m × n
A
mn
rank(A) = k <
n×m
A−
A
A−A AA−
18 56
AA−
A− A−y
A x = A−y
AA−Ax = Ax
Ax = y AA−Ax = AA−y Ax = y ⇒ x =
AA−Ax = AA−y
x
AA−A = A m×n A
(1)
19 56
A†
A
27 56
(weak generalized inverse)
A† A Moore-
Penrose
Moore-Penrose
(1) n × n
An×n
A−1
Moore-Penrose
(2) m × n (AHA)−1AH
Am×n (m > n) Moore-Penrose
(3)m × n Am×n (m < n)
31
a32
a41
a42
= vec(AT)
39 56
m × n A p × q B Kronecker
A⊗B
A⊗B = [aijB] =
a11B a12B ···
a21B a22B ···
..
..
a1nB
a2nB ..
am1B am2B ··· amnB
m × n A p × q B Kronecker
RA = AH(AAH)−1A = (RA)H
m×n
A n×m
A†
AA† A†A
Im×m In×n 25 56
AA† = (AA†)H (1) ∼ (3)
A†A = (A†A)H
(3)
A
m×n
GA
G
(
Moore-Penrose )
(1) AGA = A
(2) GAG = G
(3) AG Hermitian
0 0 0 0 1 0 0 0 a21
0 1 0 0 0 0 0 0 a31
K42vec(A) =
00 00 01 0 0 00 10 00 0 0