5 多维连续信源与信道
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
+∫
∫
X1 X 2
1 p ( x1 x2 ) ∑∑ rik ( xi − mi )( xk − mk ) dx1dx2 2 i k
1/ 2
= ln 2π M
{ } = ln {2π M }
1/ 2
= ln 2π eσ 1σ 2 1 − ρ
{
1 + ∑∑ rik ∫ ∫ p ( x1 x2 )( xi − mi )( xk − mk )dx1dx2 2 i k X1 X 2 1 + ∑∑ rik µik = ln 2πσ 1σ 2 1 − ρ 2 + 1 2 2 i k 2
x(t ) =
n =−∞
∑
∞
Fn e
jnωt
=
n =−∞
∑
∞
Dn e
jn
TBiblioteka Baidu
t
1 n Dn = X ( ) T T
随机过程的离散化
Fourier分析的基本概念 时域抽样定理 频域抽样定理 时域和频域样点值之间的变换 限时、限频随机过程的离散化
时域和频域样点值之间的变换
1 X(f ) = 2F n ∑ x ( 2 F )e n =−∞
i =1 N
多维熵的最大值
N维区域体积受限的最大熵值定理 协方差矩阵限定的最大熵值定理
协方差矩阵限定的最大熵值定理
在均值限定为mi (i = 1, 2,L , N )和协方差矩阵限定为 M 的限制条件下，当概率密度函数为高斯分布时， N 维连续信源X = X 1 X 2 L X N的相对熵达到最大值 hp ( X )，最大值取决于协方差矩阵M。
1
∫ p( x x ) ln p( x x )dx dx
1 2 1 2 1
2
X1 X 2
1 = − ∫ ∫ p ( x1 x2 ) ln exp − ∑∑ rik ( xi − mi )( xk − mk ) dx1dx2 1/ 2 2π M 2 i k X1 X 2 1 = − ∫ ∫ p ( x1 x2 ) ln dx1dx2 1/ 2 2π M X1 X 2
i =1 N
x ∉ ∏ (bi − ai )
i =1
N
h( X ) = h( X 1 X 2 L X N ) = − ∫ p ( x ) log p ( x )dx
X
= −∫ ∫ L ∫
a1 a2
b1 b2
bN N
1
aN
∏ (b − a )
i =1 i i
log
1
∏ (b − a )
i =1 i i
N N i =1 k =1 ik ki
∑r µ
k =1 ik
=1
∑∑ r µ
=N
h ( X ) = h( X 1 X 2 L X N ) = −∫
∫L ∫
XN
p ( x1 x2 L xN ) ln p ( x1 x2 L xN )dx1dx2 L dxN
X1 X 2
= ln ( 2π )
{
N /2
M
FT
∞ jn
π
F
f
1 = 2F
n ∑ x ( 2 F )e n =− FT
FT
jn
π
F
f
1 X (mf 0 ) = 2F
1 n x(t ) = ∑ X ( )e T n =−∞ T 2π p FT pπ FT jn p 1 n jn 1 n T 2F x ( ) = ∑ X ( )e = ∑ X ( )e FT 2F T n=0 T T n=0 T
∞
f (t ) e
− jω t
dt
f (t ) = F
−1
1 [ F (ω )] = 2π
∫
∞
−∞
F (ω )e d ω
jωt
随机过程的离散化
Fourier分析的基本概念 时域抽样定理 频域抽样定理 时域和频域样点值之间的变换 限时、限频随机过程的离散化
时域抽样定理
一个频率有限信号x(t)如果频谱只占据-F—+F 的范围，则信号x(t) 可以用等间隔的抽样值来 唯一地表示。而抽样间隔不大于1/(2F），或 者说最低抽样频率为2F。
∞
t0
y (t ) = x(t ) K ( f )
f=
n T
1 ∞ n n n = ∑ X ( ) K ( ) exp j 2π t T n =−∞ T T T
k k k X ( ) = ξ k + jη k = a ( ) + jb( ) K ( k ) = M ( k ) + jN ( k ) T T T T T T k k k k k k k Y ( ) = X ( ) K ( ) = a ( ) + jb( ) M ( ) + jN ( ) T T T T T T T k k k k k k k k = a ( ) M ( ) − b ( ) N ( ) + j a ( ) N ( ) + b( ) M ( ) T T T T T T T T = ξ k' + jη k'
{
}
2
}
1 1 1 2 2 = ln(2π eσ 1 ) + ln(2π eσ 2 ) + ln(1 − ρ 2 ) 2 2 2
N维高斯信源：
=
N
p ( x ) = p ( x1 x2 L xN ) 1
( 2π )
ki
N /2
M
1/ 2
1 N N exp − ∑∑ rik ( xi − mi )( xk − mk ) 2 i =1 k =1
多维连续信源
随机过程的离散化 多维连续信源的熵 多维熵的最大值 多维熵的变换
多维熵的变换
x(t ) = x(t ) {u [t − t0 ] − u [t − (t0 + T ) ]}
X(f ) =
t0 + T
∫
x(t )e − j 2π ft dt
n 1 ∞ n n x(t ) = ∑ Dn exp j 2π t = ∑ X ( ) exp j 2π t T T n =−∞ T T n =−∞
X(f ) =
n =−∞
∑Ce
n
∞
jnω f
=
n =−∞
∑Ce
n
∞
jn
π
F
f
1 n Cn = x( ) 2F 2F
随机过程的离散化
Fourier分析的基本概念 时域抽样定理 频域抽样定理 时域和频域样点值之间的变换 限时、限频随机过程的离散化
频域抽样定理
若信号x(t)为时限信号，它集中在T1— T2（T2-T1=T）的时间范围内，若在频 域中，以不大于1/T的频率间隔对x(t) 的频谱X(f)进行抽样，则抽样后的频 谱可以唯一地表示原信号。 2π
µ12 = µ21 = µ
µ 相关系数： ρ = σ 1σ 2
2 M = σ 12σ 2 (1 − ρ )
M
1/ 2
= σ 1σ 2 1 − ρ 2
R = [ rik ] = M
−1
第i行第k列余子式 rik = M
∑r µ
k =1 ik
2
ki
=1
∑∑ r µ
i =1 k =1 ik
2
2
ki
=2
h ( X ) = h( X 1 X 2 ) = − ∫
N维区域体积受限的最大熵值定理 维区域体积受限的最大熵值定理
在取值区间限定为N 维区域体积∏ (bi − ai )的限制条
i =1 N
件下，当概率密度函数为均匀分布时，N 维连续信 源X = X 1 X 2 L X N的熵h( X ) = h( X 1 X 2 L X N )达到最 大值hp ( X )，等于N 维区域体积∏ (bi − ai )的对数。
2π 设 f (t )为任意周期信号（周期 T1，角频率 ω1 = ） T1 则其可展开为三角函数形式的傅里叶级数： ∞ f (t ) = a0 + ∑ [ an cos( nω1t ) + bn sin( nω1t ) ]
1 t0 +T1 （ 直流分量：a0 = ∫t0 f (t )dt 一周内函数的平均值） T1 2 t0 +T1 其中 余弦分量幅度：an = ∫ f (t ) cos( nω1t )dt t0 T1 2 t0 +T1 f (t ) sin(nω1t ) dt 正弦分量幅度：bn = ∫t T1 0 n = 1, 2,... (正整数) T1 T1 （一周的积分区间 t0 ~ t0 + T1 可取为 0 ~ T1 或 − ~ ） 2 2
jn
∞
n jn π mf0 x ( )e F ∑ 2F n =− FT
2π t T
(m = 0,1,L , FT )
时域和频域样点值之间的变换
在限时T、限频F的条件下，信号的时域样点 n x( )与频域样点X (nf 0 )之间存在线性变换关 2F 系，且这种变换是正交变换
随机过程的离散化
Fourier分析的基本概念 时域抽样定理 频域抽样定理 时域和频域样点值之间的变换 限时、限频随机过程的离散化
1/ 2
}
N 1/ 2 N /2 1 N N M + + ∑∑ rik µik = ln ( 2π ) 2 2 i =1 k =1
{
}
1 N = ln M + ln ( 2π e ) 2 2
多维连续信源
随机过程的离散化 多维连续信源的熵 多维熵的最大值 多维熵的变换
多维熵的最大值
N维区域体积受限的最大熵值定理 协方差矩阵限定的最大熵值定理
N
dx1dx2 L dxN
N N N = log ∏ (bi − ai ) = ∑ log(bi − ai ) = ∑ h( X i ) i =1 i =1 i =1
多维连续信源的熵
均匀分布的多维连续信源的熵 高斯分布的多维连续信源的熵
高斯分布的多维连续信源的熵
二维高斯信源：
n =1
f (t )还可展开为常用形式（合并正、余弦项）:
f (t ) = c0 + ∑ cn cos( nω1t + ϕ n )
n =1
∞
直 流 分 量 ： c0 = a0 其 中 正 弦 分 量 幅 度 ： c n = a n2 + b n2 bn 正 弦 分 量 相 位 ： ϕ n = − a rctg an
指数形式的傅里叶级数
2π 设 f (t ) 为任意周期信号（周期 T1 , 角频率ω1 = ） T1 则其可展开为指数形式的傅里叶级数:
f (t ) =
1 t0 +T1 记 指数幅度：F (nω1 ) Fn = ∫ f (t )e − jnω1t dt → T1 t0 其中 （复函数,n = −∞ ~ ∞） 直流分量：F0 = c0 = a0 1 jϕ n Fn = Fn e = ( an − jbn ) 2 1 2 1 2 Fn = a n + bn = cn 2 2
n =−∞
∑
∞
F ( nω1 )e jnω1t
Fourier分析的基本概念 分析的基本概念
周期信号的Fourier级数 非周期信号的Fourier变换
非周期信号的Fourier变换 变换 非周期信号的
傅里叶正变换： 傅里叶正变换：
F (ω ) = F
傅里叶逆变换： 傅里叶逆变换：
[ f ( t ) ] = ∫−∞
限时、 限时、限频随机过程的离散化
时间连续、取值连续的随机过程{x(t)}， 可转化成一个时间间隔为∆=1/2F的 N=2FT个连续取值的连续随机变量序列 连续信源{X(f)}同样也可转化成频域上 离散、取值连续的连续随机变量序列
多维连续信源
随机过程的离散化 多维连续信源的熵 多维熵的最大值 多维熵的变换
周期信号的Fourier级数 非周期信号的Fourier变换
周期信号的Fourier级数 级数 周期信号的
周期信号可展开成正交函数线性组合的无穷 级数： 级数：
傅立里叶级数{cosnω1t，sinnω1t} 三角函数式的 傅立里叶级数 ， 复指数函数式的傅里叶级数 { e j n ω1t }
三角函数形式的傅里叶级数
1 p ( x ) = p ( x1 x2 ) = exp − ∑∑ rik ( xi − mi )( xk − mk ) 1/ 2 2π M 2 i k 1
µik = E [ ( xi − mi )( xk − mk ) ]
M = [ µik ]
µ11 = σ 12
2 µ22 = σ 2
5 多维连续信源与信道
多维连续信源(5.1—5.4) 多维连续信道(5.5—5.8)
多维连续信源
随机过程的离散化 多维连续信源的熵 多维熵的最大值 多维熵的变换
随机过程的离散化
Fourier分析的基本概念 时域抽样定理 频域抽样定理 时域和频域样点值之间的变换 限时、限频随机过程的离散化
Fourier分析的基本概念 分析的基本概念
多维连续信源的熵
均匀分布的多维连续信源的熵 高斯分布的多维连续信源的熵
均匀分布的多维连续信源的熵
1 1 = N (b − a )(b − a )L (b − a ) N N 1 1 2 2 ∏ (bi − ai ) p( x ) = i =1 0 x ∈ ∏ (bi − ai )
∫
X1 X 2
1 p ( x1 x2 ) ∑∑ rik ( xi − mi )( xk − mk ) dx1dx2 2 i k
1/ 2
= ln 2π M
{ } = ln {2π M }
1/ 2
= ln 2π eσ 1σ 2 1 − ρ
{
1 + ∑∑ rik ∫ ∫ p ( x1 x2 )( xi − mi )( xk − mk )dx1dx2 2 i k X1 X 2 1 + ∑∑ rik µik = ln 2πσ 1σ 2 1 − ρ 2 + 1 2 2 i k 2
x(t ) =
n =−∞
∑
∞
Fn e
jnωt
=
n =−∞
∑
∞
Dn e
jn
TBiblioteka Baidu
t
1 n Dn = X ( ) T T
随机过程的离散化
Fourier分析的基本概念 时域抽样定理 频域抽样定理 时域和频域样点值之间的变换 限时、限频随机过程的离散化
时域和频域样点值之间的变换
1 X(f ) = 2F n ∑ x ( 2 F )e n =−∞
i =1 N
多维熵的最大值
N维区域体积受限的最大熵值定理 协方差矩阵限定的最大熵值定理
协方差矩阵限定的最大熵值定理
在均值限定为mi (i = 1, 2,L , N )和协方差矩阵限定为 M 的限制条件下，当概率密度函数为高斯分布时， N 维连续信源X = X 1 X 2 L X N的相对熵达到最大值 hp ( X )，最大值取决于协方差矩阵M。
1
∫ p( x x ) ln p( x x )dx dx
1 2 1 2 1
2
X1 X 2
1 = − ∫ ∫ p ( x1 x2 ) ln exp − ∑∑ rik ( xi − mi )( xk − mk ) dx1dx2 1/ 2 2π M 2 i k X1 X 2 1 = − ∫ ∫ p ( x1 x2 ) ln dx1dx2 1/ 2 2π M X1 X 2
i =1 N
x ∉ ∏ (bi − ai )
i =1
N
h( X ) = h( X 1 X 2 L X N ) = − ∫ p ( x ) log p ( x )dx
X
= −∫ ∫ L ∫
a1 a2
b1 b2
bN N
1
aN
∏ (b − a )
i =1 i i
log
1
∏ (b − a )
i =1 i i
N N i =1 k =1 ik ki
∑r µ
k =1 ik
=1
∑∑ r µ
=N
h ( X ) = h( X 1 X 2 L X N ) = −∫
∫L ∫
XN
p ( x1 x2 L xN ) ln p ( x1 x2 L xN )dx1dx2 L dxN
X1 X 2
= ln ( 2π )
{
N /2
M
FT
∞ jn
π
F
f
1 = 2F
n ∑ x ( 2 F )e n =− FT
FT
jn
π
F
f
1 X (mf 0 ) = 2F
1 n x(t ) = ∑ X ( )e T n =−∞ T 2π p FT pπ FT jn p 1 n jn 1 n T 2F x ( ) = ∑ X ( )e = ∑ X ( )e FT 2F T n=0 T T n=0 T
∞
f (t ) e
− jω t
dt
f (t ) = F
−1
1 [ F (ω )] = 2π
∫
∞
−∞
F (ω )e d ω
jωt
随机过程的离散化
Fourier分析的基本概念 时域抽样定理 频域抽样定理 时域和频域样点值之间的变换 限时、限频随机过程的离散化
时域抽样定理
一个频率有限信号x(t)如果频谱只占据-F—+F 的范围，则信号x(t) 可以用等间隔的抽样值来 唯一地表示。而抽样间隔不大于1/(2F），或 者说最低抽样频率为2F。
∞
t0
y (t ) = x(t ) K ( f )
f=
n T
1 ∞ n n n = ∑ X ( ) K ( ) exp j 2π t T n =−∞ T T T
k k k X ( ) = ξ k + jη k = a ( ) + jb( ) K ( k ) = M ( k ) + jN ( k ) T T T T T T k k k k k k k Y ( ) = X ( ) K ( ) = a ( ) + jb( ) M ( ) + jN ( ) T T T T T T T k k k k k k k k = a ( ) M ( ) − b ( ) N ( ) + j a ( ) N ( ) + b( ) M ( ) T T T T T T T T = ξ k' + jη k'
{
}
2
}
1 1 1 2 2 = ln(2π eσ 1 ) + ln(2π eσ 2 ) + ln(1 − ρ 2 ) 2 2 2
N维高斯信源：
=
N
p ( x ) = p ( x1 x2 L xN ) 1
( 2π )
ki
N /2
M
1/ 2
1 N N exp − ∑∑ rik ( xi − mi )( xk − mk ) 2 i =1 k =1
多维连续信源
随机过程的离散化 多维连续信源的熵 多维熵的最大值 多维熵的变换
多维熵的变换
x(t ) = x(t ) {u [t − t0 ] − u [t − (t0 + T ) ]}
X(f ) =
t0 + T
∫
x(t )e − j 2π ft dt
n 1 ∞ n n x(t ) = ∑ Dn exp j 2π t = ∑ X ( ) exp j 2π t T T n =−∞ T T n =−∞
X(f ) =
n =−∞
∑Ce
n
∞
jnω f
=
n =−∞
∑Ce
n
∞
jn
π
F
f
1 n Cn = x( ) 2F 2F
随机过程的离散化
Fourier分析的基本概念 时域抽样定理 频域抽样定理 时域和频域样点值之间的变换 限时、限频随机过程的离散化
频域抽样定理
若信号x(t)为时限信号，它集中在T1— T2（T2-T1=T）的时间范围内，若在频 域中，以不大于1/T的频率间隔对x(t) 的频谱X(f)进行抽样，则抽样后的频 谱可以唯一地表示原信号。 2π
µ12 = µ21 = µ
µ 相关系数： ρ = σ 1σ 2
2 M = σ 12σ 2 (1 − ρ )
M
1/ 2
= σ 1σ 2 1 − ρ 2
R = [ rik ] = M
−1
第i行第k列余子式 rik = M
∑r µ
k =1 ik
2
ki
=1
∑∑ r µ
i =1 k =1 ik
2
2
ki
=2
h ( X ) = h( X 1 X 2 ) = − ∫
N维区域体积受限的最大熵值定理 维区域体积受限的最大熵值定理
在取值区间限定为N 维区域体积∏ (bi − ai )的限制条
i =1 N
件下，当概率密度函数为均匀分布时，N 维连续信 源X = X 1 X 2 L X N的熵h( X ) = h( X 1 X 2 L X N )达到最 大值hp ( X )，等于N 维区域体积∏ (bi − ai )的对数。
2π 设 f (t )为任意周期信号（周期 T1，角频率 ω1 = ） T1 则其可展开为三角函数形式的傅里叶级数： ∞ f (t ) = a0 + ∑ [ an cos( nω1t ) + bn sin( nω1t ) ]
1 t0 +T1 （ 直流分量：a0 = ∫t0 f (t )dt 一周内函数的平均值） T1 2 t0 +T1 其中 余弦分量幅度：an = ∫ f (t ) cos( nω1t )dt t0 T1 2 t0 +T1 f (t ) sin(nω1t ) dt 正弦分量幅度：bn = ∫t T1 0 n = 1, 2,... (正整数) T1 T1 （一周的积分区间 t0 ~ t0 + T1 可取为 0 ~ T1 或 − ~ ） 2 2
jn
∞
n jn π mf0 x ( )e F ∑ 2F n =− FT
2π t T
(m = 0,1,L , FT )
时域和频域样点值之间的变换
在限时T、限频F的条件下，信号的时域样点 n x( )与频域样点X (nf 0 )之间存在线性变换关 2F 系，且这种变换是正交变换
随机过程的离散化
Fourier分析的基本概念 时域抽样定理 频域抽样定理 时域和频域样点值之间的变换 限时、限频随机过程的离散化
1/ 2
}
N 1/ 2 N /2 1 N N M + + ∑∑ rik µik = ln ( 2π ) 2 2 i =1 k =1
{
}
1 N = ln M + ln ( 2π e ) 2 2
多维连续信源
随机过程的离散化 多维连续信源的熵 多维熵的最大值 多维熵的变换
多维熵的最大值
N维区域体积受限的最大熵值定理 协方差矩阵限定的最大熵值定理
N
dx1dx2 L dxN
N N N = log ∏ (bi − ai ) = ∑ log(bi − ai ) = ∑ h( X i ) i =1 i =1 i =1
多维连续信源的熵
均匀分布的多维连续信源的熵 高斯分布的多维连续信源的熵
高斯分布的多维连续信源的熵
二维高斯信源：
n =1
f (t )还可展开为常用形式（合并正、余弦项）:
f (t ) = c0 + ∑ cn cos( nω1t + ϕ n )
n =1
∞
直 流 分 量 ： c0 = a0 其 中 正 弦 分 量 幅 度 ： c n = a n2 + b n2 bn 正 弦 分 量 相 位 ： ϕ n = − a rctg an
指数形式的傅里叶级数
2π 设 f (t ) 为任意周期信号（周期 T1 , 角频率ω1 = ） T1 则其可展开为指数形式的傅里叶级数:
f (t ) =
1 t0 +T1 记 指数幅度：F (nω1 ) Fn = ∫ f (t )e − jnω1t dt → T1 t0 其中 （复函数,n = −∞ ~ ∞） 直流分量：F0 = c0 = a0 1 jϕ n Fn = Fn e = ( an − jbn ) 2 1 2 1 2 Fn = a n + bn = cn 2 2
n =−∞
∑
∞
F ( nω1 )e jnω1t
Fourier分析的基本概念 分析的基本概念
周期信号的Fourier级数 非周期信号的Fourier变换
非周期信号的Fourier变换 变换 非周期信号的
傅里叶正变换： 傅里叶正变换：
F (ω ) = F
傅里叶逆变换： 傅里叶逆变换：
[ f ( t ) ] = ∫−∞
限时、 限时、限频随机过程的离散化
时间连续、取值连续的随机过程{x(t)}， 可转化成一个时间间隔为∆=1/2F的 N=2FT个连续取值的连续随机变量序列 连续信源{X(f)}同样也可转化成频域上 离散、取值连续的连续随机变量序列
多维连续信源
随机过程的离散化 多维连续信源的熵 多维熵的最大值 多维熵的变换
周期信号的Fourier级数 非周期信号的Fourier变换
周期信号的Fourier级数 级数 周期信号的
周期信号可展开成正交函数线性组合的无穷 级数： 级数：
傅立里叶级数{cosnω1t，sinnω1t} 三角函数式的 傅立里叶级数 ， 复指数函数式的傅里叶级数 { e j n ω1t }
三角函数形式的傅里叶级数
1 p ( x ) = p ( x1 x2 ) = exp − ∑∑ rik ( xi − mi )( xk − mk ) 1/ 2 2π M 2 i k 1
µik = E [ ( xi − mi )( xk − mk ) ]
M = [ µik ]
µ11 = σ 12
2 µ22 = σ 2
5 多维连续信源与信道
多维连续信源(5.1—5.4) 多维连续信道(5.5—5.8)
多维连续信源
随机过程的离散化 多维连续信源的熵 多维熵的最大值 多维熵的变换
随机过程的离散化
Fourier分析的基本概念 时域抽样定理 频域抽样定理 时域和频域样点值之间的变换 限时、限频随机过程的离散化
Fourier分析的基本概念 分析的基本概念
多维连续信源的熵
均匀分布的多维连续信源的熵 高斯分布的多维连续信源的熵
均匀分布的多维连续信源的熵
1 1 = N (b − a )(b − a )L (b − a ) N N 1 1 2 2 ∏ (bi − ai ) p( x ) = i =1 0 x ∈ ∏ (bi − ai )