7 YN第4章1 波形信源和波形信道

第4章波形信源和波形信道
1部分目录
杭电
z 4.1基本概念和统计特性
z 4.2连续信源和波形信源
z数学模型
z熵
z差熵/微分熵
z 4.3最大差熵定理
z 4.4连续信源熵的变换
z 4.5熵功率
杭电4.1 基本概念和统计特性
z更一般情况：随机波形信源
z实际信源输出的消息常常是时间和取值都是连续的。

这类信源称为随机波形信源。

z随机波形信源在某一固定时间t0 的可能取值是连续和随机的。

对于这种信源输出的消息，可用随机过程来描述。

z例：语音信号X(t)、热噪声信号n(t)、电视图像信号X(r(t),g(t),b(t))等时间连续函数。

杭电
杭电①随机过程
随机过程定义：随机过程{x(t)}可以看成由一系列时间函数x i(t)所组成，其中i=1,2,3,…，并称x i(t)为样本函数。

②随机过程的分类
可以分为两类：根据统计特性，连续随机过程可分为平稳与非平稳随机过程两大类。

③通信系统中的信号
一般认为，通信系统中的信号都是平稳的随机过程。

杭电
杭电④平稳遍历的随机过程随机过程{x (t )}中某一样本函数x (t )的时间平均值定义：z 统计平均值：z 遍历的随机过程：时间平均与统计平均相等，即12()lim ()T T T
T x t x t dt −→∞=∫()()i t E x xp t dx ∞
−∞=∫()()
i t x t E x =
杭电
杭电
4.2连续信源和波形信源的信息测度
杭电
①计算连续信源熵的两种方法
②连续信源的熵
③连续信源的联合熵、条件熵
①计算连续信源熵的两种方法
杭电z第一种方法：把连续消息经过时间抽样和幅度量化变成离散消息，再用前面介绍的计算离散信源的方法进行计算。

即把连续消息变成离散消息求信源熵
z第二种方法：通过时间抽样把连续消息变换成时间离散的函数，它是未经幅度量化的抽样脉冲序列，可看成是量化单位Δx趋近于零的情况来定义和计算连续信源熵。

②连续信源的熵
杭电¾单变量连续信源数学模型
¾连续信源的熵
¾举例
¾连续信源熵的意义
杭电
z
单变量连续信源数学模型
:()1
()R
R X p x dx p x ⎡⎤=⎢⎥⎣⎦
∫
并满足
杭电
()()(1)(1)()a i i a i P a i x a i p x dx p x +Δ+−Δ
+−Δ≤≤+Δ==Δ
∫
②连续信源的熵
杭电
连续信源的相对熵
如果把x ∈[a,b ]的定义域划分成n 个小区间，且每个小区间宽度相等。

那么处于第i 个区间的概率就等于：
[]
[]
(1)()[(1)]()()();1,2,(1),def
i n i a i i a i i p P x P a i x a i p x dx p x b a
i n n
x a i a i +Δ+−Δ
==+−Δ<≤+Δ==Δ
−Δ=
=∈+−Δ+Δ∫
L where :Then :按积分中值定理上式一定成立。

x
a
b
()()
p x f x =Δ
i
x
杭电
[]1
1
1
1
1
()log ()log ()()log ()(log )()()log ()(log )
n n n
n i i n i n i n i n i i i i n
n
n i n i n i i i H X p p p x p x p x p x p x p x p x ======−=−ΔΔ=−Δ−
−ΔΔ=−Δ−Δ∑∑∑∑∑Q 1
杭电
以上我们将一个连续变量的概率空间量化成一个离散空间，从而得到连续信源的近似信息熵。

如果将此近似手段在取极限的方式下就可逼近这个连续变量的熵。

00
100lim ()lim ()log ()(log )()log ()lim (log )
()()()()log ()()lim (log )
n n n i n i i n n b
a
n def
c b
def
c a
def
n H X p x p x p x p x dx H X H H X p x p x dx H Δ→Δ→=→∞→∞
Δ→→∞
Δ→→∞
⎡⎤
=−Δ−Δ⎢⎥⎣⎦=−−Δ=+Δ=−Δ=−Δ∑∫∫
where :and
即：称为相对熵
Differential
entropy
称为绝对熵
bsolute entropy
信息散度D( p //q )(relative entropy)
无穷大
杭电
()()log ()c R
H X p x p x dx
=−∫一般,连续信源的熵写为:
杭电
连续变量的相对熵
在取极限的过程中由于n→∞ 相当于Δ→0，此时这个离散变量越来越逼近一个连续变量；而离散集合中的信息熵H n(X)就分解为两项，其中一项与划分精度Δ无关，趋于一个常量——
H c(X)。

而另一项，随着Δ→0最终趋于一个无穷大的量。

很显然这与取极限之前的离散熵差别很大。

那么这种极限形式能否表达出
信源平均不定度的概念？
杭电
连续变量的相对熵
¾对于连续变量：它的取值有无穷多个，无论它取何值，其随机事件所对应的不定度一定是无穷大量。

¾
对于熵：应是这个随机事件集合的平均值，既然每一个事件的自信息都是无穷大，则它的集合平均值也应是无穷大才对。

¾从绝对的观点来看，每一个连续信源的平均不定度都是无穷大，那么这个熵的价值也就无意义了。

¾
但是仔细分析，上式中只有H(Δ)项才与划分精度Δ有关, 这说明只有此项能反映人为地利用离散模式向连续型逼近的近似程度。

换句话说，这仅是强加上的人为因素，并不代表事物原有的客观属性。

1
2
12()()lo g ()()
()()lo g ()()
n R
n R
H X p x p x d x H H
X p x p x d x H =−+Δ=−+Δ∫∫
杭电
比如，对于同样概率分布的随机变量x ，如果仅划分精度Δ不同时，可取Δ1，Δ2代表两种划分精度，则我们所得到的熵的表达式：
1
2
12()()lo g ()()
()()lo g ()()
n R
n R
H X p x p x d x H H
X p x p x d x H =−+Δ=−+Δ∫∫可见只有H(Δ)不同。

所以，能真正反映连续信源的客观属性的应该是第一项，而不是第二项。

杭电
连续变量的相对熵
而对于前者我们称之为——相对熵(differential entropy )。

()()log ()def
c R H X p x p x dx
=−∫where,R is the domain of x .
杭电
为什么相对熵反映连续变量的客观存在的平均不定度？
¾
一个随机变量，当它的概率分布一旦确定，则它的不定性就该给定，而不能随划分精度的变化而变化。

¾
由于信息量的概念是不定度的解除量，如果在相同划分精度下，再讨论两者之差时,H(Δ)将会消失。

所以我们可看到仅从H c (X)上就可真正反映出信息的全部属性(包括非负性) 。

因此，我们只要相对熵的定义就足够了。

同时我们也能给出两个连续变量的互信息问题。

杭电
③举例
z
若连续信源的统计特性为均匀分布的概率密度函数
11122()0
,()log log ()
b a
b
c b a b a a a x b p x x b x a
H X dx b a −−−≤≤⎧=⎨
><⎩==−∫
则
－当(b -a )<1时，H c (X )<0，为负值，即连续熵不具备非负性。

④连续信源熵的意义
杭电
1）连续信源熵并不是实际信源输出的绝对熵，是相对熵
2）连续信源的绝对熵还有一项正的无限大量，虽然log(b-a)小于0，但两项相加还是正值，且一般还是一个无限大量。

因为连续信源的可能取值数有无限多，若假定等概率，确知其输出值后所得信息量也将为无限大；
3）H c(X)不能代表信源的平均不确定度，也不能代表连续信源输出的信息量。

杭电
4）这种定义可以与离散信源在形式上统一起来；
5）在实际问题中常常讨论的是熵之间的差值问题，如信息变差、平均互信息等。

在讨论熵差时，两个无限大量互相抵消。

所以熵差具有信息的特征。

杭电
⑤连续信源的联合熵和条件熵
两个连续变量的联合熵
2
2()()log ()c R H XY p xy p xy dxdy
=−∫∫2
2
22(/)()log (/)(/)()log (/)c R c R H Y X p xy p y x dxdy
H X Y p xy p x y dxdy
=−=−∫∫∫∫两个连续变量的条件熵
杭电
连续变量的条件熵
()()1;
()1;
()1;
()()()log ()()()log ()log lim ()()()log ()lim log x
y
x
x y
c R R R n j j j j
i
j j j j
i
n n n R R def
H X Y p x dx q y dy p x
y dx H X Y q y p x y p x y q y p x y p x y H X Y q y p x
y p x y dxdy H →∞→∞Δ→Δ→===⎡⎤=−ΔΔΔ⎣⎦
⎡⎤=−ΔΔ−Δ⎣⎦
=−−Δ
=∫∫∫∑∑∑∑∫
∫then :定义连续变量的条件熵：Q
∴
()()
c X Y H +Δ
杭电
z
互信息量：
(;)()()
lim ()lim ()()()
n n c c I X Y H X H X Y H X H X Y H X H X Y Δ→Δ→=−=−=−可见当两个连续变量之间的互信息，实际上就是两熵之差，经绝对熵的相互抵消后，就剩下相对熵之差了。

所以相对熵则完全反映出信息的基本属性。

所谓“相对”一词也是由此而来。

杭电
连续变量的相对熵
注：相对熵的定义与离散信源的信息熵有着明显的差别，即这种相对熵仅代表连续变量的相对平均不定度。

同理，也有如下的相对熵的定义：
()()log ()()()()log ()x y
x y
c R R c R R H XY p xy p xy dxdy H Y X p x p y x p y x dxdy
=−=−∫
∫∫
∫
()
(;)()log ()()
()()()()()()()
x y
R R c c c c c c c p xy and I X Y p xy dxdy
p x p y H X H X Y H Y H Y X H X H Y H XY =
=−=−=+−∫∫
4.2.2连续平稳信源和波形信源的差熵
杭电
4.2.3几种特殊连续信源的熵
杭电z(1) 均匀分布的连续信源的熵
z(2) 高斯分布的连续信源的熵
z(3) 指数分布的连续信源的熵
杭电
(1) 均匀分布的连续信源的熵
z
一维连续随机变量X 在[a,b]区间内均匀分布时的熵为
H c (X )=log(b -a )
[]1()0
;11
()log log()
1:(0,)b
c a
c a x b p x b a
x a x b
H X dx b a b a b a b a X a b H X ⎧≤≤⎪
=−⎨⎪<>⎩=−=−−−−<<∫1.then 显然，当即相对熵不具备非负性。

一维连续随机变量在区间内均匀分布
12,1
()N r r r
x x x x p x b a ==
−r
L If 且每个分量间相互独立，分别为均匀分布：
2.
杭电
<2> 若N 维矢量X =(X 1X 2…X N )中各分量彼此统计独立，且分别在[a 1,b 1][a 2,b 2] …[a N ,b N ]的区域内均匀分布，即
1
1
()
11
()
()0()
N i i i N
i i b a i N
i i i x b a p x x b a =−==⎧∈−⎪∏
⎪=⎨⎪∉−⎪⎩
∏∏
杭电
1
11
1
1
1
1211
1
1()
()
1
1
12()()
()log ()log
log ()
log ()
()()()
N N N
N
N
N
i i i i i i c c N b b N
a a
b b N
a a
b a b a N
i i i N
i i i c c c N H X H X X X p x p x dx dx dx dx b a b a H X H X H X ==−−====−=−∏∏=−∏=−=++∫∫∫∫
∑L L L L L L 无记忆连续平稳信源与无记忆离散平稳信源一样，为各差熵之和
杭电[例]连续信源，其输出信号的概率分布密度如下图，计算其信源熵。

()()log ()H X p x p x dx
∞
−∞=−∫3
111
log 122
dx =−=∫1
3
x
()P x 1/2
2
6x
()P x 1/4
解：信源熵
若将信号放大2倍，计算其信源熵
()()log ()H X p x p x dx
∞
−∞
=−∫6
2
11log 44
2
dx =−=∫信息量放大了2倍？
比特/采样比特/采样
杭电
13
x
()
P x 1/2
26x
0()
P x 1/41dx 2
dx 21
2dx dx =Q 2111
11log log
211
log log
21
1log
dx dx dx dx ==+=−+说明：相比放大前，信
号放大后无穷大项小了
1比特，相对熵大了1比
特，而绝对熵保持不变。

杭电
(2) 高斯分布的连续信源的熵
z
一维随机变量X 的取值范围是整个实数轴R ，概率密度函数呈正态分布，即
2()2
22
122
22
2
2
2
()[]()[()]()()0()x m p x e
m X m E X xp x dx
X E X m x m p x dx
m P x p x dx
X σπσ
σσσ−−∞
−∞
∞
−∞
∞
−∞
=
===−=−==∫∫∫是的均值
是的方差
当时，就是随机变量的平均功率
由这样随机变量所代表的信源称为高斯分布的连续信源。

杭电
2
2
221()()exp ~(,)22def
x m p x x N m σσπσ⎡⎤−=−⎢⎥⎣⎦
⇒
杭电
z
这个连续信源的熵为
2()2
22
22
22
212
2()2222()12
22
2
112222
2
()()log ()()log ()(log 2)()(log )()1,
()
()log 2log log 2x m c x m x m c H X p x p x dx
p x e
dx
p x dx p x e dx
p x dx p x dx H X e e σπσ
σ
σπσπσπσ
−∞−∞∞
−−∞∞
∞
−−∞−∞∞
∞
−−∞
−∞=−=−⎡
⎤=−−+⎣
⎦
==
=+=∫∫∫∫∫
∫
因为所以
杭电
2
2
2222()()log ()1()1()exp log exp 2222c H X p x p x dx
x m x m dx σσπσπσ
∞
−∞∞
−∞
=−⎧⎫⎡⎤⎡⎤−−⎪⎪
=−−−⎨⎬⎢⎥⎢⎥⎪⎪⎣⎦⎣⎦⎩⎭∫∫
1
222
1
()()log (log )()22x m p x dx e p x dx σπσ∞
∞−∞−∞
⎡⎤⎡⎤−=−+⎢⎥⎢⎥⎣⎦⎣⎦∫∫2222211log 2(log )2
1log(2)log 22e e e πσσσπσπσ=+==2
()12
2
()1,()
x m p x dx p x dx ∞
∞
−−∞
−∞
==∫∫只与方差有关log ln log log log y
y y
e e y y e e e
==∴=↑
Q
杭电
如果L维的正态随机变量组成一个随机矢量，
设每一个变量的均值为m i , 则如果能知道任何变量间的协方差；
(covariance)我们就能唯一地确定这个随机矢量。

12L
x x x x =r
K ()(),1,2,def ij
i
i j j R
E x
m x m i j L
⎡⎤−−=⎣⎦
=L
杭电
{}ij 111212122211121
2
[R ]L R i L L ij L L L L LL LL ij ij ji
m R R R R R R R R R R R R R R σ
−−−⎡⎤⎢⎥⎢
⎥⎢⎥⎡⎤=⎣⎦⎢
⎥⎢⎥⎢⎥⎣⎦
==L L L
L M
M M M M M
M M M L
where :
and 即，给定和的条件下，我们可以唯一地确定出这个维的正态矢量。

其中，协方差矩阵为：
杭电
1
12
211011()exp ()()2(2)ij ij ij ij def
ij ij ij ij L L L ij i i j j L
i j ij R R R R r R r R p x r x m x m R π−==⎡⎤⎡⎤≠⎣⎦⎣⎦⎡⎤⎡⎤⎣⎦⎣⎦⎡⎤=−−−⎢⎥⎣⎦=∑∑uu r 设：为对称矩阵的行列式，而且，则有的可逆矩阵存在，记为：;其中为元素的代数余因子。

则，正态矢量的概率密度就为：
按相对熵的定义就可推出L 维正态矢量的相对熵：
1
()log(2)log 22
c L ij
L H X e R π=+uuu r 如果各个分量之间相互独立，则[R]形成一对角线矩阵：
2
11222
20
0000
ij LL R σσ
σ⎡⎤⎢⎥⎢⎥⎡⎤=⎣⎦⎢⎥⎢⎥⎢⎥⎣⎦
L L M M O M L
2
1
:
L
ll l
l and R σ
==
∏
杭电
1
22212()log 2()
2
L c L L L H X e πσσσ⎡⎤=⎢⎥⎣⎦uuu r L ∴
杭电
例. 求二维正态矢量的相对熵和两变量间的互信息。

122
22
2111
222
2
112212
22,
()():cos .:
1cos 1
ij L m m E x m E x m R σσσσσρσσρσρθρθ===⎡⎤⎡⎤−=−=⎣⎦⎣⎦⎡⎤⎡⎤=⎢⎥⎣⎦⎣⎦=−≤=≤let :then :where is correlation coefficient and ()2222
1
12122
122
1ij R σσσρσσρσσρσ==−Q
杭电
根据
1
()log(2)log 22
c L ij
L H X e R π=+uuu r ()()()()222
1212222
12222121222
21()log(2)log 122111log(2)log log log 1222111log(2)log(2)log 1222()()()
1()log 1log 12
c c def
H X X e e e e H X H X H H πσσρπσσρπσπσρρρρρ
⎡⎤=+−⎣⎦=+++−=++−=+−−−=−−=:
where ∴
1212122
12()()()(;)(;)()log 1c c c H X X H X H X I X X I X X H ρρ
=+−==−−又Q ∴
杭电
可见二维正态矢量的相对熵，等于两个分量的相对熵之和与它们之间相关程度对熵的损失量之差。

现在进一步分析I(X 1;X 2)的物理意义：
2
x 2x uu r 1
x θ
121201,3,5,2
.(;)()0
k
k x x I X X H ρθπρ=====L
when i.e.then and are linear independent ∴
121200,1,22
(;)()0
k
k x x I X X H ρθπρ≠≠==>L
when i.e.then and are linear dependent.这说明相关性引起熵的减少，
互信息就是从一个分量得到另一个分量的信息。

∴
杭电
如果两个分量一一对应，则实际上是两个变量变成一个变量了。

此刻硬要将一个连续量看成两个连续量，必然要引入一个无穷大量才对。

所以此时的互信息就是无穷大量。

还因为互信息的定义式为：
121210,2,4,2
.(;)()k
k x x I X X H ρθπρ=±====∞
L
when i.e.then and are one -to -one mapping ∴
ij R =⇓
12112112(;)()()()()
c c I X X H X H X X H X H X X =−=−可见互信息不仅是相对熵之差，而且也是连续熵之差。

杭电
z
均匀分布的连续信源的熵：
:()ln()
c H X b a =−一维均匀分布•高斯分布的连续信源的熵：2
1()ln 22
c H X e πσ
=连续熵实例
仅与区域的边界有关
与数学期望无关，仅与方差有关
1
1
:()ln ()ln()
N
N
c i i i i i i N H X b a b a ===−=−∑∏维均匀分布。