【学习课件】第四章波形信源和波形信道

波形信源的差熵: h{x(t)} limh(X) N
.
10
第二节 波形信源和波形信源的信息测度
当对于限频F/限时T的平稳随机过程，它可以近似地用 有限维N=2FT平稳随机矢量表示。这样，一个频带和时间 都为有限的连续时间过程就转化为有限维时间离散的平稳 随机序列了。 和离散变量中一样， 易于证明:
机序列 X(X1,X2,。...,Xi ,...)
2F 2F
2F
如果随机过程又是限时的，时间间隔为T，则就成为
2FT个有限维的随机序列。取样之后还要对取值的离散
化。取样加量化才使随机过程变换成时间的取值都是离
散的随机序列。量化必然带来量化噪声，引起信息损失。
随机过程描述输出消息的信源称为随机波形信源。 用连续随机变量描述输出消息的信源称为连续信源。
h ( X ) h ( X 1 X 2 ) h ( X 1 ) h ( X 2 | X 1 ) h ( X 3 | X 1 X 2 ) h ( X N | X 1 X 2 X N )
h ( X ) h ( X 1 X 2X N ) h ( X 1 ) h ( X 2 ) h ( X N )
F(x1)P [Xx1] x 1pX(x)dx
pX|Y(x| y),pY|X(y|x)
联合概率密度函数为
p X Y (x 1 y 1 ) 2 F (x 1 ,y 1 ) x 1 y 1
.
5
第二节 波形信源和波形信源的信息测度
它们之间的关系为
p X Y ( x y ) p X ( x ) p Y |X ( y |x ) p Y ( y ) p X | Y ( x |y )
实际某些信源的输出常常是时间和取值都是连续的消息。例
如语音信号、电视信号。这样的信源成为随机波形信源，其输 出消息可以用随机过程{x(t)}来表示。
随机过程{x(t)}可以看成由一族时间函数
组成 称为样本
函数。每个样本函数是随机过程的一个实现。 { x i ( t ) }
（1）随机波形信源中消息数是无限的。
基本连续信源的数学模型为
XpR (x)并 且 Rp(x)dx1
其中R是全实数集。
.
6
第二节 波形信源和波形信源的信息测度
定义连续信源的熵为：
H (X n) p (xi) lo g [p (xi) ]
i
这样的话：
p (x i) lo g p (x i)p (x i) lo g
i
i
H ( X ) l n i m H ( X n ) l i m 0 i p ( x i) l o g [ p ( x i) ]
R
h (X |Y ) p (x)p (y|x)lo gp (x|y)d x d y
R
.
8
第二节 波形信源和波形信源的信息测度
连续信源的差熵只具有熵的部分含义和性质
（1）可加性
h ( X Y ) h ( X ) h ( Y |X ) h ( Y ) h ( X |Y )
并当且仅当 X 与 Y 统计独立时
第四章 波形信源和波形信道
第一节 第二节 第三节 第四节 第五节 第六节 第七节
波形信源的统计特性和离散化 连续信源和信源的信息测度 具有最大熵的连续信源 连续信道和波形信道的分类 连续信道和波形信道的信息传输率 连续信道和波形信道的信道容量 连续信道编码定理
.
1
第一节 波形信源的统计特性和离散化
.
4
第二节 波形信源和波形信源的信息测度
连续信源的差熵
先看单个变量的基本连续信源的信息测度。基本连续信源 的输出是取值连续的单个随机变量。可用变量的概率密度， 变量间的条件概率密度和联合概率密度来描述。
变量的一维概率密度函数为 pX(x)dF d(xx),pY(x)dF d(yy)
一维概率分布函数为 条件概率密度函数为
对于随机过程来说，只要是限频的，它的每个样本函数 也可作同样的取样处理。每个样本函数都可以用一系列
数随t x机2(ntF变)时有量刻无。上限的多样个本，值因此x ，( 2来n取F 表)样征后。瞬因间为随tn机的2过nF样程本的值样是本一函个
.
3
第一节 波形信源的统计特性和离散化
这样，通过取样，随机过程就成为可数的无限维的随
（2）随机波形信源可用有限维概率密度函数族以及与各维 函数概率密度函数有关的统计量来描述。
.
2
第一节 波形信源的统计特性和离散化
就统计特性的区别来说，随机过程大致可分为平稳随机 过程和非平稳过程两大类。
最常见的平稳随机过程为遍历过程，它不但统计特性不 随时间平移而变化，而且它的集平均以概率1等于时间平均。
h ( X |Y ) h ( X ) 或 h ( Y |X ) h ( Y )
所以可得 h(X Y)h(X )h(Y)
（2）凸状性和极值性
差熵 h(X) 是输入概率密度函数 p(x) 的П型凸函数，对于某一 概率密度函数可以得到差熵的最大。
Hale Waihona Puke Baidu
（3）差熵可为负值
.
9
第二节 波形信源和波形信源的信息测度
连续信源 的信息熵
b
p(x)logp(x)lim log
a
0
舍弃无穷大的第二项，可得：
连续信源 的差熵
b
h(X)ap(x)logp(x)
.
7
第二节 波形信源和波形信源的信息测度
同理可以定义两个连续变量X、Y的联合熵和条件熵
h(X Y)p(xy)logp(xy)dxdy R
h (Y |X ) p (x)p (y|x)lo gp (y|x)d x d y
波形信源的差熵
实际信源的输入和输出都是平稳随机过程，其 {x(t)}和 {y(t)}可以通过取样，分解成取值连续的无穷平稳随机序列来 表示，所以平稳随机过程的熵就是无穷平稳随机序列的熵。
h ( X ) h ( X 1 X 2 X N ) R p ( x ) l o g p ( x ) d x h ( Y ) h ( Y 1 Y 2 Y N ) R p ( y ) l o g p ( y ) d y h ( Y |X ) h ( Y 1 Y N |X 1X N ) RR p ( x y ) l o g p ( y |x ) d x d y h ( X | Y ) h ( X 1X N | Y 1 Y N ) RR p ( x y ) l o g p ( x |y ) d x d y