信息论基础第4章连续信源与连续信道[80页]

类比概率 Pi
设连续随机变量 X 的概率密度函数 p(x) 如图所示。把连续取值范围(a,b)均匀
分割成 n 个等宽的小区间，量化间隔为 (b a) / n 。X 处于第 i 区间的概率为
Pi Pa i 1 x a i
ai
p
ai1
x dx p
xi
i 1,2,,n
连续随机变量的概率空间可以表示为：
放大倍数为 k 的放大器，比较变换前后连续信源概率分布和相对熵
的变化。
《信息论与编码原理》
4.6 波形信道的分类和处理方法
当信道的输入和输出都是随机过程xt 和yt时，
这个信道称之为波形信道。 在实际模拟通信系统中，信道都是波形信道。研究波
形信道就要研究噪声。在通信系统模型中，我们把来自通 信系统各部分的噪声都集中在一起，并认为均通过信道加 入。
信号。加性噪声独立于有用信号，却始终干扰有用信号。
X pX x1x2
xN J log pX x1x2
xN
J
1 J
dx
X pX x1x2 xN log pX x1x2 xN J dx
h(X) E log J
可见，通过信息处理后连续信源的相对熵发生了变化。
【例】 已知一个在 (a, b) 区间内均匀分布的连续信源通过一个
【例】 有两个连续随机变量 X 和 Y 的联合概率密度函数 为
p(xy)
1
，
(a2 a1 )(b2 b1 )
x [a1, a2 ] ， y [b1,b2 ]
计算 h(X | Y) , h( XY ) 和 I (X ;Y ) 。
《信息论与编码原理》
4.3 连续信源的信息度量
一维连续信源的熵
则熵功率 P 为
P 1 e2h
2e
【例】一个平均功率为 3W 的非高斯信源的熵
为 h(X ) 1 log 4 e （比特/自由度），计算该信
2
源的熵功率和剩余度。
《信息论与编码原理》
4.5 连续信源熵的变换
连续信源的差熵如何变化？
h(Y) h(Y1Y2 YN ) Y p(y) log p(y)dy
一维连续信源的概率空间为
X p(x)
(a, b)
p(x)
或
R
p(x)
并满足
b
p(x)dx 1
或
p(x)dx 1
a
R
连续信源的相对熵（简称为连续信Leabharlann Baidu的熵，又称差熵）表示为
h(X ) p(x) log p(x)dx （比特/自由度） R
多维连续信源的熵
波形信源的熵率
《信息论与编码原理》
一、波形信道的分类
1、乘性信道 信道中噪声对信号的干扰作用表现为是与信号相乘的关系，乘性 噪声随信号存在而存在，消失而消失。此时的信道称为乘性信道。 2、加性信道 信道中噪声对信号的干扰作用表现为是与信号相加的关系，则此
信道称为加性信道，噪声称为加性噪声，即{y(t)} {x(t)}{n(t)} ， 其中{x(t)}、{y(t)} 和{n(t)}分别是信道的输入、输出和噪声的随机
《信息论与编码原理》
第4章 连续信源与连续信道
本章内容
4.1 连续信源的分类和统计特性 4.2 连续随机变量的信息度量 4.3 连续信源的信息度量 4.4 连续信源的最大熵 4.5 连续信源熵的变换 4.6 连续信道和波形信道的分类 4.7 连续信道的平均互信息 4.8 连续信道的信道容量 4.9 波形信道的信道容量
《信息论与编码原理》
4.1 连续信源的分类和统计特性
连续信源的分类
如果信源输出消息符号取值连续，此时的信源就是连续信 源。连续信源分为两种，一种是在离散时间发出的取值连 续符号的信源，包括单符号连续信源和多符号连续信源； 另一种是在连续时间发出的取值连续符号的信源，通常称 为波形信源或模拟信源。
熵的引入：观察离散随机变量
n
n
H ( X ) p(xi ) log p(xi ) pi log pi
i 1
i 1
连续随机变量可以看作是离散随机变量的极限（量 化间隔趋于0），故可采用离散随机变量来逼近。
下面，将采用这一观点讨论连续随机变量的信息 熵与信息量。
1）类比概率 Pi 与 概率密度p(u)：
4.4 连续信源的最大熵
第 2 章我们讨论了离散信源熵的极值性。对于离散信 源，在所有的消息独立且等概时，信源熵最大。
下面将讨论连续信源最大熵的问题，即当连续信源存 在最大熵时，其概率密度应满足什么条件？
熵功率
如果 h 为这个信源的熵，则根据熵功率的定义，得
h
1 2
log e
2eP
（奈特/自由度）
a xb
0 x b, x a
【例】 高斯随机变量 X ~ N , 2 ，即概率密度函数为
1
(x )2
p(x)
2 2
exp
2 2
该随机变量的差熵?
连续随机变量的平均互信息
连续随机变量的平均互信息的定义 平均互信息和其它熵之间的关系 连续随机变量的平均互信息与离散连
续随机变量的平均互信息的区别
2）由离散信源熵的定义得到连续信源熵的定义
对连续随机变量 X 进行量化后可用离散随机变量描
述。所谓量化就是将取值连续的信号用预先规定的有限个
量化值来表示的过程。量化间隔 越小，则所得的离散变
量和连续变量越接近，也就是说，连续随机变量可以认为 是离散随机变量的极限情况，我们可以从这个角度来讨论 连续随机变量的熵。
连续信源的统计特性
两种重要的连续随机变量
两种重要的连续随机变量
《信息论与编码原理》
4.2 连续随机变量的信息度量
一、连续随机变量的熵 连续随机变量的概率空间可以表示为
X (a,b)
p(x)
p(
x)
或
R
p(
x)
并满足
b p(x)dx 1
或
p(x)dx 1
a
R
其中 (a,b) 是连续随机变量 X 的取值区间，R 表示实 数集 (∞,∞) ， p(x) 是随机变量 X 的概率密度函数。
X p(x)
(a, b)
p(x)
或
R
p(x)
连续随机变量 X 被量化成离散随机变量 X n ，概率
空间为
Xn P(x)
x1 p( x1
)
x2 p(x2 )
xn
p(
xn
)
连续随机变量的熵具有的性质
【例】 求均匀分布的连续随机变量的相对熵，已知概率密 度函数为
1 p(x) b a