第4章 波形信源和波形信道(ok)

的消息不仅在时间上，而且在幅度取值上都是连续变化 的波形信号。也称为随机波形信源。 连续平稳信源：若信源输出用平稳的连续型随机序列来描述， 则称信源为连续平稳信源。 连续信源：用连续型随机变量描述输出消息的信源称为连续 信源。
4.1 连续信源及波形信源的信息测度
2、连续信源熵
基本连续信源的输出是取值连续的单个随机变量，
n
)
lim[
n
i
p(xi ) log
p(
xi
)]
lim
n
log
[
i
p(xi )]
b
p(x) log p(x)dx lim log
a
n
一般情况下，上式的第一项是定值，而当 时0 ，
第二项是趋于无限大的常数。所以避开第二项，定义连 续信源的熵为：
h(X ) p(x) log p(x)dx R
30
30分贝 1010 1000
N
由C
B
log
2
1
S N
B log21
S n0 B
得
B
C
log
2
1
S N
5 108
log2 11000
5 108 9.967
5.02107 Hz
50MHz
4.5 信道容量
【例2】某一待传输的图片约含2.25X106个像元，为了很 好的重现图片，需要12个亮度电平，假若所有这些亮 度电平等概率出现，试计算用3min传送一张图片时所 需的信道带宽。（设信道中信噪功率比为30dB）
这样定义的熵虽然形式上和离散信源的熵相似，但在 概念上不能把它作为信息熵来理解。连续信源的差熵 值具有熵的部分含义和性质，而丧失了某些重要的特 性。
4.1 连续信源及波形信源的信息测度
3、各种差熵之间的关系 (1)h(X2)≥h(x2|x1) (2)h(X1X2)=h(X2X1)=h(X1)+h(X2|x1)=h(X2)+h(X1|
x2)
(3)h(X)=h(X1X2…XN)= h(NX1)+h(X2|x1)+h(XN|X1X2……XN)
h( X i | X1X 2 X i1) i 1
N
h(Xi)
(4)h(X)≤ i1
4.2 连续信源熵的性质及最大熵定理
1、差熵的性质
（1）可加性 任意两个相互关联的连续信源X和Y，有 h(XY)=h(X)+h(Y|X)=h(Y)+h(X|Y)
解：(1)信息／像素=log2(64×16) = 10b
信息／每幅图=10×5×105 = 5×106b
信息速率R=100×5×106=5×108b／s
因为R必须小于或等于C，所以信道容量 C≥R = 5×108 b／s
4.5 信道容量
2）
由 10 log10 x(一般比值) x（分贝）得
S
（5）变换性 连续信源输出的随机变量（或随机矢量）通
过确定的一一对应变换，其差熵发生变化。 但对于离散信源来说，其信息熵是不变的。
4.2 连续信源熵的性质及最大熵定理
2、最大熵定理（具有最大差熵的连续信源） 求连续信源的差熵的最大值，一般是在特定约束 条件下的值，常用的有两种情况：
（1）峰值功率受限条件下信源的最大熵 定理：若信源输出的幅度被限定在[a,b]区域内，
称为差熵
4.1 连续信源及波形信源的信息测度
由上式可知，所定义的连续信源的熵并不是 实际信源输出的绝对熵，连续信源的绝对熵应该 还要加上一项无限大的常数项。 这一点可以这样理解：因为连续信源的可能取值数是 无限多个，若设取值是等概分布，那么信源的不确定 性为无限大。当确知信源输出为某值后，所获得的信 息量也将为无限大。
R
4.1 连续信源及波形信源的信息测度
它们之间也有与离散信源一样的相互关系，并且可 以得到有信息特征的互信息：
h(XY ) h(X ) h(Y / X ) h(Y ) h(X / Y ) I (X ;Y ) I (Y; X ) h(X ) h(X / Y ) h(Y ) h(Y / X )
输入X
信道 + 噪声n
输入Y
2.高斯加性波形信道的信道容量
波形信道可以分解成N维统计独立得随机序列，每个分量
均值为0，方差为 2 Pn N0WT / 2WT N0 / 2
C 1 N log(1 Psi )
2 i1
Pni
每个信号样本值的平均功率为
PsT
/
2WT
Ps 2W
在[0,T]时刻内，信道的信道容量为
4.1 连续信源及波形信源的信息测度
同理，可以定义两个连续变量X、Y的联合差熵和条件差熵， 即
h( XY) p(xy) log p(xy)dxdy
R
h(Y / X ) p(x) p( y / x) log p( y / x)dxdy
R
h( X / Y ) p( y) p(x / y) log p(x / y)dxdy
则当输出信号的概率密度是均匀分布时，信源具有 最大熵。其值等于log(b-a)。
4.2 连续信源熵的性质及最大熵定理
（2）平均功率受限条件下信源的最大熵 定理：若一个连续信源输出符号的平均功率被
限定为P（这里是指的交流功率，即方差 2），
则其输出信号幅度的概率密度分布是高斯分布时， 信源有最大的熵，其值为 1 log 2。eP
【例3】已知某标准音频线路带宽为3.4KHz。
（1）设要求信道的S/N = 30dB，试求这时的信道容量是 多少？
（2）设线路上的最大信息传输速率为4800b/s，试求所 需最小信噪比为多少？
【例4】有一信息量为1Mb的消息，需在某信道上传输， 设信道带宽为4KHz，接收端要求信噪比为30dB，问 传送这一消息需用多少时间？
声。 加性信道：信道中噪声对信号的干扰作用表现为与信号相加
的形式，则此信道为加性信道。
4.3连续信道和波形信道的信道容量
2.高斯加性波形信道的信道容量
1、限带高斯白噪声加性波形信道 信道的输入和输出信号是随机过程{x(t)}和{y(t)}，而加 入信道的噪声是加性高斯白噪声{n(t)}（其均值为零， 功率谱密度为 ，输出N0 信2 号满足{y(t)}={x(t)}+{n(t)}
（2）上凸性 差熵h(X)是概率密度函数的上凸函数。即对任意概率密
度函数p1(x)和p2(x)，及任意0＜θ＜1有： h[θp1(x) +(1-θ) p2(x)] ≥θh(p1(x)) +(1-θ)h(p2(x)) （3）差熵可为负值，不存在非负性。
4.2 连续信源熵的性质及最大熵定理
（4）极值性 连续信源的差熵存在极大值，但与离散信源 不同的是，其在不同的限制条件下，信源的 最大熵是不同的。
图像处理相关概念
采样： 就是将一副连续图像在空间上分割成 MXN个网格，每个网格中的模拟图像均值作为 该网格的亮度值。每个网格称为像素或像元。
量化：将采样后亮度值在某个幅度区间连续分 布，转换成单个数码的过程。量化后的像素点 整数值叫图像灰度值。
2
4.3连续信道和波形信道的信道容量
1、基本概念 连续信道：信道输入/输出都是取值连续的随机变量。 波形信道：信道的输入和输出都是随机模拟信号时，称此信
道为波形信道，又称模拟信道。 高斯白噪声：瞬时值的概率密度函数服从高斯分布而功率谱
密度又是均匀分布的噪声。 高斯白噪声信道：若信道中的噪声{n(t)}是高斯分布的白噪
高斯白噪声加性信道的单位时间的信道容量
Ct
lim
T
C T
W
log(1
Ps N0W
)(比特 / 秒)
其中Ps是信号的平均功率， NoW为高斯白噪声在带宽W 内的平均功率。可见，信道容量与信噪功率比和带宽有关。
例题
【例1】已知彩色电视图像由5×105个像素组成。设每 个像素有64种彩色度，每种彩色度有16个亮度等级。 设所有彩色度和亮度等级的组合机会均等，并统计独立。 (1)试计算每秒传送100个画面所需的信道容量；(2)如 果接收机信噪比为30dB，为了传送彩色图像所需信道 带宽为多少?
可用变量的概率密度函数 p(x来) 描述。此时，连续信源
的数学模型为：
X p( x)
（ pa(,xb)）或
R p( x)
并满足 b p(x)dx 1或 p(x)dx 1
a
R
其中，R是全实数集，是变量X的取值范围。
4.1 连续信源及波形信源的信息测度
连续信源熵：
H
(
X
)
lim
n
H
(
X
第4章 波形信源和波形信道
4.1 连续信源及波形信源的信息测度 4.2 连续信源Βιβλιοθήκη Baidu的性质及最大熵定理 4.3 连续信道和波形信道的信道容量
4.1 连续信源及波形信源的信息测度
实际某些信源的输出常常是时间和取值都是连续的消息。
例如语音信号、电视信号。这样的信源称为随机波形信源。 1、基本概念 模拟信源：信源的输出是时间和取值都连续的消息。即输出
C WT log(1 Ps / 2W )(比特 / N自由度) N0 / 2
WT log(1 Ps )(比特 / N自由度) N 0W
4.3 连续信道和波形信道的信道容量
2.高斯加性波形信道的信道容量
要达到这个信道容量要求输入N维随机序列X中每一分量
Xi都是均值为零，方差为Ps，彼此统计独立的高斯变量。