5第五讲连续信源讲义和信道

不同的观测
时间 t
确定观测条件：确定的随 t 变化的样本函数； 确定时间： 随机变量。
随机波形信源的特点： 1、消息数是无限的； 2、利用概率密度函数表示。
平稳遍历随机过程：统计特性不随时间变化、样本函数 遍历各个样本值。
随机过程在限频带 F、限时间 T的情况下，可以利用正交 函数系（如KL变换）展开为独立的有限个时间离散的随机 变量。（王育民书后有附录）
q( x) lo g
1
dx q(x)log
1
e
(
xm)2 2 2
d
x
p(x)
2
q(x)log
1
2
dx
q(
x)
loge
(
x m)2
2 2
dx 1 log2e 2
2
h( X
, q( x))
h( X
,
p(x))
q( x) lo g
1 q(x)
dx
q( x) lo g
1 p(x)
dx
H C ( X ) p X ( x ) log p X ( x )dx
p X ( x ) log
1 2
exp{
1 2 2
(x
m ) 2 }dx
wenku.baidu.com
1
p X ( x ) log
dx 2
p X ( x )(log
e){ 1 ( x m ) 2 }dx 2 2
log 2 log e 1 log 2e 2 22
熵率：单位时间内信源的微分熵。
例如均匀分布连续信源（序列）的熵率： 对于限频 F ，T时间内有2FT个自由度（样点），
h t(X )2 T FlT ob ga )(2 F lob ga )(
（或者最低取样间隔为1/2F秒，故每秒2F个样点， 单位时间的熵即为乘以2F）
注：对于随机过程的处理：首先搞清连续随机变量的特点，
b
a p(x)dx1
定理：
若连续变量x的幅度为[a,b]，则x的微分熵
h(X)lobga ()
（限幅情况下，均匀分布时微分熵最大）
证明： 设一般分布为去q(x), 最大分布为p(x)
h(X)logb(a)abq(x)logq(1x)dxabp(x)logp(1x)dx abq(x)logq(1x)dxlogb(a)abq(x)dx abq(x)logq(x)1(ba)dxlogabq(x)q(x)1(ba)dxlo1g0
2FT个自由度－取样值。抽样间距 1 / 2F.
连续随机变量的微分熵（差熵）
h (X ) pX(xi) xilo pX g (xi) xi
i
pX(xi)[lpX o (xi)g ]xi pX(xi)[l x o i] g xi
i
i
xi 0 , lo x g i 一般将上式中的第二项称为绝对熵。以下式表示。
对于随机过程的微分熵，可以近似为随机变量系列。
对于联合集 {XY,pXY(xy)}，定义其微分熵
h(X)Y p(x)y lop(g x)y dxdy
条件熵：
H C (X|Y ) p(x)lyop (g x|y)d xd y
H C (X) Y H C (X ) H C (Y |X ) H C (Y ) H C (X |Y ) H C (Y |X ) H C (Y ),H C (X |Y ) H C (X )
（2） 平均功率受限时，限制随机变量x 的平均功
率或方差，即 2p(x)x (m )2d x
定理：若连续随机变量的方差一定，则x服从正态 分布时的微分熵最大，
h(X)log2e
证明： 设一般分布的概率密度为q(x), 正态分布的概率密度为p(x)
1
1
h(X ,q(x)) h(X , p(x)) q(x)log q(x) dx p(x)log p(x) dx
连续信源的剩余度为：P P
知道集合X的熵功率，可以立刻得到熵值。
h(X)1log2eP
2
5－3 连续信道和波形信道
高斯信道：信道噪声为高斯噪声，概率密度服从 N 维 高斯分布。
白噪声信道：信道噪声为白噪声。
Pn(w)N 20 ( w) （为双边功率谱密度） 高斯白噪声信道：信道噪声为高斯白噪声。
再作 N 维序列的。对于限频 F 限时 T的随机过程， 可用 2FT 个自由度表示。
5－2 具有最大熵的连续信源
连续集的熵要在一定约束条件下求解极大值，否 则仍可能为无穷大。例如对于正态分布的熵为，
h(X)(lo 2e g2)/2
若不对功率加限制，将为无限大。
常见的限制为峰值功率受限和平均功率受限。 （1）峰值功率受限：假定随机变量x的取值为[a,b]，
x(a,b)
0
x(a,b)
h(X)pX(x)logpX(x)dx
b1
1
a
log dxlogb(a) ba ba
ba 1 h(X) 0 ba 1 h(X) 0 ba1 h(X) 0
例：令X是期望为m，方差为 2 的正态随机变量， 求X的微分熵。
解：
p(x) 21 exp21{2(xm )2}
随机序列的微分熵和条件熵关系：
h(X)h(X1X2XN) h(X1)h(X2 | X1)h(X3| X1X2) h(XN | X1X2XN1) h(X1)h(X2)h(XN)
（Jensen不等式对于连续变量也成立。）
例：令X是在区间（a，b）上均匀分布的随机变量， 求X的微分熵。
解：
1 p(x) ba
q(
x)
lo
g
p(x) q(x)
d
x
log
q(
x)
p(x) q(x)
dx
log1
0
熵功率：设任意分布的连续集X的熵为h(X)，集X的熵 功率定义为高斯分布下的功率： P 1 22h(X)
2e
P P ：为达到给定的熵值 h(X)，正态分布所需要的 功率为最小。
如果熵功率和信号的平均功率相差越大，信号的剩余度越大。
h0(X)lo g
原式的一项的极限定义为连续随机变量的微分熵：
h(X)pX(x)lopg X(x)dx
微分熵与离散熵的不同：可以为负值；经过变换可 能增加。（例如KX。）
微分熵与离散熵的相同：虽然不再表示集合事件出 现的不确定性度量了，但还是有许多和离散熵一样的性 质，特别是可以表示两个集合之间的互信息。
5第五讲连续信源和信 道
精品
5－1 连续信源和波形信源的微分熵
连续随机变量是取值范围连续，而时间是离散的， 所以也叫做时间离散的连续随机变量。这种随机变量 的序列表示的信源为连续信源。
随机过程是取值范围和时间都是连续的。随机 过程表示的信源为波形信源。
随机变量的取值范 围（符号集）x
随机变量
一次观测---样本函数