信息论第五讲1

p(z / x)
p(z)


Elog

p(z / x, p(z)
y)

E log

p(z p(z /
/ x)
x,
y)



xyz
p(x,
y, z) log
p(z / x) p(z / x, y)
log
xyz
p(x, y, z) p(z / x) p(z / x, y)
2019/11/24
6
(2) 数据处理定理
X
Y
Z
p(y/x)
p(z/xy)
定理：若X,Y,Z为离散随机变量，并且构成一个马尔
可夫链，则有：
I(X;Z)≤I(X;Y)
I(X;Z)≤I(Y;Z) 证明2:
如果满足马尔可夫链，即p(z/xy)=p(z/y)。则串 联信道定理中的等号成立。
2019/11/24
p(v / x, y) p(v / y)
这是山农信息理论对通信系统模型的一个基本假设。
U
信源
X
编码器
Y
信道
V
译码器
2019/11/24
10
U
X
Y
V源自文库
信源
编码器
信道
译码器
这是山农信息理论对通信系统模型的一个基本假设。 根据数据处理定理可以得到：
I (X ;V ) I (X ;Y ) I (U ;V ) I (U ;Y ) I (U ;V ) I ( X ;V )
I(X,Y;Z) I(X;Z)
当且仅当p(z/x,y)=p(z/x)时，等式成立。
从Z中获得X,Y的信息量总是大于等于从Z中获得的X的信息量。
2019/11/24
4
根据: I(X;Z)=H(X)-H(X/Z)=H(Z)-H(Z/X)=I(Z;Y)
I(X;Z)
I(X,Y;Z)

Elog
X (X1, X2,......Xn) V (V1,V2 ,.....V. k )
这是一个通信系统基本模型。 其中的U，X，Y，V为离散随机矢量。
2019/11/24
9
对于一个实际通信系统来说， U，X，Y，V构成的 离散随机矢量序列形成一个马尔可夫链。也就是说 他们满足：
p( y / x,u) p( y / x)
1
说明：
p(y/x)为DMC1的信道转移概率；
p(z/y)为DMC2的信道转移概率；
p(z/x,y)为串联信道的信道转移概率；
p(z/x,y) =p(z/y)，
说明DMC2的输出只取决于DMC2的输入，这个串联信道 具有马尔可夫链性质。
I(X,Y;Z)－由输出状态Z中得到的关于联合状态(X,Y)的信息量。 I(Y;Z)－由输出状态Z中得到的关于状态Y的信息量。
其熵为H(x)=H1 (X); 6) 最后可以假定为等概的离散无记忆信源，
其熵为H0(X)=logn；
2019/11/24
14
它们之间的关系可以表示为：
logn=H0(X)≥H1(X)≥H1+1(X)≥H 2+1(X)≥…≥H m+1(X)≥H∞
离散有记忆信源的记忆长度越长，信源熵越小；
而独立且等概的信源，熵最大。
I (U ;V ) I ( X ;Y )
2019/11/24
11
U
X
Y
V
信源
编码器
信道
译码器
I (U ;V ) I ( X ;Y )
说明：
信息的处理，例如编码，译码等，只能损失 信息，不能增加信息。
只有当信息处理是一一对应时，等号成立。 这一点在理论上是正确的，但是为了有效并
可靠的传输信息，数据处理还是必要的。
2019/11/24
2
I(Y;Z)=H(Y)-H(Y/Z)=H(Z)-H(Z/Y)=I(Z;Y)
H (Z )

H (Z
/Y)

Elog

1
p(z)


Elog

1 p(z /

y)


Elog

p(z / y)
p(z)

I (Y;
Z)

I(X
,Y;Z)

Elog
2019/11/24
5
I(X;Z)
I (X ,Y; Z )

Elog
p(z / x) p(z)


Elog
p(z / x, y)
p(z)

log p(x, y) p(z / x) log1 0
xyz
即:
I(X,Y;Z) I(X;Z)
当p(z/x,y)=p(z/x)时，等式成立。 说明信道1是一种无失真的变换。
1) 实际信源一般是非平稳的、有记忆、随机序列信
源；其极限熵是不存在的；
2) 解决的方法是假设其为离散平稳随机序列信源，
极限熵存在，但求解困难；
3) 进一步假设其为m阶Markov信源，其信源熵用极
限熵H m+1近似； 4) 再进一步假设为一阶Markov信源，用其极限熵
H1+1(X2/X1) 来近似； 5) 最简化的信源是离散无记忆信源，
2019/11/24
12
(4)多符号信源—离散随机矢量
H ( X ) p(x) log 1
x
p(x)
I ( X ,Y ) H ( X ) H ( X / Y ) H (Y ) H (Y / X ) I (Y , X )
2019/11/24
13
2.7.4 信源的剩余度
关于离散信源熵的总结：
7
X
Y
Z
p(y/x)
p(z/xy)
I(X,Y;Z)=I(Y;Z)
同时在串联信道定理中还有：
I(X,Y;Z)≥I(X;Z)
因此得到:
I(X;Z)≤I(Y;Z)
同样可以证明I(X;Z)≤I(X;Y)
2019/11/24
8
(3) 数据处理定理推广
U
X
Y
V
信源
编码器
信道
译码器
U (U1,U2,.....U. k ) Y (Y1,Y2,.....Y. n )
(1)Markov链串联信道关系(作业)
X
Y
Z
DMC1
DMC2
定理: 对于所有满足p(x,y,z)>0的(x,y,z)，
I (X ,Y; Z) I (Y; Z)
当且仅当p(z/x,y)=p(z/y)时，即满足马尔可夫链时, 等式成立。
从Z中获得X,Y的信息量总是大于等于从Z中获得的Y的信息量。
2019/11/24
p(z / y)
p(z)


Elog
p(z / x, p(z)
y)

E log

p(z / y)
p(z
/
x,
y)



xyz
p(x, y, z) log
p(z / y) p(z / x, y)
2019/11/24
3
X
Y
Z
DMC1
DMC2
同理： 对于所有满足p(x,y,z)>0的(x,y,z)，