信息论编码 田宝玉chapter11-1

1 1 1 1
00
01 10
I ( X 1 ; Y X 2 ) H ( X 1 X 2 ) H ( X 1 X 2 Y ) H ( X 1 );
0
1
I ( X 2 ; Y X 1 ) H ( X 2 );
I ( X 1 X 2 ; Y ) H (Y ) H (Y X 1 X 2 ) H (Y )
1
1 2
C1 max I ( X 1 ; Y / X 2 ) max H ( X 1 ) 1比特
p ( x1 ) p ( x1 )
X2
图11.1.6 二元删除信道
X1 X 2
C2 1比特

Y
1 1 1
设 X 1的概率： X 2 的概率：
I ( X1 X 2 ; Y ) H (Y )
图11.1.2 典型的二址接入信道

设 R , R 的极大值分别为C , C ，则：
1 2
1 2
R1
C1
p1 ( x1 ) p2 ( x2 )
max
I ( X 1;Y | X 2 )
I ( X 1;Y | X 2 )
p1 ( x1 ) p2 ( x2 )
max
即： 同理：
max [ H (Y | X 2 ) H (Y | X 1 X 2 )]
1 2 1 2


在平均功率受限的约束下，采用时分多址方式和频 分多址方式的可达速率区域均小于理论给出的容量 区域。但是通过设计时隙分配或带宽分配的比例， 时分多址与频分多址又都可使速率达到理论容量域 的最大值。 码分多址方式中，所有信道输入信号都占用信道的 全部带宽和时间，各信号间不存在时隙分配或带宽 分配问题，因此码分多址的可达速率区域与理论容 量区域一致。

各种联合约束条件，即对任一子集 A ，
R
rA
r
CA
p1 ( x1 ) pN ( xN )
max
I ( X r , r A;Y | X s , sA)

当各信源相互独立时，有：
C
rA
r
CA max[Cr ]
Байду номын сангаасrA
R1 C1
C2
p1 ( x1 ) p2 ( x2 )
p1 ( x1 ) p2 ( x2 )
max
I ( X 2 ;Y | X 1 )
max [ H (Y | X 1 ) H (Y | X 1 X 2 )]
p1 ( x1 ) p2 ( x2 )
R2 C2

联合限制：
C12
p1 ( x1 ) p2 ( x2 )

§11.3相关信源编码
11.3.1 典型的相关信源编码模型 11.3.2 Slepian-Wolf相关信源编码定理

多址接入信道(Multiple Access Channel, MAC)是有多 个信道输入信号，但只有一个信道输出信号的信道。 如图11.1.1所示。
编码1
X1
Xm
多址接入 信 道
p ( x1 )
C2 max H ( X 2 ) 1
p ( x2 )
C12 max
p ( x1 ) p ( x2 )
比特/符号， H (Y ) 1 比特/符号。
0
C1 1(比特 / 符号)
R1
图11.1.5 二元乘积信道的容量区域


例11.1.2 二址接入二元删除信道。设信道输入X1 {0,1}, X 2 {0,1}, 信道输出 Y X1 X 2 ，且 Y {0,1, 2} ，也称为二元和信道，如 X 图11.1.6，求信道的容量区域。 Y X X 解：

本章介绍网络信息论的最基本内容，主 要包括多址接入信道和退化广播信道容 量、以及相关信源编码。

§11.1多址接入信道
11.1.1 二址接入信道的容量 11.1.2 不同多址方式下的接入信道容量分析 11.1.3 多址接入信道的容量

§11.2 广播信道
11.2.1 退化的广播信道 11.2.2 退化的广播信道的容量区域
11
1
2
图11.1.7 无扰二元删除信道的转移概率图
' 分别对 p 和 p ' 的偏导数为零，可得当p p
1 2 时，
1 1 1 1 1 1 C12 log log log 1.5比特 4 4 4 4 2 2
图11.1.8 二址离散信道的可达速率区域


例11.1.3 二址接入高斯信道。设 X 1 和 X 2的概率密度分别 为 p ( X )和 p ( X )。信道输出Y X1 X 2 Z，Z 为高斯白噪声 设输入均值为零，平均功率受限即 E ( X ) P ，E ( X ) P ，与 Z 相互独立。求信道容量区域。 Z N (0, ) X 解： P(Y | X X ) 1 exp[ ( y x x ) ] Y X X
p p0 p ，1 1 p
00
01
0
p '1 p ' , p '0 1 p '
1

10
p(1 p ' )log(1 p ' ) (1 p) p ' log(1 p) [ pp ' (1 p)(1 p ' )]log[ pp ' (1 p)(1 p ' )]
max I ( X 1 X 2 ;Y )
max [ H (Y ) H (Y | X 1 X 2 )]
p ( x1 ) p ( x2 )

当X 与
1
max(C1 , C2 ) C12 C1 C2 X 2 相互独立时，可得：
定理11.1.1 一个具有两个输入端的二址接入信道 X 1 X 2 , P( y x1 x2 ), Y 的容量是一个满足下面条件的 凸集合：
11
则速率对( R1 , R2 ) 的可达区域为：
图11.1.4 无扰二元乘积信道的转移概率图
( R1 , R2 ) : 0 R1 H ( X1 ),0 R2 H ( X 2 ),0 R1 R2 H (Y )
R2
C2 1(比特 / 符号)
C1 max H ( X 1 ) 1 比特/符号，
编码m
Y
译 码
编码M
XM
图11.1.1 多源接入信道


设信道的两个输入变量集合为 X 1和X 2 ，一个输出变 量集合为Y，则信道特性可用 p( y / x1, x2 ) 这一条件概 率来表征。 两个编码器分别将两个信源符号U1 和U 2 编成适合于 信道传输的信号 X 和 X ；一个译码器由信道输出 1 ˆ ˆ 2 和U 2 。 译出相应的信源符号U 1

限平均功率时，随机变量为高斯分布时熵最大，则
PS1 2 1 PS1 1 C1 log log(1 2 ) 2 2 2
PS2 2 1 PS2 1 C2 log log(1 2 ) 2 2 2 PS PS 2 1 PS PS 1 C12 log log(1 ) 2 2 2 2
X1 1
X2 2
2 1
2
S1
2
S2
2
2
2 2 2 1 h(Y | X1 X 2 ) log 2 e 2 2
1 2
1
2
1



1
2
X2
C1 max [h(Y | X 2 ) h(Y | X 1 X 2 )]
p ( X1 ) p ( X 2 )
1 max h(Y | X 2 ) log 2 e 2 p ( X1 ) p ( X 2 ) 2

给定条件概率 p( y | x1, x2 , , xN )，可分别限定各信源的 信息传输速率：
Rr Cr
p1 ( x1 ) p N ( xN )
max
I ( X r ; Y | X 1 X r 1 X r 1 X N )
(r 1, 2, , N )
例11.1.1 二址接入二元乘积信道。设一个二址接入信 X 道，输入X1 {0,1}，2 {0,1}，输出Y {0,1}，且 Y X1 X 2，求该 信道的容量区域。 解： H (Y X1 X 2 ) 0 ， H ( X1 X 2Y ) 0 ，H ( X 2 X1Y ) 0 ， Y
( R1 , R2 ) : 0 R1 I ( X1; Y / X 2 )
0 R2 I ( X 2 ; Y / X1 )
0 R1 R2 I ( X1 X 2 ; Y )
其中 p( x1 x2 ) p1 ( x1 ) p2 ( x2 ) （11.1.1）


X1 X 2