第三章离散信道及信道容量

P( xy)
P( xy)log
(2) 输出符号概率 P(bj )
r
r
P(bj ) P(ai )P(bj | ai ) P(aibj )
i 1
i 1
(3) 后向概率 P(ai | bj )
P(ai
| bj)
P(aibj ) P(bj )
P(ai )P(bj | ai )
r
P(ai )P(bj | ai )
i 1
3.2 平均互信息及平均条件互信息
0 p 1 p 0
1
0
1q
q
单符号信道的传递概率用矩阵表示：
b1
b2
bs
a1 P(b1 | a1 ) P(b2 | a1 ) P(bs | a1 )
a2
P
(b1
|
a2
)
P(b2 | a2 )
P(bs | a2 )
ar
P
(b1
|
ar
)
P(b2 | ar )
P(bs | ar )
简写 P(bj | ai ) pij，信道传递矩阵为
第三章 离散信道及其信道容量
3.1 信道的数学模型及分类 3.2 平均互信息及平均条件互信息 3.3 平均互信息的特性 3.4 信道容量及其一般计算方法 3.6 离散无记忆扩展信道及其信道容量 3.7 独立并联信道及其信道容量 3.8 串联信道的互信息和数据处理定理 3.9 信源与信道的匹配
3.1 信道的数学模型及分类
离散信道：输入和输出的随机序列取值都 是离散的。
连续信道：输入和输出的随机序列取值都 是连续的。
半离散或半连续信道：一端序列取值是离 散的一端序列取值是连续的。
波形信道：输入输出都是时间上连续
的随机信号X(t),Y(t).
3.1.2 离散信道的数学模型
X
信道
Y
X (X1,, Xi ,, X N ), x A {a1,,ar }
3.2.2 平均互信息 1、定义式——平均互信息
I(X;Y) H(X) H(X | Y)
表示收到输出符号Y后，平均每个符号获 得的关于X的信息量。
1
1
I(X;Y ) H(X ) H(X |Y ) P(x)log P(xy)log
X
P( x) X ,Y
P(x | y)
P( x | y)
p11
P
p21
p12 p22
s
p1s
p2s
且 P(bj | ai ) 1
j1
pij 0
矩阵中每行元素
pr1
pr2
prs
之和等于1。
已知
输入概率 P(ai ) 信道矩阵 P(bj | ai )
可求：
(1) 联合概率 P(aibj )
P(x ai , y bj ) P(aibj ) P(ai )P(bj | ai )
Y (Y1,,Yi ,,YN ), y B {b1,,bs }
信道统计特性用条件概率表示
P( y | x)
P( y | x) 1 y
1、无干扰（无噪）信道
1 P( y | x) 0
y f ( x) y f (x)
2、有干扰无记忆信道
无记忆信道：信道任一时刻输出符号只统 计依赖于对应时刻的输入信号，而与非对 应时刻的输入符号及输出符号无关。
3.2.1 信道疑义度 3.2.2 平均互信息 3.2.3 平均条件互信息
3.2.1 信道疑义度
1、先验熵 —— H（X）
接收到输出Y 以前，关于输入变量X 的
先验不确定性的度量。
H(X )
r
P(ai )log
i 1
1
P(ai )
X
P( x) log P( x)
2、后验熵 —— H( X | bj )
2
二元对称信道的传递矩阵 且 P(bj | ai ) 1
X Y b1 0 b2 1
j1
a1 0 a2 1
p 1 p
p
p
p 1 p
例3.2 二元删除信道——BEC
X A {0,1} Y B {0,1,2}
X
a1=0
p
1 p
1q
a2=1
q
Y
b1=0
b3=2
b2=1
XY 0 2 1
表示输出端收到输出变量Y 的符号后，对
输入端变量X尚存在的平均不确定性。
s
H( X | Y ) E[H( X | bj )] P(bj )H( X | bj )
s
r
j 1
P(bj ) P(ai | bj ) log P(ai | bj )
j 1
i 1
r s
1
i 1
P(aibj ) log
有干扰：输出符号与输入符号之间无确定 的对应关系，符合某种概率分布。
P( y |
wenku.baidu.com
x)
P( y1 y2 yN
|
x1 x2 xN )
N
P( yi | xi )
i 1
3.1.3 单符号离散信道的数学模型
a1 a2
X
P(bj | ai )
b1 b2
Y
ar
bs
条件概率 P( y | x) P( y bj | x ai ) P(bj | ai )
当接收到输出符号y＝bj后，输入符号的概 率分布成为 P(x | bj ) ，则关于x 的平均不
确定性为
r
H ( X | bj ) P(ai | bj ) log P(ai | bj ) i 1
P( x | bj ) log P( x | bj )
X
3、条件熵——信道疑义度——H（X|Y）
3.1.1 信道的分类 3.1.2 离散信道的数学模型 3.1.3 单符号离散信道的数学模型
3.1.1 信道的分类
两端信道：只有一个输入端和一个输出端 多端信道：在输入端或输出端至少有一端
有两个以上的用户。
无反馈信道：输出端信号对输入端信号无 影响。
反馈信道：输出端信号对输入端信号有影 响。
固定参数信道：信道参数不随时间变化。 时变参数信道：信道参数随时间变化。
j 1
P(ai
| bj )
1
P( xy)log
X ,Y
P(x | y)
讨论： （1）一般情况下，H（X|Y）<H（X）
说明接收到Y后，关于输出变量X的不确定 性减少了。 （2）对于无扰信道
P(ai | bj ) 1， H( X |Y ) 0
接收到Y后，完全消除了对X的不确定 性，从而获得全部信息。
(i 1,2,, r) ( j 1,2,, s)
称传递概率或转移概率
例3.1 二元对称信道——BSC
X A {0,1} Y B {0,1}
X a1=0
1 p
p
Y b1=0
P(b1 | a1 ) 1 p p P(b2 | a2 ) 1 p p
p
a2=1
1 p
b2=1
P(b2 | a1 ) p P(b1 | a2 ) p