第三章离散信道及信道容量

3.1.1 信道的分类
3.1.2 离散信道的数学模型
3.1.3 单符号离散信道的数学模型
3.1.1 信道的分类 两端信道：只有一个输入端和一个输出端 多端信道：在输入端或输出端至少有一端 有两个以上的用户。 无反馈信道：输出端信号对输入端信号无 影响。 反馈信道：输出端信号对输入端信号有影 响。
固定参数信道：信道参数不随时间变化。 时变参数信道：信道参数随时间变化。 离散信道：输入和输出的随机序列取值都 是离散的。 连续信道：输入和输出的随机序列取值都 是连续的。 半离散或半连续信道：一端序列取值是离 散的一端序列取值是连续的。 波形信道：输入输出都是时间上连续 的随机信号X(t),Y(t).
i 1
3、条件熵——信道疑义度——H（X|Y） 表示输出端收到输出变量Y 的符号后，对 输入端变量X尚存在的平均不确定性。
H ( X | Y ) E[ H ( X | b j )] P (b j )H ( X | b j )
3.2 平均互信息及平均条件互信息
3.2.1 信道疑义度 3.2.2 平均互信息
3.2.3 平均条件互信息
3.2.1 信道疑义度 1、先验熵 —— H（X） 接收到输出Y 以前，关于输入变量X 的 先验不确定性的度量。
1 H ( X ) P (ai ) log P ( x ) log P ( x ) P (ai ) i 1 X
第三章 离散信道及其信道容量
3.1 信道的数学模型及分类 3.2 3.3 3.4 3.6 3.7 平均互信息及平均条件互信息 平均互信息的特性 信道容量及其一般计算方法 离散无记忆扩展信道及其信道容量 独立并联信道及其信道容量
3.8 串联信道的互信息和数据处理定理 3.9 信源与信道的匹配
3.1 信道的数学模型及分类
P ( y | x ) P ( y1 y 2 y N | x1 x 2 x N )
P( y
i 1
N
i
| xi )
3.1.3 单符号离散信道的数学模型 a1 b1 a2 b2
X

ar
P (b j | ai )

bs
Y
条件概率
P ( y | x ) P ( y b j | x ai ) P (b j | ai )
1 p
p p
1 p
Y b1=0 b2=1
b2 1
P (b2 | a1 ) p
P (b1 | a2 ) p
二元对称信道的传递矩阵
X Y a1 0 p 1 p p a2 1 p p 1
b1 0 p
且
P (b
j 1
2
j
| ai ) 1
P (b j ) P (ai )P (b j | ai ) P (ai b j )
(3) 后向概率
P (ai | b j )
P (ai | b j )
P (ai b j ) P (b j )

P (ai ) P (b j | ai )
P (a ) P (b
i 1 i
r
j
| ai )
简写 P (b j | ai ) pij，信道传递矩阵为
p11 p21 P pr 1 p12 p22 pr 2 p1s p2 s prs
且 P (b j | a i ) 1 pij 0
j 1
s
矩阵中每行元素 之和等于1。
例3.2 二元删除信道——BEC
X A {0,1} Y B {0,1,2}
X a1=0
1 q
p
1 p
Y
b1=0 b3=2
b2=1
0 p 1 p 0 1 q 1
X
Y 0
2
1 0 q
a2=1
q
单符号信道的传递概率用矩阵表示：
b1 b2 bs
a1 P (b1 | a1 ) P (b2 | a1 ) P (bs | a1 ) a 2 P (b1 | a2 ) P (b2 | a2 ) P (bs | a2 ) a r P (b1 | ar ) P (b2 | ar ) P (bs | ar )
r
2、后验熵 —— H ( X | b j ) 当接收到输出符号y＝bj后，输入符号的概 率分布成为 P( x | b j ) ，则关于x 的平均不 确定性为
H ( X | b j ) P (ai | b j ) log P (ai | b j )
r
P ( x | b j ) log P ( x | b j )
(i 1,2, , r ) ( j 1,2, , s )
称传递概率或转移概率
例3.1 二元对称信道——BSC
X A {0,1} Y B {0,1}
P (b1 | a1 ) 1 p p P (b2 | a2 ) 1 p p
X a1=0 a2=1
输入概率 P (ai ) 已知 可求： 信道矩阵 P (b j | ai ) (1) 联合概率 P (ai b j )
P ( x ai , y b j ) P (ai b j ) P (ai ) P (b j | ai )
(2) 输出符号概率
r i 1
P (b j )
r i 1
3.1.2 离散信道的数学模型
X ( X 1 ,, X i ,, X N ), x A {a1 ,, ar } Y (Y1 ,, Yi ,, YN ), y B {b1 ,, bs }
X
信 道
Y
信道统计特性用条件概率表示 P( y | x) P( y | x) 1
y
1、无干扰（无噪）信道
1 y f ( xபைடு நூலகம்) P( y | x) 0 y f ( x )
2、有干扰无记忆信道 无记忆信道：信道任一时刻输出符号只统 计依赖于对应时刻的输入信号，而与非对 应时刻的输入符号及输出符号无关。 有干扰：输出符号与输入符号之间无确定 的对应关系，符合某种概率分布。