第三章信道容量——信息论与编码

传送的信息量，
1 Rt t I ( X ;Y )
13
信道容量
I (X ;Y )
源自文库
n i 1
m
p(aibj ) log
j 1
p(bj ai ) p(bj )
n m
p(ai ) p(bj ai ) log n
p(bj ai )
i1 j1
p(bj ) p(bj ai )
i 1
I(X;Y)是p(ai)和p(bj/ai)的二元函数。当信道特性 p(bj/ai)固定后，I(X;Y)随信源概率分布p(ai)变化。
25
信道容量
n
H (Y / X ) p(ai )Hni Hni i
I ( X ;Y ) H (Y ) Hni
C max H (Y ) Hni p ( ai )
？输入符号的概率如何分布，才能使得H（Y）
达到最大？？
26
信道容量
C max I ( X ;Y ) p(ai )
max[H (Y ) H (Y / X )] p(ai )
信道的分类
半离散信 道
离散 信道
4
信道的分类
信道的分类
单符号 信道
多符号 信道
5
信道的分类
信道的分类
单用户信 道
多用户信 道
6
信道的分类
信道的分类
有干扰信 道
无干扰信 道
7
信道的分类
信道的分类
有记忆信 道
无记忆信 道
8
3.2 单符号离散信道的信道容量
信道的输入和输出都取值于离散集合，且 都用一个随机变量来表示的信道就是单符 号离散信道。
9
信道容量的定义
X
a1,
a2
,a n
Y
b1 ,
b2
,bm
x
p(bi/ai)
Y
i=1,2,…n
p(bi/ai）－信道的转移概率/信道传递概率
10
离散无记忆信道 (DMC)
11
9
信道转移概率矩阵：
转移概率矩阵
转移概率矩阵的每一行元素之和为1 对任意 j ∈ {0, 1, …, m } ，由全概率公式 有:
X、Y一一对应,此时H(X/Y)=0，H(Y/X)=0，
C＝maxI(X;Y)＝log n (p(ai)=1/n即等概) p(ai) 18
2、具有扩展功能的无噪信道
a1
p
b1
0
a1
0
p b2 a1 0 0
b1 b2 b3
p b3 a1 0 0
0
p b4 a2 0
a2
a3
0
p b5 a2 0
20
3、具有归并性的无噪信道
a1
b1
1
0
0
1
0
0
a2 a3
0
1
0
b2
0
1
0
0
0
1
a4
多个输入变成一个输出
a5
b3
H(X/Y) ≠ 0，H(Y/X) = 0
C = max H(Y) = log m p(ai) =？？
p(ai)
21
结论
无噪信道的信道容量只取决于信道的输入 符号数n或输出符号数m，与信源无关。 是表征信道特性的一个参量。
24
j
特点及信道容量
n
Hni＝ p(bj / ai ) log p(bj / ai )
j
固定X＝ai，对Y求和，即选定某一行，对各元素 自信息量加权求和。
Hni (1 p) log(1 p) ( p log p )(n 1) n 1 n 1
ai不同时，只是求和顺序不同，结果完全一样， 所以Hni与X无关，是常数。
12
信道的信息传输率
信源熵为H(X)，由于干扰的存在，一般只接 收到I(X;Y)。平均互信息 I (X ;Y) ：接收到 Y 后平均每个符号获得的关于 X 的信息量。
定义:平均每个符号能传送的消息总量为信道 的信息传输速率（信息率），R，
R=I(X;Y)
若平均传送一个符号为t秒，则信道每秒钟平均
第3章 信道容量
第3章：信道容量
信道的主要任务：以信号的形式传输和存储信 息。
问题：在什么条件下，通过信道的信息量最大， 即信道容量的问题。
2
3.1 信道的数学模型和分类
信道的数学模型： {X P(Y/X) Y}
x
P(Y/X)
Y
输入与输出之间一般不是确定的函数关系， 而是统计依赖的。
3
信道的分类
14
信道容量
I(X;Y)是p(ai)的上凸函数，总能找到一个p(ai) 使得信息率最大。
信道容量：信道中最大的传输速率，C，
C max R max I (X ;Y )
p ( ai )
p ( ai )
单位：比特/信道符号
单位时间的信道容量，比特/秒
C max R 1 max I (X ;Y )
X
a1,
a2
,a n
Y
b1 ,
b2
,bn
a1
b1
a2
b2
……
an
bn
100......0
010......0
......
000......1
17
一一对应的无噪信道
a1
b1
a2
b2
……
an-1
bn-1
an
bn
000......01
000......10
......
010......00
100......00
22
二、强对称(均匀)离散信道的信道容量
X
a1,
a2
,a n
1 p
p
n 1
p n 1 1 p
......
p
p
n 1 n 1
p：总体错误概率
Y b1,b2 ,bm
...... ......
p n p1
n 1
......
p
n 1 1 p n X n
23
特点及信道容量
每行、每列都是同一集合各元素的不同排列
1
p,
n
p, 1
n
p ,... 1
n
p 1
I (X ;Y ) H (Y ) H (Y X )
nn
H (Y / X )
p(ai ) p(bj / ai ) log p(bj / ai )
ij
n
p(ai )Hni i
n
其中 Hni＝ p(bj / ai ) log p(bj / ai )
0
p b6 a2 0
b4
b5
b6 b7
b8
0
0
p b7 a3
0
0
p
b8 a3
19
2、具有扩展功能的无噪信道
一个输入对应多个输出
此时，H(X/Y)=0，H(Y/X) 0，
且 H(X) <H(Y)。
所以，C = max H(X) = log n (p(ai)=1/n即等概) p(ai)
max[H (Y ) Hni] p(ai )
log n Hni
相应的
p(ai )
1 n
27
结论：
当输入等概率分布时，强对称离散信道能够传 输最大的平均信息量，达到信道容量。
p ( ai )
t p(ai)
15
信道容量
C max I (X ;Y ) p(ai ) max H (X ) H (X Y ) p(ai ) max H (Y ) H (Y X ) p(ai )
1
Ct
t
max
p(ai )
I ( X ;Y )
16
几种特殊离散信道的容量
一、离散无噪信道
1、一一对应的无噪信道