信息论与编码

于串扰、回声等干扰因素所导致）。
2018/6/1 连续信道容量 12
3.4 连续信道及其容量
(2) 当输入信号功率PS一定，增加信道带宽，可以增加容量
PS WN 0 PS PS C lim Ct lim log(1 ) lim log(1 x) x W W N W N PS N 0W 0 0 PS PS x lim ln(1 x) bit / 秒 W N ln 2 N 0 ln 2 0
• 上式说明提高无损信道信息传输率就等于减少信源的 剩余度。 • 对于无损信道，可以通过信源编码、减少信源的剩余
度，使信息传输率达到信道容量。
2018/6/1
连续信道容量
21
3.5 信源与信道的匹配
因此引入问题：在一般通信系统中，如何将信源发出的消
息(符号)转换成适合信道传输的符号(信号)从而达到信源
输入 x2
输出 y2=x2+n2
噪声 nN 输入 xN 输出 yN=xN+nN
限带高斯白噪声加性信道变换成N(=2WT)个独立的并联高斯加性信道 (2)
2018/6/1 连续信道容量 6
3.4 连续信道及其容量
有：
Psi 1 N I ( X ; Y ) I ( X i ; Yi ) log(1 ) 2 i 1 Pni i 1
Ps WT log(1 ) N 0W
要达到这个信道容量则要求输入N 维随机序列 X 中每一分量Xi 都是 均值为零，方差为 Ps，彼此统计独立的高斯变量。由信号分析知道， 高斯变量之间线性无关或相关系数为零，就能保证彼此统计独立。 否则传送的信息将低于信道容量，信道得不到充分利用。
2018/6/1 连续信道容量 8
根据香农公式：
2018/6/1
连续信道容量
17
[例2]某通信系统采用调制指数 β=5的调幅方式发送时，接收 端信噪比为 20dB ；如果信道不变，采用单边带调制，理论 上接收端信噪比应为多少分贝才能使通信质量保持不变？ 解：用脚标1表示调频，脚标2表示调幅。应有： B1log2(1+S1/N1)= B2log2(1+S2/N2) 换底： B1lg(1+S1/N1)= B2lg (1+S2/N2) 在信噪比大大大于1时：B1lg(S1/N1)= B2lg (S2/N2) 现在 所以 即：
由香农公式得到的几个重要结论：
(1) 提高信噪比能增加信道的信道容量。
带宽W一定时，信噪比SNR与信道容量Ct成对数关系
Ct
SNR
信道容量与信噪比的关系
2018/6/1 连续信道容量 11
3.4 连续信道及其容量
例：电话信道。一般电话信号的带宽为3300Hz。若信道信
噪比为 20dB，求信道的信道容量。
③
香农公式对实际通信系统有着十分重要的指导意义。它 给出了达到无错误通信的传输速率的理论极限值，称为
香农极限。香农公式的另外一种描述形式是：
Ct Ps log(1 ) W N0W
2018/6/1
(bit / s / Hz )
16
连续信道容量
3.4 连续信道及其容量
[ 例 1] 某图片含 2.25×106 个像素，采用 12 级量化电平传输。 假定各电平等概出现，信道中信噪比为30dB，若要求3分钟 完成传输，需要多大的带宽？ 解：传信率： 信噪比： 10 lg(Px/Pn)=30dB；即Px/Pn =103
N
Psi 1 N I ( X ; Y ) log(1 ) 则： C max p( x) 2 i 1 Pni
(比特 / N个自由度)
2 ni
N0 现在高斯白噪声的每个分量均值为0，方差为 Pni 2
每个信号样本值的平均功率为
PT PT Ps s s N 2WT 2W
与信道的匹配。
注：信道容量C和输入信号的概率分布无关，它只是信
道传输概率的函数，只与信道的统计特性有关。
•符号匹配：将信源符号变为信道能传输的符号
•信息匹配：变换后的符号分布概率能使信息传输率接近信 道容量
2018/6/1 连续信道容量 22
3.5 信源与信道的匹配
例如，某离散无记忆信源
x2 x3 x4 x5 x6 X x1 P( X ) 1/ 2 1/ 4 1/ 8 1/16记忆的，即信道为多维无记忆高斯加
性信道。因此信道可等效成N个独立的并联高斯加
性信道。
2018/6/1
连续信道容量
4
3.4 连续信道及其容量
噪声{n(t)} 输入信号 {x(t)} 输出信号{y(t)} = {x(t)}+ {n(t)}
信道
取样
噪声序列 {n1, n2, .. nN} 输入信号序列 {x1, x2, .. xN}
信道容量为：
1 Ct max lim I (X; Y) bit s p ( x ) t B t B
连续信道容量 9
2018/6/1
3.4 连续信道及其容量
香农公式：限带高斯白噪声加性 (AWGN, Additive
White Gaussian Noise ) 信道单位时间的信道容量：
p(n) p(n1n2 ..nN ) p(ni )
i 1
N

i 1
2018/6/1
N
1
2 2 n i
e
2 ni2 / 2 n i
连续信道容量
3
3.4 连续信道及其容量
对加性信道，若上式成立，可以推出：
p( y / x) p(n) p(ni )
i 1 N
p( yi / xi )
第七讲
香农公式 信源与信道的匹配 失真函数
3.4 连续信道及其容量
3 限时限频限功率加性高斯白噪声信道
高斯白噪声加性波形信道是常用的一种波形信道，其输入 和输出信号是随机过程{x(t)}和{y(t)}，而加入信道的噪声是 加性高斯白噪声{n(t)}（其均值为零，功率谱密度为 N0/2）， 输出信号满足{y(t)}={x(t)}+{n(t)}。此信道又称为可加波形 信道。 设信道的带宽为W（即 | f | W），此时信道的输入、输出 信号和噪声都是限频的随机过程。由取样定理，可把一个 时间连续的信道变换成时间离散的多维连续信道来处理。 由于是加性信道，所以多维连续信道也满足：
2018/6/1
B1=2(β+1)Bm = 2(β+1) B2 =12 B2 lg (S2/N2)=12 lg(S1/N1) (S2/N2)dB= 12 (S1/N1)dB =240dB
连续信道容量 18
3.5 信源与信道的匹配
在一般情况下，当信源与信道相连接时，其信息传 输率并未达到最大。我们总希望能使信息传输率越大越 好，能达到或尽可能接近于信道容量，由前面的分析可
通过一个无噪无损二元离散信道进行传输。 对二元离散信道的信道容量为：C＝1(比特／信道符号)
对本信源的信息熵为: H(X)＝1.937(比特／信源符号)
要使信源在此二元信道中传输，必须对X进行二元编码：
2018/6/1
连续信道容量
23
3.5 信源与信道的匹配
C1 C2 x1 x2 x3 x4 x5 x6 000 001 010 011 100 101 0000 0001 0010 0011 0100 0101
3.4 连续信道及其容量
波形信道的平均互信息为
I [ x(t ); y (t )] lim I (X; Y)
L L L L
lim[ H C (X) H C (X Y)] lim[ H C (Y) H C (Y X)] lim[ H C (X) H C (Y) H C (XY)]
R1 H (X ) 0.646 (比特／信道符号) 3
对于码 C1 对于码 C2
H(X ) R2 0.484 (比特／信道符号) 4
R2<R1<C,信道有剩余 因此，必须通过合适的信源编码，使信道的信息传输率 接近或等于信道容量。
2018/6/1 连续信道容量 24
本章小结
信道容量的定义 对称DMC信道 准对称DMC信道
令： C

1
1
1bit s
则
Ps N0 ln 2 1.6dB
即当带宽不受限制时，传送1比特信息，信噪比最低只 需－1.6dB （香农限）
2018/6/1 连续信道容量 13
3.4 连续信道及其容量
(3) Ct一定时，带宽W增大，信噪比SNR可降低，即两者
是可以互换的
Ct/W (bit/s/Hz) 不可实现区域
Ps C Ct lim W log(1 ) T T N0W
(比特 / 秒)
式中，Ps 是信号的平均功率，N0W 是高斯白噪声在带
宽W内的平均功率（其功率谱密度为 N0/2），Ps /N0W
为信噪功率比。信道容量与信噪功率比和带宽有关。
2018/6/1
连续信道容量
10
3.4 连续信道及其容量
信道
输出信号序列 {y1, y2, .. yN} ={x1, x2, .. xN}+{n1, n2, .. nN}
限带高斯白噪声加性信道变换成N(=2WT)个独立的并联高斯加性信道 (1)
2018/6/1 连续信道容量 5
3.4 连续信道及其容量
噪声 n1 输入 x1 噪声 n2 输出 y1=x1+n1
知，信息传输率接近于信道容量只有在信源取最佳分布
时才能实现。 由此可见，当信道确定后，信道的信息传输率与信源 分布是密切相关的。当达到信道容量时，我们称信源与 信道达到匹配，否则认为信道有剩余。