现代通信理论第三讲 信源编码

四、 信道容量
由于信道中存在着干扰，在这种信道中信息传输的最大值称为
信道容量。在高斯白噪声信道中的信道容量由香农公式给出：
S ) N 香农公式说明，在带宽受限和信噪比受限的信道中，信息传 C B log 2 (1
输的最高速率也将受到限制。 1) 提高信号与噪声功率之比能增加信道容量；
2) 在无干扰的信道（噪声功率为0）中，信道容量为无限大； 3) 增加带宽B并不能使信道容量无限制增大； 4) 当信道容量一定时带宽和信噪比可以互换，即带宽换取功率。
(b) 要求所编出的码字是单义可译码，即任意一个有限长的码字 序列只能唯一地分割成一个码字的码(异字头码)。
对(b)来说，如果所编的码字是异字头码：即所有码字集合中任
何一个码字都不是另一个码字的字头，或者说任何一个码字都 不是由另一个码字加上几个码位所构成，称为异字头码，它能 保证译码的唯一性。
霍夫曼编码举例：
x1 x2 x3 x4 x5 x6 x7
1
1
1 1 1 0 110 0 1
L 2.21
树图构成
1
111
100
1110
第三部分 模拟信号的数字传输
一、模拟信号的采样--采样定理 1. 低通信号的采样定理：
一个频带限制在（0，f m）内的时间连续信号，如果对它 以
f s 2 fm
则该信号将被所得到的抽样值完全地确定。
M M f s 2( f H f L )1 2 B1 N N
二、模拟信号的量化
原因：经过采样的信号仍然是模拟信号，它的取值仍有无穷多 个，因此还必须对其取值进行量化；
方法：利用预先规定的有限个电平来表示模拟的抽样值； 抽样是把一个时间连续信号变换成时间离散的信号，而量化则 是将取值连续的抽样变成取值离散的抽样。
电视电话：9.6～64k
一、 波形编码：DPCM及ADPCM
提出：语音或图像信号波形具有相关性，经过取样后的几个样
值仍有相关性，其中相关部分是可以预测的，它由过去的一些 样值经过加权后得到，称为预测值，非相关部分是不可预测的， 这时实际传送信号是样值与预测值之差值，因此只要对预测误
差进行量化编码就可以大大地压缩编码速率（差值信号动态范 围大大的减小），这就是DPCM的原理。
PCM系统组成
13折线的编码的实现 码型的选择：自然二进码、折叠二进码 码长的选择 可懂度: 清晰度: 3~4位非线性编码 7~8位非线性编码
第四部分 信源压缩编码
语音PCM编码的速率为：f 8k 8bit 64kb / s b 图像PCM编码，若采用8位编码（1个亮度信号，2个色差信号2个）
Ax y 1 ln A 1 Ax y 1 ln A
ln 1 x 0 x 1 ln 1
0 x 1 A
北美、日本标准 中国、欧洲标准
1 x 1 A
用13折 线逼近 A 律压 缩曲线
各折线段 的斜率：
段落起始电平
段落 1 2 16 3 32 4 64 5 128 6 256 7 512 8 1024
，而等长编码需要3bit
方 x 1 法 2 x2 x3 x4 x5 x6 x7
0
0.35 0.30 0.20 0.10 0.04 0.005 0.005
1 0 0 1 101 0
0.01
0
0
0 0 0
0.05 0.15 0.35 0.65
1
1
0 10 110 1110 11110 111110 111111
连续消息源的最大熵的条件取决于信息源输出值上所受到的限制 均方值受限时最佳概率分布为正态分布，最大熵为:
H max ( x) log 2 2e
H max ( x) log 2 2 A (bit )
(bit )
峰值受限时最佳概率分布为均匀分布，最大熵为:
结论: 将连续信源的概率密度函数变换为最佳概率分布以得到 最大熵，同样是信源编码所要解决的题。
方法1: x1
0
x2 x3 x4
0.35 0.30 0.20 0.10
0 0
0
0.65
1 0
0
0.35 0.15 0.05
00 01 10 110 1110
x1 x2 x3 x4 x5
1
x5 0.04 x6 0.005 x7 0.005
平均码长为
1
0.01
1
1 1
11110 x6 11111 x7
L 2.21
f b 8bit 13.5M 8bit 6.75M 2 216Mb / s
三种方法： 1. 波形编码 2. 参数编码
3. 变换域编码
每路电话可以压缩到2.4k～4.8k，仍可保证长途质量 HDTV： 15～25Mbps， 会议电视：128k～2048k，
常规电视：1.5～12M，
N
符号的出现趋于等概，从而以最小的符号数传递最大的信息量.
三、连续信源的信息度量
把连续消息看成离散消息的极限情况，若连续消息在每个抽 样点上的取值是一个连续的随即变量，其一维概率密度函数 为 p (x)。定义连续消息的平均信息量：

H ( x) p( x) log p( x)dx
P( x ) 1
i 1 i
N
[4]. 若信源输出符号是统计独立的，离散无记忆信源； 若信源输出符号之间有关联性，离散有记忆信源;
二、 离散信息的对数度量
1. 信息量
对接收者来说，事件愈不可能，愈使人感到意外，则信息量愈大
定义 I=㏒a[1/P(x)]=－㏒aP(x) 当 a=2 时， 单位为bit（比特） 二进制信号，若0、1等概出现，每个符号所携带的信息量为1bit M进制信号，如每个符号等概出现，每个符号所携带的信息量为
数字信道
Sr(k)
预测器
编码器
Sr(k)
预测器
解码器
H(Z) S(Z) + _
+ +
d(Z)
log 2 M bit
2. 离散信源平均信息量(熵) 若信源的各个符号是统计独立的，则： N H ( x) P( xi ) log 2 P( xi )
i 1
3. 条件平均信息量 若信源输出的符号具有一定关联性，则：
H ( x j / xi ) P( xi , x j ) log P( x j / xx )
ADPCM是DPCM基础上发展起来的，主要是改进量化器
和预测器，均采用自适应方式，即量化器和预测器的参数能根 据输入信号的统计特性自适应于最佳或接近于最佳参数状态。
DPCM系统框图
S(k) + d(k) _ Se(k)
量化器
dq(k)
+
+
dq(k) + 编码 解码 + I(k) I’(k) DPCM码流 Se(k)
i 1 j 1
N
N
结论:
[1].符号间统计独立的熵大于统计相关时的熵； [2].当离散信源中每个符号等概出现，且各符号的出现统计 独立时，该信源的平均信息量最大：
1 1 H max ( x) log log N N i 1 N
[3].信源编码的任务就是减少或消除符号间的关联性，并使各
数据能够压缩的可能性在于：
1.原始数据中存在着大量的冗余信息(时间、空间和统计冗余）
时间冗余：在一般的情况下，声音的幅度是逐渐变化的，因而
对声音波形采样后，相邻样值之间存在着很强的相关性，同样对 每秒显示25幅图像的视频信号，前后相邻的图像之间一般也有很 强的相关性，既表现为时间上的冗余。
空间冗余: 图像的相邻像素之间也存在着相关性，相关的像素所 携带的信息中存在着冗余，这通常称之为空间冗余。 统计冗余：当信号中的时间和空间冗余信息完全去除后，由信息论 可知只要这些离散幅值出现的概率不相等，就还有冗余（称为统计
起始 0 电平 量化 1 间隔
1
2
4
8
16
32
64
用15折 线逼近 μ律压 缩曲线
三、脉冲编码调制(PCM) 系统组成
将模拟信号的抽样值量化并转化成相应的代码的过程。就完 成了模拟信号到数字信号的转换，这种对模拟信号进行抽样、量 化、编码的调制方式称为脉冲编码调制(PCM)。.
抽 样 量 化 编 码 译 码 低 通
第二部分 熵编码
熵编码旨在去除信源的统计冗余信息，霍夫曼编码是最常见
的熵编码方法。霍夫曼码的基本思想是：对出现概率较大的符 号(电平)取较短的码，而对出现概率较小的符号取较长的码， 因此它是一种变长码。
例如：
电平出现概率
电平 出现概率 等长码 霍夫曼码
S1
S2
S3
S4
1/2 00 0
1/4 01 10
1 ，或 Ts 2 fm
等间隔进行采样，
抽样的时域和频域描述
时
域
频 域
2. 带通型信号的抽样定理： • 若模拟信号m (t)是带通信号，频率限制在f L和f H之间，
带宽B= f H –f L,则:
M [ f H / f H f L ] N， 0 M 1 N为不超过f H / f H f L的最大整数
1.均匀量化
a: 信号最小值， 量化电平 b : 最大值， M：量化级数 抽样值 量化间隔
ba A M 量化性能：
量化误差(量化噪声)＝ 抽样值－量化电平值
eq f (kTs ) f q (kTs )
A 最大量化误差 2
量化信噪比
E f q2 kTs S0 N q E f kTs f q kTs 2
现代通信理论
第 三讲 信 源 编 码
概述： 编码理论包括3个方面的内容：
• 提高数字信息传输、存储处理的有效性为宗旨的信源编码，即用尽 可能最少的信息比特来表示信源。 • 保证数字信号传输和处理的可靠性为目的的差错控制编码—信道编 码，通过在待传信息中加入冗余比特来达到差错控制的目的。 • 增加数字信息传输、存储处理的为目标 数字加密编码。 通信的目的就是把信源产生的信息送到目的地，信源有声音、音 乐、视频。将信源输出转换为数字形式的过程称为信源编码。利用信 源的统计特性解除信源的相关性，去掉信源多余的冗余信息，可以达 到压缩信源信息速率（在保证一定声音或图象质量）的条件下，以最 小的数据率来表达和传送声音（或图象）数据。 信源编码的两个主要过程为： 模数转换（A/D）和信源的压缩编码




不足：均匀量化时大小信号的量化信噪比不同，因此影响了 满足信噪比要求的输入信号取值范围（动态范围）
2.非均匀量化： 利用压扩技术来实现非均匀量化
利用非线性函数先对抽样值进行压缩，然后再进行均匀量化， 相当于对输入信号进行了非均匀量化，收端经过相反的过程－扩 张，恢复信号的。
μ律压缩
y
A律压缩
平均码长：L pi Li
l 1
n
平均信息量：H ( x) p( xi ) log2 p( xi ) log2 L
i 1
L
H 编码效率： L
霍夫曼Байду номын сангаас码(熵编码)：
它是基于信源符号概率的非等长编码方法。 要求：
(a) 把信源中出现概率大的消息符号编成短码，反之编成长码。
1/8 10 110
1/8 11 111
原信源输出的序列： S1
S2
S1
S3
S2
S1
S1
S4
等长编码序列： 00 01 00 10 01 00 00 霍夫曼编码序列： 0 10 0 110 10 0 0 等长编码需要16bit，而霍夫曼码只要14bit
11 111
①等长编码： 把信源输出的符号编成码元数目相等的码字; ②非定长编码：把信源输出的符号编成码元数目不相等的码字。 首先是无失真的，其次要使编成的码字的平均码元数(码长)最 短(最佳非定长编码)。
第一部分 信源的数学模型与信息度量
信源产生的输出都是随机的，因此需要用统计方法去定性描述
一、 离散信源的统计特性
[1]. 信源的输出是随机的； [2]. 离散信源是由有限个字符集组成的序列； [3]. 每个字符得出现都有一定概率：
x , x2 , .........xN 1 且 P( x ), P( x ),.....P( x ) 1 2 N
冗余）因而就存在着压缩的可能性。
2.掩盖效应
视频和音频的最终接收者是人，人视觉和听觉器官都有某种不敏 感性，对图象或声音的影响很小，在有些情况下甚至可以忽略不 计， 即： 掩盖效应。
时间遮盖效应: 在场景突然变化的瞬间，对新景物的分辨率很低 另外人可听到的声音频率有一定的范围，人眼对过高或过低空 间频率的亮度变化不能察觉。 空间掩盖效应: 人眼所能观察到的亮度和色彩变化也有一定的限 度，对亮度细节的分辨率比对色彩的高，在细节丰富的区域内不 容易察觉噪声。