通信原理——信源编码技术
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
数字通信原理 2018年10月15日星期一
注意：
Huffman编码构造的码字不唯一； Huffman编码是变长编码，硬件实现
比较困难； 采用Huffman编码，要传送编码表， 占用传送时间； Huffman编码是变长编码，出错时难 以识别；
数字通信原理
2018年10月15日星期一
（2）香农无干扰编码定理 即香农第一编码定理，在不等长编码中， 不是对每个符号单独进行编码，而是对 由J个符号组成的符号组进行编码，平均 码长为：
目 录
第一讲 第二讲 第三讲 第四讲 第五讲 第六讲 第七讲 绪论 信息论基础和信号分析 模拟调制技术 信源编码技术 数字基带传输 数字调制技术 差错控制编码
数字通信原理 2018年10月15日星期一
第四讲 信源编码技术
4.1 4.2 4.3 4.4 4.5 4.6 4.7 术 概述 抽样定理 脉冲振幅调制（PAM） 模拟信号的量化 脉冲编码调制（PCM） DPCM和DM PCM通信系统及多路复用技
Nyquist最大时间间隔： Ts 1
数字通信原理
2 fm
2018年10月15日星期一
Leabharlann Baidu
数字通信原理
2018年10月15日星期一
三个前提条件
信号是严格带限的，频率是在一定的fm以下； 取样是用理想的冲激序列； 采用理想的低通滤波器来恢复原信号，以减少
误差；
否则，将产生三种噪声
折叠噪声，由折叠误差所产生的噪声； 孔径效应，取样不是理想的冲激序列，通过理
H ( x ) p( xi ) log2 p( xi ) log2 L
i 1 L
即：在赋予一定长度的代码时，每个符号的二 进制代码平均长度最短不应小于信源的熵。
数字通信原理 2018年10月15日星期一
1、等长编码 又称为均匀编码，即不管符号出现的 概率如何，每个符号都用N位二进制 代码表示。 则码长为： N log2 L或log2 L 1
说明：通过扩展编码可使编码的平均长度 任意接近信源的熵，从而使编码效率提 高。
数字通信原理 2018年10月15日星期一
1 H ( x) N H ( x) J
4.2 抽样定理
一、抽样 模拟信号数字化的第一步是在时间上 对信号进行离散化处理，即将时间上连续 的信号处理成时间上离散的信号，这一过 程称之为抽样。 每隔一定的时间间隔T，抽取模拟信 号的一个瞬时幅度值，所形成的一串在时 间上离散的样值称为样值序列或样值信号， 或叫脉幅调制信号（PAM信号）。
平均编码效率：
H ( x) N
数字通信原理 2018年10月15日星期一
例2：某一离散无记忆信源DMS由8个字 母组成，每个字母出现的概率分别是 0.25，0.2，0.12，0.10，0.08， 0.05，0.05，求： （1）Huffman编码所产生的8个不等 长码字； （2）每个符号平均二进制编码长度； （3）信源的熵；
N J l og 2 L 取整： N J l og 2 L 1
即： N
N 1 log 2 L J J
也就是说，每个符号所增加的1比特下降 到1/J比特，编码效率增加。
数字通信原理 2018年10月15日星期一
例1：某一DMS有5种信源符号，每种符 号出现的概率为1/5，计算以下固定长 度编码的有效性（效率）。 （1）每个符号分别进行等长二进制编码； （2）每两个符号组合，进行等长二进制 编码； （3）每三个符号组合，进行等长二进制 编码；
数字通信原理 2018年10月15日星期一
2、不等长编码 即将出现概率较大的符号用位数较少的码 字代表，而出现概率较小的符号用较长的码 字代表，也称为概率匹配编码。 （1）哈夫曼编码：单义可译码，平均长度 最短的码种； 平均码长为：
H ( x) N
p( x ) n
i 1 i
L
i
H ( x) 1
数字通信原理 2018年10月15日星期一
二、低通信号的抽样定理——
Nyquist抽样定理（均匀采样定理） 一个带限于（0，fm）Hz内的连续时间信 号f(t)，如果以Ts≤1/2fm秒的时间间隔进 行抽样，则f(t)将由得到的抽样值f(kTt)完 全确定。 Nyquist抽样速率：
f s 2 fm
包括有Huffman编码和等长编码
2、脉冲编码调制和增量编码调制PCM/DM 3、线性预测编码LPC
将信源等效地视为在一个适当输入信号激励下的线性系统 输出。用线性系统的参数及伴随的输入激励信号进行编码。
数字通信原理 2018年10月15日星期一
三、DMS编码
给每个符号赋予一定长度的代码表示。 设：信源的输出来自一个由有限个符号 xi , i 1,2,, L xi ) 组成的集合， p(表示符号出现的概率，则：
编码效率为：
N 即：每位二进制码所代表的信源的信息量。
数字通信原理 2018年10月15日星期一
H ( x )
特点：
当L为2的整数次幂且等概出现时，编码效率为100%； 当符号等概出现，但L不是2的整数次幂时，编码效率 下降，符号平均信息量与码长N之间最多可相差1比特； L较小时，编码效率较低，因此，可以采用扩展编码的 方法，即将连续J个符号进行统一编码，则：
数字通信原理 2018年10月15日星期一
4.1 概述
一、信源编码的主要目的
1、将信号变换为适合于数字通信系统处理和传送的数字信 号形式——A/D转换； 2、提高通信的有效性，尽可能地减少原信息中的冗余度， 使单位时间或单位系统频带上所传的信息量最大——压缩 编码；
二、编码方式 1、离散无记忆信源编码DMS
ni：相应出现概率为p(xi)的符号的编码长度。
数字通信原理 2018年10月15日星期一
哈夫曼编码步骤：
将所有信源符号按概率分布从大到小顺序排列
（对概率相等的概率顺序任意）； 将两个概率最小的信源符号合并成一个信源符 号，形成新的概率集合，按前一步骤重新排列。 如此重复，直至剩下两个概率为止； 分配码字。从后向前反向进行，分配0或1；直 至将所有的符号的哈夫曼编码获得为止。
注意：
Huffman编码构造的码字不唯一； Huffman编码是变长编码，硬件实现
比较困难； 采用Huffman编码，要传送编码表， 占用传送时间； Huffman编码是变长编码，出错时难 以识别；
数字通信原理
2018年10月15日星期一
（2）香农无干扰编码定理 即香农第一编码定理，在不等长编码中， 不是对每个符号单独进行编码，而是对 由J个符号组成的符号组进行编码，平均 码长为：
目 录
第一讲 第二讲 第三讲 第四讲 第五讲 第六讲 第七讲 绪论 信息论基础和信号分析 模拟调制技术 信源编码技术 数字基带传输 数字调制技术 差错控制编码
数字通信原理 2018年10月15日星期一
第四讲 信源编码技术
4.1 4.2 4.3 4.4 4.5 4.6 4.7 术 概述 抽样定理 脉冲振幅调制（PAM） 模拟信号的量化 脉冲编码调制（PCM） DPCM和DM PCM通信系统及多路复用技
Nyquist最大时间间隔： Ts 1
数字通信原理
2 fm
2018年10月15日星期一
Leabharlann Baidu
数字通信原理
2018年10月15日星期一
三个前提条件
信号是严格带限的，频率是在一定的fm以下； 取样是用理想的冲激序列； 采用理想的低通滤波器来恢复原信号，以减少
误差；
否则，将产生三种噪声
折叠噪声，由折叠误差所产生的噪声； 孔径效应，取样不是理想的冲激序列，通过理
H ( x ) p( xi ) log2 p( xi ) log2 L
i 1 L
即：在赋予一定长度的代码时，每个符号的二 进制代码平均长度最短不应小于信源的熵。
数字通信原理 2018年10月15日星期一
1、等长编码 又称为均匀编码，即不管符号出现的 概率如何，每个符号都用N位二进制 代码表示。 则码长为： N log2 L或log2 L 1
说明：通过扩展编码可使编码的平均长度 任意接近信源的熵，从而使编码效率提 高。
数字通信原理 2018年10月15日星期一
1 H ( x) N H ( x) J
4.2 抽样定理
一、抽样 模拟信号数字化的第一步是在时间上 对信号进行离散化处理，即将时间上连续 的信号处理成时间上离散的信号，这一过 程称之为抽样。 每隔一定的时间间隔T，抽取模拟信 号的一个瞬时幅度值，所形成的一串在时 间上离散的样值称为样值序列或样值信号， 或叫脉幅调制信号（PAM信号）。
平均编码效率：
H ( x) N
数字通信原理 2018年10月15日星期一
例2：某一离散无记忆信源DMS由8个字 母组成，每个字母出现的概率分别是 0.25，0.2，0.12，0.10，0.08， 0.05，0.05，求： （1）Huffman编码所产生的8个不等 长码字； （2）每个符号平均二进制编码长度； （3）信源的熵；
N J l og 2 L 取整： N J l og 2 L 1
即： N
N 1 log 2 L J J
也就是说，每个符号所增加的1比特下降 到1/J比特，编码效率增加。
数字通信原理 2018年10月15日星期一
例1：某一DMS有5种信源符号，每种符 号出现的概率为1/5，计算以下固定长 度编码的有效性（效率）。 （1）每个符号分别进行等长二进制编码； （2）每两个符号组合，进行等长二进制 编码； （3）每三个符号组合，进行等长二进制 编码；
数字通信原理 2018年10月15日星期一
2、不等长编码 即将出现概率较大的符号用位数较少的码 字代表，而出现概率较小的符号用较长的码 字代表，也称为概率匹配编码。 （1）哈夫曼编码：单义可译码，平均长度 最短的码种； 平均码长为：
H ( x) N
p( x ) n
i 1 i
L
i
H ( x) 1
数字通信原理 2018年10月15日星期一
二、低通信号的抽样定理——
Nyquist抽样定理（均匀采样定理） 一个带限于（0，fm）Hz内的连续时间信 号f(t)，如果以Ts≤1/2fm秒的时间间隔进 行抽样，则f(t)将由得到的抽样值f(kTt)完 全确定。 Nyquist抽样速率：
f s 2 fm
包括有Huffman编码和等长编码
2、脉冲编码调制和增量编码调制PCM/DM 3、线性预测编码LPC
将信源等效地视为在一个适当输入信号激励下的线性系统 输出。用线性系统的参数及伴随的输入激励信号进行编码。
数字通信原理 2018年10月15日星期一
三、DMS编码
给每个符号赋予一定长度的代码表示。 设：信源的输出来自一个由有限个符号 xi , i 1,2,, L xi ) 组成的集合， p(表示符号出现的概率，则：
编码效率为：
N 即：每位二进制码所代表的信源的信息量。
数字通信原理 2018年10月15日星期一
H ( x )
特点：
当L为2的整数次幂且等概出现时，编码效率为100%； 当符号等概出现，但L不是2的整数次幂时，编码效率 下降，符号平均信息量与码长N之间最多可相差1比特； L较小时，编码效率较低，因此，可以采用扩展编码的 方法，即将连续J个符号进行统一编码，则：
数字通信原理 2018年10月15日星期一
4.1 概述
一、信源编码的主要目的
1、将信号变换为适合于数字通信系统处理和传送的数字信 号形式——A/D转换； 2、提高通信的有效性，尽可能地减少原信息中的冗余度， 使单位时间或单位系统频带上所传的信息量最大——压缩 编码；
二、编码方式 1、离散无记忆信源编码DMS
ni：相应出现概率为p(xi)的符号的编码长度。
数字通信原理 2018年10月15日星期一
哈夫曼编码步骤：
将所有信源符号按概率分布从大到小顺序排列
（对概率相等的概率顺序任意）； 将两个概率最小的信源符号合并成一个信源符 号，形成新的概率集合，按前一步骤重新排列。 如此重复，直至剩下两个概率为止； 分配码字。从后向前反向进行，分配0或1；直 至将所有的符号的哈夫曼编码获得为止。