第三章信源编码
合集下载
信息论、编码与密码学课后习题答案
《信息论、编码与密码学》课后习题答案
第1章 信源编码
1.1考虑一个信源概率为{0.30，0.25，0.20，0.15，0.10}的DMS。求信源熵H（X）。
解： 信源熵
H(X)=-[0.30*(-1.737)+0.25*(-2)+0.2*(-2.322)+0.15*(-2.737)+0.1*(-3.322)]
10100+11110=01010 10100+00111=10011
10100+01101=11001
11110+00111=11001 11110+01101=10011
00111+01101=01010
满足第一条性质
2、全零码字总是一个码字
{00000，01010，10011，11001，10100，11110，00111，01101}
(1)给出此信源的霍夫曼码并确定编码效率。
(2)每次考虑两个符号时，给出此信源的霍夫曼码并确定编码效率。
(3)每次考虑三个符号时，给出此信பைடு நூலகம்的霍夫曼码并确定编码效率。
解：
(1)本题的霍夫曼编码如下图所示：
图1.11 霍夫曼编码
则霍夫曼码如下表：
符号
概率
码字
x1
0.5
1
x2
0.4
00
x3
0.1
01
该信源的熵为：
（2）全零字总是一个码字，
（3）两个码字之间的最小距离等于任何非零码字的最小重量，即
设 ，即 ， ， ， ，
首先证明条件（1）：
， ， ， ， ， ，
很明显，条件（1）是满足的。条件（2）也是显然成立的。
第1章 信源编码
1.1考虑一个信源概率为{0.30，0.25，0.20，0.15，0.10}的DMS。求信源熵H（X）。
解： 信源熵
H(X)=-[0.30*(-1.737)+0.25*(-2)+0.2*(-2.322)+0.15*(-2.737)+0.1*(-3.322)]
10100+11110=01010 10100+00111=10011
10100+01101=11001
11110+00111=11001 11110+01101=10011
00111+01101=01010
满足第一条性质
2、全零码字总是一个码字
{00000，01010，10011，11001，10100，11110，00111，01101}
(1)给出此信源的霍夫曼码并确定编码效率。
(2)每次考虑两个符号时，给出此信源的霍夫曼码并确定编码效率。
(3)每次考虑三个符号时，给出此信பைடு நூலகம்的霍夫曼码并确定编码效率。
解：
(1)本题的霍夫曼编码如下图所示：
图1.11 霍夫曼编码
则霍夫曼码如下表：
符号
概率
码字
x1
0.5
1
x2
0.4
00
x3
0.1
01
该信源的熵为：
（2）全零字总是一个码字，
（3）两个码字之间的最小距离等于任何非零码字的最小重量，即
设 ，即 ， ， ， ，
首先证明条件（1）：
， ， ， ， ， ，
很明显，条件（1）是满足的。条件（2）也是显然成立的。
信源编码_3
X：信源
x ：信号单元、消息、信源符号
W：代码、码组或码书
w：码字
A：构成码字的符号集
a ：码元、符号、字符
X = {x1 , x2 , ..., xn }
信源符号集
编编码码器器
W = {w1 , w2 , ..., wn }
码字
A = {a1 , a 2 , ..., a m }
码符号集
Coding Theory 3-5
② X~W对应关系：顺序的一一对应关系：
R2 = {( x1, w1 )( x2, w2 ),( x3, w3 ),( x4, w4 )}
定长码 变长码 信源符号 码1 码2
x1
00 0
x2
01 01
x3
10 001
x4
11 111
Coding Theory 3-8
编码分类
非奇异码：所有信源符号映射到不同的码字
冗余度越低，信源输出信号携带信息的有效性越高，反之越低
0 ≤ Hn ( X ) ≤ Hn−1( X ) ≤ K ≤ H1( X ) ≤ H0 ( X ) = log m < ∞
Coding Theory 3-2
信源编码
3、信源输出信息的有效表示：如何用适当的码 符号有效表示信源输出的信息
无失真信源编码：可完整地恢复原信源符号 有失真信源编码：引入量化，按一定的失真度恢复源 符号序列，同时保留尽可能多的信息量
10
111
111 0111 111
11
Coding Theory 3-12
分组码
1、非奇异码：码中所有码字各不相同
码A是奇异码，有两个码字相同，所以信源符号与码字不是一 一对应的，一定不是唯一可译码（虽然有最小码长）
第三章 数据压缩和信源编码
终端节（结）点上就可以得到即时码。
10:20
30
码 树
每个中间节点都正好有r 个分枝的树称为整树(满树)。
所有终端节点的阶数都相等的树为完全树。
10:20
31
码 树
• 码树
– 表示各码字的构成
0 0 0 0 1 0 10 1 0 1 0 1 0
树根—码字的起点 分成r个树枝—码的进制数
1 0 0 1 1 0 0 1 2 0
§3.1 §3.2 §3.3 §3.4
等长码 变长编码 哈夫曼码 香农码和费诺玛
10:20
1
数据压缩和信源编码
为了实现高质量、高效率的通信，引入了信 源编码和信道编码。信源编码和信道编码主要需 要解决以下两个问题。
提高传输效率
增强通信的可靠性
10:20 2
编码、信源编码、信道编码
• 编码：将一定的符号，数字或字母按一定的要求编 成不同的序列，表示出一定的意义称为编码。 • 编码分为信源编码和信道编码，其中信源编码又 分为无失真信源编码和限失真信源编码。 无失真信源编码：适用于离散信源或数字信号。 限失真信源编码：主要用于连续信源或模拟信号， 如语音、图像等信号的数字处理。
10:20 7
信源编码
编码定理证明： （1）必存在一种编码方法，使代码的平均长度可 任意接近但不能低于符号熵 （2）达到这目标的途径，就是使概率与码长匹配。 说明： （1）无失真编码或可逆编码只适用于离散信源。 （2）对于连续信源，编成代码后就无法无失真地 恢复原来的连续值，因为后者的取值可有无限多 个。此时只能根据限失真编码定理进行限失真编 码 。
12
信源编码的分类
• 冗余度压缩编码: 是可逆压缩，经编译码后可以无失真地恢复。 基本途径：压缩信源的冗余度，即 1) 去除码符号间的相关性； 2) 使码符号等概分布。
信源编码与信道编码课件
熵编码的原理基于信息论中的熵概念，即数据中包含的信息量大小。通过计算数据 的熵值，可以确定数据的冗余程度，从而选择合适的编码方式进行压缩。
常见的熵编码算法包括哈夫曼编码和算术编码等。
算术编码原理
算术编码是一种基于概率的压缩方法，它将输入数据映射到一个实数范 围内，通过降低该实数范围来达到压缩数据的目的。
信道编码
广泛应用于通信和数据传输领域，如移动通信、卫星通信、光纤通信等。
性能指标的对比
信源编码
压缩比、解码时间、重建数据的失真程度等是其主要性能指标。
信道编码
误码率、抗干扰能力、频谱效率等是其主要性能指标。
06
信源与信道编码的未来发展
信编码的未来发展
视频编码
随着超高清视频和虚拟现实技术的普及，信源编码将更加注重视 频压缩效率，以适应更高的分辨率和帧率。
目的
提高信息传输效率和存储 空间利用率。
方法
通过去除冗余信息、减少 表示信息的比特数等方式 实现。
信源编码的分类
无损压缩
能够完全恢复原始数据的压缩方 法。
有损压缩
无法完全恢复原始数据的压缩方 法，一般用于图像、音频和视频 等多媒体数据的压缩。
信源编码的应用场景
文件压缩
用于减小文件大小，便 于存储和传输。
视频会议
对视频和音频信号进行 压缩，以减小传输带宽
和存储空间。
数字电视
对图像和声音信号进行 压缩，以减小传输带宽
和存储空间。
无线通信
对语音和数据信号进行 压缩，以减小传输带宽
和存储空间。
02
信源编码原理
熵编码原理
熵编码是一种无损数据压缩方法，它利用了数据中存在的冗余和概率分布特性，通 过编码技术去除冗余，达到压缩数据的目的。
常见的熵编码算法包括哈夫曼编码和算术编码等。
算术编码原理
算术编码是一种基于概率的压缩方法，它将输入数据映射到一个实数范 围内，通过降低该实数范围来达到压缩数据的目的。
信道编码
广泛应用于通信和数据传输领域，如移动通信、卫星通信、光纤通信等。
性能指标的对比
信源编码
压缩比、解码时间、重建数据的失真程度等是其主要性能指标。
信道编码
误码率、抗干扰能力、频谱效率等是其主要性能指标。
06
信源与信道编码的未来发展
信编码的未来发展
视频编码
随着超高清视频和虚拟现实技术的普及，信源编码将更加注重视 频压缩效率，以适应更高的分辨率和帧率。
目的
提高信息传输效率和存储 空间利用率。
方法
通过去除冗余信息、减少 表示信息的比特数等方式 实现。
信源编码的分类
无损压缩
能够完全恢复原始数据的压缩方 法。
有损压缩
无法完全恢复原始数据的压缩方 法，一般用于图像、音频和视频 等多媒体数据的压缩。
信源编码的应用场景
文件压缩
用于减小文件大小，便 于存储和传输。
视频会议
对视频和音频信号进行 压缩，以减小传输带宽
和存储空间。
数字电视
对图像和声音信号进行 压缩，以减小传输带宽
和存储空间。
无线通信
对语音和数据信号进行 压缩，以减小传输带宽
和存储空间。
02
信源编码原理
熵编码原理
熵编码是一种无损数据压缩方法，它利用了数据中存在的冗余和概率分布特性，通 过编码技术去除冗余，达到压缩数据的目的。
通信原理课件第3讲 信源编码：信息论部分
H ( X , Y ) H ( X ) H (Y | X ) H (Y ) H ( X | Y ) H(X ) H(X |Y) H (Y ) H (Y | X )
j 1
信源冗余度：
假设某个信源X可以输出L个符号X1、X2…XL，这L个符号之间存 在记忆，即相互关联，则信源熵可表示为：
在已知一个符号的前提下， 另一个符号所产生的信息熵 联合熵与条件熵的计算：
H (Y ) E{I [ P( y j )]} E[ log P( y j )] P( y j ) log P( y j )
m
两个符号先后到达，这时两个符号 一个符号在没有任何前兆时 n m H ( X | Y ) 两个符号共同产生的信息熵 E{I [ P( xi | y j )]} E[ log P( xi | y j )] P( xi y j ) log P( xi | y j ) 所带来的信息熵 = 带来的信息量肯定大于等于 某个符号带来的 i 1 j 1 n m 在已知这个符号的前提下 有前兆时所带来的信息量。 H (Y | X ) E{I [ P( y j | 信息熵 xi )]} E[+ log P( y j | xi )] P( xi y j ) log P( y j | xi ) i 1 j 1 另一个符号所带来的信息熵 若两个符号相互独立，则等 n m H ( X , Y ) E{I [ P( xi y j )]} E[ log P( xi y j )] P( xi y j ) log P( xi y j ) 号成立，否则大于号成立 i 1 j 1 这三者之间的关系：
x x1
P( x) P( x1
xl
xL
P( xL | xL1
j 1
信源冗余度：
假设某个信源X可以输出L个符号X1、X2…XL，这L个符号之间存 在记忆，即相互关联，则信源熵可表示为：
在已知一个符号的前提下， 另一个符号所产生的信息熵 联合熵与条件熵的计算：
H (Y ) E{I [ P( y j )]} E[ log P( y j )] P( y j ) log P( y j )
m
两个符号先后到达，这时两个符号 一个符号在没有任何前兆时 n m H ( X | Y ) 两个符号共同产生的信息熵 E{I [ P( xi | y j )]} E[ log P( xi | y j )] P( xi y j ) log P( xi | y j ) 所带来的信息熵 = 带来的信息量肯定大于等于 某个符号带来的 i 1 j 1 n m 在已知这个符号的前提下 有前兆时所带来的信息量。 H (Y | X ) E{I [ P( y j | 信息熵 xi )]} E[+ log P( y j | xi )] P( xi y j ) log P( y j | xi ) i 1 j 1 另一个符号所带来的信息熵 若两个符号相互独立，则等 n m H ( X , Y ) E{I [ P( xi y j )]} E[ log P( xi y j )] P( xi y j ) log P( xi y j ) 号成立，否则大于号成立 i 1 j 1 这三者之间的关系：
x x1
P( x) P( x1
xl
xL
P( xL | xL1
信源编码
图3-9 μ律15折线的特性曲线
(2) μ压缩律和15折线法
(2) μ压缩律和15折线法
表3-2 μ律15折线的斜率
折线段号
斜率/255
1
1/8
2
1/16
3
1/32
4
1/64
5
1/128
6
1/256
7
1/512
8
1/1024
3.2.3 编码与解码
1.码制的选择 2.编码位数的选择 3.编码/译码原理 4. PCM系统的抗噪声性能
（3-46）
（3-47）
3.4.2 增量调制系统的抗噪声性能
（3-35）
（3-38）
3.4 增量调制
3.4.1 增量调制原理 3.4.2 增量调制系统的抗噪声性能
3.4.1 增量调制原理
图3-14 增量调制系统的原理框图 a)编码器 b)译码器
3.4.1 增量调制原理
图3-15 增量调制系统的原理框图
3.4.1 增量调制原理
图3-16 增量调制实例
3.4.2 增量调制系统的抗噪声性能
1) 整流器：将输入的双极性信号变成单极性信号，并输出极性码c1。 2) 保持电路：在整个编码周期内保持输入信号的幅值不变。 3) 比较器：是编码器的核心。 4) 本地译码器：由记忆电路、7/11变换电路和恒流源组成，用于产生每次比 较所需的各个权值电流Iw。
3.编码/译码原理
图3-11 逐次比较型编码器的原理框图
1110
1101 1100 1011 1010 1001 1000
6
5 4 3 2 1 0
1408~1472
1344~1408 1280~1344 1216~1280 1152~1216 1088~1152 1024~1088
电子科技大学《移动通信原理》 第三章 移动通信中的信源编码和调制解调技术
~ 64kbps ），话音质 量好（4.0~4.5），占用较高带宽。 低速率话音编码时，话音质量显著下降。 PCM，DPCM，ΔM 等。
第三章 移动通信中的信源编码和调制解调技术
7
典型波形编码方式
PCM：Pulse-Code Modulation
2014年3月
1 1 1
* a1 a2
1 1 1
16
推广： b1 b2
2014年3月
第三章 移动通信中的信源编码和调制解调技术
数字调制器
exp j 2p f c t
二进制序列 比特变 符号
基带调 制
成形滤 波
si t
图3.3 数字调制器功能框图
2014年3月
各类二进制调制波形
14
数字调制技术分类
不恒定包络 ASK(幅移键控) QAM(正交幅度调制) MQAM(星座调制) FSK (频移键控) BFSK(二进制频移键控) MFSK(多进制频移键控) BPSK(二进制相移键控) DPSK(差分二进制相移键控) QPSK OQPSK(偏移QPSK) (正交四相 p/4QPSK 相移键控) DQPSK(差分QPSK) MSK(最小频移键控) GFSK(高斯滤波MSK) TFM(平滑调频)
对于M阶调制信号，有：
E s Eb log 2 M Eb log 2 M N0 N0 N0
2014年3月
第三章 移动通信中的信源编码和调制解调技术
18
频带利用率
也是带宽效率
每赫兹可用带宽可以传输的信息速率: R W b s Hz
R：为信息比特速率 R R log M s 2 W：信号所需带宽
第三章 移动通信中的信源编码和调制解调技术
7
典型波形编码方式
PCM：Pulse-Code Modulation
2014年3月
1 1 1
* a1 a2
1 1 1
16
推广： b1 b2
2014年3月
第三章 移动通信中的信源编码和调制解调技术
数字调制器
exp j 2p f c t
二进制序列 比特变 符号
基带调 制
成形滤 波
si t
图3.3 数字调制器功能框图
2014年3月
各类二进制调制波形
14
数字调制技术分类
不恒定包络 ASK(幅移键控) QAM(正交幅度调制) MQAM(星座调制) FSK (频移键控) BFSK(二进制频移键控) MFSK(多进制频移键控) BPSK(二进制相移键控) DPSK(差分二进制相移键控) QPSK OQPSK(偏移QPSK) (正交四相 p/4QPSK 相移键控) DQPSK(差分QPSK) MSK(最小频移键控) GFSK(高斯滤波MSK) TFM(平滑调频)
对于M阶调制信号，有：
E s Eb log 2 M Eb log 2 M N0 N0 N0
2014年3月
第三章 移动通信中的信源编码和调制解调技术
18
频带利用率
也是带宽效率
每赫兹可用带宽可以传输的信息速率: R W b s Hz
R：为信息比特速率 R R log M s 2 W：信号所需带宽
第三章信源编码
最大不过载电压为2048 Δ
1/8 0 256Δ 1/4 512Δ 1/2 1024Δ 1
2048Δ
1/128 1/64 16Δ 32Δ
1/32 64Δ
1/16 128Δ
1/8 256Δ
第一量化段间隔Δ1：
Δ2=Δ；Δ3=2Δ；Δ4=4Δ；Δ5=8Δ； Δ6=16Δ；Δ7=32Δ；Δ8=64Δ
1 ( 0) 1 128 1 16 2048
序号 量化值 范围 自然二进码 a1 a2 a3 7 6 5 +3.5 +2.5 +1.5 +3.0～+4.0 +2.0～+3.0 +1.0～+2.0 111 110 101 折叠二进码 b1 b2 b3 111 110 101
4
3 2 1 0
+0.5
-0.5 -1.5 -2.5 -3.5
0～1.0
非均匀量化信噪比的波动
(
32 29 26
S ) dB Nq
35 30 25 20 15 10 5
Li(dB)
-50 -40 -30 -20 -10 0
图5-1-11 n=7时A律13折线信噪比与输入电平关系
3.4 编码与解码
编码—将量化后的多电平值用二进制数表示。 码字—一个样值对应n位二进制数。 编码码型—编码时所遵循的规律（传输时有 传输码型）
脉冲编码调制使模拟信号数字化必须经过抽样、量化、 编码三个过程
低 x(t) 抽 样 PAM 量 化 编 码 PCM 信 道 PCM 解 码 通 滤 波 x`(t)
图5-1-1
PCM单向通信过程
抽样——将模拟信号在时间上离散（PAM)。 量化——对抽样后的信号在幅度上离散。 编码——将量化后的信号用二进制数代替(PCM)。 解码——将PCM信号还原为重建的PAM信号。 低通——在重建的PAM信号中取出低频模拟信号。 PAM——脉冲幅度调制
1/8 0 256Δ 1/4 512Δ 1/2 1024Δ 1
2048Δ
1/128 1/64 16Δ 32Δ
1/32 64Δ
1/16 128Δ
1/8 256Δ
第一量化段间隔Δ1：
Δ2=Δ；Δ3=2Δ；Δ4=4Δ；Δ5=8Δ； Δ6=16Δ；Δ7=32Δ；Δ8=64Δ
1 ( 0) 1 128 1 16 2048
序号 量化值 范围 自然二进码 a1 a2 a3 7 6 5 +3.5 +2.5 +1.5 +3.0～+4.0 +2.0～+3.0 +1.0～+2.0 111 110 101 折叠二进码 b1 b2 b3 111 110 101
4
3 2 1 0
+0.5
-0.5 -1.5 -2.5 -3.5
0～1.0
非均匀量化信噪比的波动
(
32 29 26
S ) dB Nq
35 30 25 20 15 10 5
Li(dB)
-50 -40 -30 -20 -10 0
图5-1-11 n=7时A律13折线信噪比与输入电平关系
3.4 编码与解码
编码—将量化后的多电平值用二进制数表示。 码字—一个样值对应n位二进制数。 编码码型—编码时所遵循的规律（传输时有 传输码型）
脉冲编码调制使模拟信号数字化必须经过抽样、量化、 编码三个过程
低 x(t) 抽 样 PAM 量 化 编 码 PCM 信 道 PCM 解 码 通 滤 波 x`(t)
图5-1-1
PCM单向通信过程
抽样——将模拟信号在时间上离散（PAM)。 量化——对抽样后的信号在幅度上离散。 编码——将量化后的信号用二进制数代替(PCM)。 解码——将PCM信号还原为重建的PAM信号。 低通——在重建的PAM信号中取出低频模拟信号。 PAM——脉冲幅度调制
第3章-信源编码理论PPT课件
因为实际应用中使信号恢复的低通滤波器不可能是理想的，如 图4所示。因此为了防止减弱因幅度和相位不理想造成的失真， 通常选择抽样速率略大于奈奎斯特速率。
H(f )
0
f
理想特性
0
Fm
2021/3/12
f
( f )
图4 收端低通滤波器频率特性
理想特性 9
c. 抽样时，采用的抽样脉冲序列一般都是高度有限，宽度很 窄的脉冲序列。因为在实际应用中，理想抽样所需的周期性
2
F
(
)
2
Ts
(
n
ns
)
1 Ts
F (
n
ns )
上式表明，已抽样信号频谱 Fs ()是低通信号频谱 F ( ) 以抽样
速率为周期进行延拓形成的周期性频谱，它包含了F ( ) 的全部
信2息021。/3/1图2 3所示为抽样过程的波形及其频谱。
7
f (t)
F ()
t 0 (a)
Ts (t )
2021/3/12
S Nq
dB
20lgN20lg2l
6l
19
(3) 非均匀量化
① 定义： 根据信号的不同区间来确定量化间隔的。对于信号取 值小的区间，量化间隔小；对信号取值大的区间，量 化间隔大。
② 优点： 与均匀量化相比，在输入信号不变的前提下，由于小 信号时量化间隔变小，其相应的量化噪声功率也减小， 从而使小信号时的量化信噪比增大，即改善了小信号 时的量化信噪比，使输入信号的动态范围增大。
f (t)
fs (t)
fs (t) 低通滤波器 f (t)
Ts (t)
2021/3/12
图2 抽样与恢复
6
假设 f (t)、Ts (t)和 f s (t ) 的频谱分别是 F()、s() 和 Fs ()
H(f )
0
f
理想特性
0
Fm
2021/3/12
f
( f )
图4 收端低通滤波器频率特性
理想特性 9
c. 抽样时，采用的抽样脉冲序列一般都是高度有限，宽度很 窄的脉冲序列。因为在实际应用中，理想抽样所需的周期性
2
F
(
)
2
Ts
(
n
ns
)
1 Ts
F (
n
ns )
上式表明，已抽样信号频谱 Fs ()是低通信号频谱 F ( ) 以抽样
速率为周期进行延拓形成的周期性频谱，它包含了F ( ) 的全部
信2息021。/3/1图2 3所示为抽样过程的波形及其频谱。
7
f (t)
F ()
t 0 (a)
Ts (t )
2021/3/12
S Nq
dB
20lgN20lg2l
6l
19
(3) 非均匀量化
① 定义： 根据信号的不同区间来确定量化间隔的。对于信号取 值小的区间，量化间隔小；对信号取值大的区间，量 化间隔大。
② 优点： 与均匀量化相比，在输入信号不变的前提下，由于小 信号时量化间隔变小，其相应的量化噪声功率也减小， 从而使小信号时的量化信噪比增大，即改善了小信号 时的量化信噪比，使输入信号的动态范围增大。
f (t)
fs (t)
fs (t) 低通滤波器 f (t)
Ts (t)
2021/3/12
图2 抽样与恢复
6
假设 f (t)、Ts (t)和 f s (t ) 的频谱分别是 F()、s() 和 Fs ()
第三章 信源编码
编码就是从信源符号到码符号组成的码字之
间的一种映射。
S : s {1 ,, q }
C : c {W1 ,,Wq }
X : x {x1 ,, xr }
Wi ( xi1 , xi2 ,, xil )
c. 定义1. 若某一种码的任意一串有限长的符号序列 只能被惟一地译成所对应的信源符号，则该码称 为惟一可译码。 定义2. 若用r元码对信源 S N 进行编码，设S中每个 符号所需的平均码长为 LN / N ，则定义
x(t )
n
x(
n ) 2W
sin[2W (t
利用抽样定理可把模拟信源的输出转换成等效的 离散时间信源。
n )] 2W n 2W (t ) 2W
二. 信息的量度——熵及其性质
1. 熵 离散随机变量 xi
事件X
yi 事件Y 事件Y yi 的出现提供事件X xi 的信息量 xi 和 yi 间的互信息：
d (ui , v j ) (ui v j ) P ( P 2)
平均失真度定义：
D [d (ui , v j )] E[d (u, v)]
（2）信息率失真函数 a. R(D) min{p(v j | ui ), D D} {I (U ;V )} (比特 / 符号) 信息传输率 I (U ;V ) b. 无记忆高斯信源的率失真函数（香农，1959年）
p( xi | yi ) I ( xi ; yi ) log2 p( xi )
xi 的自信息：
1 I ( xi ) log2 p( xi )
平均互信息：( X ; Y ) p( xi , y j ) log2 I
i 1 j 1
n
第三章信源编码.1PPT课件
若一组码中所有码字的长度各不相同，称为变长码。 4、非奇异码：
若一组码中所有码字都不相同，称为非奇异码。
§3.2码的分类
5、奇异码： 若一组码中有相同的码字，称为奇异码。
6、唯一可译码： 若码的任意一串有限长的码B符:{号Bi 序 (W列i1W只i2.能..Wi被N )}唯一的译成
所对应的信源符号序列，则称此码为唯一可译码。
最佳码
唯一可译码的一类 其平均码长小于其他唯一可译码的平均长度
例1.唯一可译变长码与及时码
信源符号 出现概率 码1
码2
码3
码4
x1
1/2
0
0
1
1
x2
1/4
11
10
10
01
x3
1/8
00
00
100
001
x4
1/8
Hale Waihona Puke 11011000
0001
7.即时码
码1是一个奇异码，不是唯一可译码；码2也不是唯一 可译码，因为收到一串序列是，无法唯一译出对应的原符 号序列，如0100，即可译作x4x3x1,也可译作 x4x1X3,x1x2x3或x1x2x1x1；码3和码4都是唯一可译的。
所对应的码长为k1, k2 ,..., kq ，则必定满足： q r ki 1 i 1
反之，若码长满足上式，则一定存在这样的唯一可译 码。
所有的码 非奇异码 唯一可译码
即时码
§3.3定长编码定理－1-描述
定长（等长）码信源编码定理：
对离散，无记忆、平稳、遍历信源其符号序列：X =(X1,X2 …..XL)， 可用KL个符号Y=(Y1,Y2….YkL) 进行等长编码，对任意ε>0,δ>0，
若一组码中所有码字都不相同，称为非奇异码。
§3.2码的分类
5、奇异码： 若一组码中有相同的码字，称为奇异码。
6、唯一可译码： 若码的任意一串有限长的码B符:{号Bi 序 (W列i1W只i2.能..Wi被N )}唯一的译成
所对应的信源符号序列，则称此码为唯一可译码。
最佳码
唯一可译码的一类 其平均码长小于其他唯一可译码的平均长度
例1.唯一可译变长码与及时码
信源符号 出现概率 码1
码2
码3
码4
x1
1/2
0
0
1
1
x2
1/4
11
10
10
01
x3
1/8
00
00
100
001
x4
1/8
Hale Waihona Puke 11011000
0001
7.即时码
码1是一个奇异码，不是唯一可译码；码2也不是唯一 可译码，因为收到一串序列是，无法唯一译出对应的原符 号序列，如0100，即可译作x4x3x1,也可译作 x4x1X3,x1x2x3或x1x2x1x1；码3和码4都是唯一可译的。
所对应的码长为k1, k2 ,..., kq ，则必定满足： q r ki 1 i 1
反之，若码长满足上式，则一定存在这样的唯一可译 码。
所有的码 非奇异码 唯一可译码
即时码
§3.3定长编码定理－1-描述
定长（等长）码信源编码定理：
对离散，无记忆、平稳、遍历信源其符号序列：X =(X1,X2 …..XL)， 可用KL个符号Y=(Y1,Y2….YkL) 进行等长编码，对任意ε>0,δ>0，
3 信源编码
x2 x3 x4 x5 x6 x7 x8 X x1 P( X ) 0.4 0.18 0.1 0.1 0.07 0.06 0.05 0.04
试对该信源编二进制哈夫曼码。
x1
编码过程
0 .4
0.6 0.37 0.23
1
0 0
0
1
1
x2 0.18
x3 x4
0.13
其码字平均长度 K 满足： 其码字平均信息率 R 满足：
LH ( X ) LH ( X ) 1 K log m log m
H(X ) R H(X )
5.1.1 码字唯一可译的条件
5.1.2 香农编码
5.1.3 费诺编码 5.1.4 赫夫曼编码 5.1.5 游程编码
5.1.6 冗余位编码
对信源进行缩减时，两个概率最小的符号合 并后的概率与其它信源符号的概率相同时，这 两者在缩减信源中进行概率排序，其位置放置 次序是可以任意的，故会得到不同的哈夫曼码。
此时将影响码字的长度，一般将合并的概率放
在上面，这样可获得较小的码方差。 如下面的例子
例 设有离散无记忆信源
X x1 x2 x3 x4 x5 P( X ) 0.4 0.2 0.2 0.1 0.1
5.1.1 码字唯一可译的条件 5.1.2 香农编码 5.1.3 费诺编码 5.1.4 赫夫曼编码
5.1.5 游程编码
5.1.6 冗余位编码
5.1.5 游程编码
前面的几种编码方法主要时针对无记忆信源，对有记忆信 源，这些编码方法的效率并不高，特别是对二元相关信源，需 要一些其它的方法。游程编码就是这样的方法，对相关信源的 编码更有效。 游程：指数字序列中连续出现相同符号的一段。在二元信源 中，连续的一段‘0’称为一个‘0’游程，‘0’的个数称为 此游程的长度，同样，也有‘1’游程。 游程序列：用交替出现的‘0’游程、‘1’游程的长度， 来表示任意二元序列而产生的一个新序列。它和二元序列是一 个一一对应的变换。
试对该信源编二进制哈夫曼码。
x1
编码过程
0 .4
0.6 0.37 0.23
1
0 0
0
1
1
x2 0.18
x3 x4
0.13
其码字平均长度 K 满足： 其码字平均信息率 R 满足：
LH ( X ) LH ( X ) 1 K log m log m
H(X ) R H(X )
5.1.1 码字唯一可译的条件
5.1.2 香农编码
5.1.3 费诺编码 5.1.4 赫夫曼编码 5.1.5 游程编码
5.1.6 冗余位编码
对信源进行缩减时，两个概率最小的符号合 并后的概率与其它信源符号的概率相同时，这 两者在缩减信源中进行概率排序，其位置放置 次序是可以任意的，故会得到不同的哈夫曼码。
此时将影响码字的长度，一般将合并的概率放
在上面，这样可获得较小的码方差。 如下面的例子
例 设有离散无记忆信源
X x1 x2 x3 x4 x5 P( X ) 0.4 0.2 0.2 0.1 0.1
5.1.1 码字唯一可译的条件 5.1.2 香农编码 5.1.3 费诺编码 5.1.4 赫夫曼编码
5.1.5 游程编码
5.1.6 冗余位编码
5.1.5 游程编码
前面的几种编码方法主要时针对无记忆信源，对有记忆信 源，这些编码方法的效率并不高，特别是对二元相关信源，需 要一些其它的方法。游程编码就是这样的方法，对相关信源的 编码更有效。 游程：指数字序列中连续出现相同符号的一段。在二元信源 中，连续的一段‘0’称为一个‘0’游程，‘0’的个数称为 此游程的长度，同样，也有‘1’游程。 游程序列：用交替出现的‘0’游程、‘1’游程的长度， 来表示任意二元序列而产生的一个新序列。它和二元序列是一 个一一对应的变换。
第三章-信源编码定理与信道编码定理
第三章信源编码定理与信道编码定理通信系统的两个基本问题问题一：数据压缩的理论极限是什么。
问题二：通信传输速率的理论极限是什么。
问题一（理论）：如何度量信源产生信息无失真信源编码定理离散无记忆信道离散无记忆信道容量计算时间离散的无记忆连续信道为什么要对信源进行编码?由于信源符号之间存在分布不均匀和相关性，使得信源存在冗余度。
信源编码的主要任务就是减少冗余，提高编码效率。
具体说，就是针对信源输出符号序列的统计特性，寻找一定的方法把信源输出符号序列变换为最短的码字序列。
为什么还要引入有失真编码呢？感觉无失真编码应该优于有失真编码编码器可以看作这样一个系统，它的输入端为原始信源U，其符号集为U:{u1,u2,…,u q}；而信道所能传输的码符号集为X:{x1,x2,…,x r}；编码器的功能是用符号集X中的元素，将原始信源的符号ui 变换为相应的码字符号Wi，(i=1,2,…,q)，所以编码器输出端的符号集为W:{W1,W2,…,W q}。
码的类型信源的类型离散无记忆信源的等长编码无失真等长编码中文电报的汉字编码就是一种等长编码。
这里N=4,D=10 ，即每个汉字用4位十进制数表示。
例如，“西安”编码后就成为4687 16180。
此外，0, 1, 2, ... , 9这10个数字采用如右边的编码方法。
右边的表格中的码字有什么特点？A频率在［0.19,0.21 ］的序列的概率和A频率在［0.19,0.21 ］序列的比例结论●某些特定的信源序列的出现概率可能高于某个特定“常见”序列的出现概率；●随着序列长度的增加，常见序列构成的集合的总体概率趋于1 。
（弱大数定律）想法－渐近无失真编码•如果这些“常见”序列的概率之和接近于1，并且它们的数目相对2L小得多，那么我们就可以只对这些“常见”序列进行编码。
其他序列不做考虑。
•随着L 的增加，其它序列几乎不发生。
这样，这种编码方法也就几乎没有失真了。
如何用数学工具来描述“常见”序列弱典型序列渐进等同分割性质定理：如果U 1,U 2，…是独立离散随机变量,分布服从p (u )，则等价表述：设离散无记忆稳恒信源输出的一个特定序列u 1u 2…u L 。
第三章 移动通信信源编码
3.3 语音的波形编码
波形编码的缺点：编码速率较高，一般在16Kbps-64Kbps 之间，因而所占用的频带较宽，只适用与在有线通信中，对 于频率资源相当紧张的移动通信来说，这种编码方式不太合 适。
3.4 语音的参量编码
3.4.1 参量编码原理
一、 参量描述消息的通适性 消息 文字 语音 图像 参量 汉字五笔；英语26 个字母等 元音、辅音；音调、清音、 浊音；波形参数（如基音 周期、预测系数）等 横线、竖线、角度、 灰度、边沿等
1111 1110 1101 1100 1011 1010 1001 1000 0000 0001 0010 0011 0100 0101 0110 0111
3.3 语音的波形编码
3.3.2 脉冲差分编码调制（DPCM)
一、PCM的缺点-----数码率高
xn 1 xn
xn 1
xn 2
tn 2
不传消息的 时间函数波 形，而传消 息参量！
a3
3.4 语音的参量编码
3.4.1 参量编码原理
二、 发声模型
鼻腔
声门 声带 口腔 鼻音 口音
可等 效为
气流通过级 联声管发音
咽腔
a1
a2
a3
ak
气流
发音模型简图： 气流通过声带、 声门，由咽腔、 口腔和鼻腔等 共同控制而发 音。
N段等长级联无损声管， 并可用如下传递函数拟合：
折叠码优点：
比特发生错误引起解码后量 化电平的平均跳变较自然二 进码小！
3）误码对语音质量的影响 精确计算困难
15 14 13 12 11 10 9 8 7 6 5 4 3 2 1 0
1111 1110 1101 1100 1011 1010 1001 1000 0111 0110 0101 0100 0011 0010 0001 0000
移动通信原理与系统——第三章 移动通信中的信源 编码和调制技术
根据ak ,h ,Tb可以重写一个码元内 2FSK信号表达式:
sFSK
(t)
cos(ct
akd t
k
)
cos ct
ak
h
Tb
t
k
cosct k (t)
式中
k (t) ak
h
Tb
k
kTb t (k 1)Tb
称作附加相位。
Mobile Communication Theory
3.3.1 相位连续的FSK
Mobile Communication Theory
3.2.2 移动通信中的信源编码
移动通信中的信源编码与有线通信不同，它不进需 要对信息传输有效性进行保障，还应该与其他一些系统 指标密切相关，例如容量、覆盖和质量。以GSM为例 说明。
以GSM系统中普通的全速率和半速率话音编码来说， 其速率分别为13kbps和6.5kbps，前者的话音质量好 于后者，但占用的系统资源是后者的两倍左右。当系统 的覆盖不是限制因素时，使用半速率编码可以牺牲质量 换取倍增的容量，即提高系统的有效性。而当系统的容 量相对固定时，可以通过使用半速率编码牺牲质量换取 覆盖的增加，因为半速率编码对于接收信号质量的要求 降低了。
f2
f1
f1
f2
f2
(a) 相位不连续的FSK波形
(b) 相位连 续的FSK波形
图 3.4 2FSK信号的波形
Mobile Communication Theory
3.3.1 相位连续的FSK
由图3.4可以看出，相位不连续的2FSK信号在码元交 替时刻，波形是不连续的，而CPFSK信号是连续的， 这使得它们的功率谱特性很不同。图3.5分别是它们的 功率谱特性例子。
第三章--传播的基本过程
（一）线性传播模式
谁
Who?
传者
说什么
Say what?
信息
经什么通道 In which channel? 媒体
对谁说
To whom?
受者
产生什么效果 With what effect? 效果
（一）线性传播模式
D·麦奎尔为“5W”模式做的图示
谁
说什么
通过什么渠道
对谁
取得什么效果
传播者 控制分析
讯息 内容分析
（一）线性传播模式
但拉斯韦尔模式明显的不足之处，在于它忽略 了传播的反馈问题，使传播过程流于简单化、 线性化，并过高估计了传播的效果。这正反映 出了传播模式研究的早期特征。
直线性——传播被表述为一种直线型、单向型的过程 孤立性——丝毫不涉及传播过程和社会过程的联系
（一）线性传播模式
针对有人批评这一模式太简单和武断（认定必产生 效果）的情况，在拉斯韦尔提出“5W”模式10周年 之际，布雷多克在《“拉斯韦尔公式”的扩展》 （1958年）一文中又增加了两个“W”：即“在什么情 况下（In Which Circumstances）?为了什么目的 （With Which Aim ）？”构成了“7W”模式，较 “5W”模式又前进了一步。
（二）双向循环与互动模式
为了克服上述性线模式的的局限性，一些传播学者开发 出了双向传播过程模式，引入了“反馈”的机制，从而 更客观、更准确地反映了现实的传播过程。
（二）双向循环与互动模式
2．奥斯古德的双行为模式
1954年，美国心理语言学家奥斯古德在充分认识到“香农—韦弗”模 式的缺陷后，采用了其中合理的内容，设计出了传播的双行为模式。
发出的 信号
收到的 信号
信源编码-北邮信息论课件
信源编码贺志强信源编码：将信源符号序列按一定的数学规律映射成由码符号组成的码序列的过程。
成由码符号组成的码序列的过程信源译码：根据码序列恢复信源序列的过程。
信源译码根据码序列恢复信源序列的过程无失真信源编码：即信源符号可以通过编码序列无差错地恢复。
无差错地恢复（适用于离散信源的编码）限失真信源编码：信源符号不能通过编码序列无差错地恢复。
差错地恢复（可以把差错限制在某一个限度内）信源编码的目的：提高传输有效性，即用尽可能短的码符号序列来代表信源符号。
号序列来代表信源符号无失真信源编码定理证明，如果对信源序列进行编码，当序列长度足够长时，存在无失真编码使得传送每信源符号存在无失真编码使得传送每信源符号所需的比特数接近信源的熵。
因此，采用有效的信源编码会使信息传输效率得到提高。
会使信息传输效率得到提高概述一、信源编码器二、信源编码的分类三分组码三、分组码分组码单符号信源编码器符号集符号集AA 1{,,}q a a ii c a 编为1{,,}q c c 编码器码字集合信源序列码符号集1{,}r b b分组码单符号译码器1{,,}q c c 信源序列码字集合1{,,}q a a 译码器1{,}r b b 码符号集简单信源编码器摩尔斯信源编码器将英文字母变成摩尔斯电码将摩尔斯电码变成二进码信源编码器信源编码器（1）信源符号{英文字母英文字母}}（2）二进信道码符号集点、划、字母间隔、单词间隔信道基本符号{0，1}符号点划字母间隔单词间隔电平+ -+++ ---------二进代码 1 0111000000000摩尔斯信源编码器原信源的次扩展码原信源的N N将N个信源符号编成一个码字。
相当于对原信源的N次扩展源的信源符号进行编码。
例信源X={0,1}的二次扩展源的二次扩展源X X 2的符号集为：信源X={0,1}。
对X X2编码，即为原信源编码，即为原信源X X的二{00,01,10,11}。
对{00,01,10,11}编码即为原信源X {00011011}对即为原信源次扩展码。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
s
0
Ts
n
Sa
ns 0
2
X
ns
0
PT (t)
t
P()
2 0
Ts
n
Sa
ns 0
2
(
ns )
1
0 0
t
X
s
()
1
2
X
()
P()
22
xs (t)
t 0
7
瞬时抽样(平顶脉冲抽样)信号频谱：
23
y 1 7/8 2/3 5/8 1/2 3/8 1/4 1/8
A-Law 87.6 piecewise steps
Apcmreal([0:0.01:100])
0
1/8
1/4
1/2
x 1
24
x轴表示输入信号，y轴表示输出信号。 X轴 （ 0,1 ） 分 8 段 ： 1/2 、 1/4、 1/8、 1/16、 1/32 、 1/64 、
-7B -6B -5B -4B -3B -2B -B 0 B 2B 3B 4B 5B 6B 7B /(2 ) X ( 2s )
-7B -6B -5B -4B -3B -2B -B 0 B 2B 3B 4B 5B 6B 7B /(2 ) X ( 2s )
-7B -6B -5B -4B -3B -2B -B 0 B 2B 3B 4B 5B 6B 7B /(2 )
15
压扩特性
A-Law compression characteristics (Europe, China)
y
ymax
A x xmax 1 ln A
sgn x
0 x 1 xmax A
ymax
1
ln
A 1
x ln
xmax A
sgn x
信号峰值功率为 Sm Vp2
最大量化信噪比： Sm 3L2 Nq
用dB值表示： 10 lg Sm 10 lg 3L2 6.02n 4.77 Nq
每增加1 bit长度，提高 6dB
lianghua_test
14
非均匀量化
基本思路：非均匀量化是根据信号的不同区间来确定量化间 隔的。对信号取值较小的区间，其量化间隔也小，反之， 量化间隔就大，这样使平均SNR增加。 非均匀量化的实现方法是将取样值通过压缩器压缩后再进行 均匀量化，压缩器的特性是将大信号进行压缩，对小信号 进行放大。接收时要对信号进行扩张，以恢复原始信号的 相对关系。
斜率 1/ 8 16 1/128
xs (t)
Ts ≤ 1/2fm 为抽样间隔
T (t) (t nTs )
n
注意：抽样速率与码元速率不是一回事，因为一个抽样值在编码时可能编好几位码。
5
值得注意的是
X s ()
1 Ts
X (
n
ns )
1 Ts
X () 1
Ts
xn
xˆn
抽样
量化
编码
同步
g (t )
n(t)
信道
噪声
r(t)
LPF
解码
再生
xˆn
g(t)
20
发送端：
LPF(低通滤波)：x(t) ， 0 ~ fm
抽样(Sampling)：fs 2 fm 量化(Quantizing)：L 2n ，量阶 q 编码(Encoding)：码长 n bit
信道
解调器
输出转换 器和信宿
噪声
数字信息源 编码和加密 数字调制 信道 解调器 译码和解密 信宿
s(t)
x(t)
x(kTs)
xq(kTs)
抽样
量化
编码
sk
xs(t)
xq(t)
A/D
噪声 数字通信系统 sˆk
xq(kTs)
x(t)
译码
低通
D/A
18
PCM与PAM的区别
PAM是脉冲调制中最常用的一种调制方式，是把模拟信 号变为一系列在时间上离散的窄脉冲，这些窄脉冲的幅值 随模拟信号瞬时值的变化而变化，因此从PAM信号的幅 度来看仍然是连续的，仍属模拟信号的范畴。
格式化
字符编码 采样 量化 脉冲编码调制(PCM)
信源编码
预测编码 分组编码 变长编码 合成/分解编码 无损压缩 有损压缩
基带信号处理
PCM波形 不归零(NRZ) 归零(RZ) 相位编码 多电平二进制 M进制脉冲调制 PAM,PPM,PDM
数字信息
信 文本信息 源
模拟信息
采样
量化
编码
脉冲 调制
传输
数字信息
n
xs (t)
注意：由于平顶抽样的每一项频谱都受P(w)的加权，所以解调时 需要在低通滤波器之前加一个1/P(w)的修正网络，这样经过滤波 器后就可无失真的恢复出X(w)。
8
(2) 带通信号抽样：对于模拟带通信号 x(t)， fL ~ fH ，
则抽样频率 fs 应满足：
fs
2(
fH
f
L
)1
1/128，然后每一段再均分16等分，这样x轴的最小单位是 1/(128*16)＝1/2048=q。 y轴（0,1）均分8段，每段再均分16等分，这样输出的最小 单位是1/(8*16)＝1/128，可用7个比特来表示（27=128）。 考虑到（-1,0），这样输出就有256个量化输出量级，用8位 二进制码进行表示。
M N
2B1
M N
其中B=fH - fL 由此可知， 0
为信号的带宽，N M 1
fH B
,
M fH N B
在 fH=NB 的情况下，以 fs=2B 的抽样速率对信号进行 抽样，抽样后信号各段频谱之间不会发生混叠，而不
必象低通信号那样需要 fs=2fH 的抽样速率。
如果 fH=NB+MB，这时抽样速率要满足前面的式子才 能使得抽样后信号的各段频谱不会发生混叠。
9
X ()
fs=2B
-7B -6B -5B -4B -3B -2B -B 0 B 2B 3B 4B 5B 6B 7B /(2 ) X ( s )
-7B -6B -5B -4B -3B -2B -B 0 B 2B 3B 4B 5B 6B 7B /(2 ) X ( s )
10
Quantization(量化)
均匀量化
量化级
L
2n
，量阶
q
2Vp L
， Vp 是最大量化电平，n是
量化电平bit数。
样本序列 xnTs ，简记为 xn 量化样本序列 xˆnTs ， 简记为 xˆn
量化误差： e(n) x(n) xˆ(n)
e q 2
13
第k个量化间隔中量化误差均方值记作
ek2
xk 1 xk
(x
yk
)2
pk
( x)dx
1 12
qk3
pk
1 , yk 2 (xk xk1)
量化噪声平均功率
Nq
L
ek2
k 1
L k 1
1 q3 12
pk
1 q2 12
Vp2 3L2
注：假设x在整个信号空间内是均匀分布的，pk(x)在数值上等于1/Lq。
信 宿
文本信息
数字信息
格式化
低通滤波器
译码
解调/ 检测
信道 接收
3
模拟信号x(t) 数字信号g(t)，即模数转换(A/D)
信源编码： A/D + Data Compression
信源编码分类：
波形编码
全频带编码（PCM、ADPCM） 子带编码（SB-ADPCM） 矢量量化（VQ）
参数编码 线性预测编码（LPC）
22
A律13折线压缩编码
用数字电路产生7 种不同斜率的8段折线 x(t) 幅度归一化为0 1，从右向左依次按1/2分段，共
分8段 y(t) 幅度归一化为0 1，均匀分成 8 段 连接x、y 各分段起始交点即得到8 段7 种不同斜率的折
线，构成近似的 A-law 压缩特性。包括0 -1 负值时， 共13 段折线。
qk = xk+1－ xk。
12
x(t)
x9
y8
x8
y7
x7
y6
x6
y5
x5
y4
Ts
x4
y3
x3
y2
x2
y1
x1
t
2Ts
3Ts 4Ts 5Ts 6Ts
7Ts
从图中我们可以看出，量化后的值与原始抽样值之间存在着误差，这 种误差称为量化误差e，定义为：e=x-Q(x)。由于这种误差的影响相 当于干扰或噪声，故又称之为量化噪声。
x(t)
t
0
0
PCM在时间离散上与PAM相同，但PCM通过量化把脉冲 幅度也离散了，而经过编码又把时间上和幅度上均已离散 了的信号进一步变为二进制（或多进制）的代码，即变成 了数字信号。
19
§3.2 Pulse Code Modulation(PCM)
PCM 原理框图
xt LPF xt
X ( ns )