第2章-信源编码技术PPT课件
合集下载
信源编码技术 PPT
实际信源是由上述最基本的单个消息信源组合而成的。 实践证明,只要满足限时、限数这类物理上可实现的基本条件, 模拟信源就可以离散化为离散消息序列信源来表达。 因此对 于实际信源的统计描述,这里仅讨论消息序列信源。 对于离散消息序列信源,也可以采用类似于对上述单个消息信 源的描述方法。假设消息序列信源由L个消息(符号)构成,且 消息序列中每个消息(符号)取值集合(范围)是相同的,用X表示, 则消息序列信源的取值集合可以表示为 XL=X×X×…×X (共计L个X)
∑∑
i =1 j =1
i
i
i
i
它们之间有如下关系： (1) 联合熵与条件熵的关系： H(X, Y)=H(X)+H(Y/X) =H(Y)+H(X/Y) (2) 熵与条件熵的关系： H(X)≥H(X/Y) H(Y)≥H(Y/X) 这两式又称为Shannon不等式
熵的基本性质 1.连续性 2.递减性 3.可加性 4. 对称性 5.非负性 6.极值性（最大熵值定理）
同理,可以分别定义信宿［Y, P(yj)］在Y=yi时的非平均自信 息量、 两个消息有统计关联时的条件非平均自信息量和两个 消息的联合非平均自信息量如下:
1 I [ P ( y i )] = log = − log P ( y i ) P ( yi )
1 I [ P ( y j / xi )] = log = − log P( y j / xi ) P ( y j / xi ) 1 I [ P ( xi / y j )] = log = − log P( xi / y j ) P ( xi / y j ) 1 I [ P ( xi , y j )] = log = − log P ( xi , y j ) P( xi , y j )
∑∑
i =1 j =1
i
i
i
i
它们之间有如下关系： (1) 联合熵与条件熵的关系： H(X, Y)=H(X)+H(Y/X) =H(Y)+H(X/Y) (2) 熵与条件熵的关系： H(X)≥H(X/Y) H(Y)≥H(Y/X) 这两式又称为Shannon不等式
熵的基本性质 1.连续性 2.递减性 3.可加性 4. 对称性 5.非负性 6.极值性（最大熵值定理）
同理,可以分别定义信宿［Y, P(yj)］在Y=yi时的非平均自信 息量、 两个消息有统计关联时的条件非平均自信息量和两个 消息的联合非平均自信息量如下:
1 I [ P ( y i )] = log = − log P ( y i ) P ( yi )
1 I [ P ( y j / xi )] = log = − log P( y j / xi ) P ( y j / xi ) 1 I [ P ( xi / y j )] = log = − log P( xi / y j ) P ( xi / y j ) 1 I [ P ( xi , y j )] = log = − log P ( xi , y j ) P( xi , y j )
通信原理——信源编码的技术95页PPT
功越大，就越令人高兴 。野心 是使人 勤奋的 原因， 节制使 人枯萎 。 12、不问收获，只问耕耘。如同种树 ，先有 根茎， 再有枝 叶，尔 后花实 ，好好 劳动， 不要想 太多， 那样只 会使人 胆孝懒 惰，因 为不实 践，甚 至不接 触社会 ，难道 你是野 人。(名 言网) 13、不怕，不悔(虽然只有四个字，但 常看常 新。 14、我在心里默默地为每一个人祝福 。我爱 自己， 我用清 洁与节 制来珍 惜我的 身体， 我用智 慧和知 识充实 我的头 脑。 15、这世上的一切都借希望而完成。 农夫不 会播下 一粒玉 米，如 果他不 曾希望 它长成 种籽； 单身汉 不会娶 妻，如 果他不 曾希望 有小孩 ；商人 或手艺 人不会 工作， 如果他 不曾希 望因此 而有收 益。-- 马钉路 德。
6、最大的骄傲于最大的自卑都表示心灵的最软弱无力。——斯宾诺莎 7、自知之明是最难得的知识。——西班牙 8、勇气通往天堂，怯懦通往地狱。——塞内加 9、有时候读书是一种巧妙地避开思考的方法。——赫尔普斯 10、阅读一切好书如同和过去最杰出的人谈话。——笛卡儿
Thank you
6、最大的骄傲于最大的自卑都表示心灵的最软弱无力。——斯宾诺莎 7、自知之明是最难得的知识。——西班牙 8、勇气通往天堂，怯懦通往地狱。——塞内加 9、有时候读书是一种巧妙地避开思考的方法。——赫尔普斯 10、阅读一切好书如同和过去最杰出的人谈话。——笛卡儿
Thank you
《信源编码》课件
（2）若抽样频率为
= 31
则有
∞
=
=−∞
∞
− = 31
=−∞
′ − 31
例题12-5
∞
= 31
′ − 31
=−∞
（3）接收网络的传输函数2()应设计为
1
2 = 1
0
此时能由()不失真地恢复 。
∞
=
=−∞
∞
− = 5
=−∞
− 5
例题12-4
其频谱图为
例题12-5
【例题12-5】已知某信号 的频谱 如题图（a）所示，将它通过传输函数为1()的滤波器（见题
图（b））后再进行理想抽样。
（1）抽样速率应为多少？
（2）若抽样速率 = 31，试画出已抽样信号()的频谱。
（3）接收网络的传输函数2()应如何设计，才能由()不失真地恢复 ？
例题12-5
解：（1） 通过1 变为 ′ ， ′ 与()相乘，所以采样的对象是 ′ 。欲求采样速率，首
先须求得 ′ 的最高频率。
可见， 通过1()后的最高频率仍为1，故抽样频率为 ≥ 21。
1
= 400时
∞
= 400
其频谱图为
=−∞
− 400
例题12-4
【例题12-4】对基带信号 = 2000 + 24000进行理想抽样，为了在接收端能不失真地从已
抽样信号()中恢复 。
（1）抽样间隔应如何பைடு நூலகம்择？
（2）若抽样间隔取为0.2，试画出已抽样信号的频谱图。
0.25
= 31
则有
∞
=
=−∞
∞
− = 31
=−∞
′ − 31
例题12-5
∞
= 31
′ − 31
=−∞
（3）接收网络的传输函数2()应设计为
1
2 = 1
0
此时能由()不失真地恢复 。
∞
=
=−∞
∞
− = 5
=−∞
− 5
例题12-4
其频谱图为
例题12-5
【例题12-5】已知某信号 的频谱 如题图（a）所示，将它通过传输函数为1()的滤波器（见题
图（b））后再进行理想抽样。
（1）抽样速率应为多少？
（2）若抽样速率 = 31，试画出已抽样信号()的频谱。
（3）接收网络的传输函数2()应如何设计，才能由()不失真地恢复 ？
例题12-5
解：（1） 通过1 变为 ′ ， ′ 与()相乘，所以采样的对象是 ′ 。欲求采样速率，首
先须求得 ′ 的最高频率。
可见， 通过1()后的最高频率仍为1，故抽样频率为 ≥ 21。
1
= 400时
∞
= 400
其频谱图为
=−∞
− 400
例题12-4
【例题12-4】对基带信号 = 2000 + 24000进行理想抽样，为了在接收端能不失真地从已
抽样信号()中恢复 。
（1）抽样间隔应如何பைடு நூலகம்择？
（2）若抽样间隔取为0.2，试画出已抽样信号的频谱图。
0.25
第二章 信源编码技术
0 0.2
2.34 2.41
3 3
s3 s4 s5
s6 s7
0.18 0.17 0.15
0.10 0.01
0.39 0.57 0.74
0.89 0.99
2.45 2.56 2.74
3.34 6.66
3 3 3
4 7
信源 符号 符号 概率 si p(si)
累加 概率 Pi
Pi的 二进制数 0 0.001 100 1
5、多进制代码
代码由A个码元构成，每个码元有D个量化值，称为 多进制代码
第1节 信源编码器
二、信源编码效率
定义：信息传输速率与信道容量之比。 ηs=Rb/Ct 信息传输率可以用信源发出的时间熵来表示 Rb=H(X)/L
其中L为每个字符平均长度
第1节 信源编码器
二、信源编码效率
平均编码长度
第1节 信源编码器
思考：为什么平均编码长度不一样？
第1节 信源编码器
结论：概率越大，用的码长短， 则平均编码长度则越小。
第1节 信源编码器
例:
产 品 等 级 优 出现概率 1/4 编码 11
中 劣
1/2 1/4
1 00
第1节 信源编码器
三、信源编码技术分类
匹配编码 根据编码信息的出现概率来分配不同长度的代码组， 概率大，码组长度越短。 量化编码 适合于连续信源，对连续信息采样，对采样值量化， 对量化值编码 变换编码。 对原信号进行变换，然后对变换后的信号进行编码 预测变换 函数变换
0.17 0.57 0.100 100 0 0.15 0.74 0.101 111 0 取小数点后 0.10 0.89 0.111 000 1 取小数点后 四位 七位 0.01 0.99 0.111 111 0
第2章信源编码 (2)
矢量量化（VQ）
记连续的矢量空间为X，离散的码本矢量空间为C， 则矢量量化就是完成X→C的映射过程。设待量化的 参数为X=[x1 x2 ……xp] ，搜索码本确定的最佳匹 配的矢量为Ci，则有：D(X,Ci)≤D(X,Cj) j≠I
矢量量化（VQ）的核心部件是码本（codebook）。 码本包含的矢量数称为码本尺寸，记作 L ；每个矢 量包含的比特数称为码本的维数，记作k。L=2 。 设每个矢量记录了 P 个参数的量化值，平均每个参 数分配的比特数称之为量化比特，记作 R ， R=k/P 。 被量化的参数可以是话音抽样值，线性预测系数， 激励脉冲等。
本章主要内容
A/D变换 信源编码的基本概念 线性预测技术 ADPCM编码器(波形编码) 参数编码(重点)
一、A/D变换
抽样：将模拟信号从时间上离散。例如，语音 信 号的抽样频率为fs=8KHz。 量化：将样值信号从幅度上离散。 标量量化：均匀和非均匀 标量量化：多维 编码：用一组特定的代码来代表每个量化电平值。 在具体实现上，编码与量化通常是同时完成，换句 话说，量化实际是在编码过程中实现的。
No .
码矢
t
1 2 3 4 f
VQ
(Vector Quantization )
142 t
矢量量化过程如图
矢量量化的另一问题是如何建立码本，不同的发话者、不 同的音素的发音数椐，通过模拟确定合适的码本矢量，建 立一个数据库。 每个码本矢量描述一帧或一个子帧激励信 号。采用码本激励的线性预测合成分析编码器称为CELP编 码器。
号模型，提取描述语音信号的特征参数，对模型参数或其预测值 进行编码：它不以重建语音波形为目的，而是根据从语音段中提 取的参数在接收端合成一个新的声音相似但波形不尽相同的语音 信号，实现这一过程的系统叫做声码器。
通信原理——信源编码的技术PPT95页
•
29、在一切能够接受法律支配的人类 的状态 中，哪 里没有 法律， 那里就 没有自 由。— —洛克
•
30、风俗可以造就法律，也可以废除 法律。 ——塞·约翰逊
61、奢侈是舒适的，否则就不是奢侈 。——CocoCha nel 62、少而好学，如日出之阳；壮而好学 ，如日 中之光 ；志而 好学， 如炳烛 之光。 ——刘 向 63、三军可夺帅也，匹夫不可夺志也。 ——孔 丘 64、人生就是学校。在那里，与其说好 的教师 是幸福 ，不如 说好的 教师是 不幸。 ——海 贝尔 65、接受挑战，就可以享受胜利的喜悦 。——杰纳勒 尔·乔治·S·巴顿
通信原理——信源编码的技术
•
26、我们像鹰一样，生来就是自由的 ，但是 为了生 存，我 们不得 不为自 己编 一个笼 子，然 后把自 己关在 里面。 ——博 莱索
•
27、法律如果不讲道理，即使延续时 间再长 ，也还 是没有 制约力 的。— —爱·科 克
•
28、好法律是由坏风俗创造出来的。 ——马 克罗维 乌斯
谢谢！
信源及信道编码课件
BCH码与RS码
总结词
BCH码（Bose-ChaudhuriHocquenghem码）和RS码（ReedSolomon码）是两种常用的纠错码。
VS
详细描述
BCH码是一类具有循环结构的纠错码，能 够纠正多个随机错误。RS码是一种非二 进制的、具有强纠错能力的纠错码，广泛 应用于光盘、硬盘等数据存储设备。
成压缩码字。
LZ78算法则是在LZ77的基础上 进行改进，它使用字典的方式 进行压缩，能够处理更广泛的 数据类型和格式。
LZ系列算法在实际应用中具有 较高的压缩比和较快的压缩速 度，因此在许多领域都有广泛 的应用。
04
常见信道编码技术
线性分组码
总结词
线性分组码是一种纠错码，它将信息 比特分成若干组，每组包含k个比特， 然后添加r个校验比特，形成一个长度 为n的码字。
卷积码是一种将输入信 息序列分成若干个段， 并利用有限状态自动机 进行编码的方法，它能 够在纠错能力和编码效 率之间进行折衷选择。
03
常见信源编码技术
霍夫曼编码
01
霍夫曼编码是一种无损数据压缩 算法，它利用了数据的概率分布 特性进行编码。
02
在霍夫曼编码中，频繁出现的字 符使用较短的编码，而较少出现
奇偶校验是一种简单的 错误检测方法，通过在 信息码元中添加一个校 验位，使得整个码字的 二进制数中“1”的个数 为偶数（偶校验）或奇 数（奇校验）。
循环冗余校验（CRC） 是一种利用模运算和多 项式除法进行错误检测 的方法，通过生成一个 包含冗余信息的校验码 ，使得在传输过程中出 现错误时能够被检测。
信源及信道编码课件
目录 CONTENT
• 信源编码概述 • 信道编码概述 • 常见信源编码技术 • 常见信道编码技术 • 信源与信道编码的应用场景 • 信源与信道编码的未来发展
信源编码技术PPT课件
二、编码方式 1、离散无记忆信源编码DMS
包括有Huffman编码和等长编码
2、脉冲编码调制和增量编码调制PCM/DM 3、线性预测编码LPC
将信源等效地视为在一个适当输入信号激励下的线性系 统输出。用线性系统的参数及伴随的输入激励信号进行编 码。
数字通信原理
2019年6月21日星期五
三、DMS编码
（3）每三个符号组合，进行等长二进制 编码；
数字通信原理
2019年6月21日星期五
2、不等长编码
即将出现概率较大的符号用位数较少的 码字代表，而出现概率较小的符号用较长 的码字代表，也称为概率匹配编码。
（1）哈夫曼编码：单义可译码，平均长度 最短的码种；
平均码长为：
L
H ( x) N p( xi ) ni H ( x) 1
（1）Huffman编码所产生的8个不等长码 字；
（2）每个符号平均二进制编码长度；
（3）信源的熵；
数字通信原理
2019年6月21日星期五
注意：
Huffman编码构造的码字不唯一； Huffman编码是变长编码，硬件实现
比较困难； 采用Huffman编码，要传送编码表，
占用传送时间； Huffman编码是变长编码，出错时难
数字通信原理
2019年6月21日星期五
4.2 抽样定理
一、抽样 模拟信号数字化的第一步是在时间上
对信号进行离散化处理，即将时间上连续 的信号处理成时间上离散的信号，这一过 程称之为抽样。
每隔一定的时间间隔T，抽取模拟信 号的一个瞬时幅度值，所形成的一串在时 间上离散的样值称为样值序列或样值信号， 或叫脉幅调制信号（PAM信号）。
i 1
ni：相应出现概率为p(xi)的符号的编码长度。
包括有Huffman编码和等长编码
2、脉冲编码调制和增量编码调制PCM/DM 3、线性预测编码LPC
将信源等效地视为在一个适当输入信号激励下的线性系 统输出。用线性系统的参数及伴随的输入激励信号进行编 码。
数字通信原理
2019年6月21日星期五
三、DMS编码
（3）每三个符号组合，进行等长二进制 编码；
数字通信原理
2019年6月21日星期五
2、不等长编码
即将出现概率较大的符号用位数较少的 码字代表，而出现概率较小的符号用较长 的码字代表，也称为概率匹配编码。
（1）哈夫曼编码：单义可译码，平均长度 最短的码种；
平均码长为：
L
H ( x) N p( xi ) ni H ( x) 1
（1）Huffman编码所产生的8个不等长码 字；
（2）每个符号平均二进制编码长度；
（3）信源的熵；
数字通信原理
2019年6月21日星期五
注意：
Huffman编码构造的码字不唯一； Huffman编码是变长编码，硬件实现
比较困难； 采用Huffman编码，要传送编码表，
占用传送时间； Huffman编码是变长编码，出错时难
数字通信原理
2019年6月21日星期五
4.2 抽样定理
一、抽样 模拟信号数字化的第一步是在时间上
对信号进行离散化处理，即将时间上连续 的信号处理成时间上离散的信号，这一过 程称之为抽样。
每隔一定的时间间隔T，抽取模拟信 号的一个瞬时幅度值，所形成的一串在时 间上离散的样值称为样值序列或样值信号， 或叫脉幅调制信号（PAM信号）。
i 1
ni：相应出现概率为p(xi)的符号的编码长度。
信源编码ppt课件
因为 K K L H ( X ) , L log m
所以 R log m
当K达到极限值 H ( X ) 时，编码后的信息传输率 log m
HUST --- Basis for Information Theory
信源编码（主要内容）
信源编码定理
信源编码概念 香农第一定理（变长编码） 香农第三定理
信源编码方法
离散信源编码 连续信源编码* 相关信源编码* 变换编码*
1
HUST --- Basis for Information Theory
1、克拉夫特不等式
信源符号数、码符号数和码字长度之间应满 足什么条件，才能构成即时码？
定 理 设 信 源 符 号 集 X (x1, x2, xn ) ， 码 符 号 集 为 Y ( y1, y2, ym ) ， 对 信 源 进 行 编 码 ， 相 应 的 码 字 为 W (W1,W2, Wn ) ，其分别对应的码长为 k1, k2, kn ，则即时 码存在的充要条件是
HUST --- Basis for Information Theory
3、平均码长
定义 设信源
X P
p
x1
x1
x2
p x2
xn
p xn
编码后的码字分别为W1 ，W2，…，Wn，相应 的码长分别为k1，k2，…，kn。因为是唯一可
译码，信源符号xi和码字Wi一一对应，则平均 码长为
n
K = p(xi )ki
i 1
6
HUST --- Basis for Information Theory
4、信息传输率与信息传输速率
二章节信源编码-PPT精品
已知某地天气状态分为6种状况。若6种状 态出现的概率分别为0.6，0.22，0.1，0.06， 0.013，0.007，（1）计算平均信息量；（2） 二进制Huffman编码；（3）平均码长。 （4）编码效率
2019/11/1第3 2章 模拟信号的数字传输
21
（ 1 ） H (x)(0.6log20.60.22log20.220.1log20.1 0.06log20.060.013log20.0130.007log20.007) 1.631
第二章 信源编码
2.1 DMS编码 2.2 模拟信号数字化的方法 2.3 脉冲编码调制PCM 2.4 自适应差分PCM编码（ADPCM) 2.5 增量调制（DM、△M） 2.6 多路复用
第二章 信源编码
信源编码的目的
（1）将信源输出的信号转换为数字信号形式， 经过信源编码输出的信号应该是在时间上离散、 在取值上为有限个状态的数字脉冲串；
2019/11/1第3 2章 模拟信号的数字传输
17
[例 2–4] Huffman编码
p( xi )
x1:0.35
x2:0.30
x3:0.20 x4:0.10 x5:0.04 x6:0.005 x7:0.005
0 0.05
0
0.011ຫໍສະໝຸດ 10 0.65 0
1
0
0.35
0
0.15
1
1
1
1
码字 码长
00 2 01 2
fs=2×3400=6800Hz
CCITT（International Telephone and Telegraph Consultative Committee,国际电话与电报顾问委员会）
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
下面讨论冗余度及其计算。 对于一个最简单二进制信 源有下列基本不等式:
0≤H(X/Y)≤H(X)≤lb2=1 (2-32)
其中lb2为离散二进制信源消息等概率分布时的熵函数 值（最大值、 极值）。
.
6
第2章 信源编码技术
例2-3 关于英文文字信源冗余度的讨论。 根据英文中各个字母（含空格）出现的概率,可列 出表2-2。
下面,我们将从直观概念出发,直接推导出这类简化信源
编码。 首先研究等长码,参见图2-2,其中, x为输入,它共有L位
（长度）,每一位有n种取值可能; s为输出,它共有K位（长
度）,每一位有m种取值可能。.
13
第2章 信源编码技术
x ＝ ( x 1 … x l… x L ) 输 入 信 源 编 码 输 出s ＝ ( s 1 … s k … s K )
英文信源的分析也带动了各国对自己国家语言文字信
源的分析,现将类似结果列于表. 2-3。
9
第2章 信源编码技术 表2-3
.
10
第2章 信源编码技术
例2-4 关于语音信源冗余度的一个粗略估计。 语音信源的编码大致可以分为波形编码、 参量编 码与混合编码三大类。 这里,仅分析冗余度最大的参量 编码,即声码器的最大潜力。 以英语为例,其音素大约有 27～28个,若按人们通常讲话的速率,每秒钟大约平均发 送10个音素,这时英语语音信源给出的信息率为 上限： I1=lb (256) 10 =80 b/s 下限： I2=lb (128) 10 =70 b/s
=E{I［P(xi)］}
=E［-nlogP(xi) ］
= P(xi) logP(xi) .
4
i 1
第2章 信源编码技术
其中, “E”表示求概率统计平均值,即求数学期望值。
Shannon称H(X)为信源的信息熵,简称为熵。 从数学上看, 熵是信源消息概率P(xi)的对数函数logP(xi)的统计平均值,故 又称为P(xi)的泛函数,它是定量描述信源的一个重要物理量。
m K
图2-2 信源编码原理图
例：语音的冗余，文字的不均匀性 通过编码处理，使得信息之间成为完全独立的符号，且
出现概率相同，可以大大压缩原有信息的长度，而保 持信息量不变。
.
2
第2章 信源编码技术
2.1.4
1. 我们在前面讨论了信源的分类与统计描述,主要利 用了信源的客观概率分布(包括概率与概率密度)特性描 述了信源。 为了进一步深入定量地研究信源,仅限于上 述一般化的描述是不够的。 信源就其信息实质来说,具 有不确定性,那么信息与不确定性是什么关系,而不确定 性又如何利用客观概率来表达,这就是信源输出的消息 (或符号)所包含信息的定量度量问题。
倍如下：
64000
K1= 80
=800 (倍)
K2=
64000 70
=914 (倍)
.
12
第2章 信源编码技术
2.2 无失真信源编码
2.2.1
我们在前面讨论了无失真信源的信息度量： 信源熵H （X）。 在本节将进一步分析讨论实现通信系统优化的无失 真信源编码定理。
为了分析简化,这里仅讨论最简单情况组合下的信源无失 真编码定理： 离散、 无记忆、 平稳、 遍历、 二（多）进制 等（变）长编码条件下的信源编码定理。
熵是Shannon于1948年首先给出的一个从概率统计角度来 描述信源不确定性的一个客观物理量,是从信源整体角度上反 映信源不确定性的度量。
.
5
第2章 信源编码技术
4.
现在我们来讨论信源冗余度的概念,它是信源统计分析 中一个非常重要的概念,是信源信息处理、 信源编码的理论 依据。 由于实际信源几乎都是有记忆的,这也就是说信源输 出的消息序列的各个消息之间存在着记忆,即统计关联。 如 果能首先定量地计算出这一统计关联引入的冗余度,就能充 分地利用它。
.
11
第2章 信源编码技术
若按PCM常规数字化编码传送语音,其标准速率为64 kb/s,因此可求得
η1= 80 =0.001 25
64000
η2=
70 =0.0011
64000
R1=1-η1=1-0.001 25=0.998 75
R2=1-η2=1-0.0011=0.9989
可见,语音参量编码潜力巨大。 定义理论上最大压缩
.
8
第2章 信源编码技术
最后,利用统计推断方法求得H∞(X)的值。 一般而言,由 于采用不同的逼近方法和所取样本上的差异, 所推算的结果 也不同,这里我们采用Shannon求得的推算值：
H∞(X) ≈1.4b 这样,利用公式(2-35)及(2-36)可分别求得η=0.29, R=0.71。 这一结论说明英文字母信源从理论上看,有71%是多余的,即 可以认为一本100页的英文书,理论上看仅有29页是有效的, 其余71页从统计角度看完全是多余的。 也正是由于理论上 存在着这一多余成分,引导了实际工作者对英文信源进行压 缩编码的研究。
表2-2
.
7
第2章 信源编码技术
由表2-2,首先求得独立等概率情况下的H0(X)值: H0(X)=lb27=4.76 b
再求独立不等概率情况下的H1(X)值: 27 H1(X)= P(xi) lbP(xi)=4.03b i 1
还可进一步求得有一阶、 二阶记忆下的H2(X)和H3(X) 为
H2(X) =3.32 b H3(X) =3.1 b
第2章 信源编码技术
信源编码
原始的语音信号，如果不做任何处理，将含有很多的冗 余信息，不利于在信道上进行传输。
为了提高传输效率，需要对该信号进行压缩，这一步骤 称为信源编码。
与此类似，图像、视频等信号的压缩，都属于信源编码 的范畴。
最主要的目的：提高通信的有效性。
.
1
第2章 信源编码技术
信源编码原理：冗余的存在是由于原有信息之间存在着 一定的关联，以及不同信息之间出现的概率分布不均 匀所致。
.
3
第2章 信源编码技术
2.
信源输出的是消息,消息的内涵是信息,信息的最主 要特征是具有不确定性。 如何度量信息的不确定性？ 信源的统计特性可以采用概率及概率密度来描述,那么 度量信息的不确定性与信源的概率与概率密度是什么 关系?
信源输出的信息量,信息论创始人Shannon将其定 义为
H(X)=H［P(x1), …, P(xn)］