第2章-信源编码技术PPT课件

.
11
第2章 信源编码技术
若按PCM常规数字化编码传送语音,其标准速率为64 kb/s,因此可求得
η1= 80 =0.001 25
64000
η2=
70 =0.0011
64000
R1=1-η1=1-0.001 25=0.998 75
R2=1-η2=1-0.0011=0.9989
可见,语音参量编码潜力巨大。 定义理论上最大压缩
信 源 组 合 总 数 n L
编 码 组 合 总 数 m K
图2-2 信源编码原理图
熵是Shannon于1948年首先给出的一个从概率统计角度来 描述信源不确定性的一个客观物理量,是从信源整体角度上反 映信源不确定性的度量。
.
5
第2章 信源编码技术
4.
现在我们来讨论信源冗余度的概念,它是信源统计分析 中一个非常重要的概念,是信源信息处理、 信源编码的理论 依据。 由于实际信源几乎都是有记忆的,这也就是说信源输 出的消息序列的各个消息之间存在着记忆,即统计关联。 如 果能首先定量地计算出这一统计关联引入的冗余度,就能充 分地利用它。
英文信源的分析也带动了各国对自己国家语言文字信
源的分析,现将类似结果列于表. 2-3。
9
第2章 信源编码技术 表2-3
.
10
第2章 信源编码技术
例2-4 关于语音信源冗余度的一个粗略估计。 语音信源的编码大致可以分为波形编码、 参量编 码与混合编码三大类。 这里,仅分析冗余度最大的参量 编码,即声码器的最大潜力。 以英语为例,其音素大约有 27～28个,若按人们通常讲话的速率,每秒钟大约平均发 送10个音素,这时英语语音信源给出的信息率为 上限： I1=lb (256) 10 =80 b/s 下限： I2=lb (128) 10 =70 b/s
第2章 信源编码技术
信源编码
原始的语音信号，如果不做任何处理，将含有很多的冗 余信息，不利于在信道上进行传输。
为了提高传输效率，需要对该信号进行压缩，这一步骤 称为信源编码。
与此类似，图像、视频等信号的压缩，都属于信源编码 的范畴。
最主要的目的：提高通信的有效性。
.
1
第2章 信源编码技术
信源编码原理：冗余ቤተ መጻሕፍቲ ባይዱ存在是由于原有信息之间存在着 一定的关联，以及不同信息之间出现的概率分布不均 匀所致。
=E{I［P(xi)］}
=E［-nlogP(xi) ］
= P(xi) logP(xi) .
4
i 1
第2章 信源编码技术
其中, “E”表示求概率统计平均值,即求数学期望值。
Shannon称H(X)为信源的信息熵,简称为熵。 从数学上看, 熵是信源消息概率P(xi)的对数函数logP(xi)的统计平均值,故 又称为P(xi)的泛函数,它是定量描述信源的一个重要物理量。
.
3
第2章 信源编码技术
2.
信源输出的是消息,消息的内涵是信息,信息的最主 要特征是具有不确定性。 如何度量信息的不确定性？ 信源的统计特性可以采用概率及概率密度来描述,那么 度量信息的不确定性与信源的概率与概率密度是什么 关系?
信源输出的信息量,信息论创始人Shannon将其定 义为
H(X)=H［P(x1), …, P(xn)］
表2-2
.
7
第2章 信源编码技术
由表2-2,首先求得独立等概率情况下的H0(X)值: H0(X)=lb27=4.76 b
再求独立不等概率情况下的H1(X)值: 27 H1(X)= P(xi) lbP(xi)=4.03b i 1
还可进一步求得有一阶、 二阶记忆下的H2(X)和H3(X) 为
H2(X) =3.32 b H3(X) =3.1 b
例：语音的冗余，文字的不均匀性 通过编码处理，使得信息之间成为完全独立的符号，且
出现概率相同，可以大大压缩原有信息的长度，而保 持信息量不变。
.
2
第2章 信源编码技术
2.1.4
1. 我们在前面讨论了信源的分类与统计描述,主要利 用了信源的客观概率分布(包括概率与概率密度)特性描 述了信源。 为了进一步深入定量地研究信源,仅限于上 述一般化的描述是不够的。 信源就其信息实质来说,具 有不确定性,那么信息与不确定性是什么关系,而不确定 性又如何利用客观概率来表达,这就是信源输出的消息 (或符号)所包含信息的定量度量问题。
.
8
第2章 信源编码技术
最后,利用统计推断方法求得H∞(X)的值。 一般而言,由 于采用不同的逼近方法和所取样本上的差异, 所推算的结果 也不同,这里我们采用Shannon求得的推算值：
H∞(X) ≈1.4b 这样,利用公式(2-35)及(2-36)可分别求得η=0.29, R=0.71。 这一结论说明英文字母信源从理论上看,有71%是多余的,即 可以认为一本100页的英文书,理论上看仅有29页是有效的, 其余71页从统计角度看完全是多余的。 也正是由于理论上 存在着这一多余成分,引导了实际工作者对英文信源进行压 缩编码的研究。
倍如下：
64000
K1= 80
=800 (倍)
K2=
64000 70
=914 (倍)
.
12
第2章 信源编码技术
2.2 无失真信源编码
2.2.1
我们在前面讨论了无失真信源的信息度量： 信源熵H （X）。 在本节将进一步分析讨论实现通信系统优化的无失 真信源编码定理。
为了分析简化,这里仅讨论最简单情况组合下的信源无失 真编码定理： 离散、 无记忆、 平稳、 遍历、 二（多）进制 等（变）长编码条件下的信源编码定理。
下面讨论冗余度及其计算。 对于一个最简单二进制信 源有下列基本不等式:
0≤H(X/Y)≤H(X)≤lb2=1 (2-32)
其中lb2为离散二进制信源消息等概率分布时的熵函数 值（最大值、 极值）。
.
6
第2章 信源编码技术
例2-3 关于英文文字信源冗余度的讨论。 根据英文中各个字母（含空格）出现的概率,可列 出表2-2。
下面,我们将从直观概念出发,直接推导出这类简化信源
编码。 首先研究等长码,参见图2-2,其中, x为输入,它共有L位
（长度）,每一位有n种取值可能; s为输出,它共有K位（长
度）,每一位有m种取值可能。.
13
第2章 信源编码技术
x ＝ ( x 1 … x l… x L ) 输 入 信 源 编 码 输 出s ＝ ( s 1 … s k … s K )