信息论与编码概念总结

合集下载
相关主题
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

信源冗余度:

H ::

1.通信系统的基本模型

2•信息论研究内容:信源熵,信道容量,信息率失真函数,信源编码,信道编 码,密码体制的安全性测度等等 第二章

1 •自信息量:一个随机事件发生某一结果所带的信息量。

2 .平均互信息量:两个离散随机事件集合 X 和丫,若其任意两件的互信息量为 I (Xi;Yj ),贝U 其联合概率加权的统计平均值,称为两集合的平均互信息量, 用I (X;Y )表示

3 .熵功率:与一个连续信源具有相同熵的高斯信源的平均功率定义为熵功率 如果熵功率等于信源平均功率,表示信源没有剩余;熵功率和信源的平均功率 相差越大,说明信源的剩余越大。所以信源平均功率和熵功率之差称为连续信 源的剩余度。信源熵的相对率(信源效率):实际熵与最大熵的比值

第一章

意义:针对最大熵而言,无用信息在其中所占的比例

3 .极限熵:

亿(綸-1]卫扌"(卅)

平均符号熵的N 取极限值,即原始信源不断发符号,符号间的统计关系延伸到 无穷。

5 .离散信源和连续信源的最大熵定理。

离散无记忆信源,等概率分布时熵最大。 连续信源,峰值功率受限时,均匀分布的熵最大 平均功率受限时,高斯分布的熵最大。 均值受限时,指数分布的熵最大

6 •限平均功率的连续信源的最大熵功率:

若一个连续信源输出信号的平均功率被限定为

p ,则其输出信号幅度的概率密度

1

分布是高斯分布时,信源有最大的熵,其值为

丄Iog2二ep.对于N 维连续平稳信源来说,

H ( X

N

)有记忆

即 H

( X N

) H ( X

N

)

N

< NH ( X )

定义:

-H ( X ) = H ( X N ) N

无记忆

称为平均符号熵

2

若其输出的N维随机序列的协方差矩阵C被限定,则N维随机矢量为正态分布时信源

1N

的熵最大,也就是N维高斯信源的熵最大,其值为—log |C | log 2 e

2 2

7.离散信源的无失真定长编码定理:

离散信源无失真编码的基本原理

浮 --------- 弓編码器—------------- 沖

图仝1蔼散信源无失真定扶编罠険理图

原理图

说明:

(1)信源发出的消息:是多符号离散信源消息,长度为L,可以用L次扩展信

源表示为:X L=(Xi%……X L)

其中,每一位X都取自同一个原始信源符号集合(n种符号):X={x 1, X2, --x n} 则最多可以对应n L条消息。

(2)信源编码后,编成的码序列长度为k,可以用k次扩展信宿符号表示为:

Y k=(Y 1Y2••…Yk)称为码字/码组

其中,每一位Y都取自同一个原始信宿符号集合:

Y={y 1, y2,-y m}又叫信道基本符号集合(称为码元,且是m进制的)

k k

则最多可编成m个码序列,对应m条消息

定长编码:信源消息编成的码字长度k是固定的。对应的编码定理称为定长信源编码

定理。

变长编码:信源消息编成的码字长度k是可变的。

8.离散信源的最佳变长编码定理

最佳变长编码定理:若信源有n条消息,第i条消息出现的概率为p i,且

P1>=p 2>=…>=p n,且第i条消息对应的码长为k i,并有k1<=k 2<= —<=k n 即:把经常出

现的消息编成短码,不经常出现的消息编成长码。这样可使平均码长最短,从而提高通信效率,代价是增加了编译码设备的复杂度。

n

k=7 p i k i最小

i丄

在不等长码字组成的序列中,要正确识别每个长度不同的码字的起点就比等长编码复杂得多。

第三章

1.信道容量的概念及用途:

最大的信息传输速率为信息容量

信道的功能:以信号形式传输和存储信息

2.信道编码定理:

若有一个离散无记忆平稳信源,其容量为C,输入序列长度为L,则只要传输的信息

速度R

反之,若R>C时,

则无论采用何种编码,必然会有译码差错

第四章

1.保真度准则下的信源编码定理:设有某一信源的信息率失真函数为R(D) ,选择有限的失真函数d,对于任意允许的平均失真度D,当压缩后的信息率R>R(D)则一定存在

某种信源编码方法,使译码后的平均失真度<=D 反之,若压缩后的信息率R=D

2.信息率失真函数的概念及应用:给定信源和失真函数,要使信源的平均失真(D 为给定的失真上限),则需找到某个信道(满足一定的信道转移概率分布或转移概率密度函数),使在该信道(称为试验信道)上传输的信息速率达到最小,这个最小的信息速率称为信息率失真函数,记作R(D)。

信息率失真理论是量化、数模转换、频带压缩和数据压缩的理论基础。

3.信道容量和信息率失真函数的比较:

相同点:二者都是求平均互信息的极值

不同点:

1、C和R(D)的不同:

(1 )信道容量:选择某一信源分布的情况下,求平均互信息的极大值。依据:平均互

信息I是信源概率分布p(x i)的严格上凸函数。(2)信息率失真函数:求选择某一压缩试验信道(转移概率分布)的情况下,依据保真度准则,求平均互信息的极小值。

依据:平均互信息I是信道转移概率分布p(y j/X i)的严格下凸函数。

2、C和R(D)的不同:

(1 )信道容量C一旦求出来,则与信源分布无关(只是证明存在这样的满足信道容量的信源分布),它只和信道转移概率分布p(y j/x i)有关。即信道容量和信源特性无关,反映信道特性。

2)信息率失真函数R(D) 一旦求出来,则与信道转移概率分布无关

(只是证明存在达到最小信息率的压缩试验信道),它只和信源概率分布p(X i)有关。即信息率失真函数和信道特性无关,反映信源特性。

3、C 和R(D) 的不同:

(1 )信道容量是通过信道编码增加信息冗余度来提高通信的可靠性,是信息传输的理论基础。( 2)信息率失真函数是通过信源编码减少信息冗余度来提高通信有效性,是信源压缩的理论基础。

第五章

相关文档
最新文档