信息论期末总结

合集下载
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

信息论期末总结

● 消息中包含信息,消息是信息的载体。

信息:信息是对事物运动状态或存在方

式的不确定性的描述。

● 通信的过程就是消除不确定性的过程。

● 信息与概率的关系:

● 事件发生的概率越大,该事件包含的信息量

越小;

● 如果一个事件发生的概率为1,那么它包含

的信息量为0;

● 两个相互独立事件所提供的信息量应等于

它们各自提供的信息量之和。

某个消息的不确定性(含有的信息量)可以表示为:

● 信源的平均不确定性:

● 信源发出的消息的统计特性

➢ 离散信源、连续信源、波形信源

➢ 有记忆信源和无记忆信源

1()log log ()()

i i i I x p x p x ==-∑=-=q

i i i x p x p X H 1)(log )()(

➢平稳信源和非平稳信源

●编码器的功能:将消息变成适合信道传输的

信号

●编码器包括:(1)信源编码器(2)信道编

码器(3)调制器

●信源编码器:去除信源消息中的冗余度,提

高传输的有效性

●信道编码器:将信源编码后的符号加上冗余

符号,提高传输的可靠性。

●调制器:

功能:将信道编码后的符号变成适合信道传输的信号

目的:提高传输效率

●信道的统计特性

无噪声信道、有噪声信道

离散信道、连续信道、波形信道

有记忆信道和无记忆信道

恒参信道(平稳信道)和随参信道(非平稳信道)单用户信道和多用户信道

●信道传输信息的最高速率:信道容量

●译码器的功能:从接收到的信号中恢复消

息。

包括:(1)解调器(2)信道译码器(3)信源译

码器

● 提高有效性: (数据压缩)

信源编码:无失真信源编码和限失真信源编码

● 提高可靠性: (可靠传输)

信道编码

● 香农第一定理: 如果编码后的信源序列的

编码信息率不小于信源的熵,那么一定存在

一种无失真信源编码方法;否则,不存在这

样的一种无失真信源编码方法。

● 香农第二定理:如果信道的信息传输

率小于信道容量,那么总可以找到一种编码

方式,使得当编码序列足够长时传输差错任

意小;否则,不存在使差错任意小的信道编

码方式。

● 香农第三定理:对于任意的失真

度 ,只要码字足够长,那么总可以找

到一种编码方法,使编码后的编码信息

率 ,而码的平均失真

度 。

● 公理性条件:

(1) 如果p (x 1) < p (x 2),则I (x 1) > I (x 2), I (xi )

0D ≥()R D ≥d D

是 p (xi ) 的单调递减函数;

(2) 如果p (xi )=0,则I (xi ) → ∞ ; 如果p (xi )=1,

则I (xi ) =0 ;

(3)由两个相对独立的事件所提供的信息

量,应等于它们分别提供的信息量之和:

I (xi yj )=I (xi )+I (yj ) ● 自信息可以从两个方面来理解:

自信息是事件发生前,事件发生的不确定性。

自信息表示事件发生后,事件所包含的信息量。

● 先验概率:信源发出消息 的概率 。

● 后验概率:信宿收到消息 后推测信源发出 的概率,即条件概率 。

● 互信息有两方面的含义:

➢ 表示事件 出现前后关于事件 的不确

定性减少的量;

➢ 事件 出现以后信宿获得的关于事件

的信息量。

● 观察者站在输出端

i x ()

i p x j y i x (|)i j p x y (;)()(|)log ()log (|)(1,2,,;1,2,,)(

|)log ()i j i i j

i i j

i j i

I x y I x I x y p x p x y i n j m p x y p x =-=-+=⋯=⋯=j y i x j y i

x

I (xi ;yj )=log p (xi |yj )–log p (xi )=I (xi )

– I (xi |yj )

❖ 观察者站在输入端

I (yj ; xi )=log p (yj | xi )–log p (yj )=I (yj ) –

I (yj | xi )

● 当后验概率大于先验概率时,互信息为正。

当后验概率小于先验概率时,互信息为负。

当后验概率与先验概率相等时,互信息为零。

任何两个事件之间的互信息不可能大于其中

任一事件的自信息

● 例6:居住某地区的女孩中有25%是大学生,

在女大学生中有75%是身高1.6m 以上的,

而女孩中身高1.6m 以上的占总数一半。假

如我们得知“身高1.6m 以上的某女孩是大学

生”的消息,问获得多少信息量?

● 例7:

且 。此消息在二进制对称信道上

传输,信道传输特性为

● 求互信息量 和 。

● 自信息是一个随机变量:自信息是指信源发

出的某一消息所含有的信息量。不同的消

息,它们所含有的信息量也就不同。

)(1;1b a I ()

12;I a b

相关文档
最新文档