信息论期末总结
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
信息论期末总结
● 消息中包含信息,消息是信息的载体。
信息:信息是对事物运动状态或存在方
式的不确定性的描述。
● 通信的过程就是消除不确定性的过程。
● 信息与概率的关系:
● 事件发生的概率越大,该事件包含的信息量
越小;
● 如果一个事件发生的概率为1,那么它包含
的信息量为0;
● 两个相互独立事件所提供的信息量应等于
它们各自提供的信息量之和。
●
某个消息的不确定性(含有的信息量)可以表示为:
● 信源的平均不确定性:
● 信源发出的消息的统计特性
➢ 离散信源、连续信源、波形信源
➢ 有记忆信源和无记忆信源
1()log log ()()
i i i I x p x p x ==-∑=-=q
i i i x p x p X H 1)(log )()(
➢平稳信源和非平稳信源
●编码器的功能:将消息变成适合信道传输的
信号
●编码器包括:(1)信源编码器(2)信道编
码器(3)调制器
●信源编码器:去除信源消息中的冗余度,提
高传输的有效性
●信道编码器:将信源编码后的符号加上冗余
符号,提高传输的可靠性。
●调制器:
功能:将信道编码后的符号变成适合信道传输的信号
目的:提高传输效率
●信道的统计特性
无噪声信道、有噪声信道
离散信道、连续信道、波形信道
有记忆信道和无记忆信道
恒参信道(平稳信道)和随参信道(非平稳信道)单用户信道和多用户信道
●信道传输信息的最高速率:信道容量
●译码器的功能:从接收到的信号中恢复消
息。
包括:(1)解调器(2)信道译码器(3)信源译
码器
● 提高有效性: (数据压缩)
信源编码:无失真信源编码和限失真信源编码
● 提高可靠性: (可靠传输)
信道编码
● 香农第一定理: 如果编码后的信源序列的
编码信息率不小于信源的熵,那么一定存在
一种无失真信源编码方法;否则,不存在这
样的一种无失真信源编码方法。
● 香农第二定理:如果信道的信息传输
率小于信道容量,那么总可以找到一种编码
方式,使得当编码序列足够长时传输差错任
意小;否则,不存在使差错任意小的信道编
码方式。
● 香农第三定理:对于任意的失真
度 ,只要码字足够长,那么总可以找
到一种编码方法,使编码后的编码信息
率 ,而码的平均失真
度 。
● 公理性条件:
(1) 如果p (x 1) < p (x 2),则I (x 1) > I (x 2), I (xi )
0D ≥()R D ≥d D
≤
是 p (xi ) 的单调递减函数;
(2) 如果p (xi )=0,则I (xi ) → ∞ ; 如果p (xi )=1,
则I (xi ) =0 ;
(3)由两个相对独立的事件所提供的信息
量,应等于它们分别提供的信息量之和:
I (xi yj )=I (xi )+I (yj ) ● 自信息可以从两个方面来理解:
自信息是事件发生前,事件发生的不确定性。
自信息表示事件发生后,事件所包含的信息量。
● 先验概率:信源发出消息 的概率 。
● 后验概率:信宿收到消息 后推测信源发出 的概率,即条件概率 。
●
● 互信息有两方面的含义:
➢ 表示事件 出现前后关于事件 的不确
定性减少的量;
➢ 事件 出现以后信宿获得的关于事件
的信息量。
● 观察者站在输出端
i x ()
i p x j y i x (|)i j p x y (;)()(|)log ()log (|)(1,2,,;1,2,,)(
|)log ()i j i i j
i i j
i j i
I x y I x I x y p x p x y i n j m p x y p x =-=-+=⋯=⋯=j y i x j y i
x
I (xi ;yj )=log p (xi |yj )–log p (xi )=I (xi )
– I (xi |yj )
❖ 观察者站在输入端
I (yj ; xi )=log p (yj | xi )–log p (yj )=I (yj ) –
I (yj | xi )
● 当后验概率大于先验概率时,互信息为正。
当后验概率小于先验概率时,互信息为负。
当后验概率与先验概率相等时,互信息为零。
任何两个事件之间的互信息不可能大于其中
任一事件的自信息
● 例6:居住某地区的女孩中有25%是大学生,
在女大学生中有75%是身高1.6m 以上的,
而女孩中身高1.6m 以上的占总数一半。假
如我们得知“身高1.6m 以上的某女孩是大学
生”的消息,问获得多少信息量?
● 例7:
且 。此消息在二进制对称信道上
传输,信道传输特性为
● 求互信息量 和 。
● 自信息是一个随机变量:自信息是指信源发
出的某一消息所含有的信息量。不同的消
息,它们所含有的信息量也就不同。
)(1;1b a I ()
12;I a b