最新信息论基础精品课件第2章_信源与信息熵(习题课)

信息论基础B 第2章 信源与信息熵（习题课）
任课老师： 博士(讲师) 江苏省图像处理与图像通信重点实验室
1
本章重要知识点
信息量(自信息量、条件信息量、联合信息量) 离散单符号信源熵、条件熵、联合熵 平均互信息量 马尔可夫信源极限熵（信源的符号熵） 熵及平均互信息量的性质
2
本章其它知识点

一个一阶马尔可夫链X 1 , X 2 ,, X r ,, 各X r 取值于 1 A a1 , a2 , a3 。已知起始概率P( x)为p1 P( X 1 a1 ) , 2 i j 1 2 3 1 p2 p3 。转换概率为 1 1/2 1/4 1/4 4
2 3 2/3 2/3 0 1/3 1/3 0
例8：
•
•
（1）试问这个信源是否是平稳的？ 2 H ( X ) ，H ( X 3 X 1 X 2 )及 lim H N (X) （2试计算 ） （3）试计算 有的 所有符号。
H(X )
4
•
并写出
X4
N
信源中可能
12
例9：一个二元无记忆信源，其发0的概率为p， 而p≈1，所以在发出的二元序列中经常出现的 是那些一串为0的序列（称高概率序列）。对 于这样的信源我们可以用另一新信源来代替， 新信源中只包含这些高概率序列。这时新信 S n s1 , s2 , s3 ,, sn , sn 1 源
离散序列熵、序列符号熵 连续信源相对熵及最大熵定理 冗余度的概念 数据处理中信息不增加性原理
3
第一章内容回顾
• 通信系统的模型,和各模块的功能
信源
消息
编码器
信号
信道
信号 加噪 声
译Leabharlann Baidu器
消息
信宿
噪声
信源 信源 编码 加密 信道 编码
如何评价通信系统的好坏？
干扰 信道 信宿 信源 译码 解密 信道 译码 噪声
8
• 两个二元随机变量X和Y，它们的联合概率分 布函数如下： 1 X Y 0
0 1 1/8 3/8 3/8 1/8
例5：教材page 40 2-13
• 定义另一随机变量Z=X〃Y（一般乘积），试 计算 • (1) 熵H(X), H(Y), H(Z), H(X,Z),H(Y,Z),H(X,Y,Z)； • (2)条件熵 H(X|Y),H(Y|X),H(X|Z),H(Z|X),H(Y|Z), 9 • H(Z|Y),H(X|YZ),H(Y|XZ)和H(Z|XY)；
4

自信息量的计算 定义：对于给定的离散概率空间表示的信源， x=ai事件所 对应的（自）信息为 1
I ( xi ai ) log p( xi ) log
以2为底，单位为比特（bit)

p( xi )
信息量的计算和概率相关。
5
例1：教材 page 39 2-4
• • • • 红色球和白色球各50个 红色球99个，白色球1个 红、黄、白色球各25个 分别求出布袋中随意取出一个球时， 猜测其颜色所需要的信息量？
例10：
（1）求X1X2X3的联合熵和平均符号熵 （2）求这个链的极限平均符号熵 （3）求H0，H1，H2和它们所对应的冗余度
14
END
15
例6：
• 设信源发出两个消息 x1 x 2 • • 它们的概率分布为：
p( x1 ) 3 / 4 p ( x2 ) 1 / 4
求该信源的熵和冗余度。
10
• 设离散无记忆信源
例7：
X a1 0 a2 1 a3 2 a4 3 P( x) 3 / 8 1 / 4 1 / 4 1 / 8
6
例2： （1）试问四进制、八进制的每一个波形 所含的信息量是二进制波形的信息量的多 少倍？
例3： （2）有81枚硬币，外观完全相同，已知 有一枚硬币恰好与其它硬币不同，问确定 随意取出一枚硬币恰好是重量不同的一枚 硬币，并进一步确定它比其他硬币是重还 是轻一些所需要的信息量是多少？
7
例4： • 掷两粒骰子，当其向上的面的点数之 和是3时，该消息所包含的信息量是多 少？当小圆点数之和是7时，该消息所 包含的信息量又是多少？
•
其发生的消息为
2021201302 1300120321 0110321010 0210320112 23210
• • • 求： （1）此消息的自信息是多少？ （2）在此消息中平均每个符号携带的信 息量是多少？
11
• 设有一个信源，它产生0，1序列的消息。它 在任意时间而且不论以前发出过什么符号， 均按P(0)=0.4，P(1)=0.6的概率发出符号。
共有n+1 新信源序列： s1， 个符号，它与高概率的二元序列的 s2， s3， s4， s8， ， sn， sn 1 对应关系如下： 求H (S n )
当n ，求信息源的熵H (s) limH (Sn )
n
13
n位 n位 二元序列： 1， 01 ， 001 ， 0001 ， 00000001 ， ， 0001 ， 0000 。