信息论基础-练习与思考

要发现某假币并知其比真币重还是轻所需的信息量就
是要消除这两个事件的不确定性。因为这两个事件是 统计独立事件，所以需要获得的信息量为
I1 I (a) I (b) log2 12 log2 2 log2 24 4.585(bit)
而在天平上称一次能判断出三种情况：重、轻和相等，
这事件为 。这c 三种情况是等概率的。其概率
2.66(bit / symbol)
7
作业题2
第二章 信源熵
2.2. 同时扔一对均匀的骰子，当得知“两骰子面 朝上点数之和为2”或“面朝上点数之和为8”或 “骰子面朝上点数是3和4时”，试问这三种情 况分别获得多少信息量？
2019/11/25
8
作业题2
第二章 信源熵
解答：骰子一共有六面，某一骰子扔得某一点数面朝 上的概率是相等的，均为1/6。两骰子面朝上点数的 状态共有36种，其中任一状态出现都是等概率的， 出现概率为1/36。
2019/11/25
13
作业题4
第二章 信源熵
解答：
6
H ( X ) p(xi ) log2 p(xi ) i 1
[ 0.2 log2 0.2 0.19 log2 0.19 0.18log2 0.18
2(0.17 log2 0.17) 0.16 log2 0.16
第二章 信源熵
2019/11/25
4
作业题1
第二章 信源熵
2.1.设有12枚同值硬币，其中有一枚为假币，且 只知道假币的重量与真币的重量不同，但不知 究竟是重还是轻。现采用天平比较左右两边轻 重的方法来测量（因无砝码）。为了在天平上 称出哪一枚是假币，试问至少必须称多少次？
2019/11/25
5
作业题1
(1)设“两骰子面朝上点数之和为2”是事件A,点数之和 为2的只有一种(1+1)，故有
I ( A) log2 p( A) log2 36 5.17bit (2)设“两骰子面朝上点数之和为8”是事件B,点数之和
为8的有5种(2+6， 6+2 ， 4+4， 3+5， 5+3)
I (B) log2 p(B) log2 (36 / 5) 2.85bit
为 p(c) 1/ 3 。
所以，天平测一次能获得的信息量（即消除的不确定
性）为 I2 I (c) log2 p(c) log2 3 1.585(bit)
则至少必须称的次数为 因此至少必须称三次。
I1 log2 24 2.9(次) I2 log2 3
2019/11/25
率为 p(a) 1
又设“假币的重12量比真币的重量是重或轻”这事件为b ，其出现
的概率为
p(b)

1
2
事件 a的Leabharlann Baidu确定性为 I (a) log2 p(a) log2 12
事件 b的不确定性为 I (b) log2 p(b) log2 2
2019/11/25
6
作业题1
第二章 信源熵
第二章 信源熵
解答：在12枚同值硬币中，哪一枚是假币，假币的重量是比真币的 重量重还是轻，都是“无知”、“不确定的”。而用天平比较左
右两边轻重的测量方法，每测一次，能获得一定的信息量，能消 除部分不确定性，则就能确定出其中一枚假币及其重量。因此，
设“在12枚同值硬币中，某一枚为假币”这事件为a ,其出现的概
No Chance Stay For You !
2019/11/25
2
第二章总结
第二章 信源熵
(1) 单符号离散信源 ① 信息量 自信息、条件自信息概念、性质、计算 互信息、条件互信息概念、性质、计算
互信息的三种表达方式（输入端、输出端、系统总体） ②熵 信息熵的概念、性质、计算
无条件熵、条件熵（信道疑义度、噪声熵） 平均互信息概念、性质、计算 平均互信息的三种表达方式 平均互信息的凸函数性 I(X;Y)是p(xi)的上凸函数 I(X;Y)是p(yj/xi)的上凸函数 ③ 数据处理定理概念 ④ 理解各种熵之间的关系
2019/11/25
9
作业题2
第二章 信源熵
(3)设“骰子面朝上点数是3和4时”是事件C,点数为3 和4的状态只有两种，即3、4和4、3
I (C) log2 p(C) log2 18 4.17bit
2019/11/25
10
作业题3
第二章 信源熵
2.5.一幅充分洗乱了的牌（含52张牌），试问
第二章 信源熵
海尔集团CEO张瑞敏，在一次中层 干部会上提出这样一个问题：“石 头怎样才能在水上漂起来？”
2019/11/25
1
第二章 信源熵
没有机会为你停留 !
《孙子兵法》曰：“激水之疾，至于漂石者， 势也”－速度决定了石头能否漂起来
早起的鸟儿有虫吃，赶在别人前头，不要停 下来，这是竞争者的状态，也是胜者的状态。 如果成功有捷径的话，那就是飞，时刻准备 飞！
2019/11/25
3
(2) 多符号离散信源 ① 离散平稳无记忆信源概念、计算 ② 离散平稳有记忆信源概念、简单计算
条件熵、极限熵概念、简单计算 ③ 马尔可夫信源概念、极限熵计算 ④ 信源冗余度概念、通信效率与可靠性的关系 (3) 连续信源 ① 概念、与离散信源的比较和区别、简单计算 ② 理解最大连续熵定理 ③ 熵功率的概念 (4) 离散无失真信源编码定理 ① 定长编码定理 ② 变长编码定理
413 C13
52
信息量为：
log2
413 C13
52
2019/11/25
12
作业题4
第二章 信源熵
2.9设信源
X

P(
X
)

0x.12
x2 0.19
x3 0.18
x4 0.17
x5 0.16
x6 0.17

,
求这
信源的熵，并解释为什么H (X ) log2 6不满足信源熵的极值性。
(1) 任一特定排列所给出的信息量是多少？
(2) 若从中抽取13张牌，所给出的点数都不相同 能得到多少信息量？
2019/11/25
11
作业题3
第二章 信源熵
解答：
(1)任意排列共有
P52 52

52!种，则任一排列的自信息量
为：
log2 (1/ 52!) log2 52!
(2)应将点数相同花色不同的牌看作一类，则任意抽取 的13张牌应在13类种分别进行。其概率为