第二章 信源与信息度量 习题解答
信息论与编码-第2讲-信源及信息度量1
自信息含义
当事件xi发生以前：表示事件xi发生的不确定性。 当事件xi发生以后：表示事件xi所含有（或所提供）的信
息量。在无噪信道中，事件xi发生后，能正确无误地传输到 收信者，所以I(xi)可代表接收到消息xi后所获得的信息量。 这是因为消除了I(xi)大小的不确定性，才获得这么大小的信 息量。
2.1.1 单符号离散信源的数学模型
(1) 信源的描述方法 (2) 单符号离散信源数学模型
(1) 信源的描述方法
在通信系统中收信者在未收到消息以前，对信源发出 什么消息是不确定的。
① 离散信源：输出的消息常常是以一个个符号形式出现，
这些符号的取值是有限的或可数的。 单符号离散信源：只涉及一个随机事件，可用随机变量描述。 多符号离散信源：每次输出是一个符号序列，序列中每一位出现
② 联合自信息量
信源模型为
x2 y1 ,, x2 ym ,, xn y1 ,, xn y m XY x1 y1 ,, x1 ym , P( XY ) p( x y ),, p( x y ), p( x y ),, p( x y ),, p( x y ),, p( x y ) 1 m 2 1 2 m n 1 n m 1 1
计算y1与各种天气之间的互信息量 对天气x1，不必再考虑 对天气x2， I ( x2 ; y1 ) log2 p( x2 / y1 ) log2 1/ 2 1(比特) p( x ) 1/ 4
i i
验概率的函数。
函数f [p(xi)]应满足以下4个条件 根据上述条件可以从数学上证明这种函数形式是对 数形式。
信息论第二章答案
2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。
解： (1)bit x p x I x p i i i 170.4181log )(log )(18161616161)(=-=-==⨯+⨯=(2)bit x p x I x p i i i 170.5361log)(log )(3616161)(=-=-==⨯=(3)两个点数的排列如下： 11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 61 62 63 64 65 66共有21种组合：其中11，22，33，44，55，66的概率是3616161=⨯ 其他15个组合的概率是18161612=⨯⨯symbol bit x p x p X H ii i / 337.4181log 18115361log 3616)(log )()(=⎪⎭⎫ ⎝⎛⨯+⨯-=-=∑(4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：symbolbit x p x p X H X P X ii i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 3612 )(log )()(36112181111211091936586173656915121418133612)(=⎪⎭⎫ ⎝⎛+⨯+⨯+⨯+⨯+⨯-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡∑(5)bit x p x I x p i i i 710.13611log)(log )(3611116161)(=-=-==⨯⨯=2-42.6 掷两颗骰子，当其向上的面的小圆点之和是3时，该消息包含的信息量是多少？当小圆点之和是7时，该消息所包含的信息量又是多少？ 解：1）因圆点之和为3的概率1()(1,2)(2,1)18p x p p =+=该消息自信息量()log ()log18 4.170I x p x bit =-== 2）因圆点之和为7的概率1()(1,6)(6,1)(2,5)(5,2)(3,4)(4,3)6p x p p p p p p =+++++=该消息自信息量()log ()log6 2.585I x p x bit =-==2.7 设有一离散无记忆信源，其概率空间为123401233/81/41/41/8X x x x x P ====⎛⎫⎛⎫=⎪ ⎪⎝⎭⎝⎭（1）求每个符号的自信息量（2）信源发出一消息符号序列为{202 120 130 213 001 203 210 110 321 010 021 032 011 223 210}，求该序列的自信息量和平均每个符号携带的信息量 解：122118()log log 1.415()3I x bit p x === 同理可以求得233()2,()2,()3I x bit I x bit I x bit ===因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和 就有：123414()13()12()6()87.81I I x I x I x I x bit =+++= 平均每个符号携带的信息量为87.811.9545=bit/符号 2-9 “－” 用三个脉冲 “●”用一个脉冲(1) I(●)=Log 4()2= I(－)＝Log 43⎛ ⎝⎫⎪⎭0.415=(2) H= 14Log 4()34Log 43⎛⎝⎫⎪⎭+0.811=2-10(2) P(黑/黑)= P(白/黑)=H(Y/黑)=(3) P(黑/白)= P(白/白)=H(Y/白)=(4) P(黑)= P(白)=H(Y)=2.11 有一个可以旋转的圆盘，盘面上被均匀的分成38份，用1，…，38的数字标示，其中有两份涂绿色，18份涂红色，18份涂黑色，圆盘停转后，盘面上的指针指向某一数字和颜色。
信息论第二章答案
信息论第二章答案(总17页) -CAL-FENGHAI.-(YICAI)-Company One1-CAL-本页仅作为文档封面，使用请直接删除试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍解：四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3}八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7}二进制脉冲可以表示2个不同的消息，例如：{0, 1}假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量symbol bit n X H / 24log log )(1===八进制脉冲的平均信息量symbol bit n X H / 38log log )(2===二进制脉冲的平均信息量symbol bit n X H / 12log log )(0===所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。
一副充分洗乱了的牌（含52张牌），试问(1) 任一特定排列所给出的信息量是多少(2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量解：(1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是： !521)(=i x p bit x p x I i i 581.225!52log )(log )(==-=(2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下：(a)p(x i )=52/52 * 48/51 * 44/50 * 40/49 * 36/48 * 32/47 * 28/46 * 24/45 * 20/44 * 16/43 * 12/42 * 8/41 * 4/40=(b)总样本：C 1352, 其中13点数不同的数量为4*4*4*…*4=413。
所以，抽取13张点数不同的牌的概率：bit C x p x I C x p i i i 208.134log )(log )(4)(135213135213=-=-==居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。
信息论基础第2章离散信源及其信息度量[83页]
![信息论基础第2章离散信源及其信息度量[83页]](https://img.taocdn.com/s3/m/a8bfc380a32d7375a5178051.png)
I (ai ) logr P(ai ) (r进制单位）
通常采用“比特”作为信息量的实用单位。在本书中，且为了 书写简洁，底数 2 通常省略不写。
【例】假设有这样一种彩票，中奖概率为 0.0001，不中 奖概率为 0.9999。现有一个人买了一注彩票。 试计算
定义: 设信源的概率空间为
X
P( x)
a1 P(a1
)
a2 P(a2 )
aq
P(aq )
则自信息量的数学期望定义为信源的平均自信息量，即
q
H ( X ) E[I (ai )] P(ai ) log2 P(ai ) （bit/符号） i 1
简记为
H ( X ) P(x) log2 P(x) xX
（1） 事件“彩票中奖”的不确定性； （2） 事件“彩票不中奖”的不确定性； （3） 事件“彩票中奖”和事件“彩票不中奖”相
比较，哪个提供的信息量较大？
【例】 对于 2n 进制的数字序列, 假设每一符号的出现相互 独立且概率相等，求任一符号的自信息量。
解：
根据题意， P(ai ) =1/2n，所以 I (ai ) log P(ai ) log（1/ 2n ) n(bit)
一般的多符号离散信源输出的随机序列的统计特性 比较复杂，分析起来也比较困难。将在第 3 章中详细讨 论。
《信息论基础》
2.3 离散随机变量的信息度量
一、自信息量I(xi)和信息熵H(X)
定义: 随机事件的自信息量定义为该事件发生概率的
对数的负值。设集合 X 中的事件 x ai 发生概率为 P(ai ) ，
按输出符号之间依赖关系分类，多符号离散信源 可分为无记忆信源和有记忆信源。
信息论基础第2章离散信源及其信息度量
第2章 离散信源及其信息度量
本章内容
2.1 离散信源的分类 2.2 离散信源的统计特性 2.3 离散随机变量的信息度量 2.4 离散信源的N次扩展信源 2.5 离散平稳信源 2.6 马尔可夫信源 2.7 离散信源的相关性和剩余度
《信息论基础》
2.1 离散信源的分类
离散信源的分类
按照离散信源输出的是一个消息符号还是消息符 号序列，可分为单符号离散信源和多符号离散信 源。
,
q2 pn
,
qm ) pn
n
m
其中， pi 1, qj pn 。
i1
j 1
可见，由于划分而产生的不确定性而导致熵的增加量为
pnHm (
q1 pn
,
q2 pn
, qm pn
)
6、上凸性
熵函数 H (p) 是概率矢量 p ( p1, p2 ,
pq ) 的严格∩型凸函数
（ 或 称 上 凸 函 数 ）。 即 对 任 意 概 率 矢 量 p1 ( p1, p2 , pq ) 和
成 H ( p1) 或 H ( p2 ) 。
和自信息相似，信息熵 H ( X ) 有两种物理含义：
① 信源输出前，信源的信息熵表示信源的平均 不确定度。
② 信源输出后，信源的信息熵表示信源输出一 个离散消息符号所提供的平均信息量。如果信道无噪 声干扰，信宿获得的平均信息量就等于信源的平均信 息量，即信息熵。需要注意的是，若信道中存在噪声， 信宿获得的平均信息量不再是信息熵，而是 2.5 节介 绍的平均互信息。
联合熵 H (XY ) 的物理含义表示联合离散符号集 XY 上
的每个元素对平均提供的信息量或平均不确定性。 单位为“bit/符号对”。 需要注意的是，两个随机变量 X 和 Y 既可以表示两个
第二章信源与信息度量习题-精品
第二章信源与信息度量习题-精品2020-12-12【关键字】方案、空间、系统、平稳、合理、规律、稳定、需要、标准、关系、设置1. 某大学设置五个学院，每个学院的学生数分别为学院： 数学 物理 外语 外贸 医学人数： 300 400 500 600 200问“某学生王某是外语学院学生”这一消息提供的信息量是多少？2. 同时扔出两个正常的骰子，也就是各面呈现的概率都是1/6，求：（1） 事件“2和5同时呈现”的自信息量；（2） 事件“两个4同时呈现”的自信息量；（3） 事件“至少呈现一个1”的自信息量。
3. 字母“e ”在英文中出现的概率是0.103，字母“c ”出现的概率为0.022，字母“x ”出现的概率是0.001，求这些字母各自的自信息量。
4. 某电子厂共能生产A 、B 、C 、D 四种仪器，其中A 因技术落后停产了，B 占全部产量的20%，C 占30%，D 占50%。
有两个消息“现在完成1台仪器B ”，和“现在完成1台仪器C ”，试确定哪一种消息提供的信息量大些？其中有什么规律？5. 某地，35%的女孩上大学，65%的女大学生身高超过1.6米，而一个女孩身高超过1.6米的概率是50%，现有一条消息：说某一个身高超过1.6米的女孩是大学生，求这条消息的信息量。
6. 试求：（1） 在一付标准的扑克牌中抽出一张（每张牌均认为是不同的）的平均信息量。
（2） 若扑克牌仅按它的等级鉴定而不问它的花色(大、小王属同一等级)，重复上述计算。
7. 某地的天气预报为：晴（占4/8），多云（占2/8），雨（占1/8），雪（占1/8），冰雹（占0/8）；而当地老农对天气的预测只能做到：晴（占7/8），雨（占1/8）。
试求两者对天气预报各自提供的平均信息量，并说明从中得到的规律。
8. 某离散无记忆平稳信源的概率空间为：12340123()3/81/41/41/8X x x x x p X ====⎧⎫⎡⎤=⎨⎬⎢⎥⎩⎭⎣⎦，若某消息符号序列为：202 120 130 213 001 203 210 110 321 010 021 032 011 223 210，求：（1） 该消息的自信息量；（2） 该消息平均每个符号携带的信息量。
信息论与编码第二章答案
第二章 信息的度量2.1 信源在何种分布时，熵值最大？又在何种分布时，熵值最小？答：信源在等概率分布时熵值最大；信源有一个为1，其余为0时熵值最小。
2.2 平均互信息量I(X;Y)与信源概率分布q(x)有何关系？与p(y|x)又是什么关系？答：若信道给定，I(X;Y)是q(x)的上凸形函数； 若信源给定，I(X;Y)是q(y|x)的下凸形函数。
2.3 熵是对信源什么物理量的度量？答：平均信息量2.4 设信道输入符号集为{x1,x2,……xk}，则平均每个信道输入符号所能携带的最大信息量是多少？答：k k k xi q xi q X H ilog 1log 1)(log )()(=-=-=∑2.5 根据平均互信息量的链规则，写出I(X;YZ)的表达式。
答：)|;();();(Y Z X I Y X I YZ X I +=2.6 互信息量I(x;y)有时候取负值，是由于信道存在干扰或噪声的原因，这种说法对吗？答：互信息量)()|(log);(xi q yj xi Q y x I =，若互信息量取负值，即Q(xi|yj)<q(xi)，说明事件yi 的出现告知的是xi 出现的可能性更小了。
从通信角度看，视xi 为发送符号，yi 为接收符号，Q(xi|yj)<q(xi)，说明收到yi 后使发送是否为xi 的不确定性更大，这是由于信道干扰所引起的。
2.7 一个马尔可夫信源如图所示，求稳态下各状态的概率分布和信源熵。
答：由图示可知：43)|(41)|(32)|(31)|(41)|(43)|(222111110201======s x p s x p s x p s x p s x p s x p即：43)|(0)|(41)|(31)|(32)|(0)|(0)|(41)|(43)|(222120121110020100=========s s p s s p s s p s s p s s p s s p s s p s s p s s p可得：1)()()()(43)(31)()(31)(41)()(41)(43)(210212101200=+++=+=+=s p s p s p s p s p s p s p s p s p s p s p s p得：114)(113)(114)(210===s p s p s p=+-+-+-=)]|(log )|()|(log )|()[()]|(log )|()|(log )|()[()]|(log )|()|(log )|()[(222220202121211111010100000s s p s s p s s p s s p s p s s p s s p s s p s s p s p s s p s s p s s p s s p s p H 0.25（bit/符号）2.8 一个马尔可夫信源，已知：0)2|2(,1)2|1(,31)1|2(,32)1|1(====x x p x x p x x p x x p 试画出它的香农线图，并求出信源熵。
信息论与编码第2章习题解答
2.1设有12枚同值硬币，其中一枚为假币。
只知道假币的重量与真币的重量不同，但不知究竟是重还是轻。
现用比较天平左右两边轻重的方法来测量（因无砝码）。
为了在天平上称出哪一枚是假币，试问至少必须称多少次？解：分三组，每组4个，任意取两组称。
会有两种情况，平衡，或不平衡。
(1) 平衡：明确假币在其余的4个里面。
从这4个里面任意取3个，并从其余8个好的里面也取3个称。
又有 两种情况：平衡或不平衡。
a ）平衡：称一下那个剩下的就行了。
b ）不平衡：我们至少知道那组假币是轻还是重。
从这三个有假币的组里任意选两个称一下，又有两种情况：平衡与不平衡，不过我们已经知道假币的轻重情况了，自然的，不平衡直接就知道谁是假币；平衡的话，剩下的呢个自然是假币，并且我们也知道他是轻还是重。
(2) 不平衡：假定已经确定该组里有假币时候：推论1：在知道该组是轻还是重的时候，只称一次，能找出假币的话，那么这组的个数不超过3。
我们知道，只要我们知道了该组（3个）有假币，并且知道轻重，只要称一次就可以找出来假币了。
从不平衡的两组中，比如轻的一组里分为3和1表示为“轻（3）”和“轻（1）”，同样重的一组也是分成3和1标示为“重（3）”和“重（1）”。
在从另外4个剩下的，也就是好的一组里取3个表示为“准（3）”。
交叉组合为：轻（3） + 重（1） ？=======？ 轻（1） + 准（3）来称一下。
又会有3种情况：(1)左面轻：这说明假币一定在第一次称的时候的轻的一组，因为“重（1）”也出现在现在轻的一边，我们已经知道，假币是轻的。
那么假币在轻（3）里面，根据推论1，再称一次就可以了。
(2)右面轻：这里有两种可能：“重（1）”是假币，它是重的，或者“轻（1）”是假币，它是轻的。
这两种情况，任意 取这两个中的一个和一个真币称一下即可。
(3)平衡：假币在“重（3）”里面，而且是重的。
根据推论也只要称一次即可。
2.2 同时扔一对骰子，当得知“两骰子面朝上点数之和为2”或“面朝上点数之和为8”或“骰子面朝上之和是3和4”时，试问这三种情况分别获得多少信息量？解：设“两骰子面朝上点数之和为2”为事件A ，则在可能出现的36种可能中，只能个骰子都为1，这一种结果。
第2章 离散信源和信息度量题目
第2章 离散信源和信息度量一、例题：【例2.1】 一个1, 0等概的二进制随机序列，求任一码元的自信息量。
解：二进制序列的任一码元不是为0就是为1，根据题意(0)(1)1/2P P ==，所以(0)(1)log(1/2)1I I bit ==-=【例2.2】 对于2n进制的数字序列，假设每一符号的出现完全随机且概率相等，求任一符号的自信息量。
解：设2n进制数字序列任一码元i a 的出现概率为()i P a ，根据题意，()12n i P a =()log ()log 1/2)()n i i I a P a n bit =-=-=（【例2.3】 某地某月份的气象资料如表2.1所示，求相应事件的自信息量。
表2.1 某地某月的气象资料解：()log ()1I P bit =-=晴晴，()log ()2I P bit =-=阴阴()log ()3I P bit =-=雨雨，()log ()3I P bit =-=多云多云【例2.4】 设有两个离散信源集合1201()0.60.4X a a P X ==⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦[][]1201Y b b === 其中[]11211222(|)(|)5/61/6(|)(|)(|)3/41/4p b a p b a P y x p b a p b a ⎡⎤⎡⎤==⎢⎥⎢⎥⎣⎦⎣⎦ 求：（1）自信息量()i I a ；（2）条件自信息量(|)i j I a b ；（3）互信息量(;)i j I a b解：（1）根据自信息量的定义可得11()log ()log0.60.737I a P a bit =-=-≈ 22()log ()log0.4 1.322I a P a bit =-=-≈（2）由全概率公式，可得2211111222221153()()()(|)0.60.40.86411()()()(|)0.60.40.264i i i i i i i i i i P b P a b P a P b a P b P a b P a P b a =======⨯+⨯====⨯+⨯=∑∑∑∑因为()(|)()i j i j j P a b P a b P b =，所以得11111()5(|)()8P a b P a b P b ==，21211()3(|)()8P a b P a b P b == 12122()1(|)()2P a b P a b P b ==，22222()1(|)()2P a b P a b P b == 根据条件自信息量的定义可得：11115(|)log (|)log 0.6788I a b P a b bit =-=-≈21213(|)log (|)log 1.4158I a b P a b bit =-=-≈12121(|)log (|)log 12I a b P a b bit =-=-=22221(|)log (|)log 12I a b P a b bit =-=-=（3）根据互信息量的定义可得：11111(;)()(|)0.059I a b I a I a b bit =-≈ 21221(;)()(|)0.093I a b I a I a b bit =-≈- 12112(;)()(|)0.263I a b I a I a b bit =-≈ 22222(;)()(|)0.322I a b I a I a b bit =-≈【例2.5】 二进制通信系统的信源空间为1()1X P x p p ⎡⎤⎡⎤=⎢⎥⎢⎥-⎣⎦⎣⎦求该信源的熵。
第二章习题解答
第 二 章 基 本 信 息 论
习题解答
2.3 试求： 试求： (1) 在一付标准扑克牌中抽出一张牌的平均信息量； 在一付标准扑克牌中抽出一张牌的平均信息量； (2) 若扑克仅按它的等级鉴定而不问花色，重复上述计算。 若扑克仅按它的等级鉴定而不问花色，重复上述计算。 解 (1) 每张牌不同，共有 54 种状态且等概， p = 1 / 54, 每张牌不同， 种状态且等概， 平均信息量为： 平均信息量为： I = log 54 = 5.7549 ( bit ); (2) 只按等级，共有 14 种状态，其状态空间为： 只按等级， 种状态，其状态空间为： X p(x) A 2 3 …… J Q K 王 2 54 4 4 4 4 4 4 …… 54 54 54 54 54 54
首先求联合概率： 首先求联合概率： p ( i j ) = p( i ) p( j / i ) p( i j ) A B C A 0 16 / 54 2 / 54 j B 36 / 135 16 / 54 4 / 135 C 9 / 135 0 2 / 270 7
i
第 二 章 基 本 信 息 论
习题解答
所提供的信息量分别为： 消息 xB和 xC 所提供的信息量分别为：
I ( x B ) = − log p( x B ) = − log 0.2 = 2.3219 (bit ); I ( xC ) = − log p( xC ) = − log 0.3 = 1.737 (bit ).
可见， 消息x 所提供的信息量大一些 大一些。 可见，消息 xB比消息 C 所提供的信息量大一些。 3
i
1 1 4 4 2 2 H ( x / y3 ) = − log − log − log = 1.3788 ; 7 7 7 7 7 7 H ( x / y4 ) = −(1 / 3) log(1 / 3) − ( 2 / 3) log( 2 / 3) = 0.9138 .
第二章 信源与信息度量 习题解答
第二章 信源与信息度量 习题解答1. 某大学设置五个学院，每个学院的学生数分别为学院: 数学 物理 外语 外贸 医学 人数： 300 400 500 600 200问“某学生王某是外语学院学生"这一消息提供的信息量是多少？解:总人数为：300+400+500+600+200=2000人 是外语学院学生的概率为：5000.252000= 同理计算其它学院学生概率后,得信源的概率空间为：12345()0.150.20.250.30.1X x x x x x p X ⎡⎤⎧⎫=⎨⎬⎢⎥⎣⎦⎩⎭“学生王某是外语学院学生”这一消息提供的信息量:33()lb ()lb 0.252I x p x =-=-=比特2. 同时扔出两个正常的骰子，也就是各面呈现的概率都是1/6,求:（1） 事件“2和5同时呈现"的自信息量; （2） 事件“两个4同时呈现”的自信息量; （3） 事件“至少呈现一个1”的自信息量。
解:(1）事件“2和5同时呈现”的概率:1()18p A =，该事件的自信息量: 1()lb ()lb4.170 bit 18I A p A =-=-= （2）事件“两个4同时呈现”的概率：1()36p B =,该事件的自信息量：1()lb ()lb 5.170 bit 36I B p B =-=-=(3）事件“至少呈现一个1"的概率：11()36p C =，该事件的自信息量:11()lb ()lb 1.711 bit 36I C p C =-=-=3. 字母“e ” 在英文中出现的概率是0。
103，字母“c ”出现的概率为0.022,字母“x ”出现的概率是0。
001，求这些字母各自的自信息量。
解：（1）字母“e ”的自信息量:()lb ()lb0.103 3.279 bit I e p e =-=-=（2）字母“c ”的自信息量：()lb ()lb0.022 5.506 bit I c p c =-=-=（3）字母“x "的自信息量：()lb ()lb0.0019.966 bit I x p x =-=-=4. 某电子厂共能生产A 、B 、C 、D 四种仪器，其中A 因技术落后停产了，B 占全部产量的20％，C 占30％，D 占50%。
信息论第二章课后习题解答
每帧图像含有的信息量为：
按每秒传输30帧计算，每秒需要传输的比特数，即信息传输率 为：
（2）需30个不同的色彩度，设每个色彩度等概率出现，则其概 率空间为：
由于电平与色彩是互相独立的，因此有
这样，彩色电视系统的信息率与黑白电视系统信息率的比值为
【2.13】每帧电视图像可以认为是由3×105个像素组成，所以 像素均是独立变化，且每一像素又取128个不同的亮度电平，并 设亮度电平等概率出现。问每帧图像含有多少信息量？ 若现有一广播员在约 10000 个汉字的字汇中选 1000 个来口述 此电视图像，试问广播员描述此图像所广播的信息量是多少 （假设汉字是等概率分布，并且彼此无依赖）？若要恰当地描 述此图像，广播员在口述中至少需用多少汉字？
解： 信源为一阶马尔克夫信源，其状态转换图如下所示。
根据上述c) ，
【2.20】黑白气象传真图的消息只有黑色和白色两种，即信源, X={白 黑} ，设黑色出现的概率为 P(黑) =0.3 ，白色出现的 概率为P(白)=0.7。 （1） 假设图上黑白消息出现前后没有关联，求熵H(X) ； （2） 假设消息前后有关联，其依赖关系为P(白|白)=0.9 ， P(白|黑)=0.2 ，P(黑|白)=0.1 ，P(黑|黑)=0.8 ，求此一阶马 尔克夫信源的熵H2 。 （3） 分别求上述两种信源的冗余度，并比较H(X)和H2的大小， 并说明其物理意义。
解：（1）如果出现黑白消息前后没有关联，信息熵为：
（2）当消息前后有关联时，首先画出其状态转移图，如下所 示：
设黑白两个状态的极限概率为Q(黑) 和Q (白) ，
解得：
此信源的信息熵为： （3）两信源的冗余度分别为：
结果表明：当信源的消息之间有依赖时，信源输出消息的不确 定性减弱。有依赖时前面已是白色消息，后面绝大多数可能 是出现白色消息；前面是黑色消息，后面基本可猜测是黑色 消息。这时信源的平均不确定性减弱，所以信源消息之间有 依赖时信源熵小于信源消息之间无依赖时的信源熵，这表明 信源熵正是反映信源的平均不确定的大小。而信源剩余度正 是反映信源消息依赖关系的强弱，剩余度越大，信源消息之 间的依赖关系就越大。
信息论与编码理论-第2章信息的度量-习题解答-20071017
1第2章 信息的度量习 题2.1 同时扔一对质地均匀的骰子，当得知“两骰子面朝上点数之和为5”或“面朝上点数之和为8”或“两骰子面朝上点数是3和6”时，试问这三种情况分别获得多少信息量？解：某一骰子扔得某一点数面朝上的概率是相等的，均为1/6，两骰子面朝上点数的状态共有36种,其中任一状态出现都是等概率的,出现概率为1/36。
设两骰子面朝上点数之和为事件a ，有：⑴ a=5时，有1+4，4+1，2+3，3+2，共4种，则该事件发生概率为4/36=1/9，则信息量为I(a)=-logp(a=5)=-log1/9≈3.17(bit)⑵ a=8时，有2+6，6+2，4+4，3+5，5+3，共5种，则p(a)=5/36,则I(a)= -log5/36≈2.85(bit) ⑶ p(a)=2/36=1/18,则I(a)=-log1/18≈4.17(bit)2.2 如果你在不知道今天是星期几的情况下问你的朋友“明天是星期几”，则答案中含有多少信息量？如果你在已知今天是星期三的情况下提出同样的问题，则答案中你能获得多少信息量（假设已知星期一至星期日的排序）？解：设“明天是星期几”为事件a ：⑴ 不知道今天是星期几：I(a)=-log1/7≈2.81(bit) ⑵ 知道今天是星期几：I(a)=-log1=0 (bit)2.3 居住某地区的女孩中有20%是大学生，在女大学生中有80%是身高1米6以上的，而女孩中身高1米6以上的占总数的一半。
假如我们得知“身高1米6以上的某女孩是大学生”的消息，求获得多少信息量？解：设“居住某地区的女孩是大学生”为事件a ，“身高1米6以上的女孩”为事件b ，则有： p(a)= 0.2，p(b|a)=0.8，p(b)=0.5，则“身高1米6以上的某女孩是大学生”的概率为：32.05.08.02.0)()|()()|(=⨯==b p a b p a p b a p信息量为：I=-logp(a|b)=-log0.32≈1.64(bit)2.4 从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男同志：“你是否是红绿色盲？”，他回答“是”或“否”，问这两个回答中各含有多少信息量？平均每个回答中含有多少信息量？如果你问一位女同志，则答案中含有的平均自信息量是多少？解：⑴ 男同志回答“是”的概率为7%=0.07，则信息量I=-log0.07≈3.84(bit) 男同志回答“否”的概率为1-7%=0.93，则信息量I=-log0.93≈0.10(bit)2平均信息量为：H 1=-(0.07×log0.07+0.93×log0.93) ≈0.37(bit/符号) ⑵ 问女同志的平均自信息量：H 2=-[0.05×log0.05+(1-0.05) ×log(1-0.05)] ≈0.045(bit/符号)2.5 如有7行9列的棋型方格，若有两个质点A 和B ，分别以等概率落入任一方格内，且它们的坐标分别为（X A ，Y A ）、（X B ，Y B ），但A 、B 不能落入同一方格内。
信息理论与编码课后答案第2章
第二章 信息的度量习题参考答案不确定性与信息（2.3）一副充分洗乱的牌（含52张），试问： （1）任一特定排列所给出的不确定性是多少？（2）随机抽取13张牌，13张牌的点数互不相同时的不确定性是多少？ 解：（1）一副充分洗乱的扑克牌，共有52张，这52张牌可以按不同的一定顺序排列，可能有的不同排列状态数就是全排列种数，为6752528.06610P =≈⨯!因为扑克牌充分洗乱，所以任一特定排列出现的概率是相等的。
设事件A 为任一特定排列，则其发生概率为 ()6811.241052P A -=≈⨯!可得，任一特定排列的不确定性为()()22log log 52225.58I A P A =-=≈!比特 （2）设事件B 为从中抽取13张牌，所给出的点数都不同。
扑克牌52张中抽取13张，不考虑其排列顺序，共有1352C 种可能的组合，各种组合都是等概率发生的。
13张牌中所有的点数都不相同（不考虑其顺序）就是13张牌中每张牌有4种花色，所以可能出现的状态数为413。
所以()131341352441339 1.05681052P B C -⨯!!==≈⨯!则事件B 发生所得到的信息量为()()13213524log log 13.208I B P B C =-=-≈ 比特2.4同时扔出两个正常的骰子，也就是各面呈现的概率都是1/6，求： （1）“2和6 同时出现”这事件的自信息量。
（2）“两个3同时出现”这事件的自信息量。
（3）两个点数的各种组合（无序对）的熵。
（4）两个点数之和（即2，3，…，12构成的子集）的熵。
（5）两个点数中至少有一个是1的自信息。
解：同时扔两个正常的骰子，可能呈现的状态数有36种，因为两骰子是独立的，又各面呈现的概率为61，所以36种中任一状态出现的概率相等，为361。
（1） 设“2和6同时出现”这事件为A 。
在这36种状态中，2和6同时出现有两种情况，即2，6和2，6。
信息论第二章答案(南邮研究生作业).doc
2-1 同时掷两个正常的骰子，也就是各面呈现的概率都是1/6，求：(1)“3和5同时出现”这事件的自信息量。
(2)“两个1同时出现”这事件的自信息量。
(3)两个点数的各种组合（无序对）的熵或平均信息量。
(4)两个点数之和（即2，3，…，12构成的子集）的熵。
(5)两个点数中至少有一个是1的自信息。
解：(1)bitx p x I x p i i i 170.4181log )(log )(18161616161)(=-=-==⨯+⨯=(2)bit x p x I x p i i i 170.5361log)(log )(3616161)(=-=-==⨯=(3)两个点数的排列如下： 11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 61 62 63 64 65 66共有21种组合：其中11，22，33，44，55，66的概率是3616161=⨯ 其他15个组合的概率是18161612=⨯⨯symbol bit x p x p X H ii i / 337.4181log 18115361log 3616)(log )()(=⎪⎭⎫ ⎝⎛⨯+⨯-=-=∑(4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：symbolbit x p x p X H X P X ii i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 3612 )(log )()(36112181111211091936586173656915121418133612)(=⎪⎭⎫ ⎝⎛+⨯+⨯+⨯+⨯+⨯-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡∑(5)bitx p x I x p i i i 710.13611log )(log )(3611116161)(=-=-==⨯⨯=2-2 设有一离散无记忆信源，其概率空间为[]⎥⎦⎤⎢⎣⎡=====8/14/14/18/332104321x x x x P X（1） 求每个符号的自信息量；（2） 若信源发出一消息符号序列为(202 120 130 213 001 203 210 110 321 010 021 032 011 223 210)，求该消息序列的自信息量及平均每个符号携带的信息量。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
（1）计算此系统得信源熵与其冗余度。
（2）为了可靠地传输消息,对每个符号重复传输3次,试求其冗余度为多少;如果采用重复传输4次得方案呢？这样做就是否合理？
解:(1)
信源熵比特/消息
二元信源得最大熵比特/消息
冗余度
(2)重复三次信源熵比特/消息
该消息得信息量:
6.试求:
（1）在一付标准得扑克牌中抽出一张(每张牌均认为就是不同得)得平均信息量。
（2）若扑克牌仅按它得等级鉴定而不问它得花色(大、小王属同一等级),重复上述计算。
解:
(1)比特/每张牌
(2)出现得概率为:,王出现得概率为:,信源得概率空间为:
比特/每张牌。
7.某地得天气预报为:晴(占4/8),多云(占2/8),雨(占1/8),雪(占1/8),冰雹(占0/8);而当地老农对天气得预测只能做到:晴(占7/8),雨(占1/8)。试求两者对天气预报各自提供得平均信息量,并说明从中得到得规律。
9.若每帧电视图像由3×105个像素组成,且像素就是独立变化得。每个像素取128个不同得亮度电平,并设亮度电平等概率出现。
（1）问每帧图像含有多少信息量？
（2）若现有一广播员在约10,000个汉字得字汇中选1,000个字来口述此电视图像,问广播员描述此图像所播出得信息量就是多少？(假设,10,000个汉字字汇等概率分布,并彼此无依赖)
（1）该消息得自信息量;
（2）该消息平均每个符号携带得信息量。
解:(1)根据信源概率空间,计算得到每个符号得自信息量:
该消息序列各符号相互独立,其自信息量等于各符号自信息量之与:
(2)该消息平均每个符号携带得信息量:
比较该离散信源得熵: ,可见,该特定得消息符号序列平均每个符号携带得信息量仅仅就是近似于离散信源熵,而不等同于信源熵,因为其每个消息出现得概率并不等同于信源概率空间各符号得概率分布。
(3)字母“x”得自信息量:
4.某电子厂共能生产A、B、C、D四种仪器,其中A因技术落后停产了,B占全部产量得20%,C占30%,D占50%。有两个消息“现在完成1台仪器B”,与“现在完成1台仪器C”,试确定哪一种消息提供得信息量大些？其中有什么规律？
解:
因为,
以及消息提供得信息量与其出现概率倒数得对数成正比,所以,即“现在完成一台仪器B”提供得信息量大于“现在完成一台仪器C”提供得信息量。
（1）问该信源就是否就是平稳信源？
（2）计算,与;
（3）计算,并写出信源中所有可能得符号序列。
解:(1)信源发出各符号得概率与时间无关,因此为平稳信源。
(2)离散无记忆信源熵:
因为就是无记忆信源,前后符号无相关性,因此:
(3)
信源中所有可能得符号序列:0000 0001 0010 0011 0100 0101 0110 0111 1000 1001 1010 1011 1100 1101 1110 1111,共16种符号序列。
(2)事件“两个4同时呈现”得概率:,该事件得自信息量:
(3)事件“至少呈现一个1”得概率:,该事件得自信息量:
3.字母“e”在英文中出现得概率就是0、103,字母“c”出现得概率为0、022,字母“x”出现得概率就是0、001,求这些字母各自得自信息量。
解:(1)字母“e”得自信息量:
(2)字母“c”得自信息量:
冗余度
重复四次信源熵比特/消息
冗余度
重复四次不合理,因为当错误两个码元即2比2时,就不能采用最大似然法判决译码。
12.黑白电视消息只有黑色与白色两种,即信源,设黑色出现得概率为,白色出现得概率。
（1）假设图上黑白消息出现前后没有相关性,求熵;
（2）假设消息前后有相关性,其依赖关系为,,,,求此一阶马尔可夫信源得熵,画出其状态转移图;
规律:
(1)出现概率为零得消息可略去。
(2)概率小得消息出现时提供得信息量大于概率大得消息出现时提供得信息量。
5.某地,35%得女孩上大学,65%得女大学生身高超过1、6米,而一个女孩身高超过1、6米得概率就是50%,现有一条消息:说某一个身高超过1、6米得女孩就是大学生,求这条消息得信息量。
解:根据题意,35%得女孩上大学,一个女孩身高超过1、6米得概率就是50%,得两个信源概率空间:,,根据65%得女大学生身高超过1、6米,知:,消息:某一个身高超过1、6米得女孩就是大学生得某大学设置五个学院,每个学院得学生数分别为
学院:数学物理外语外贸医学
人数: 300 400 500 600 200
问“某学生王某就是外语学院学生”这一消息提供得信息量就是多少？
解:
总人数为:300+400+500+600+200=2000人
就是外语学院学生得概率为:
同理计算其它学院学生概率后,得信源得概率空间为:
解:
天气预报:
比特/每次预报
老农预报:
比特/每次预报。
天气预报给出更详细得消息及其概率分布,消息数更多,平均信息量更大。
8.某离散无记忆平稳信源得概率空间为:,若某消息符号序列为:202 120 130 213 001 203 210 110 321 010 021 032 011 223 210,求:
“学生王某就是外语学院学生”这一消息提供得信息量:
比特
2.同时扔出两个正常得骰子,也就就是各面呈现得概率都就是1/6,求:
（1）事件“2与5同时呈现”得自信息量;
（2）事件“两个4同时呈现”得自信息量;
（3）事件“至少呈现一个1”得自信息量。
解:(1)事件“2与5同时呈现”得概率:,该事件得自信息量:
（3）分别求上述两种信源得剩余度,比较与得大小,并说明其物理意义。
解:
(1)如无相关性
比特/消息
(2)如有相关性根据已知条件可写出:
有2个符号:,一阶:,状态数:个
于就是可以画出如下得状态转移图:
（3）若要恰当地描述出此图像得所有信息量,广播员在口述中至少需要多少汉字？
解:(1)每帧图像含有得信息量:
(2)广播员描述此图像所播出得信息量:
(3)平均每个汉字得信息量:
广播员描述此图像所需得汉字数:
10.设有一个信源,发送“0”与“1”两种符号,无论何时发出符号得概率均为p(0) = 0、4,p(1) = 0、6,并与以前发出得符号无关,