信息论与编码理论第二章习题答案
信息论与编码理论习题答案
信息论与编码理论习题答案LG GROUP system office room 【LGA16H-LGYY-LGUA8Q8-LGA162】第二章 信息量和熵八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。
解：同步信息均相同，不含信息，因此 每个码字的信息量为 2⨯8log =2⨯3=6 bit因此，信息速率为 6⨯1000=6000 bit/s掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。
问各得到多少信息量。
解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1})(a p =366=61得到的信息量 =)(1loga p =6log = bit (2) 可能的唯一，为 {6，6})(b p =361得到的信息量=)(1logb p =36log = bit 经过充分洗牌后的一副扑克（52张），问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =!521信息量=)(1loga p =!52log = bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C = bit 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。
解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立，则1x X =，21x x Y +=，321x x x Z ++=)|(Y Z H =)(3x H =log 6= bit )|(X Z H =)(32x x H +=)(Y H=2⨯(361log 36+362log 18+363log 12+364log 9+365log 536)+366log 6= bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ]而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H = bit或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H = bit),|(Y X Z H =)|(Y Z H =)(X H = bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =+= bit设一个系统传送10个数字，0，1，…，9。
《信息论与编码》习题解答-第二章
《信息论与编码》习题解答第二章 信源熵-习题答案2-1解：转移概率矩阵为：P(j/i)=，状态图为：⎪⎩⎪⎨⎧==∑∑j jj ij ii W W P W 1，⎪⎪⎪⎪⎩⎪⎪⎪⎪⎨⎧=++=+=++=1323221313121321233123211W W W W W W W W W W W W 解方程组求得W=2-2求平稳概率符号条件概率状态转移概率解方程组得到 W=2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。
解： (1)bitx p x I x p i i i 170.4181log )(log )(18161616161)(=-=-==⨯+⨯=(2)bitx p x I x p i i i 170.5361log )(log )(3616161)(=-=-==⨯=(3)共有21种组合：其中11，22，33，44，55，66的概率是3616161=⨯ 其他15个组合的概率是18161612=⨯⨯symbol bit x p x p X H ii i / 337.4181log 18115361log 3616)(log )()(=⎪⎭⎫ ⎝⎛⨯+⨯-=-=∑(4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：symbolbit x p x p X H X P Xii i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 3612 )(log )()(36112181111211091936586173656915121418133612)(=⎪⎭⎫ ⎝⎛+⨯+⨯+⨯+⨯+⨯-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡∑(5)bit x p x I x p i i i 710.13611log)(log )(3611116161)(=-=-==⨯⨯=2-4(4)2.5 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。
信息理论与编码课后答案第2章
第二章 信息的度量习题参考答案不确定性与信息（2.3）一副充分洗乱的牌（含52张），试问： （1）任一特定排列所给出的不确定性是多少？（2）随机抽取13张牌，13张牌的点数互不相同时的不确定性是多少？ 解：（1）一副充分洗乱的扑克牌，共有52张，这52张牌可以按不同的一定顺序排列，可能有的不同排列状态数就是全排列种数，为6752528.06610P =≈⨯!因为扑克牌充分洗乱，所以任一特定排列出现的概率是相等的。
设事件A 为任一特定排列，则其发生概率为 ()6811.241052P A -=≈⨯!可得，任一特定排列的不确定性为()()22log log 52225.58I A P A =-=≈!比特 （2）设事件B 为从中抽取13张牌，所给出的点数都不同。
扑克牌52张中抽取13张，不考虑其排列顺序，共有1352C 种可能的组合，各种组合都是等概率发生的。
13张牌中所有的点数都不相同（不考虑其顺序）就是13张牌中每张牌有4种花色，所以可能出现的状态数为413。
所以()131341352441339 1.05681052P B C -⨯!!==≈⨯!则事件B 发生所得到的信息量为()()13213524log log 13.208I B P B C =-=-≈ 比特2.4同时扔出两个正常的骰子，也就是各面呈现的概率都是1/6，求： （1）“2和6 同时出现”这事件的自信息量。
（2）“两个3同时出现”这事件的自信息量。
（3）两个点数的各种组合（无序对）的熵。
（4）两个点数之和（即2，3，…，12构成的子集）的熵。
（5）两个点数中至少有一个是1的自信息。
解：同时扔两个正常的骰子，可能呈现的状态数有36种，因为两骰子是独立的，又各面呈现的概率为61，所以36种中任一状态出现的概率相等，为361。
（1） 设“2和6同时出现”这事件为A 。
在这36种状态中，2和6同时出现有两种情况，即2，6和2，6。
信息论与编码第2章习题解答
信息论与编码第2章习题解答2.1设有12枚同值硬币，其中⼀枚为假币。
只知道假币的重量与真币的重量不同，但不知究竟是重还是轻。
现⽤⽐较天平左右两边轻重的⽅法来测量（因⽆砝码）。
为了在天平上称出哪⼀枚是假币，试问⾄少必须称多少次？解：分三组，每组4个，任意取两组称。
会有两种情况，平衡，或不平衡。
(1) 平衡：明确假币在其余的4个⾥⾯。
从这4个⾥⾯任意取3个，并从其余8个好的⾥⾯也取3个称。
⼜有两种情况：平衡或不平衡。
a ）平衡：称⼀下那个剩下的就⾏了。
b ）不平衡：我们⾄少知道那组假币是轻还是重。
从这三个有假币的组⾥任意选两个称⼀下，⼜有两种情况：平衡与不平衡，不过我们已经知道假币的轻重情况了，⾃然的，不平衡直接就知道谁是假币；平衡的话，剩下的呢个⾃然是假币，并且我们也知道他是轻还是重。
(2) 不平衡：假定已经确定该组⾥有假币时候：推论1：在知道该组是轻还是重的时候，只称⼀次，能找出假币的话，那么这组的个数不超过3。
我们知道，只要我们知道了该组（3个）有假币，并且知道轻重，只要称⼀次就可以找出来假币了。
从不平衡的两组中，⽐如轻的⼀组⾥分为3和1表⽰为“轻（3）”和“轻（1）”，同样重的⼀组也是分成3和1标⽰为“重（3）”和“重（1）”。
在从另外4个剩下的，也就是好的⼀组⾥取3个表⽰为“准（3）”。
交叉组合为：轻（3） + 重（1）？=======？轻（1） + 准（3）来称⼀下。
⼜会有3种情况：(1)左⾯轻：这说明假币⼀定在第⼀次称的时候的轻的⼀组，因为“重（1）”也出现在现在轻的⼀边，我们已经知道，假币是轻的。
那么假币在轻（3）⾥⾯，根据推论1，再称⼀次就可以了。
(2)右⾯轻：这⾥有两种可能：“重（1）”是假币，它是重的，或者“轻（1）”是假币，它是轻的。
这两种情况，任意取这两个中的⼀个和⼀个真币称⼀下即可。
(3)平衡：假币在“重（3）”⾥⾯，⽽且是重的。
根据推论也只要称⼀次即可。
2.2 同时扔⼀对骰⼦，当得知“两骰⼦⾯朝上点数之和为2”或“⾯朝上点数之和为8”或“骰⼦⾯朝上之和是3和4”时，试问这三种情况分别获得多少信息量？解：设“两骰⼦⾯朝上点数之和为2”为事件A ，则在可能出现的36种可能中，只能个骰⼦都为1，这⼀种结果。
信息论与编码理论习题答案
第二章 信息量和熵2.2八元编码系统，码长为3，第一个符号用于同步,每秒1000个码字,求它的信息速率.解:同步信息均相同，不含信息，因此 每个码字的信息量为 2⨯8log =2⨯3=6 bit因此，信息速率为 6⨯1000=6000 bit/s2。
3 掷一对无偏骰子，告诉你得到的总的点数为:(a ） 7； （b) 12。
问各得到多少信息量.解:(1) 可能的组合为 {1，6｝，｛2，5}，｛3，4},{4，3｝,{5，2｝,｛6,1｝)(a p =366=61得到的信息量 =)(1loga p =6log =2。
585 bit (2） 可能的唯一，为 {6,6｝)(b p =361得到的信息量=)(1logb p =36log =5。
17 bit2.4 经过充分洗牌后的一副扑克(52张）,问：（a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量?解:（a ） )(a p =!521信息量=)(1loga p =!52log =225.58 bit （b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C =13。
208 bit2.9随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。
解:令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立,则1x X =，21x x Y +=，321x x x Z ++=)|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H=2⨯(361log 36+362log 18+363log 12+364log 9+365log 536)+366log 6 =3。
信息论与编码第二章习题参考答案
2.1 同时掷两个正常的骰子，也就是各面呈现的概率都是1/6，求： （1）“3和5同时出现”事件的自信息量； （2）“两个1同时出现”事件的自信息量；（3）两个点数的各种组合（无序对）的熵或平均信息量； （4）两个点数之和（即2，3，…，12构成的子集）的熵；（5）两个点数中至少有一个是1的自信息。
解：（1）一个骰子点数记为X ，另一个骰子的点数记做Y ，X 、Y 之间相互独立，且都服从等概率分布，即同理一个骰子点数为3，另一个骰子点数为5属于组合问题，对应的概率为181616161613Y Py 5X Px 5Y Py 3X Px P 1=⨯+⨯===+===）（）（）（）（对应的信息量为比特）（）（17.4181-lb P -I 11===lb（2）两个骰子点数同时为1的概率为）（）（3611Y Py 1X Px P 2==== 对应的信息量为比特）（）（17.5361-lb P -I 22===lb（3）各种组合及其对应的概率如下,6,5,4,3,2,1Y X 3616161Y X P ===⨯==）（共6种可能18161612Y X P =⨯⨯=≠）（ 共有15种可能因此对应的熵或者平均自信息量为34.418118115-3613616-H 1=⨯⨯⨯⨯=）（）（lb lb 比特/符号 （4）令Z=X+Y ，可以计算出Z 对应的概率分布如下对应的熵为符号比特）（）（）（）（）（）（）（/1.914366366-3653652-3643642-3633632-3633632-3623622-361361-2H 1=⨯⨯⨯⨯⨯⨯⨯⨯⨯⨯⨯⨯⨯=lb lb lb lb lb lb lb （5）X 、Y 相互独立，所以联合熵为比特）（）（597.06162Y X,I =⨯=lb2.2 设在一只布袋中装有100个大小、手感完全相同的球，每个球上涂有一种颜色。
100个球的颜色有下列3种情况：（1）红色球和白色球各50个； （2）红色球99个，白色球1个； （3）红、黄、蓝、白色球各25个。
信息论与编码第二章答案
第二章信息的度量2.1信源在何种分布时，熵值最大？又在何种分布时，熵值最小？答：信源在等概率分布时熵值最大；信源有一个为1，其余为0时熵值最小。
2.2平均互信息量I(X;Y)与信源概率分布q(x)有何关系？与p(y|x)又是什么关系？答：若信道给定，I(X;Y)是q(x)的上凸形函数；若信源给定，I(X;Y)是q(y|x)的下凸形函数。
2.3熵是对信源什么物理量的度量？答：平均信息量2.4设信道输入符号集为{x1,x2,……xk}，则平均每个信道输入符号所能携带的最大信息量是多少？答：kk k xi q xi q X H i log 1log 1)(log )()(2.5根据平均互信息量的链规则，写出I(X;YZ)的表达式。
答：)|;();();(Y Z X I Y X I YZ X I 2.6互信息量I(x;y)有时候取负值，是由于信道存在干扰或噪声的原因，这种说法对吗？答：互信息量)()|(log );(xi q yj xi Q y x I ，若互信息量取负值，即Q(xi|yj)<q(xi)，说明事件yi 的出现告知的是xi 出现的可能性更小了。
从通信角度看，视xi 为发送符号，yi 为接收符号，Q(xi|yj)<q(xi)，说明收到yi 后使发送是否为xi 的不确定性更大，这是由于信道干扰所引起的。
2.7一个马尔可夫信源如图所示，求稳态下各状态的概率分布和信源熵。
答：由图示可知：43)|(41)|(32)|(31)|(41)|(43)|(222111110201s x p s x p s x p s x p s x p s x p 即：43)|(0)|(41)|(31)|(32)|(0)|(0)|(41)|(43)|(222120121110020100s s p s s p s s p s s p s s p s s p s s p s s p s s p 可得：1)()()()(43)(31)()(31)(41)()(41)(43)(210212101200s p s p s p s p s p s p s p s p s p s p s p s p得：114)(113)(114)(210s p s p s p )]|(log )|()|(log )|()[()]|(log )|()|(log )|()[()]|(log )|()|(log )|()[(222220202121211111010100000s s p s s p s s p s s p s p s s p s s p s s p s s p s p s s p s s p s s p s s p s p H 0.25（bit/符号）2.8一个马尔可夫信源，已知：0)2|2(,1)2|1(,31)1|2(,32)1|1(x x p x x p x x p x x p 试画出它的香农线图，并求出信源熵。
信息论与编码理论习题答案
足下式
（a）在=0、０５,=0、1 下求 (b）在＝，＝下求 （c)令就是序列得集合，其中
试求Ｌ=时情况（a)(b）下,T 中元素个数得上下限. 解：＝==０、８１ bit
= ＝=—
= =0、471 则根据契比雪夫大数定理
0、2
00１
10０
a４
0、１
０00１
10００
(a) 各码就是否满足异字头条件？就是否为唯一可译码？
(b) 当收到 1 时得到多少关于字母 a 得信息？
(c) 当收到 1 时得到多少关于信源得平均信息?
２、14 对于任意概率事件集 X，Y,Z，证明下述关系式成立 (ａ）＋,给出等号成立得条件 (ｂ）=+ （c）
证明：(b) =-
=＝—-
=+ (c) ＝-
=［—］ [-］
＝—
= 当=，即Ｘ给定条件下，Y 与 Z 相互独立时等号成立 (ａ） 上式(ｃ)左右两边加上，可得 ＋＋ 于就是+ ２、2８ 令概率空间，令 Y 就是连续随机变量。已知条件概率密度为 ，求： (a)Y 得概率密度 (ｂ) （ｃ) 若对 Y 做如下硬判决
求，并对结果进行解释. 解：（a) 由已知,可得
= ＝
＝＋
= （ｂ) ==2、５ bｉt
=
= =2 bｉt =-＝0、5 ｂit （c) 由可得到Ｖ得分布律
Ｖ
—１
p
1/4
再由可知
V
－1
p(V|x=－１）
１/2
p(V｜x=1）
0
bｉt
=1 bit ＝= 0、5 bit
０ 1/2
0 1/2 1/2
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
I (X ;Y=1)= P(x/Y 1)I(x;Y 1)x P(x/Y 1)logP(x/Y 1)P(x)= P(X 0/Y 1)log P(X 0/Y 1)P(X 0)P(X 1/Y 1)logP(X 1/Y 1)P(X 1)部分答案，仅供参考。
信息速率是指平均每秒传输的信息量点和划出现的信息量分别为log3Jog3，2’一秒钟点和划出现的次数平均为 1 152 1 ~40.20.4 -3 3一秒钟点和划分别出现的次数平均为巴54 4那么根据两者出现的次数，可以计算一秒钟其信息量平均为10 log 3 5 竺 54 2 4 4 2解：⑻骰子A和B，掷出7点有以下6种可能：A=1,B=6; A=2,B=5; A=3,B=4; A=4,B=3; A=5,B=2; A=6,B=1概率为6/36=1/6，所以信息量-log(1/6)=1+log3 ~ bit(b)骰子A和B,掷出12点只有1种可能：A=6,B=6概率为1/36，所以信息量-log(1/36)=2+log9 ~ bit解：出现各点数的概率和信息量：1 点：1/21 , log21 〜bit ;2 点：2/21 , log21-1 〜bit ;3 点：1/7 , log74 点：4/21 , log21-25 点：5/21 , log (21/5 )~;6 点：2/7 , log(7/2)〜平均信息量：(1/21) X +(2/21) X +(1/7) X +(4/21) X +(5/21) X +(2/7)解：X=1:考生被录取；X=0考生未被录取；Y=1：考生来自本市；Y=0考生来自外地；Z=1:考生学过英语；z=o：考生未学过英语P(X=1)=1/4, P( X=q=3/4; P( Y=1/ X=1)=1/2 ；P( Y=1/ X=0)=1/10 ；P(Z=1/ Y=1 )=1, P( Z=1/ X=0,Y=0 )=, P( Z=1/ X=1, Y=0 )=, P(Z=1/Y=0)=(a)P(X=0,Y=1)=P(Y=1/X=0)P(X=0)=, P(X=1,Y=1)= P(Y=1/X=1)P(X=1)=P(Y=1)= P(X=0,Y=1)+ P(X=1,Y=1)=P(X=0/Y=1)=P(X=0,Y=1)/P(Y=1)=, P(X=1/Y=1)=P(X=1,Y=1)/P(Y=1)==+=(5/8)log5-1 ~(b) 由于 P(Z=1/ Y=1 )=1, 所以 P ( Y=1, Z=1/X=1) = P ( Y=1/X=1)= P (Y=1, Z=1/X=0) = P (Y=1/X=0)=那^ P( Z=1/X=1 ) = P( Z=1,Y=1/X=1 ) + P( Z=1,Y=0/X=1 ) =+ P( Z=1/Y=0 , X=1) P( Y=0/X=1) =+*=P(Z=1/X=0)= P (Z=1,Y=1/X=0 ) + P (Z=1,Y=0/X=0 ) =+P(Z=1/Y=0 , X=0)P(Y=0/X=0)=+*= P (Z=1,X=1 ) = P (Z=1/X=1 ) *P(X=1)=*= P (Z=1,X=0 ) = P (Z=1/X=0 ) *P(X=0)= *= P(Z=1) = P( Z=1,X=1)+ P( Z=1,X=0)= P(X=0/Z=1)==69/104 P(X=1/Z=1)=35/104l (X ;Z =1)=P(x/Z 1)I(x;Z 1)xx =P(X 0/Z 1)= P(X 0/Z 1)logP(X P(X 0)'=(69/104)log(23/26)+( 35/104)log(35/26)(c) H (X ) =*log(1/+*log(1/=2-(3/4)log3=H(Y/X)=-P(X=1,Y=1)logP(Y=1/X=1) -P(X=1,Y=0)logP(Y=0/X=1)-P(X=0,Y=1)logP(Y=1/X=0) -P(X=0,Y=0)logP(Y=0/X=0)=* H(XY)=H(X)+H(Y/X)=9/4+(3/4)log10-(21/10)log3=P(X=0,Y=0,Z=0)= P(Z=0/ X=0, Y=0* P( X=0, Y=C )=* P(X=0,Y=0,Z=1)= P(Z=1 / X=0, Y=0* P( X=C, Y=C )=*= P(X=1,Y=C,Z=1)= P(Z=1/ X=1,Y=C)*P(X=1,Y=C)=*P(X=1,Y=C,Z=C)=P(Z=C/X=1,Y=C)* P(X=1,Y=C)=*=P(X=1,Y=1,Z=1)=P(X=1,Z=1)- P(X=1,Y=C,Z=1)= P(X=1,Y=1,Z=C)=C P(X=C,Y=1,Z=C)=CP(X=C,Y=1,Z=1)= P(X=C,Z=1)- P(X=C,Y=C,Z=1)= H(XYZ)=* =+++++=bitH(Z/XY)=H(XYZ)-H(XY)= -28/25+(4/5)log10-12/25log3 =解：A , B, C 分别表示三个筛子掷的点数。
X=A, Y=A+B, Z=A+B+C由于 P(A+B+C/ A+B)=P(C/A+B)=P(C) 所以 H(Z/Y)=H(A+B+C/ A+B)=H (C ) =log6 =P(x/Z 1)P(x/Z 1)logP(x)P(X 1/Z 1)1/Z 1)log —361/36P(A=a,Y=y)=1/36H(X/Y)=H(A/Y)=(1/36)[(-1*log1-2*log(1/2)-3*log(1/3)-4*log(1/4)-5*log(1/5) )*2- 6*log(1/6)]=由于P(A+B+C/ A+B,A)=P(C/A+B,A)=P(C)H(Z/XY)=H(C) =log6 =由于P(A=x,A+B+C=z/A+B=y)=P(A= x,C=z-y / A+B= y)=P(A= x/A+B=y)P(C= z-y/A+B=y)=P(A= x / A+B= y)P(C=z-y )=P(A/Y)P(C)P(A/Y)上面已经给出。
2161/216P(XYZ)=1/216H(XZ/Y)=(1/216)[(-6*log(1/6)-12*log(1/12)-18*log(1/18)-24*log(1/24)-30*log(1/30))*2-36*log(1/36)]=(1/36)*[(log6+2log12+3log18+4log24+5log30)*2+6log36]= bit由于P(Z/X)=P(B+C/A)=P(B+C)H(Z/X) p(xz)log p(z/x)xyzp(a) p(a b c/ a)log p(a b c/a)abcp(a) p(b c)log p(b c) H (B C)a bc= (1/36)*{[log36+2log(36/2)+3log(36/3)+ 4log(36/4)+ 5log(36/5)]*2+6log(36/6)}bit解：P(0/0)=P(1/1)=1- p, P(1/0)=P(0/1)= p(a)F(u l)=1/8P(u l , O)=R u l) x P(0/ u l)=(1/8) x (1- p)接收的第一个数字为0的概率：P(0)= R u l) x R0/ u l)+ P(u2) x P(0/ u2)+ …….P(u8) x P(0/ u8)=4X (1/8) x (1- p)+ 4 x (1/8) x p=1/2I( u l; 0)=log[ P(u l , 0)/P(0)P( u l)]=1+log(1- p)(b)Ru l , 00)= P( u l) x P(00/ u l)=(1/8) x (1- p)2P(00)= P( u l) x F(00/ u l)+ P(u2) x P(00/ u2)+ …….P(u8) x P(00/ u8)2 2=2 x (1/8) x (1- p) +4x (1/8) x p (1- p)+ 2 x (1/8) x p=1/4I( u l; 00)=log[ P(u l , 00)/P(00)P( u l)]= 2+2log(1- p)(c) Ru l , 000)= P( u l) x P(000/ u l)=(1/8) x (1- p)P(000)= P(u l) x P(000/ u l)+ P(u2) x P(000/ u2)+ …….P(u8) x R000/ u8)3 2 2 3=(1/8) x (1- p) +3x (1/8) x p (1- p) +3x (1/8) x p (1- p) +(1/8) x p=1/8I( u l; 000)=log[ P(u l , 000)/P(000)P( u l)]= 3+3log(1- p)(d) Ru l , 0000)= Ru l) x R0000/ u l)=(1/8) x (1- p)4P(0000)= Rul) x R0000/ u l)+ P(u2) x R0000/ u2)+ …….P(u8) x P(0000/ u8)4 2 2 4=(1/8) x (1- p) +6x (1/8) x p (1- p) + (1/8) x pI( u l; 0000)=log[ P(u l , 0000)/P(0000)P( u l)]=(1 P)3log{2 2p}p)6p(1 p)解:l(X;Z)= H(Z)-H(Z/X)I(XY ;Z)=H(Z)-H(Z/XY)I(Y;Z/X)=I(XY;Z)-I(X;Z)I(X;Z/Y)= I(XZ;Y)-I(Y;Z)= H(XZ)-H(XZ/Y) -I(Y;Z) = H(X)+H(Z/X) -H(XZ/Y) -I(Y;Z)以上可以根据的结果求出解：考虑到约束条件o q(x) 1, o xq(x)采用拉格朗日乘子法证明:⑻ Q(x) Q i(x) (1 )Q2(X) (1所以Q(x)为概率分布。
(b)即证明熵的凸性。
H(U)1 (1 )H(U)11 H(U)Q1(x)logQOQ(x) Q1(x)log (1Qdx)^e Q1(x)[叢(1 )Q2(x)log 厂(、Q2 (x))Q2(x)logQ(x)Q2(X)1]loge(1 )Q2(X)[Q X)1]Q2(X)(Q1(x) (1 )Q2(x))logQ(x)当且仅当将q(x) 1mq(x)a 1x2)0 q(x)log q(x)dx』°1X 2——dx (q(x)log eq(x)xq(x)dx1m 2) loge0 q(x)dx 1]1X 2q呎(x) 1]dx 1x2带入实现最大微分熵的分布2时，等式成立。