信息论与编码姜丹第三版问题详解

信息论与编码习题参考答案 第一章 单符号离散信源信息论与编码作业是74页，1.1的（1）（5），1.3,1.4,1.6,1.13,1.14还有证明熵函数的连续性、扩展性、可加性1.1同时掷一对均匀的子，试求：(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；(5)“两个点数中至少有一个是1”的自信息量。

解：bitP a I N n P bit P a I N n P c c N 17.536log log )(361)2(17.418log log )(362)1(36662221111616==-=∴====-=∴===⨯==样本空间：(3)信源空间：bit x H 32.436log 3616236log 36215)(=⨯⨯+⨯⨯=∴ bitx H 71.3636log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=∴＋＋ (5) bit P a I N n P 17.11136log log )(3611333==-=∴==1.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格。

（1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。

解：bita P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481)(:)1(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率Θbitb P b P b b P b I b P A i 55.547log )(log )()(H 47log )(log )(471)(:B ,)2(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知ΘbitAB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()(log )(471481)()3(47481=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。

问这两个回答中各含有多少信息量？平均每个回答中各含有多少信息量？如果你问一位女士，则她的答案中含有多少平均信息量？ 解：bit w P w P w P w P m m P m I w P w I bit m P m P m P m P m bit m P m I bit m P m I n n y y n n y y n n y y n n y y 0454.0log99.5%99.5%-log0.5%-0.5% )(log )()(log )()(H %5.99log )(log )(%5.0log )(log )(366.0log93%93%-log7%-7% )(log )()(log )()(H 105.0%93log )(log )(84.3%7log )(log )(:=⨯⨯=⨯-⨯-=-=-=-=-==⨯⨯=⨯-⨯-==-=-==-=-=平均每个回答信息量：：回答“不是”的信息量回答“是”的信息量：对于女：平均每个回答信息量：：回答“不是”的信息量回答“是”的信息量：对于男士1.4某一无记忆信源的符号集为｛0，1｝，已知。

，323110==p p （1） 求符号的平均信息量；（2） 由1000个符号构成的序列，求某一特定序列（例如有m 个“0”,（1000-m ）个“1”）的自信量的表达式；（3） 计算（2）中序列的熵。

解：32log 3)1000(231log 3log log )( ce bit/sequen 918918.01000)(1000)(3 32log )1000(31log log )1000(log )(2/ 918.032log 3231log 31log log )(1100011110001100∑∑-==---=--==⨯==---=---==⨯-⨯-=--=mi mi m m p p p p A H X H A H bit m m p m p m A I symblebit p p p p x H ）（）（）（1.5设信源X 的信源空间为：⎩⎨⎧• 0.3 0.18 0.16 0.18 0.190.17 X)( a a a a a a X ][654321p p x ：： 求信源熵，并解释为什么H(X)>log6，不满足信源熵的极值性。

解：。

立的约束条件，所以不满足信源熵最大值成但是本题中的约束条件下求得的，值是在这是因为信源熵的最大，不满足信源熵的极值性可见log6H(X)18.1 1585.2log62.725H(X) bit/symble 725.2 3.0log 3.016.0log 16.018.0log 18.0219.0log 19.017.0log 17.0 )(log )()(61161>===>==--⨯---=-=∑∑∑===i iri i i i i pp a p a p X H1.6为了使电视图象获得良好的清晰度和规定的对比度，需要用5×105个像素和10个不同的亮度电平，并设每秒要传送30帧图象，所有的像素是独立的，且所有亮度电平等概出现。

求传输此图象所需要的信息率（bit/s ）。

解：bit/s 104.98310661.130)/)(()/(R bit/frame10661.1322.3105)(H 105)(H bit/pels322.310log )(log )()(H 7665051010⨯=⨯⨯=⨯=∴⨯=⨯⨯=⨯⨯====∑=frame bit X H s frame r x X a p a p x i i i 所需信息速率为：每帧图像的熵是：每个像素的熵是：，由熵的极值性：由于亮度电平等概出现1.7设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度。

试证明传输这种彩电系统的信息率要比黑白系统的信息率大2.5倍左右。

证:.5.2,,5.25.2477.210log 300log )(H )(H pels/bit 300log )(log )()(H bit 3001030,10,,300130011倍左右比黑白电视系统高彩色电视系统信息率要图形所以传输相同的倍作用大信息量比黑白电视系统彩色电视系统每个像素每个像素的熵是：量化所以每个像素需要用个亮度每个色彩度需要求下在满足黑白电视系统要个不同色彩度增加∴≈====∴=⨯∑=x x b p b p x i i i Θ1.8每帧电视图像可以认为是由3×105个像素组成，所以像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现。

问每帧图像含有多少信息量？若现在有一个广播员，在约10000个汉字中选1000个字来口述这一电视图像，试问若要恰当地描述此图像，广播员在口述中至少需要多少汉字？ 解:个汉字最少需要数描述一帧图像需要汉字每个汉字所包含信息量每个汉字所出现概率每帧图象所含信息量55665510322.6/10322.61.0log 101.2)()()()(,log H(c):1.0100001000symble /bit 101.2128log 103)(103)(:⨯∴⨯=-⨯=≥≤-=∴==⨯=⨯⨯=⨯⨯=framec H X H n c nH X H n p p x H X H1.9给定一个概率分布),...,,(21n p p p 和一个整数m ，n m ≤≤0。

定义∑=-=mi im pq 11，证明：)log(),,...,,(),...,,(2121m n q q p p p H p p p H m m m n -+≤。

并说明等式何时成立？证：∑∑+==--=>-=<-=''-=''∴>-=''-=''>-=nm i iimi i i n pp p p p p p H x x x x f x ex x x f x xex x x f x x x x f 1121log log ),...,,()0(log )( 0log )log ()(0 log )log ()()0(log )(ΘΘ又为凸函数。

即又为凸函数，如下：先证明时等式成立。

当且仅当时等式成立。

当且仅当即可得：的算术平均值的函数，函数的平均值小于变量由凸函数的性质，变量n m m m m m n mm m i i i m m m m m mi i i nm i iimi i i n n m m m m m nm i iimm nm i inm i inm i inm i inm i i i p p p m n q q p p p H p p p H q q p p q p p p H m n q q q p p pp p p p p p H p p p m n q q q pp mn q q mn pmn pm n mn pf m n mn p f m n p p ===-+≤--=-+--≤--=∴===-+-≤---=----=---≤---=-++==+==+++=+=+=+=+=+=∑∑∑∑∑∑∑∑∑∑...)log(),,...,,(),...,,(log log ),,...,,()log(log log log log ),...,,(...)log(log log loglog)()()()()(log 2121211211112121111111ΘΘ1.10找出两种特殊分布:p 1≥p 2≥p 3≥…≥p n ，p 1≥p 2≥p 3≥…≥p m ,使H(p 1,p 2,p 3,…,p n )=H(p 1,p 2,p 3,…,p m )。

解：∑∑==-==-=mi i i m ni i i n q q q q q H p p p p p H 121121log ),...,,(log ),...,,(1.15两个离散随机变量X 和Y ，其和为Z ＝X ＋Y ，若X 和Y 统计独立，求证： (1) H(X)≤H(Z), H(Y)≤H(Z) (2) H(XY)≥H(Z) 证明：∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑=================≥+-≥+-+-=≥+⋅-≥-=⋅⋅-≤++-≤-=∴⎩⎨⎧•⎩⎨⎧•sj j j ri sj j i j ri sj j i j r s j j i i s sj j i ss j j i t k k k rsj j i j i rsj j i j i tk k k s s r r q q q p q q p q q p p q p q p pz pz Z H XY H q p q p b a p b a p pz pz Z H Y X q q q Y P b b b P p p p X P a a a P 111111i 11i 11i 111i 11i 1121212121)log(-)log( )log())log(( )log()(log )()()log()( )(log )(log )(, ...)( ... Y :][Y ... )( (X):][X Y X ＝又统计独立又的信源空间为：、设第二章 单符号离散信道2.1设信源 .30.70 )( X:][X 21⎩⎨⎧•X P a a P 通过一信道，信道的输出随机变量Y 的符号集 },{:21b b Y ,信道的矩阵：⎥⎦⎤⎢⎣⎡=4/34/16/16/5][ 2121a a P b b试求：(1) 信源X 中的符号α1和α2分别含有的自信息量；(2) 收到消息Y ＝b 1，Y ＝b 2后，获得关于α1、α2的互交信息量：I(α1;b 1)、I(α1;b 2)、I(α2;b 1)、I(α2;b 2)；(3) 信源X 和信宿Y 的信息熵；(4) 信道疑义度H(X/Y)和噪声熵H(Y/X)；(5) 接收到消息Y 后获得的平均互交信息量I(X;Y)。