《信息论与编码》习题解答-第三章

合集下载

信息论与编码（第3版）第3章部分习题答案

3.1设信源()12345670.20.190.180.170.150.10.01X a a a a a a a P X ⎛⎫⎧⎫=⎨⎬ ⎪⎩⎭⎝⎭ (1) 求信源熵()H X (2) 编二进制香农码(3) 计算平均码长及编码效率。

答：(1)根据信源熵公式()()()()21log 2.6087bit/symbol i i i H X p a p a ==−=∑(2)利用到3个关键公式：①根据()()()100,0i a i k k p a p a p a −===∑计算累加概率；②根据()()*22log 1log ,i i i i p a k p a k N −≤<−∈计算码长；③根据()a i p a 不断地乘m 取整（m 表示编码的进制），依次得到的i k 个整数就是i a 对应的码字根据①②③可得香农编码为(3)平均码长公式为()13.14i i i K p a k ===∑单符号信源L =1，以及二进制m =2, 根据信息率公式()2log bit/symbol m KR K L==编码效率()83.08%H X Rη==3.2对习题3.1的信源编二进制费诺码，计算其编码效率答：将概率从大到小排列，且进制m=2,因此，分成2组（每一组概率必须满足最接近相等）。

根据平均码长公式为()12.74i iiK p a k===∑单符号信源L=1，以及二进制m=2, 根据信息率公式()2log bit/symbolmKR KL==编码效率（信源熵看题3.1）()95.21%H XRη==3.3对习题3.1的信源编二进制赫夫曼码，计算平均码长和编码效率答：将n个信源符号的概率从大到小排列，且进制m=2。

从m个最小概率的“0”各自分配一个“0”和“1”，将其合成1个新的符号，与其余剩余的符号组成具有n-1个符号的新信源。

排列规则和继续分配码元的规则如上，直到分配完所有信源符号。

必须保证两点：(1)当合成后的信源符号与剩余的信源符号概率相等时，将合并后的新符号放在靠前的位置来分配码元【注：“0”位表示在前，“1”表示在后】，这样码长方差更小；(2)读取码字时是从后向前读取，确保码字是即时码。

信息论与编码理论_第3章信道容量_习题解答_071102

.. ..... . .第3章信道容量习题解答3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3⎡⎤⎢⎥⎣⎦解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和(;)I X Y 。

i i 2i=13311H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-⨯-=∑符号111121*********j j j=132117p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125p(b )=p(a )p(b |a )+p(a )p(b |a )=4343127755H(Y)=p(b )log(b )=log()log()0.9799(/)12121212bit ⨯+⨯=⨯+⨯=---=∑符号 22i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a )2211log()log()0.9183(/)3333i jjbit -=-=-⨯-⨯=∑∑符号I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号)(2)求该信道的信道容量及其达到信道容量时的输入概率分布。

二进制对称信息的信道容量H(P)=-plog(p)-(1-p)log(1-p)1122C =1-H(P)=1+log()+log()=0.0817(bit/)3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{0.5，0.5} 注意单位3-4 设BSC 信道的转移概率矩阵为112211Q εεεε-⎡⎤=⎢⎥-⎣⎦1）写出信息熵()H Y 和条件熵(|)H Y X 的关于1()H ε和2()H ε表达式，其中()log (1)log(1)H εεεεε=----。

信息论与编码第3版第3章习题解答

第3章无失真离散信源编码习题3.1 设信源1234567()0.20.190.180.170.150.10.01X a a a a a a a P X(1) 求信源熵H (X )； (2) 编二进制香农码；(3) 计算其平均码长及编码效率。

解： (1)()()log ()(.log ..log ..log ..log ..log ..log ..log .).7212222222=-020201901901801801701701501501010010012609 i i i H X p a p a bit symbol(2)a i p (a i ) p a (a i ) k i 码字 a 1 0.2 0 3 000 a 2 0.19 0.2 3 001 a 3 0.18 0.39 3 011 a 4 0.17 0.57 3 100 a 5 0.15 0.74 3 101 a 6 0.1 0.89 4 1110 a 70.010.9971111110(3)()3(0.2+0.19+0.18+0.17+0.15)+40.1+70.01=3.1471i i i K k p a()() 2.609=83.1%3.14H X H X R K3.2 对习题3.1的信源编二进制费诺码，计算其编码效率。

解：a i p (a i ) 编码码字 k i a 1 0.2 000 2 a 2 0.19 1 0 010 3 a 3 0.18 1 011 3 a 4 0.17 110 2 a 5 0.15 10 110 3 a 6 0.1 10 1110 4 a 70.011 11114()2(0.2+0.17)+3(0.19+0.18+0.15)+4(0.1+0.01)=2.7471i i i K k p a()() 2.609=95.2%2.74H X H X R K3.3 对习题3.1的信源分别编二进制和三进制赫夫曼码，计算各自的平均码长及编码效率。

信息论与编码习题与答案第三章

3.1设二元对称信道的传递矩阵为
(1)若P(0)= 3/4,P(1)= 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)；
(2)求该信道的信道容量及其达到信道容量时的输入概率分布；
解：1)
（2)
其最佳输入分布为
3.3在有扰离散信道上传输符号0和1，在传输过程中每100个符号发生一个错误，已知P(0)=P(1)=1/2，信源每秒内发出1000个符号，求此信道的信道容量。
解：由题意可知该二元信道的转移概率矩阵为：为一个BSC信道所以由BSC信道的信道容量计算公式得到：
3-6设有扰离散信道的传输情况分别如图3－17所示。求出该信道的信道容量。
解：信道转移概率矩阵为P= 该信道为离散对称信道DMC
3-7发送端有三种等概率符号， ,接收端收到三种符号，信道转移概率矩阵为
（7） bit/symbol
H(X/Y)=
i
bit/symbol
3-10一个平均功率受限制的连续信道，其通频带为1MHZ，信道上存在白色高斯噪声。
（1）已知信道上的信号与噪声的平均功率比值为10，求该信道的信道容量；
（2）信道上的信号与噪声的平均功率比值降至5，要达到相同的信道容量，信道通频带应为多大？
=
bit/symbol
（3）当接收为，发为时正确，如果发的是则为错误，各自的概率为：
则错误概率为：
（4）
从接收端看平均错误概率为
（5）从发送端看的平均错误概率为：
（6）能看出此信道不好。原因是信源等概率分布，从转移信道来看正确发送的概率x1→y1的概率0.5有一半失真；x2→y2的概率0.3有严重失真；x3→y3的概率0完全失真。
(1)接收端收到一个符号后得到的信息量H(Y);

信息论与编码习题参考答案(全)

信息论与编码习题参考答案第一章单符号离散信源1.1同时掷一对均匀的子，试求：(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；(5)“两个点数中至少有一个是1”的自信息量。

解：bitP a I N n P bit P a I N n P c c N 17.536log log )(361)2(17.418log log )(362)1(36662221111616==-=∴====-=∴===⨯==样本空间：(3)信源空间：bit x H 32.436log 3662log 3615)(=⨯⨯+⨯⨯=∴ bitx H 71.3636log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=∴＋＋ (5) bit P a I N n P 17.11136log log )(3611333==-=∴==1.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格。

（1）若仅有质点A ，求A 落入任一方格的平均信息量；（2）若已知A 已落入，求B 落入的平均信息量；（3）若A ，B 是可辨认的，求A ，B 落入的平均信息量。

解：bita P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481)(:)1(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率Θbitb P b P b b P b I b P A i 55.547log )(log )()(H 47log )(log )(471)(:B ,)2(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知ΘbitAB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()(log )(471481)()3(47481=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。

信息论与编码习题解答

信息论与编码习题解答信息论与编码习题解答第⼀章1.⼀位朋友很不赞成“通信的⽬的是传送信息”及“消息中未知的成分才算是信息”这些说法。

他举例说：我多遍地欣赏梅兰芳⼤师的同⼀段表演，百看不厌，⼤师正在唱的正在表演的使我愉快，将要唱的和表演的我都知道，照你们的说法电视⾥没给我任何信息，怎么能让我接受呢？请从信息论的⾓度对此做出解释。

（主要从狭义信息论与⼴义信息论研究的内容去理解和解释）答：从狭义信息论⾓度，虽然将要表演的内容观众已知，但是每⼀次演出不可能完全相同。

⽽观众在欣赏的同时也在接受着新的感官和视听享受。

从这⼀⾓度来说，观众还是可以得到新的信息的。

另⼀种解释可以从⼴义信息论的⾓度来分析，它涉及了信息的社会性、实⽤性等主观因素，同时受知识⽔平、⽂化素质的影响。

京剧朋友们在欣赏京剧时也因为主观因素⽽获得了享受，因此属于⼴义信息论的范畴。

2．利⽤下图（图1.2）所⽰的通信系统分别传送同样时间（例如⼗分钟）的重⼤新闻公告和轻⾳乐，它们在接收端各⽅框的输⼊中所含的信息是否相同，为什么？图1.2 通信系统的⼀般框图答：重⼤新闻是语⾔，频率为300~3400Hz，⽽轻⾳乐的频率为20~20000Hz。

同样的时间内轻⾳乐的采样编码的数据要⽐语⾳的数据量⼤，按码元熵值，⾳乐的信息量要⽐新闻⼤。

但是在信宿端，按信息的不确定度，信息量就应分别对待，对于新闻与⾳乐的信息量⼤⼩在⼴义上说，因⼈⽽异。

第⼆章1．⼀珍珠养殖场收获240颗外观及重量完全相同的特⼤珍珠，但不幸被⼈⽤外观相同但重量仅有微⼩差异的假珠换掉1颗。

（1）⼀⼈随⼿取出3颗，经测量恰好找出了假珠，问这⼀事件⼤约给出了多少⽐特的信息量；（2）不巧假珠⼜滑落进去，那⼈找了许久却未找到，但另⼀⼈说他⽤天平最多6次能找出，结果确是如此，问后⼀事件给出多少信息量；（3）对上述结果作出解释。

解：（1）从240颗珍珠中取3颗，其中恰好有1颗假珠的概率为：22393240239!2!237!240!3!237!11/80240/3C P C====所以，此事件给出的信息量为：I = – log 2P = log 280=6.32 (bit)（2）240颗中含1颗假珠，⽤天平等分法最多6次即可找到假珠，这是⼀个必然事件，因此信息量为0。

信息论与编码习题参考答案(全)

信息论与编码习题参考答案第一章单符号离散信源同时掷一对均匀的子，试求：(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；(5)“两个点数中至少有一个是1”的自信息量。

解：bitP a I N n P bit P a I N n P c c N 17.536log log )(361)2(17.418log log )(362)1(36662221111616==-=∴====-=∴===⨯==样本空间：(3)信源空间：bit x H 32.436log 3616236log 36215)(=⨯⨯+⨯⨯=∴ (4)信源空间：bitx H 71.3636log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=∴＋＋ (5) bit P a I N n P 17.11136log log )(3611333==-=∴==如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格内，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格内。

解：bita P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481)(:)1(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率bitb P b P b b P b I b P A i 55.547log )(log )()(H 47log )(log )(471)(:B ,)2(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知bitAB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()(log )(471481)()3(47481=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为%.如果你问一位男士：“你是否是红绿色盲”他的回答可能是：“是”，也可能“不是”。

信息论与编码习题答案-曹雪虹

3-14
信源符号 xi x1 x2 x3 x4 x5 x6 x7
符号概率 pi 1/3 1/3 1/9 1/9 1/27 1/27 1/27 1/3 1/3 1/9 1/9 2/27 1/27 1/3 1/3 1/9 1/9 1/9
编码过程
编码 1/3 1/3 1/3 2/3 1/3 00 01 100 101 111 1100 1101
得p0p1p223当p0或p1时信源熵为0第三章无失真信源编码31321因为abcd四个字母每个字母用两个码每个码为05ms所以每个字母用10ms当信源等概率分布时信源熵为hxlog42平均信息传递速率为2信源熵为hx0198bitms198bitsbitms200bits33与上题相同351hu12log2?14log4?18log8?116log16?132log32?164log64?1128log128?1128log128?1984111111112481632641281282每个信源使用3个二进制符号出现0的次数为出现1的次数为p0p134相应的香农编码信源符号xix1x2x3x4x5x6x7x8符号概率pi12141811613216411281128累加概率pi00507508750938096909840992logpxi12345677码长ki12345677码字010110111011110111110111111011111110相应的费诺码信源符号概符号xi率pix1x2x3x4x5x6x7x812141811613216411281128111第一次分组0第二次分组0第三次分组0第四次分组0第五次分组011第六次分组01第七次分组01二元码0101101110111101111101111110111111105香农码和费诺码相同平均码长为编码效率为

信息论与编码习题参考答案(全)

信息论与编码技术第三章课后习题答案

Chap3 思考题与习题参考答案3.1 设有一个信源，它产生0、1 序列的消息。

它在任意时间而且不论以前发生过什么符号，均按P(0)＝0.4，P(1)＝0.6 的概率发出符号。

(1) 试问这个信源是否平稳的? (2) 试计算H(X 2)，H(X 3/X 1X 2)及H ∞。

(3) 试计算H(X 4)，并写出X 4 信源中可能有的所有符号。

解：（1）根据题意，此信源在任何时刻发出的符号概率都是相同的，均按p(0)=0.4，p(1)=0.6，即信源发出符号的概率分布与时间平移无关，而且信源发出的序列之间也是彼此无信赖的。

所以这信源是平稳信源。

(2)23123121()2()2(0.4log 0.40.6log 0.6) 1.942(/)(|)()()log ()(0.4log 0.40.6log 0.6)0.971(/)lim (|)()0.971(/)i i iN N N N H X H X bit symbols H X X X H X p x p x bit symbol H H X X X X H X bit symbol ∞−→∞==−×+===−=−+====∑" (3)4()4()4(0.4log 0.40.6log 0.6) 3.884(/)H X H X bit symbols ==−×+=4X 的所有符号：0000 0001 0010 0011 0100 0101 0110 0111 1000 1001 1010 1011 1100 1101 1110 11113.2 在一个二进制的信道中，信源消息集X={0，1}且p(1)=p(0)，信宿的消息集Y={0，1}，信道传输概率(10)1/p y x ===4，(01)1/p y x ===8。

求：(1) 在接收端收到y=0后，所提供的关于传输消息x 的平均条件互信息I(X ；y=0)； (2) 该情况下所能提供的平均互信息量I(X ；Y)。

《信息论与编码》第三章部分习题参考答案

第三章习题参考答案第三章习题参考答案3-1解：(1)判断唯一可译码的方法：①先用克劳夫特不等式判定是否满足该不等式；②若满足再利用码树，看码字是否都位于叶子结点上。

如果在叶节点上则一定是唯一可译码，如果不在叶节点上则只能用唯一可译码的定义来判断是不是。

可译码的定义来判断是不是。

其中C1,C2,C3,C6都是唯一可译码。

都是唯一可译码。

对于码C2和C4都满足craft 不等式。

但是不满足码树的条件。

就只能就只能举例来判断。

举例来判断。

对C5：61319225218ki i ---==+´=>å，不满足该不等式。

所以C5不是唯一可译码。

译码。

(2)判断即时码方法：定义：即时码接收端收到一个完整的码字后，就能立即译码。

特点：码集任何一个码不能是其他码的前缀，即时码必定是唯一可译码, 唯一可译码不一定是即时码。

唯一可译码不一定是即时码。

其中C1,C3,C6都是即时码。

都是即时码。

对C2：“0”是“01”的前缀，……，所以C2不是即时码。

不是即时码。

(1) 由平均码长61()i i i K p x k ==å得1236 3 1111712(3456) 241681111712(3456) 2416811152334 24162K bitK bit K bitK bit==´+´+´+++==´+´+´+++==´+´+´´=62111223366()()log () 2 /()266.7%3()294.1%178()294.1%178()280.0%52i i i H U p u p u H U K H U K H U K H U K h h h h ==-=============å比特符号3-7解：(1)信源消息的概率分布呈等比级数，按香农编码方法，其码长集合为自然数数列1, 2, 3, ···, i, ·, i, ····；对应的编码分别为：0, 10, 110, ···, 111…110 ( i 110 ( i –– 1个1), ·1), ····。

信息论与编码第三章习题参考答案

第三章习题参考答案3-1 离散无记忆信道如图3.10所示，输入X 取值空间为，信道干扰的概率空间为求信道容量和最佳分布。

图3.10解：设X 的概率分布为根据ZX ⊕=Y可以算出条件转移概率矩阵为⎥⎦⎤⎢⎣⎡--=αααα11P X |Y这是一个完全对称的信道，信道容量为）-1（）-1（1)(2C αααααlb lb H lb ++=-= 最佳分布为等概率分布，即）5.0,5.0（3-2写出图3.11所示离散无记忆信道的条件转移矩阵，并求信道容量和最佳分布。

图3.11解：信道的条件转移概率为⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡=4341031313104143P 观察1、3行，可以发现是相互置换的。

设信道输入为）5.0，0,5.0（，可以计算出相应概率p(bj),83)()(31==b p b p 41)(2=b p 平均互信息量为83)()|()|()()|()|()()|()|();(I 3131321212111111=++=b p a b p lb a b p b p a b p lb a b p b p a b p lb a b p Y a同理可以计算出3);(I2lb Y a -=，83);(I 3=Y a ，根据信道容量性质可知由于);(I );(I33Y a Y a =，且03);(I 2<-=lb Y a ，所以信道容量为83);(IC 1==Y a ，而最佳分布为）5.0，0,5.0（。

3-3 在某离散无记忆信道上传输二进制符号0和1，由于受到随机干扰影响，符号传输出现差错，每传输1000个符号会出现2个错误，假设每秒钟允许传输1000个符号，求该信道的信道容量。

解：信道的条件转移概率矩阵为⎥⎦⎤⎢⎣⎡=998.0002.0002.0998.0P信道容量为 98.0)002.0(2C =-=H lb 比特/符号，每秒钟的信道容量为9801000*98.0CN C t === 比特/秒3-4 如图3.12所示的信道，写出条件转移矩阵，求出信道容量和最佳分布，并且求出当和时的信道容量。

《信息论与编码》习题解答-第三章

第三章信道容量-习题答案3.1 设二元对称信道的传递矩阵为⎥⎦⎤⎢⎣⎡3/23/13/13/2 (1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布；解： 1)symbolbit Y X H X H Y X I symbol bit X Y H Y H X H Y X H X Y H Y H Y X H X H Y X I symbol bit y p Y H x y p x p x y p x p y x p y x p y p x y p x p x y p x p y x p y x p y p symbolbit x y p x y p x p X Y H symbolbit x p X H jj iji j i j i i i / 062.0749.0811.0)/()();(/ 749.0918.0980.0811.0)/()()()/()/()()/()();(/ 980.0)4167.0log 4167.05833.0log 5833.0()()(4167.032413143)/()()/()()()()(5833.031413243)/()()/()()()()(/ 918.0 10log )32lg 324131lg 314131lg 314332lg 3243( )/(log )/()()/(/ 811.0)41log 4143log 43()()(222221212221221211112111222=-==-==+-=+-=-=-==⨯+⨯-=-==⨯+⨯=+=+==⨯+⨯=+=+==⨯⨯+⨯+⨯+⨯-=-==⨯+⨯-=-=∑∑∑∑2)21)(/ 082.010log )32lg 3231lg 31(2log log );(max 222==⨯++=-==i mi x p symbolbit H m Y X I C3.2 解：(1)αα-==1)(,)(21x p x p⎥⎦⎤⎢⎣⎡=4/14/12/102/12/1P ，⎥⎦⎤⎢⎣⎡---=4/)1(4/)1(2/)1(02/12/1)(αααααj i y x P 4/)1()(,4/14/)(,2/1)(321αα-=+==y p y p y p接收端的不确定度：))1(41log()1(41)4141log()4141()2log(21)(αααα---++-=Y H)1log(41)1log(4123αααα---++-= (2))4log()1(41)4log()1(41)2log()1(210)2log(21)2log(21)|(ααααα-+-+-+++=X Y H α2123-= (3))|()();(X Y H Y H Y X I -=);(max )()(Y X C i x p =α,0)(=ααC d d,得到5/3=α 161.0)5/3();max(===C Y X C 3.3∑==⨯++=+=21919.001.0log 01.099.0log 99.02log log )log(j ij ij p p m C0.919*1000=919bit/s 3.4 3.5 3.6⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=2/1002/12/12/10002/12/10002/12/1P 121log 2121log 214log log )log(41=++=+=∑=ij j ij p p m C3.7(1)联合概率⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡=010330110110115215110161ij p ，⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡=0103101535152525121)|(j i y x p 31)(0=y p ，21)(1=y p ，61)(3=y p499.16log 612log 213log 31)(=++=Y H(2)175.1910log 30310log 301310log 101310log10152log 1525log 151310log 1012log 61)|(log )()|(=+++++++=-=∑ij i j j i x y p y x p X Y H (3)当接收为2y ，发送为2x 时正确，如果发送为1x 和3x 为错误，各自的概率为： 5/1)|(21=y x p ，5/1)|(22=y x p ，5/3)|(23=y x p它的错误概率为：5/4)|()|(2321=+=y x p y x p p e(4)平均错误概率为：733.010/115/110/310/130/115/2=+++++ (5)同样为0.733 (6)此信道不好，因为信源等概率分布，从转移信道来看，正确发送的概率11y x >-为0.5，有一半失真；22y x >-为0.3，严重失真；33y x >-为0，完全失真。

信息论与编码理论-第3章信道容量-习题解答-071102

第3章信道容量习题解答3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3⎡⎤⎢⎥⎣⎦解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和(;)I X Y 。

二进制对称信息的信道容量H(P)=-plog(p)-(1-p)log(1-p)1122C =1-H(P)=1+log()+log()=0.0817(bit/)3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{0.5，0.5} 注意单位3-2 求下列三个信道的信道容量及其最佳的输入概率分布。

1b 2b 3b 3a 2a 1a Y X 1b 2b 3a 2a 1a Y X 1b 2b 2a 1a Y X 3b 11111110.70.3第一种：无噪无损信道，其概率转移矩阵为： 1 0 0P=0 1 00 0 1⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦信道容量：()max (;)P X C I X Y @ bit/符号()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H X H X Y H X Y C I X Y H X ==-∴=∴==离散无记忆信道(DMC)只有输入为等概率分布时才能达到信道容量，C=log3=1.5850 bit/符号输入最佳概率分布如下：111,,333⎧⎫⎨⎬⎩⎭第二种：无噪有损信道，其概率转移矩阵为： 1 0P=0 10 1⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦，离散输入信道， ()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H Y H Y X H Y X C I X Y H Y ==-∴=∴==H(Y)输出为等概率分布时可达到最大值，此值就是信道容量此时最佳输入概率：123p(a )+p(a )=0.5,p(a )=0.5 信道容量：C=log(2)=1 bit/符号第三种：有噪无损信道，由图可知：()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H X H X Y H X Y C I X Y H X ==-∴=∴==输入为等概率分布时可达到信道容量，此时信道容量p(x)C=max{H(X)}=log(2)=1 bit/符号输入最佳概率分布：11,22⎧⎫⎨⎬⎩⎭3-3 设4元删除信道的输入量{1,2,3,4}X ∈，输出量{1,2,3,4,}Y E ∈，转移概率为(|)1(|)1-ε 0 0 0 ε0 1-ε 0 0 ε P=0 0 1-ε 0 ε0 0 0 1-ε ε1-ε 0 0 0 ε0 1-ε 0 0 ε p1= p2=0 0 1-ε 0 ε0 0 0 1-ε εP Y i X i P Y E X i εε===-===⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦其中1,2,3,4i = 1）该信道是对称DMC 信道吗？ 2）计算该信道的信道容量；3）比较该信道与两个独立并联的二元删除信道的信道容量。

《信息论与编码》第三章习题解答

H (X ) ，所以 log 3
其中 (i, k1 ) ， (k1 + 1, k 2 ) ， (k 2 + 1, j ) 是由内节点 (i, j ) 分岔出去的三个节点，所以
p (i, k1 ) + p(k1 + 1, k 2 ) + p (k 2 + 1, j ) = p(i, j ) 。由于码 D 的平均码长 L =
（c） {01,10}
[解] （a）{0，10，11}可能为 Huffman 码，因为它构成满树；（b）{00，01，10，110}不可能为 Huffman 码，因为码字“110”可以用更短的“11”代替，而保持前缀码条件；（c）{01，10}不可能成为 Huffman 码，因为显然{0，1}是平均码长更短的前缀码； 3.8 一个随机变量 X 的取值范围为 X = { x1 , x2 " , xm } ,它的熵为 H(X)，若对这个源能找到一个平均码长为 L =
I 表示全体内节点 (i, j ) ， (i < j ) 的集合。内节点 (i, j ) 上的累计概率定义为：
(1,13) (4,8) (6,8)
i
P (i, j ) =
于是
∑
k =i
j
(1, 3)
pk
a1 a2 a3
(9,13) (10,12)
L=
∑l ⋅ p = ∑ p(i, j )
i i =1
0.16 （1） 0.14 （1） 0.13 （0） 0.12 （1） 0.1 （1） 0.09 （0） 0.08 （1） 0.07 （0） 0.06 （1） 0.05 （0）
0.27 （0） 0.31 （1） 0.19 （0） 0.23 （1） 0.15 （0） 0.42 （0） 0.58 （1） 1

(完整版)信息论基础与编码课后题答案(第三章)

3-1 设有一离散无记忆信源，其概率空间为12()0.60.4X x x P x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，信源发出符号通过一干扰信道，接收符号为12{,}Y y y =，信道传递矩阵为51661344P ⎡⎤⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦，求：（1）信源X 中事件1x 和2x 分别含有的自信息量；（2）收到消息j y （j ＝1，2）后，获得的关于i x （i ＝1，2）的信息量；（3）信源X 和信宿Y 的信息熵；（4）信道疑义度(/)H X Y 和噪声熵(/)H Y X ；（5）接收到消息Y 后获得的平均互信息量(;)I X Y 。

解：（1）12()0.737,() 1.322I x bit I x bit ==（2）11(;)0.474I x y bit =，12(;) 1.263I x y bit =-，21(;) 1.263I x y bit =-，22(;)0.907I x y bit =（3）()(0.6,0.4)0.971/H X H bit symbol ==()(0.6,0.4)0.971/H Y H bit symbol ==（4）()(0.5,0.1,0.1,0.3) 1.685/H XY H bit symbol ==(/) 1.6850.9710.714/H X Y bit symbol =-= (/)0.714/H Y X bit symbol =（5）(;)0.9710.7140.257/I X Y bit symbol =-=3-2 设有扰离散信道的输入端是以等概率出现的A 、B 、C 、D 四个字母。

该信道的正确传输概率为0.5，错误传输概率平均分布在其他三个字母上。

验证在该信道上每个字母传输的平均信息量为0.21比特。

证明：信道传输矩阵为：11112666111162661111662611116662P ⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦，信源信宿概率分布为：1111()(){,,,}4444P X P Y ==， H(Y/X)=1.79（bit/符号），I(X;Y)=H(Y)- H(Y/X)=2-1.79=0.21（bit/符号）3-3 已知信源X 包含两种消息：12,x x ，且12()() 1/2P x P x ==，信道是有扰的，信宿收到的消息集合Y 包含12,y y 。

信息论与编码课后答案第三章课后习题

=
3×1 43
=3
P( y = 1)
5 /12 5
P(x = 1| y = 1) = 2 5
H (Y | X )
= −∑ P(x)∑ P( y | x) log P( y | x)
X
Y
=
−
3 4

2 3
log
2 3
+
1 3
log
1 3

−
1 4

1 3
log
1 3
+
2 3
log
2 3
2p2
+
4 pp
+
2p2
=1 4
因此接收到第二个数字也是 0 时，得到多少关于 M1 的互信息为：
I (M 1; y1 y2
=
00)
=
log
P( y1 y2 = 00 | M1) P( y1 y2 = 00)
=
p2 log
1/ 4
=
2 + 2 log
p
比特/符号
得到的附加信息为：
I (M1; y1 y2 = 00) − I (M1; y1 = 0) = 1 + log p 比特/符号（3）根据已知条件，有
第三章课后习题
【3.1】设信源
X P( x)
=
x1 0.6
x2 0.4
通过一干扰信道，接收符号为Y = [ y1, y2 ] ，信道传递概率如下图所示，求
（1）信源 X 中事件 x1和 x2 分别含有的自信息；
x1
5/6
y1
（2）收到消息 y j ( j = 1,2) 后，获得的关于 xi (i = 1,2) 的信

信息论语编码第3章习题解答

3.1 设信源⎥⎦⎤⎢⎣⎡)(x P X =⎥⎦⎤⎢⎣⎡4.06.021x x 通过一干扰信道，接收符号Y=[]21y y ,信道传递概率如图3.33所示。

求：（1）信源X 中事件x1,和x2分别含有的自信息。

（2）收到消息yj(j=1,2)后，获得的关于xi(i=1,2)的信息量。

（3）信源X 和信源Y 的信息熵。

（4）信道疑义度H （X|Y ）和噪声熵H （Y|X ）。

（5）接收到消息Y 后获得的平均互信息。

解：（1）由定义得：I （X1）= －log0.6=0.74bitI （X2）= －log0.4=1.32bit（2）P （y1）= 0.6×5/6＋0.4×3/4=0.8 P （y2）= 0.6×1/6＋0.4×1/4=0.2I （xi ；xj ）= I （xi ）－I （xi|yj ）=log[P （xi|yj ）/p （xi ）]= log[P （yj|xi ）/p （yj ）]则 I （x1；y1）= log[P （y1|x1）/p （y1）]=log5/6/0.8=0.059bit I （x1；y2）= log[P （y2|x2）/p （y2）]=log1/6/0.2=-0.263bit I （x2；y1）= log[P （y1|x2）/p （y1）]=log3/4/0.8=-0.093bit I （x2；y2）= log[P （y2|x2）/p （y2）]=log1/4/0.2=0.322bit（3）由定义显然 H （X ）=0.97095bit/符号H （Y ）=0.72193bit/符号（4）H （Y|X ）=∑P （xy ）log[1/P （y|x ）]=2211i j ==∑∑p （xi ）P （yj|xi ）log[1/P （yj|xi ）]=0.6·5/6·log6/5+0.6·1/6·log6+0.4·3/4·log4/3+0.4·1/4·log4 =0.7145bit/符号H （X|Y ）= H （X ）+H （Y|X ）－H （Y ）=0.9635bit/符号(5) I （X ；Y ）= H （X ）－H （X|Y ）=0.00745 bit/符号3.2设8个等概率分布的消息通过传递概率为p 的BSC 进行传送。