第二章信源与信息度量习题

合集下载

《信息论与编码》课件1第2章

I(ai)是一个随机变量并不难理解。因为ai发生可以使收信者获得大小为I(ai)的自信息，然而在信源未发出消息之前，收信者不仅对ai是否发生具有不确定性，而且对于能够获得多少自信息也是不确定的。因此，伴随着X=ai的随机发生而发生的自信息I(ai)是一个随机变量，并且与随机变量X具有相同的概率分布, 即自信息I(ai)是一个发生概率为P(X=ai)
如果消息ai已发生，则该消息发生所含有的自信息定义为
1
1
I (ai ) log P(ai ) log pi
(2.4)
第2章离散无记忆信源与信息熵
可以很容易地证明, 自信息的定义满足上面提出的四个
(1) 此自信息的定义是根据消息发生的概率建立的一个工程定义，而不是根据这个消息对人的实际意义而建立的定义。这一纯粹技术性的定义仅仅抓住了“信息”一词在
(2) 自信息I(ai) 在消息ai发生之前，自信息I(ai)表示ai发生的不确定性; 在消息ai发生以后，自信息I(ai)表示ai所含有的（或提
第2章离散无记忆信源与信息熵
(3) 在式(2.4)中关于对数的底未作明确规定。这是因为对数的底仅仅影响到度量的单位，实际中可根据
如果取对数的底为2，则所得信息量的单位为比特（bit， binary unit），此时logx用lbx
第2章离散无记忆信源与信息熵
第2章离散无记忆信源与信息熵
2.1 离散无记忆信源 2.2 自信息和熵 2.3 熵函数的性质 2.4 联合事件的熵及其关系 2.5 连续信源的信息测度习题2
第2章离散无记忆信源与信息熵
信息理论的研究对象是以各类信息的获取、表示、传输和处理为目的的信息系统。图2-1给出了一个典型的通信系统物理模型。在这样的通信系统中，一个贯穿始终的、最基本的问题便是信息，即信源输出的是信息，在系统中传输的是信息，接收者获得的也是信息。可见，在信息理论的学习和研究中，首先需要对

第二章信源熵练习题

A、 H(XY)=H(Y)
-H(X)；
B、 H(XY)=H(X)+
H(X/Y)；
C、 H(XY)=H(Y)+
H(X/Y)；
D、H(XY)=H(X)
+H(Y)
9、已知离散随机变量 X 和 Y，及相应的熵 H(X)、H(Y)、H(XY)、 H(X/Y)、 H(Y/X) 以及平均互信息 I(X;Y) ，则下列关系成立的是（ B ）
j i
p ( y j ) p ( xi | y j ) log 2 p( xi ) i j p ( xi ) log 2 p( xi ) H ( X )
i
5. 平均互信息量的三种表达形式及其对应的物理意义：P27-28 均互信息的三种表达形式： 1） I ( X; Y) H X H X / Y ； 2） I (Y; X) H Y H Y / X ； 3） I ( X; Y) H X H Y H XY 。 6.
第一章绪论练习题
一、填空题
1. 信息是事物运动状态或存在方式的所有可能取值的描述，不确定性可以用概率来表达，因而可以用概率论与随机过程来描述信源输出的消息。单符号信源用概率空间来描述，即信源符号的所有可能取值及其对应的概率。信源的某一种取值概率大，则其不确定性（度）值概率小，则其不确定性（度）大。小；相反，某一种取
H ( X ) log n
n 1 n 1 n p(ai ) 1 log e p(ai ) log e 0 i 1 i 1 n i 1 np(ai )
4. 条件熵不大于无条件熵即 H ( X Y ) H ( X ) 证明：

第2章习题解答

第二章习题解答2.01 试给出数据通信系统的基本模型并说明其主要组成构件的作用。

答：1）信源和信宿信源就是信息的发送端，是发出待传送信息的设备；信宿就是信息的接收端，是接收所传送信息的设备，在实际应用中，大部分信源和信宿设备都是计算机或其他数据终端设备(data terminal equipment，DTE)。

2）信道信道是通信双方以传输媒体为基础的传输信息的通道，它是建立在通信线路及其附属设备(如收发设备)上的。

该定义似乎与传输媒体一样，但实际上两者并不完全相同。

一条通信介质构成的线路上往往可包含多个信道。

信道本身也可以是模拟的或数字方式的，用以传输模拟信号的信道叫做模拟信道，用以传输数字信号的信道叫做数字信道。

3）信号转换设备其作用是将信源发出的信息转换成适合于在信道上传输的信号，对应不同的信源和信道，信号转换设备有不同的组成和变换功能。

发送端的信号转换设备可以是编码器或调制器，接收端的信号转换设备相对应的就是译码器或解调器。

2.02 试解释以下名词：数据，信号，模拟数据，模拟信号，数字数据，数字信号。

答：数据：通常是指预先约定的具有某种含义的数字、符号和字母的组合。

信号：信号是数据在传输过程中的电磁波的表示形式。

模拟数据：取值是连续的数据。

模拟信号：是指幅度随时间连续变化的信号。

数字数据：取值是离散的数据。

数字信号：时间上是不连续的、离散性的信号2.03 什么叫传信速率？什么叫传码速率？说明两者的不同与关系。

答：传信速率又称为比特率，记作R b，是指在数据通信系统中，每秒钟传输二进制码元的个数，单位是比特/秒（bit/s,或kbit/s或Mbit/s）。

传码速率又称为调制速率、波特率，记作N Bd，是指在数据通信系统中，每秒钟传输信号码元的个数，单位是波特（Baud）。

若是二电平传输，则在一个信号码元中包含一个二进制码元，即二者在数值上是相等的；若是多电平（M电平）传输，则二者在数值上有R b=N Bd×log2 M的关系。

信息论习题集

信息论习题集信息论习题集第⼆章2.1 同时掷2颗骰⼦，事件A 、B 、C 分别表⽰：（A ）仅有⼀个骰⼦是3；（B ）⾄少有⼀个骰⼦是4；（C ）骰⼦上点数的总和为偶数。

试计算A 、B 、C 发⽣后所提供的信息量。

2.3 ⼀信源有4种输出符号i x ，i =0，1，2，3，且p(i x )=1/4。

设信源向信宿发出3x ，但由于传输中的⼲扰，接收者收到3x 后，认为其可信度为0.9。

于是信源再次向信宿发送该符号（3x ），信宿准确⽆误收到。

问信源在两次发送中发送的信息量各是多少？信宿在两次接收中得到的信息量⼜各是多少？ 2.5 ⼀信源有6种输出状态，概率分别为()p A =0.5， ()p B =0.25， ()p C =0.125， ()p D = ()p E =0.05， ()p F =0.025试计算()H X 。

然后求消息ABABBA 和FDDFDF 的信息量（设信源先后发出的符号相互独⽴），并将之与长度为6的消息序列信息量的期望值相⽐较。

2.6 中国国家标准局所规定的⼆级汉字共6763个。

设每字使⽤的频度相等，求⼀个汉字所含的信息量。

设每个汉字⽤⼀个16? 16的⼆元点阵显⽰，试计算显⽰⽅阵所能表⽰的最⼤信息量。

显⽰⽅阵的利⽤率是多少？2.7 已知信源发出1a 和2a 两种消息，且12 ()()1/2p a p a ==。

此消息在⼆进制对称信道上传输，信道传输特性为1122(|)(|)1p ba pb a ε==-，1221(|)(|)p b a p b a ε==。

求互信息量11(;)I a b 和12(;)I a b 。

2.8 已知⼆维随机变量XY 的联合概率分布()i j p x y 为：(0,0)(1,1)1/8p p ==，(0,1)(1,0)3/8p p ==，求(|)H X Y 。

2.13 有两个⼆元随机变量X 和Y ，它们的联合概率分布如表2.5所列，同时定义另⼀随机变量Z X Y =（⼀般乘积）。

信息论基础第二版习题答案

信息论基础第二版习题答案信息论是一门研究信息传输和处理的学科，它的基础理论是信息论。

信息论的基本概念和原理被广泛应用于通信、数据压缩、密码学等领域。

而《信息论基础》是信息论领域的经典教材之一，它的第二版是对第一版的修订和扩充。

本文将为读者提供《信息论基础第二版》中部分习题的答案，帮助读者更好地理解信息论的基本概念和原理。

第一章：信息论基础1.1 信息的定义和度量习题1：假设有一个事件发生的概率为p，其信息量定义为I(p) = -log(p)。

求当p=0.5时，事件的信息量。

答案：将p=0.5代入公式，得到I(0.5) = -log(0.5) = 1。

习题2：假设有两个互斥事件A和B，其概率分别为p和1-p，求事件A和B 同时发生的信息量。

答案：事件A和B同时发生的概率为p(1-p)，根据信息量定义，其信息量为I(p(1-p)) = -log(p(1-p))。

1.2 信息熵和条件熵习题1：假设有一个二进制信源，产生0和1的概率分别为p和1-p，求该信源的信息熵。

答案：根据信息熵的定义，信源的信息熵为H = -plog(p) - (1-p)log(1-p)。

习题2：假设有两个独立的二进制信源A和B，产生0和1的概率分别为p和1-p，求两个信源同时发生时的联合熵。

答案：由于A和B是独立的，所以联合熵等于两个信源的信息熵之和，即H(A,B) = H(A) + H(B) = -plog(p) - (1-p)log(1-p) - plog(p) - (1-p)log(1-p)。

第二章：信道容量2.1 信道的基本概念习题1：假设有一个二进制对称信道，其错误概率为p，求该信道的信道容量。

答案：对于二进制对称信道，其信道容量为C = 1 - H(p)，其中H(p)为错误概率为p时的信道容量。

习题2：假设有一个高斯信道，信道的信噪比为S/N，求该信道的信道容量。

答案：对于高斯信道，其信道容量为C = 0.5log(1 + S/N)。

信息论-第二章信源熵-习题答案

2.4 设离散无记忆信源⎭⎬⎫⎩⎨⎧=====⎥⎦⎤⎢⎣⎡8/14/1324/18/310)(4321x x x x X P X ，其发出的信息为(202120130213001203210110321010021032011223210)，求 (1) 此消息的自信息量是多少？(2) 此消息中平均每符号携带的信息量是多少？解：(1) 此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是：62514814183⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛=p此消息的信息量是：bit p I811.87log =-=(2) 此消息中平均每符号携带的信息量是：bitn I 951.145/811.87/==41()()log () 2.010i i i H X p x p x ==-=∑2.6 设信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡17.016.017.018.019.02.0)(654321x x x x x x X P X ，求这个信源的熵，并解释为什么H(X) > log6不满足信源熵的极值性。

解：585.26log )(/ 657.2 )17.0log 17.016.0log 16.017.0log 17.018.0log 18.019.0log 19.02.0log 2.0( )(log )()(26=>=+++++-=-=∑X H symbol bit x p x p X H ii i 不满足极值性的原因是107.1)(6>=∑iix p 。

2.7 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。

解：(1)用随机事件i x 表示“3和5同时出现”，则bitx p x I x p i i i 170.4181log )(log )(18161616161)(=-=-==⨯+⨯=(2) 用随机事件i x 表示“两个1同时出现”，则bitx p x I x p i i i 170.5361log )(log )(3616161)(=-=-==⨯=(3)两个点数的排列如下： 11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 61 6263646566共有21种组合：其中11，22，33，44，55，66的概率是3616161=⨯ 其他15个组合的概率是18161612=⨯⨯symbol bit x p x p X H ii i / 337.4181log 18115361log 3616)(log )()(=⎪⎭⎫ ⎝⎛⨯+⨯-=-=∑(4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：sym bolbit x p x p X H X P X ii i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 3612 )(log )()(36112181111211091936586173656915121418133612)(=⎪⎭⎫ ⎝⎛+⨯+⨯+⨯+⨯+⨯-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡∑(5)bitx p x I x p i i i 710.13611log )(log )(3611116161)(=-=-==⨯⨯=2.10 对某城市进行交通忙闲的调查，并把天气分成晴雨两种状态，气温分成冷暖两个状态，调查结果得联合出现的相对频度如下：忙晴雨冷 12暖 8暖 16冷 27闲晴雨冷 8暖 15暖 12冷 5若把这些频度看作概率测度，求： (1) 忙闲的无条件熵；(2) 天气状态和气温状态已知时忙闲的条件熵；(3) 从天气状态和气温状态获得的关于忙闲的信息。

信息论与编码第二章答案

第二章信息的度量2.1信源在何种分布时，熵值最大？又在何种分布时，熵值最小？答：信源在等概率分布时熵值最大；信源有一个为1，其余为0时熵值最小。

2.2平均互信息量I(X;Y)与信源概率分布q(x)有何关系？与p(y|x)又是什么关系？答：若信道给定，I(X;Y)是q(x)的上凸形函数；若信源给定，I(X;Y)是q(y|x)的下凸形函数。

2.3熵是对信源什么物理量的度量？答：平均信息量2.4设信道输入符号集为{x1,x2,……xk}，则平均每个信道输入符号所能携带的最大信息量是多少？答：kk k xi q xi q X H i log 1log 1)(log )()(2.5根据平均互信息量的链规则，写出I(X;YZ)的表达式。

答：)|;();();(Y Z X I Y X I YZ X I 2.6互信息量I(x;y)有时候取负值，是由于信道存在干扰或噪声的原因，这种说法对吗？答：互信息量)()|(log );(xi q yj xi Q y x I ，若互信息量取负值，即Q(xi|yj)<q(xi)，说明事件yi 的出现告知的是xi 出现的可能性更小了。

从通信角度看，视xi 为发送符号，yi 为接收符号，Q(xi|yj)<q(xi)，说明收到yi 后使发送是否为xi 的不确定性更大，这是由于信道干扰所引起的。

2.7一个马尔可夫信源如图所示，求稳态下各状态的概率分布和信源熵。

答：由图示可知：43)|(41)|(32)|(31)|(41)|(43)|(222111110201s x p s x p s x p s x p s x p s x p 即：43)|(0)|(41)|(31)|(32)|(0)|(0)|(41)|(43)|(222120121110020100s s p s s p s s p s s p s s p s s p s s p s s p s s p 可得：1)()()()(43)(31)()(31)(41)()(41)(43)(210212101200s p s p s p s p s p s p s p s p s p s p s p s p得：114)(113)(114)(210s p s p s p )]|(log )|()|(log )|()[()]|(log )|()|(log )|()[()]|(log )|()|(log )|()[(222220202121211111010100000s s p s s p s s p s s p s p s s p s s p s s p s s p s p s s p s s p s s p s s p s p H 0.25（bit/符号）2.8一个马尔可夫信源，已知：0)2|2(,1)2|1(,31)1|2(,32)1|1(x x p x x p x x p x x p 试画出它的香农线图，并求出信源熵。

第2章离散信源和信息度量题目

第2章离散信源和信息度量一、例题：【例2.1】一个1, 0等概的二进制随机序列，求任一码元的自信息量。

解：二进制序列的任一码元不是为0就是为1，根据题意(0)(1)1/2P P ==，所以(0)(1)log(1/2)1I I bit ==-=【例2.2】对于2n进制的数字序列，假设每一符号的出现完全随机且概率相等，求任一符号的自信息量。

解：设2n进制数字序列任一码元i a 的出现概率为()i P a ，根据题意，()12n i P a =()log ()log 1/2)()n i i I a P a n bit =-=-=（【例2.3】某地某月份的气象资料如表2.1所示，求相应事件的自信息量。

表2.1 某地某月的气象资料解：()log ()1I P bit =-=晴晴，()log ()2I P bit =-=阴阴()log ()3I P bit =-=雨雨，()log ()3I P bit =-=多云多云【例2.4】设有两个离散信源集合1201()0.60.4X a a P X ==⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦[][]1201Y b b === 其中[]11211222(|)(|)5/61/6(|)(|)(|)3/41/4p b a p b a P y x p b a p b a ⎡⎤⎡⎤==⎢⎥⎢⎥⎣⎦⎣⎦ 求：（1）自信息量()i I a ；（2）条件自信息量(|)i j I a b ；（3）互信息量(;)i j I a b解：（1）根据自信息量的定义可得11()log ()log0.60.737I a P a bit =-=-≈ 22()log ()log0.4 1.322I a P a bit =-=-≈（2）由全概率公式，可得2211111222221153()()()(|)0.60.40.86411()()()(|)0.60.40.264i i i i i i i i i i P b P a b P a P b a P b P a b P a P b a =======⨯+⨯====⨯+⨯=∑∑∑∑因为()(|)()i j i j j P a b P a b P b =，所以得11111()5(|)()8P a b P a b P b ==，21211()3(|)()8P a b P a b P b == 12122()1(|)()2P a b P a b P b ==，22222()1(|)()2P a b P a b P b == 根据条件自信息量的定义可得：11115(|)log (|)log 0.6788I a b P a b bit =-=-≈21213(|)log (|)log 1.4158I a b P a b bit =-=-≈12121(|)log (|)log 12I a b P a b bit =-=-=22221(|)log (|)log 12I a b P a b bit =-=-=（3）根据互信息量的定义可得：11111(;)()(|)0.059I a b I a I a b bit =-≈ 21221(;)()(|)0.093I a b I a I a b bit =-≈- 12112(;)()(|)0.263I a b I a I a b bit =-≈ 22222(;)()(|)0.322I a b I a I a b bit =-≈【例2.5】二进制通信系统的信源空间为1()1X P x p p ⎡⎤⎡⎤=⎢⎥⎢⎥-⎣⎦⎣⎦求该信源的熵。

习题讨论(第2、3、5章)

0.98
0
0
0.02
1
1
0.98
习题讨论
3、（6.5题）设一连续消息通过某放大器，该放大器输出的最大瞬时电压为b，最小瞬时电压为a，若消息从放大器中输出，问放大器输出消息在每个自由度上的最大熵是多少？又放大器的带宽为F，问单位时间内输出最大信息量是多少？
习题讨论
4、（6.24题）在图片传输中，每帧有 2.25×106个像素，为了能很好地重现图像，需分16个亮度电平，并假设亮度电平等概率分布。试计算每秒钟传送30帧图片所需信道的带宽（信噪功率比为30dB）。
习题讨论
第3章习题： 1、（3.3题）设二元对称信道的传递矩阵为：
2 / 3 1/ 3
1/ 3
2/3

（1）若P（0）=3/4， P（1）=1/4，求H（X），
H（X/Y）， H（Y/X）和I（X；Y）；（2）求该信道的信道容量及其达到信道容量时的
输入概率分布。
习题讨论
2、（3.9题）有一个二元对称信道，其信道矩阵如图所示。设该信道以1500个二元符号/秒的速度输入符号。现有一消息序列共有14000个二元符号，并设在这消息中P(0)=P(1)=1/2。问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传送完。
a4 , 0.17,
a5, a6 0.16, 0.17
求这信源的熵，并解释为什么H(x)﹥log6，不满足信源熵的极值性。
习题讨论
3、（2.25题）黑白气象传真图的消息只有黑色和白色两种，即信源X={黑，白}，设黑色出现的概率为P(黑)=0.3，白色的出现概率P(白)=0.7，求：
（1）假设图上黑白消息出现前后没有关联，求熵 H(X)；（2）假设消息前后有关联，其依赖关系为P(白/ 白)=0.9，P(黑/白)=0.1，P(白/黑)=0.2，P(黑/ 黑)=0.8，求此一阶马尔可夫信源的熵H2；（3）分别求上述两种信源的剩余度，并比较H(X) 和H2的大小，并说明其物理意义。

信息论与编码第2章习题

确定连续信道的容量
连续信道是指信道输出符号与输入符号之间存在连续的函数关系。
连续信道的容量可以通过最大互信息方法计算，但需要将连续的输入和输出信号进行离散化处理。
计算连续信道容量的关键是确定输入信号和输出信号之间的概率密度函数，然后利用互信息公式计算最大互信息，从而得到信道容量。
04 习题四：信道编码定理
数据压缩中的互信息
在数据压缩中，互信息被用来衡量数据中包含的关于其自身的信息的多少，从而确定数据压缩的程度。
通过去除数据中冗余的信息，可以减小数据的体积，同时保持数据的信息完整性。
在数据压缩过程中，互信息的应用可以帮助我们确定最佳的压缩策略，以实现数据的有效存储和传输。
03 习题三：信道容量的计算
确定离散无记忆信道的容量
离散无记忆信道是指信道输出符号与输入符号之间存在一定的概率关系，但这种概率关系不依赖于输入符号的先后顺
序。
离散无记忆信道的容量可以通过最大互信息方法计算，即选取一组输入符号使得互信息最大，这组输入符号对应的输出符号构成的集合即为该信道的容量。
计算离散无记忆信道容量的关键是确定输入符号和输出符号之间的概率分布，然后利用互信息公式计算最大互信息，
详细描述
熵是信息论中的一个基本概念，用于度量信息的不确定性。对于离散随机变量$X$，其熵定义为$H(X)=sum_{xin X} P(x)log_{2}P(x)$，其中$P(x)$表示随机变量$X$取$x$的概率。熵的大小反映了信息的不确定性和随机性，熵越大，信息的不确定性越高。
条件熵的计算
总结词
从而得到信道容量。
确定离散有记忆信道的容量
离散有记忆信道是指信道输出符号不仅与当前输入符号有关，还与之前的输入符号有关。

信息论与编码习题与答案第二章

第一章信息、消息、信号的定义？三者的关系？通信系统的模型？各个主要功能模块及作用？第二章信源的分类？自信息量、条件自信息量、平均自信息量、信源熵、不确定度、条件熵、疑义度、噪声熵、联合熵、互信息量、条件互信息量、平均互信息量以及相对熵的概念？计算方法? 冗余度?具有概率为)(x i p 的符号x i 自信息量：)(log )(x x i i p I -= 条件自信息量：)(log )(y x y x iiiip I -=平均自信息量、平均不确定度、信源熵：∑-=ii i x x p p X H )(log )()(条件熵：)(log ),()(),()(y x y x y x y x jijijijijiji p p I p Y X H ∑∑-==联合熵：),(log ),(),(),()(y x y x y x y x ji jiji ji jiji p p I p Y X H ∑∑-==互信息：)()(log)()()()(log),();(y x yx yx y x yy x jiji jiji jijjiji p p p p p p p Y X I ∑∑==熵的基本性质：非负性、对称性、确定性2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。

解：(1)bitx p x I x p i i i 170.4181log )(log )(18161616161)(=-=-==⨯+⨯=(2)bit x p x I x p i i i 170.5361log)(log )(3616161)(=-=-==⨯=(3)两个点数的排列如下：11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 6162 63 64 65 66共有21种组合：其中11，22，33，44，55，66的概率是3616161=⨯ 其他15个组合的概率是18161612=⨯⨯symbol bit x p x p X H ii i / 337.4181log 18115361log 3616)(log )()(=⎪⎭⎫ ⎝⎛⨯+⨯-=-=∑(4)两个点数求和的概率分布如下：sym bolbit x p x p X H X P X ii i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 3612 )(log )()(36112181111211091936586173656915121418133612)(=⎪⎭⎫ ⎝⎛+⨯+⨯+⨯+⨯+⨯-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡∑(5){(1,2),(1,3),(1,4),(1,5),(1,6),(2,1),(3,1),(4,1),(5,1),(6,1),(1,1)}bit x p x I x p i i i 710.13611log)(log )(3611116161)(=-=-==⨯⨯=2.7 设有一离散无记忆信源，其概率空间为123401233/81/41/41/8X x x x x P ====⎛⎫⎛⎫=⎪ ⎪⎝⎭⎝⎭（1）求每个符号的自信息量（2）信源发出一消息符号序列为{202 120 130 213 001 203 210 110 321 010 021 032 011 223 210}，求该序列的自信息量和平均每个符号携带的信息量解：122118()log log 1.415()3I x bit p x === 同理可以求得bit x I bit x I bit x I 3)4(,2)3(,2)2(===因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和就有：123414()13()12()6()87.81I I x I x I x I x bit =+++=平均每个符号携带的信息量为87.811.9545=bit/符号 2.8 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3}八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量symbol bit n X H / 24log log )(1=== 八进制脉冲的平均信息量symbol bit n X H / 38log log )(2=== 二进制脉冲的平均信息量symbol bit n X H / 12log log )(0===所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。

第二章习题解答

第二章基本信息论
习题解答
2.3 试求：试求： (1) 在一付标准扑克牌中抽出一张牌的平均信息量；在一付标准扑克牌中抽出一张牌的平均信息量； (2) 若扑克仅按它的等级鉴定而不问花色，重复上述计算。若扑克仅按它的等级鉴定而不问花色，重复上述计算。解 (1) 每张牌不同，共有 54 种状态且等概， p = 1 / 54, 每张牌不同，种状态且等概，平均信息量为：平均信息量为： I = log 54 = 5.7549 ( bit ); (2) 只按等级，共有 14 种状态，其状态空间为：只按等级，种状态，其状态空间为： X p(x) A 2 3 …… J Q K 王 2 54 4 4 4 4 4 4 …… 54 54 54 54 54 54
首先求联合概率：首先求联合概率： p ( i j ) = p( i ) p( j / i ) p( i j ) A B C A 0 16 / 54 2 / 54 j B 36 / 135 16 / 54 4 / 135 C 9 / 135 0 2 / 270 7
i
第二章基本信息论
习题解答
所提供的信息量分别为：消息 xB和 xC 所提供的信息量分别为：
I ( x B ) = − log p( x B ) = − log 0.2 = 2.3219 (bit ); I ( xC ) = − log p( xC ) = − log 0.3 = 1.737 (bit ).
可见，消息x 所提供的信息量大一些大一些。可见，消息 xB比消息 C 所提供的信息量大一些。 3
i
1 1 4 4 2 2 H ( x / y3 ) = − log − log − log = 1.3788 ; 7 7 7 7 7 7 H ( x / y4 ) = −(1 / 3) log(1 / 3) − ( 2 / 3) log( 2 / 3) = 0.9138 .

信息论第二章课后习题解答

这样，平均每个像素携带的信息量为：
每帧图像含有的信息量为：
按每秒传输30帧计算，每秒需要传输的比特数，即信息传输率为：
（2）需30个不同的色彩度，设每个色彩度等概率出现，则其概率空间为：
由于电平与色彩是互相独立的，因此有
这样，彩色电视系统的信息率与黑白电视系统信息率的比值为
【2.13】每帧电视图像可以认为是由3×105个像素组成，所以像素均是独立变化，且每一像素又取128个不同的亮度电平，并设亮度电平等概率出现。问每帧图像含有多少信息量？若现有一广播员在约 10000 个汉字的字汇中选 1000 个来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字是等概率分布，并且彼此无依赖）？若要恰当地描述此图像，广播员在口述中至少需用多少汉字？
解：信源为一阶马尔克夫信源，其状态转换图如下所示。
根据上述c) ，
【2.20】黑白气象传真图的消息只有黑色和白色两种，即信源, X={白黑} ，设黑色出现的概率为 P(黑) =0.3 ，白色出现的概率为P(白)=0.7。（1）假设图上黑白消息出现前后没有关联，求熵H(X) ；（2）假设消息前后有关联，其依赖关系为P(白|白)=0.9 ， P(白|黑)=0.2 ，P(黑|白)=0.1 ，P(黑|黑)=0.8 ，求此一阶马尔克夫信源的熵H2 。（3）分别求上述两种信源的冗余度，并比较H(X)和H2的大小，并说明其物理意义。
解：（1）如果出现黑白消息前后没有关联，信息熵为：
（2）当消息前后有关联时，首先画出其状态转移图，如下所示：
设黑白两个状态的极限概率为Q(黑) 和Q (白) ，
解得：
此信源的信息熵为：（3）两信源的冗余度分别为：
结果表明：当信源的消息之间有依赖时，信源输出消息的不确定性减弱。有依赖时前面已是白色消息，后面绝大多数可能是出现白色消息；前面是黑色消息，后面基本可猜测是黑色消息。这时信源的平均不确定性减弱，所以信源消息之间有依赖时信源熵小于信源消息之间无依赖时的信源熵，这表明信源熵正是反映信源的平均不确定的大小。而信源剩余度正是反映信源消息依赖关系的强弱，剩余度越大，信源消息之间的依赖关系就越大。

通信原理第二章(信道)习题及其答案

第二章（信道）习题及其答案【题2－1】设一恒参信道的幅频特性和相频特性分别为0()()d H K t ωϕωω⎧=⎨=-⎩其中，0,d K t 都是常数。

试确定信号()s t 通过该信道后的输出信号的时域表达式，并讨论之。

【答案2－1】恒参信道的传输函数为：()0()()d j t j H H e K e ωϕωωω-==，根据傅立叶变换可得冲激响应为：0()()d h t K t t σ=-。

根据0()()()i V t V t h t =*可得出输出信号的时域表达式：000()()()()()()d d s t s t h t s t K t t K s t t δ=*=*-=-讨论：题中条件满足理想信道（信号通过无畸变）的条件：()d d H ωωφωωτττ⎧=⎨⎩常数（）＝－或＝所以信号在传输过程中不会失真。

【题2－2】设某恒参信道的幅频特性为[]0()1cos d j t H T e ωω-=+，其中d t 为常数。

试确定信号()s t 通过该信道后的输出表达式并讨论之。

【答案2－2】该恒参信道的传输函数为()0()()(1cos )d j t j H H e T e ωϕωωωω-==+，根据傅立叶变换可得冲激响应为：0011()()()()22d d d h t t t t t T t t T δδδ=-+--+-+根据0()()()i V t V t h t =⊗可得出输出信号的时域表达式：0000011()()()()()()()2211 ()()()22d d d d d d s t s t h t s t t t t t T t t T s t t s t t T s t t T δδδ⎡⎤=⊗=⊗-+--+-+⎢⎥⎣⎦=-+--+-+讨论：和理想信道的传输特性相比较可知，该恒参信道的幅频特性0()(1cos )H T ωω=+不为常数，所以输出信号存在幅频畸变。

其相频特性()d t ϕωω=-是频率ω的线性函数，所以输出信号不存在相频畸变。

第二章信源与信息度量习题解答

第二章信源与信息度量习题解答1.某大学设置五个学院，每个学院的学生数分别为学院：数学物理外语外贸医学人数： 300 400 500 600 200问“某学生王某是外语学院学生”这一消息提供的信息量是多少？解：总人数为：300+400+500+600+200=2000人是外语学院学生的概率为：5000.252000= 同理计算其它学院学生概率后，得信源的概率空间为：12345()0.150.20.250.30.1X x x x x x p X ⎡⎤⎧⎫=⎨⎬⎢⎥⎣⎦⎩⎭“学生王某是外语学院学生”这一消息提供的信息量：33()lb ()lb 0.252I x p x =-=-=比特2. 同时扔出两个正常的骰子，也就是各面呈现的概率都是1/6，求：（1）事件“2和5同时呈现”的自信息量；（2）事件“两个4同时呈现”的自信息量；（3）事件“至少呈现一个1”的自信息量。

解：（1）事件“2和5同时呈现”的概率：1()18p A =，该事件的自信息量： 1()lb ()lb4.170 bit 18I A p A =-=-= （2）事件“两个4同时呈现”的概率：1()36p B =，该事件的自信息量：1()lb ()lb 5.170 bit 36I B p B =-=-=（3）事件“至少呈现一个1”的概率：11()36p C =，该事件的自信息量： 11()lb ()lb1.711 bit 36I C p C =-=-=3. 字母“e ” 在英文中出现的概率是0.103，字母“c ”出现的概率为0.022，字母“x ”出现的概率是0.001，求这些字母各自的自信息量。

解：（1）字母“e ”的自信息量：()lb ()lb0.103 3.279 bit I e p e =-=-=（2）字母“c ”的自信息量：()lb ()lb0.022 5.506 bit I c p c =-=-=（3）字母“x ”的自信息量：()lb ()lb0.0019.966 bit I x p x =-=-=4. 某电子厂共能生产A 、B 、C 、D 四种仪器，其中A 因技术落后停产了，B 占全部产量的20%，C 占30%，D 占50%。

信息论第二章习题

（3） H（X1X2…X100）=H(X1)+H(X2)+…+H(X100)=100H(X) =100×0.81=81比特
已知一个马尔可夫信源，转移概率为p(s1/s1)=2/3, p(s2/s1)=1/3, p(s1/s2)=1, p(s2/s2)=0,试画出状态转移图并求信源熵
解：
2 P 3 1
p(a1/b2) I (a1;b2)=log p(a1)
P(b2)=P(b2,a1)+P(b2,a2)=P(b2/a1)P(a1)+ P(b2/a2)P(a2)
=ε*1/2 + (1-ε)*(1/2) =1/2
P(a1,b2)= P(b2/a1)*P(a1)= 1/2* ε P(a1/b2)=P(a1,b2)/ P(b2)=ε
已知信源发出a1和 a2，，且p(a1)=p(a2)=1/2,在信道上传输时，传输特性为p(b1/a1)=p(b2/a2)=1-ε, p(b1/a2)=p(b2/ a1)=ε,求互信息量 I(a1；b1)和I (a1；b2)
解： p(a 1/b1) p(a 1/b1) I(a1;b1)=log =log
（3） P（红）=P（白）=P（蓝）=P（黄）=1/4
所以 H（X）= 4 x （ 1 log 2 1）
4 4
= 2比特/球
一个消息由符号0，1，2，3组成，已知p(0)=3/8, p(1)=1/4, p(2)=1/4, p(3)=1/8,求60个符号构成的消息所含的信息量和平均信息量。
解：平均信息量 H(X)=3/8log2(8/3)+2/4log24+1/8log28 =1.905比特/符号信息量 H1(X)=60*1.905=114.3比特

第二章课后习题

第二章课后习题2.2：假设一副充分洗乱了的扑克牌（含52张牌），（1）任一特定排列所给出的信息量是多少？（2）若从中抽取13张牌，所给出的信息量是多少？解：（1）任一特定排列所给出的信息量为事件A ；52张扑克牌的排列方式有A 5252，则牌P ()a =!521；即任一特定的信息量是I a )(=-㏒52！；（2）若从中抽取13张则其概率为P=1352134C ; 即其信息量为a I =-㏒1352134C ; 2.3：居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160CM 一上的，而女孩子中身高160cm 以上的占总数的一半。

假如我们得知“身高160cm 以上的某女生是大学生”的消息，问获得多少信息量？解：设某地区的女孩子是大学生为A 事件：则)(A P =0.25; 女孩中身高160cm 以上的为B 事件：则)(B P =0.5;且P(B/A)=0.75，则P(A/B)=)()(B P AB P =)()/()(B P A B P A P ∙=0.375; 则已知该事件获得的信息量为:I=㏒0.375= 1.415比特。

2.4：设离散无记忆信源⎪⎪⎭⎫ ⎝⎛)(X P X =⎭⎬⎫⎩⎨⎧8/14/14/18/34321a a a a ，其发出的消息为（202120130213001203210110321010021032011223210），求（1）此消息的自信息量是多少？（2）在此消息中平均每个符号携带的信息量是多少？解：信源无记忆，所以各消息之间相互独立，根据已知条件发出个消息所包含的信息量分别为:I(00=a )=㏒38=1.415比特 I(11=a )=㏒4=2比特I(22=a )=㏒4=2比特I(33=a )=㏒8=3比特得“0”共有14个，“1”有13个，“2”有12个，“3”有6个；得到的消息为I=14×1. 415+13×2+12×2+6×3≈87.81比特；（2）每个符号携带的信息量：I=4581.87=1.95比特/符号。

信息论第二章信息的度量

I(xi;yj)I(xi)I(xi yj)
log
( xi y j q(xi )
)
（2-6）
称(2-6)式为事件xi和事件yj之间的互信息量。
注：式（2-6）的I(xi ；yj ) 和式（2-3）的I(xiyj )的区别
在于：前者是事件xi∈X和事件yj∈Y之间的互信息量，后者是二维空间XY 上元素xi yj 的自信息量。
根据概率互换公式p(xi yj) = p(yj︱xi)q(xi)=φ(xi︱yj)ω(yj) 互信息量I(xi ;yj )有多种表达形式:
I(xi;yj)loq(p x g (ix ) iy (jy )j)I(xi)I(yj)I(xiyj) (2-7)
I(xi;yj)lopg (y(yjjx)i)I(yj)I(yj xi)(2-8)
如底数分别取 2、 e、 10，
则自信息量单位分别为：比特、奈特、哈特
1 na lto2e g 1 .4b 3i3t
1 H a lo r2 1 tg 0 3 .3b 2i2 t
1 bi t0.69 n3 at
1bit0.30H 1art
一个以等概率出现的二进制码元
(0,1)所包含的自信息量为1bit。
第2章信息的度量
内容提要：
根据香农对于信息的定义，信息是一个系统不确定性的度量，尤其在通信系统中，研究的是信息的处理、传输和存储，所以对于信息的定量计算是非常重要的。本章主要从通信系统模型入手，研究离散情况下各种信息的描述方法及定量计算，讨论它们的性质和相互关系。
2.1 自信息量和互信息量
I(a i)I(bj)
（ 2-4 ）
3.条件自信息量
在已知事件yj条件下,随机事件xi发生的概率为条件概率φ(xi

第二章信源习题

1、设英文字母E出现的概率为0.105，X出现的概率为0.002，试求E和X 的信息量。

2、某离散信源输出x1、x2、…、x8共8个不同的消息，符号速率为2400B，其中四个消息出现的概率为P(x1)=P(x2)=1/16，P(x3)=1/8，P(x4)=1/4，其他消息等概率出现。

①求该信源的平均信息速率；②求传送一小时的信息量。

3、设一离散信源分别以概率P A、P B、P C、P D发送四个消息A、B、C、D，每个消息的出现是相互独立的，试根据条件完成以下计算：①如果P A=1/4，P B =1/8，P C =1/8，P D=1/2，试计算该信源的熵；②对于传输的每一消息用二进制脉冲编码，00代表A，01代表B，11代表C，10代表D，每个脉冲宽度为5ms，如果不同的消息等可能出现，试计算传输的平均信息速率；③如果P A=1/5，P B =1/4，P C =1/4，P D=3/10，试用Huffman编码算法对该信源进行编码，并计算编码效率。

4、设A系统以2000bps的比特率传输2PSK调制信号的带宽为2000Hz，B 系统以2000bps的比特率传输4PSK调制信号的带宽为1000Hz。

试问：哪个系统更有效？5、设某四进制数字传输系统的每个码元的持续时间（宽度）为833×10-6s，连续工作1h后，接收端收到6个错码，且错误码元中仅发生1bit的错码。

①求该系统的码元速率和信息速率；②求该系统的误码率和误信率。

6、设某数字传输系统传送二进制码元的速率为1200B，试求该系统的信息速率；若该系统改为传送八进制信号码元，码元速率不变，则这时系统的信息速率为多少？7、设输入抽样器的信号为门函数G(t)，宽度为τ=20ms，若忽略其频谱第10个零点以外的频率分量，试求其最小抽样频率。

8、已知信号f(t)=6.4×sin(800πt)，按Nyquist速率进行抽样后，进行64个电平均匀量化编码，采用自然二进制码。