2.1基本信息论例题及其分析
信息论试卷含答案资料讲解
《信息论基础》参考答案一、填空题（共15分，每空1分）1、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。
2、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号的统计不均匀性。
3、三进制信源的最小熵为0，最大熵为32log bit/符号。
4、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r (S)）。
5、当R=C 或（信道剩余度为0）时，信源与信道达到匹配。
6、根据信道特性是否随时间变化，信道可以分为恒参信道和随参信道。
7、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。
8、若连续信源输出信号的平均功率为2σ，则输出信号幅度的概率密度是高斯分布或正态分布或()222x f x σ-=时，信源具有最大熵，其值为值21log 22e πσ。
9、在下面空格中选择填入数学符号“,,,=≥≤〉”或“〈”（1）当X 和Y 相互独立时，H （XY ）=H(X)+H(X/Y)=H(Y)+H(X)。
（2）()()1222H X X H X =≥()()12333H X X X H X = （3）假设信道输入用X 表示，信道输出用Y 表示。
在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)<H(X)。
二、（6分）若连续信源输出的幅度被限定在【2,6】区域内，当输出信号的概率密度是均匀分布时，计算该信源的相对熵，并说明该信源的绝对熵为多少。
()1,2640,x f x ⎧≤≤⎪=⎨⎪⎩Q 其它()()()62log f x f x dx ∴=-⎰相对熵h x=2bit/自由度该信源的绝对熵为无穷大。
三、（16分）已知信源1234560.20.20.20.20.10.1S s s s s s s P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦（1）用霍夫曼编码法编成二进制变长码；（6分） （2）计算平均码长L ;（4分）（3）计算编码信息率R ';（2分）（4）计算编码后信息传输率R ;（2分） （5）计算编码效率η。
信息论习题集
信息论习题集第二章2.1 同时掷2颗骰子，事件A 、B 、C 分别表示：（A ）仅有一个骰子是3；（B ）至少有一个骰子是4；（C ）骰子上点数的总和为偶数。
试计算A 、B 、C 发生后所提供的信息量。
2.3 一信源有4种输出符号i x ，i =0，1，2，3，且p(i x )=1/4。
设信源向信宿发出3x ，但由于传输中的干扰，接收者收到3x 后，认为其可信度为0.9。
于是信源再次向信宿发送该符号（3x ），信宿准确无误收到。
问信源在两次发送中发送的信息量各是多少？信宿在两次接收中得到的信息量又各是多少？ 2.5 一信源有6种输出状态，概率分别为()p A =0.5， ()p B =0.25， ()p C =0.125， ()p D = ()p E =0.05， ()p F =0.025试计算()H X 。
然后求消息ABABBA 和FDDFDF 的信息量（设信源先后发出的符号相互独立），并将之与长度为6的消息序列信息量的期望值相比较。
2.6 中国国家标准局所规定的二级汉字共6763个。
设每字使用的频度相等，求一个汉字所含的信息量。
设每个汉字用一个16⨯16的二元点阵显示，试计算显示方阵所能表示的最大信息量。
显示方阵的利用率是多少？2.7 已知信源发出1a 和2a 两种消息，且12 ()()1/2p a p a ==。
此消息在二进制对称信道上传输，信道传输特性为1122(|)(|)1p b a p b a ε==-，1221(|)(|)p b a p b a ε==。
求互信息量11(;)I a b 和12(;)I a b 。
2.8 已知二维随机变量XY 的联合概率分布()i j p x y 为：(0,0)(1,1)1/8p p ==，(0,1)(1,0)3/8p p ==，求(|)H X Y 。
2.13 有两个二元随机变量X 和Y ，它们的联合概率分布如表2.5所列，同时定义另一随机变量Z X Y =（一般乘积）。
信息论后题解答
(4)
H ( X / Y ) 0.963 H (Y / X ) 0.714
(5)
I ( X ; Y ) 0.008
第三章 3.3 (1)
1 H ( X ) H ( ) 0.811 4
3 2 1 1 7 P( y1 ) 4 3 4 3 12
2 3 1 log log 3 0.915 3 2 3 2 3 1 H (Y / x2 ) log log 3 0.915 3 2 3 H (Y / x1 )
第二章习题 2.4 解： x：女孩是大学生 y：女孩身高1.6m以上 P(x)=0.25 P(y)=0.5 P(y/x)=0.75
p ( xy ) p ( x) p( y / x) 0.25 0.75 p( x / y ) 0.375 p( y ) p( y ) 0.5 1 I ( x / y ) log 2 p ( x / y ) log 2 1.415(bit ) 0.375 获得的信息量是1.415bit
（3）H H ( X 2 / X1 ) 0.5H ( X / S s1) 0.25H ( X / S s2 ) 0.25H ( X / S s3 ) 1 2.25 解法与上题类似。
第三章 3.1 (1) (2)
I ( x1 ) log 0.6 0.737
解得：
P (0) P (1) P (2) 1 3
第二章习题 2.22 (2)
H H 2 Q( Ei ) H ( X / Ei )
i 1 3
P(0) H ( X / 0) P(1) H ( X /1) P(2) H ( X / 2) 1 p p p p 3* H ( p, , ) ( p log p 2* log ) 3 2 2 2 2 p p log p p log 2
信息论第2章(2010)
ai 后所获得的信息量。
自信息量的性质：
1）非负性。 2) 单调递减性。 3) 可加性。
I xi ,y j log pxi ,y j
若两个符号x i , y j同时出现，可用联合概率px i , y j 来表示 这时的自信息量为 I y j I xi | y j
例题：二元信源，每个符号发生的概率分别为p(x1)=p，p(x2)=1-p. 试计算信源熵，并画出熵函数H(p)和p的曲线图。
① 等概时（p=0.5)：随机变量具有最大的不确定性
② p=0或1时：随机变量的不确定性消失。
信息熵的物理意义
1）表示了信源输出前，信源的平均不确定性。 2）表示了信源输出后，每个消息或符号所提供的 平均信息量。 3）信息熵反映了变量X的随机性。
平均自信息量H (X ) 表示信源输出消息中的每个符号所含信息量的统计 平均值，其表达式为 q
H ( X ) EI ( xi ) P( xi ) log P( xi )
i 1
式中， E 表示统计平均，
I ( xi ) 表示符号 x i 包含的自信息量。
平均信息量可以表示为：
任何一个物理量的定义都应当符合客观规律和逻辑上 的合理性，信息的度量也不例外。直观经验告诉我们： ① 消息中的信息量与消息发生的概率密切相关：出现消 息出现的可能性越小，则消息携带的信息量就越大。 ② 如果事件发生是必然的（概率为1），则它含有的信息 量应为零。如果一个几乎不可能事件发生了（概率趋 于0），则它含有巨大的信息量。 ③ 如果我们得到不是由一个事件而是由若干个独立事件 构成的消息，那么我们得到的信息量就是若干个独立 事件的信息量的总和。
② 联合信源中平均每个符号对所包含的信息量？
信息论答案
信息论答案2.1一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =，()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。
解：状态图如下状态转移矩阵为：1/21/201/302/31/32/30p ⎛⎫ ⎪= ⎪ ⎪⎝⎭设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3由1231WP W W W W =⎧⎨++=⎩得1231132231231112331223231W W W W W W W W W W W W ⎧++=⎪⎪⎪+=⎪⎨⎪=⎪⎪⎪++=⎩计算可得1231025925625W W W ⎧=⎪⎪⎪=⎨⎪⎪=⎪⎩2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =0.8，(0|11)p =0.2，(1|00)p =0.2，(1|11)p =0.8，(0|01)p =0.5，(0|10)p =0.5，(1|01)p =0.5，(1|10)p =0.5。
画出状态图，并计算各状态的稳态概率。
解：(0|00)(00|00)0.8p p == (0|01)(10|01)p p == (0|11)(10|11)0.2p p == (0|10)(00|10)p p == (1|00)(01|00)0.2p p == (1|01)(11|01)p p==(1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==于是可以列出转移概率矩阵：0.80.200000.50.50.50.500000.20.8p ⎛⎫ ⎪⎪= ⎪ ⎪⎝⎭ 状态图为：设各状态00，01，10，11的稳态分布概率为W 1,W 2,W 3,W 4 有411i i WP W W ==⎧⎪⎨=⎪⎩∑ 得 13113224324412340.80.50.20.50.50.20.50.81W W W W W W W W W W W W W W W W +=⎧⎪+=⎪⎪+=⎨⎪+=⎪+++=⎪⎩ 计算得到12345141717514W W W W ⎧=⎪⎪⎪=⎪⎨⎪=⎪⎪⎪=⎩2.5 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。
2.1基本信息论例题及其分析
2.1基本信息论例题及其分析第2章基本信息论信源是消息的来源，信道是消息传送媒介，信宿是消息的目的地。
Shannon信息论的中心问题“信息论”，又称为“通信的数学理论”，是研究信息的传输、存储、处理的科学。
信息论的中心问题：为设计有效而可靠的通信系统提供理论依据。
（具体地说，就是信源编码和信道编码。
以下来看所要解决的具体问题。
）问题一：信源消息常常不能够完全发送。
（否则发送量巨大，比如：无尽的天空。
因此优先捡有用的发送）问题二：信道因干扰而出现差错，如何进行检错和纠错。
第一个重要概念：信道上传送的是随机变量的值。
注意：（1）这就是说，我们在收到消息之前，并不知道消息的内容。
否则消息是没有必要发送的。
（2）消息随机变量有一个概率分布。
（3）消息随机变量的一个可能取值就称为一个事件。
第二个重要概念：事件发生的概率越小，此事件含有的信息量就越大。
（不太可能发生的事件竟然发生了，令人震惊）例事件“中国足球队3：0力克韩国足球队”含有的信息量大。
（小概率事件发生了，事件信息量大）例事件“中国足球队0：1负于韩国足球队”含有的信息量小。
（大概率事件发生了，事件信息量小）第三个重要概念：消息随机变量的随机性越大，此消息随机变量含有的信息量就越大。
例消息随机变量X=“中国足球队与韩国足球队比赛的结果”，则消息随机变量X含有的信息量小。
（随机性小，可预见性大，因此该消息随机变量含有的信息量小。
）例消息随机变量X=“意大利足球队与德国足球队比赛的结果”，则消息随机变量X含有的信息量大。
（随机性大，可预见性小，因此该消息随机变量含有的信息量大。
）第四个重要概念：两个消息随机变量的相互依赖性越大，它们的互信息量就越大（这里指的是绝对值大）。
例X=西安明日平均气温, Y=咸阳明日平均气温，Z=北京明日平均气温，W=纽约明日平均气温。
则X与Y互信息量大，X与Z互信息量小得多，X与W互信息量几乎为0。
信息的可度量性-建立信息论的基础；信息度量的方法:结构度量﹑统计度量﹑语义度量﹑模糊度量等；统计度量：用事件统计发生概率的对数来描述事物的不确定性，得到消息的信息量，建立熵的概念；熵概念是香农信息论最基本最重要的概念。
信息论基础第二版习题答案
信息论基础第二版习题答案信息论是一门研究信息传输和处理的学科，它的基础理论是信息论。
信息论的基本概念和原理被广泛应用于通信、数据压缩、密码学等领域。
而《信息论基础》是信息论领域的经典教材之一，它的第二版是对第一版的修订和扩充。
本文将为读者提供《信息论基础第二版》中部分习题的答案，帮助读者更好地理解信息论的基本概念和原理。
第一章：信息论基础1.1 信息的定义和度量习题1：假设有一个事件发生的概率为p，其信息量定义为I(p) = -log(p)。
求当p=0.5时，事件的信息量。
答案：将p=0.5代入公式，得到I(0.5) = -log(0.5) = 1。
习题2：假设有两个互斥事件A和B，其概率分别为p和1-p，求事件A和B 同时发生的信息量。
答案：事件A和B同时发生的概率为p(1-p)，根据信息量定义，其信息量为I(p(1-p)) = -log(p(1-p))。
1.2 信息熵和条件熵习题1：假设有一个二进制信源，产生0和1的概率分别为p和1-p，求该信源的信息熵。
答案：根据信息熵的定义，信源的信息熵为H = -plog(p) - (1-p)log(1-p)。
习题2：假设有两个独立的二进制信源A和B，产生0和1的概率分别为p和1-p，求两个信源同时发生时的联合熵。
答案：由于A和B是独立的，所以联合熵等于两个信源的信息熵之和，即H(A,B) = H(A) + H(B) = -plog(p) - (1-p)log(1-p) - plog(p) - (1-p)log(1-p)。
第二章：信道容量2.1 信道的基本概念习题1：假设有一个二进制对称信道，其错误概率为p，求该信道的信道容量。
答案：对于二进制对称信道，其信道容量为C = 1 - H(p)，其中H(p)为错误概率为p时的信道容量。
习题2：假设有一个高斯信道，信道的信噪比为S/N，求该信道的信道容量。
答案：对于高斯信道，其信道容量为C = 0.5log(1 + S/N)。
信息论典型试题及答案
3.1设有一个信源，它产生0，1序列的信息。它在任意时间而且不论以前发生过什么符号，均按P(0) = 0.4，P(1) = 0.6的概率发出符号。
(1)试问这个信源是否是平稳的？
(2)试计算H(X2),H(X3/X1X2)及H∞；
(3)试计算H(X4)并写出X4信源中可能有的所有符号。
解：
(1)这个信源是平稳无记忆信源。因为有这些词语：“它在任意时间而且不论以前发生过什么符号……”
(1)计算接收端的平均不确定性；
(2)计算由于噪声产生的不确定性H(Y/X)；
解：(1)
(2)
(3)两个点数的排列如下：
11
12
13
14
15
16
21
22
23
24
25
26
31
32
33
34
35
36
41
42
43
44
45
46
51
52
53
54
55
56
61
62
63
64
65
66
共有21种组合：
其中11，22，33，44，55，66的概率是
其他15个组合的概率是
(4)
参考上面的两个点数的排列，可以得出两个点数求和的概 Nhomakorabea分布如下：
解：
(1)
（2）黑白气象传真图的消息前后有关联时，由其前后的依赖关系可知，黑色白色同时出现的联合概率为：
则信源的联合熵为：
H(X1X2)=1.426bit/symbol
H2(X)=1/2*H(X1X2)=0.713 bit/symbol
（3）上述两种信源的剩余度分别为：
信息论课后题答案
2.2 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。
假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 解：设随机变量X 代表女孩子学历 X x 1（是大学生） x 2（不是大学）P(X) 0.250.75设随机变量Y 代表女孩子身高Y y 1（身高>160cm ） y 2（身高<160cm ） P(Y) 0.50.5已知：在女大学生中有75%是身高160厘米以上的 即：bit x y p 75.0)/(11=求：身高160厘米以上的某女孩是大学生的信息量即：b i ty p x y p x p y x p y x I 415.15.075.025.0log )()/()(log )/(log )/(11111111=⨯-=-=-= 2.4 设离散无记忆信源⎭⎬⎫⎩⎨⎧=====⎥⎦⎤⎢⎣⎡8/14/1324/18/310)(4321x x x x X P X ，其发出的信息为( 02120130213001203210110321010021032011223210)，求(1) 此消息的自信息量是多少？(2) 此消息中平均每符号携带的信息量是多少？ 解：(1) 此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是：62514814183⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛=p 此消息的信息量是：bit p I 811.87log =-=(2) 此消息中平均每符号携带的信息量是：b i t n I 951.145/811.87/==2.9 设有一个信源，它产生0，1序列的信息。
它在任意时间而且不论以前发生过什么符号，均按P(0) = 0.4，P(1) = 0.6的概率发出符号。
(1) 试问这个信源是否是平稳的？ (2) 试计算H(X 2), H(X 3/X 1X 2)及H ∞；(3) 试计算H(X 4)并写出X 4信源中可能有的所有符号。
信息论 基础理论与应用课后答案 全
B 表示女孩身高 1.6 米以上， P(B | A) = 0.75，P(B) = 0.5 “身高 1.6 米以上的某女孩是大学生”的发生概率为 P(A| B) = P(AB) = P(A)P(B | A) = 0.25× 0.75 = 0.375 P(B) P(B) 已知该事件所能获得的信息量为 I X 【2.5】设离散无记忆信源 4 P(x) a1 = 0 a2 =1 = 3/8 1/41/8 比特 a3 = 2 a4 = 3 1/ ，其发出的消息为 0.5
45 个符号共携带 87.81 比特的信息量，平均每个符号携带的信息量为 I= =1.95 比特/符号
注意：消息中平均每个符号携带的信息量有别于离散平均无记忆信源平均每个符号携带的 信息量，后者是信息熵，可计算得 H(X) = −∑P(x)log P(x) =1.91 比特/符号 【2.6】如有 6 行 8 列的棋型方格，若有二个质点 A 和 B，分别以等概率落入任一方格 内，且它们的坐标分别为（XA,YA）和（XB,YB） ，但 A 和 B 不能落入同一方格内。 （1） 若仅有质点 A，求 A 落入任一个格的平均自信息量是多少？ （2） 若已知 A 已落入，求 B 落入的平均自信息量。 （3） 若 A、B 是可分辨的，求 A、B 同都落入的平均自信息量。 解： （1）求质点 A 落入任一格的平均自信息量，即求信息熵，首先得出质点 A 落入任 一格的概率空间为：
H(B | A) = −∑∑48 47 P(ai )P(bj | ai )log P(bj | ai ) = log47 = 5.55 比特/符号
i=1 j=1
（3）质点 A 和 B 同时落入的平均自信息量为 H(AB) = H(A) + H(B | A) =11.13 比特/符号 【2.7】从大量统计资料知道，男性中红绿色盲的发病率为 7%，女性发病率为 0.5%，如 果你问一位男同志：“你是否是红绿色盲？”，他的回答可能是“是”，也可能是 “否”，问这两个回答中各含有多少信息量？平均每个回答中含有多少信息量？如果你问 一位女同志，则答案中含有的平均自信息量是多少？解：
信息论基础理论与应用考试题及答案
信息论基础理论与应用考试题一﹑填空题（每题2分，共20分）1.信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的 （可靠性）﹑（有效性）﹑XX 性和认证性，使信息传输系统达到最优化。
（考点：信息论的研究目的）2.电视屏上约有500×600=3×510个格点，按每点有10个不同的灰度等级考虑，则可组成531010⨯个不同的画面。
按等概计算，平均每个画面可提供的信息量约为（610bit /画面）。
（考点：信息量的概念与计算）3.按噪声对信号的作用功能来分类信道可分为 （加性信道）和 （乘性信道）。
（考点：信道按噪声统计特性的分类）4.英文电报有32个符号（26个英文字母加上6个字符），即q=32。
若r=2，N=1，即对信源S 的逐个符号进行二元编码，则每个英文电报符号至少要用 （5）位二元符号编码才行。
（考点：等长码编码位数的计算）5.如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验概率准则）或（最小错误概率准则）。
（考点：错误概率和译码准则的概念）6.按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷积码）。
（考点：纠错码的分类）7.码C=｛（0，0，0，0），（0，1，0，1），（0，1，1，0），（0，0，1，1）｝是（（4，2））线性分组码。
（考点：线性分组码的基本概念）8.定义自信息的数学期望为信源的平均自信息量，即（11()log ()log ()()q i i i i H X E P a P a P a =⎡⎤==-⎢⎥⎣⎦∑）。
（考点：平均信息量的定义）9.对于一个（n,k）分组码，其最小距离为d，那么，若能纠正t个随机错误，同时能检测e（e≥t）个随机错误，则要求（d≥t+e+1）。
（考点：线性分组码的纠检错能力概念）10.和离散信道一样，对于固定的连续信道和波形信道都有一个最大的信息传输速率，称之为（信道容量）。
信息论——习题解答
(2)
1 3 p ( xi ) 4 4
m
100 m
3
100 m 100
4
3
100 m 100
I ( xi ) log p ( x i ) log
4
41.5 1.585 m bit
(3)
H (X
100
) 100 H ( X ) 100 0 .811 81 .1 bit / symbol
i 2
x 忙 x 2闲 1 63 40 P( X ) 103 103 63 40 40 63 p ( xi ) log p ( x i ) log log 0.964 bit / symbol 103 103 103 103 X
2
P
(2) H p ( ei ) H ( X / ei )
i
3
1 3
H ( p, p)
1 3
H ( p, p)
1 3
H ( p, p)
H ( p, p)
p log p p log p
bit / symbol
2.18每帧电视图像可以认为是由3105个像素组成的，所有像素均是独立变化， 且每像素又取128个不同的亮度电平，并设亮度电平是等概出现，问每帧图 像含有多少信息量？若有一个广播员，在约10000个汉字中选出1000个汉字 来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉 字字汇是等概率分布，并彼此无依赖）？若要恰当的描述此图像，广播员在 口述中至少需要多少汉字？ 解：(1)
(2) 设忙闲为随机变量X，天气状态为随机变量Y，气温状态为随机变量Z
《信息论》试题及答案
期终练习一、某地区的人群中，10％是胖子，80％不胖不瘦，10％是瘦子。
已知胖子得高血压的概率是15％，不胖不瘦者得高血压的概率是10％，瘦子得高血压的概率是5％，则“该地区的某一位高血压者是胖子”这句话包含了多少信息量。
解：设事件A ：某人是胖子； B ：某人是不胖不瘦 C ：某人是瘦子 D ：某人是高血压者根据题意，可知：P （A ）=0.1 P （B ）=0.8 P （C ）=0.1 P （D|A ）=0.15 P （D|B ）=0.1 P （D|C ）=0.05而“该地区的某一位高血压者是胖子” 这一消息表明在D 事件发生的条件下，A 事件的发生，故其概率为P （A|D ）根据贝叶斯定律，可得：P （D ）＝P （A ）* P （D|A ）＋P （B ）* P （D|B ）＋P （C ）* P （D|C ）＝0.1 P （A|D ）＝P （AD ）/P （D ）＝P （D|A ）*P （A ）/ P （D ）＝0.15*0.1/0.1＝0.15 故得知“该地区的某一位高血压者是胖子”这一消息获得的多少信息量为： I （A|D ） = - logP （A|D ）=log （0.15）≈2.73 （bit ） 二、设有一个马尔可夫信源，它的状态集为{S 1，S 2，S 3}，符号集为{a 1，a 2，a 3}，以及在某状态下发出符号集的概率是(|)k i p a s （i ，k=1，2，3），如图所示（1）求图中马尔可夫信源的状态极限概率并找出符号的极限概率（2）计算信源处在某一状态下输出符号的条件熵H(X|S=j) (j=s 1，s 2，s 3) （3）求出马尔可夫信源熵H ∞解：（1）该信源达到平稳后，有以下关系成立：13212312123()()31()()()4211()()()42()()()1Q E Q E Q E Q E Q E Q E Q E Q E Q E Q E Q E =⎧⎪⎪=+⎪⎨⎪=+⎪⎪++=⎩可得1232()73()72()7Q E Q E Q E ⎧=⎪⎪⎪=⎨⎪⎪=⎪⎩3111322133313()()(|)72()()(|)73()()(|)7i i i i i i i i i p a Q E p a E p a Q E p a E p a Q E p a E =========∑∑∑（2）311113222133331(|)(|)log (|) 1.5bit/(|)(|)log (|)1bit/(|)(|)log (|)0bit/k k k kk k k k k H X S p a S p a S H X S p aS p a S H X S p a S p a S ====-==-==-=∑∑∑（符号）（符号）（符号）（3）31()(|)2/7*3/23/7*12/7*06/7iii H Q E H X E ∞==⨯=++=∑（比特/符号）三、二元对称信道的传递矩阵为0.60.40.40.6⎡⎤⎢⎥⎣⎦（1）若P(0)=3/4，P(1)=1/4，求H （X ），H （X|Y ）和I （X ；Y ）（2）求该信道的信道容量及其最大信道容量对应的最佳输入分布 解：⑴()H X =21()log ()iii p x p x ==-∑=0.75log 750.25log 25--≈0.811(比特/符号)1111212()()(|)()(|)p y p x p y x p x p y x =+=0.75*0.6+0.25*0.4=0.55 2121222()()(|)()(|)p y p x p y x p x p y x =+=0.75*0.4+0.25*0.6=0.45()0.55log0.550.45log0.45H Y =--=≈0.992(比特/符号)122(|)()(|)()(|)0.75(0.6,0.4)0.25(0.4,0.6)(0.6log 0.60.4log 0.4)0.971/H Y X p x H Y x p x H Y x H H =+=⨯+⨯=-+≈（比特符号）(|)()()()(|)()H X Y H XY H Y H X H Y X H Y =-=+-≈0.811+0.971-0.992=0.79 (比特/符号)I(X;Y)=H(X)-H(X|Y)=0.811-0.79=0.021(比特/符号) （2）此信道为二元对称信道，所以信道容量为C=1-H(p)=1-H(0.6)=1-0.971=0.029(比特/符号) 当输入等概分布时达到信道容量四、求信道22042240 p pp pεεεεεε⎡⎤--⎢⎥--⎢⎥⎣⎦的信道容量，其中1p p=-。
信息论-习题答案
· 1 ·2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3}八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量symbol bit n X H / 24log log )(1=== 八进制脉冲的平均信息量symbol bit n X H / 38log log )(2=== 二进制脉冲的平均信息量symbol bit n X H / 12log log )(0=== 所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。
2.2 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。
假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？解：设随机变量X 代表女孩子学历X x 1（是大学生）x 2（不是大学生）P(X)0.250.75设随机变量Y 代表女孩子身高Y y 1（身高>160cm ） y 2（身高<160cm ）P(Y)0.50.5已知：在女大学生中有75%是身高160厘米以上的 即：bit x y p 75.0)/(11=求：身高160厘米以上的某女孩是大学生的信息量 即：bit y p x y p x p y x p y x I 415.15.075.025.0log)()/()(log )/(log )/(11111111=⨯-=-=-=2.3 一副充分洗乱了的牌（含52张牌），试问 (1) 任一特定排列所给出的信息量是多少？(2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？解：(1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是：!521)(=i x pbit x p x I i i 581.225!52log )(log )(==-=(2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下：· 2 ·bitCx p x I C x p i i i 208.134log)(log )(4)(135213135213=-=-==2.4 设离散无记忆信源⎭⎬⎫⎩⎨⎧=====⎥⎦⎤⎢⎣⎡8/14/1324/18/310)(4321x x x x XP X，其发出的信息为(202120130213001203210110321010021032011223210)，求 (1) 此消息的自信息量是多少？(2) 此消息中平均每符号携带的信息量是多少？解：(1) 此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是： 62514814183⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛=p 此消息的信息量是：bit p I 811.87log =-=(2) 此消息中平均每符号携带的信息量是：bit n I 951.145/811.87/==2.5 从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少信息量，平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均自信息量是多少？解： 男士： symbolbit x p x p X H bitx p x I x p bit x p x I x p ii i N N N Y Y Y / 366.0)93.0log 93.007.0log 07.0()(log )()( 105.093.0log )(log )(%93)( 837.307.0log )(log )(%7)(2=+-=-==-=-===-=-==∑女士：symbol bit x p x p X H ii i / 045.0)995.0log 995.0005.0log 005.0()(log )()(2=+-=-=∑2.6 设信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡17.016.017.018.019.02.0)(654321x x x x x x X P X，求这个信源的熵，并解释为什么H(X) > log6不满足信源熵的极值性。
【精品】信息论典型试题及答案
【关键字】精品2.1 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：(1) “3和5同时出现”这事件的自信息；(2) “两个1同时出现”这事件的自信息；(3) 两个点数的各种组合（无序）对的熵和平均信息量；(4) 两个点数之和（即2, 3, … , 12构成的子集）的熵；(5) 两个点数中至少有一个是1的自信息量。
解：(1)(2)(3)两个点数的排列如下：11 12 13 14 15 1621 22 23 24 25 2631 32 33 34 35 3641 42 43 44 45 4651 52 53 54 55 5661 62 63 64 65 66共有21种组合：其中11，22，33，44，55，66的概率是其他15个组合的概率是(4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：(5)2.3 设离散无记忆信源，其发出的信息为(0223210)，求(1) 此消息的自信息量是多少？(2) 此消息中平均每符号携带的信息量是多少？解：(1) 此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是：此消息的信息量是：(2) 此消息中平均每符号携带的信息量是：2.5 设信源，求这个信源的熵，并解释为什么H(X) > log6不满足信源熵的极值性。
解：不满足极值性的原因是。
2.6 每帧电视图像可以认为是由3105个像素组成的，所有像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现，问每帧图像含有多少信息量？若有一个广播员，在约10000个汉字中选出1000个汉字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，并彼此无依赖）？若要恰当的描述此图像，广播员在口述中至少需要多少汉字？解：1)2)3)2.7 为了传输一个由字母A、B、C、D 组成的符号集，把每个字母编码成两个二元码脉冲序列，以“代表A，“代表B，“代表C，“代表D。
信息论典型例题
1．设信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡4.06.0)(21x x X P X 通过一干扰信道，接收符号为Y = { y 1, y 2 }，信道转移矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡43416165，求：(1) 信源X 中事件x 1和事件x 2分别包含的自信息量；(2) 收到消息y j (j=1,2)后，获得的关于x i (i=1,2)的信息量； (3) 信源X 和信宿Y 的信息熵；(4) 信道疑义度H(X/Y)和噪声熵H(Y/X)； (5) 接收到信息Y 后获得的平均互信息量。
解： 1)bit x p x I bitx p x I 322.14.0log )(log )( 737.06.0log )(log )(22222121=-=-==-=-=2)3)sym bolbit y p y p Y H sym bolbit x p x p X H jj j ii i / 971.010log )4.0log 4.06.0log 6.0()(log )()(/ 971.010log )4.0log 4.06.0log 6.0()(log )()(22=+-=-==+-=-=∑∑bity p x y p y x I bity p x y p y x I bity p x y p y x I bity p x y p y x I x y p x p x y p x p y p x y p x p x y p x p y p 907.04.04/3log )()/(log );( 263.16.04/1log )()/(log );( 263.14.06/1log )()/(log );( 474.06.06/5log )()/(log );(4.0434.0616.0)/()()/()()(6.0414.0656.0)/()()/()()(222222221212122212221211121122212122121111===-===-=======⨯+⨯=+==⨯+⨯=+=4)symbol bit Y H X Y H X H Y X H Y X H Y H X Y H X H symbolbit x y p x y p x p X Y H iji j i j i / 715.0971.0715.0971.0 )()/()()/()/()()/()(/ 715.0 10log )43log 434.041log 414.061log 616.065log 656.0( )/(log )/()()/(2=-+=-+=∴+=+=⨯⨯+⨯+⨯+⨯-=-=∑∑5)symbol bit Y X H X H Y X I / 256.0715.0971.0)/()();(=-=-=2．设二元对称信道的传递矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡32313132(1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布；解： 1)sym bolbit Y X H X H Y X I sym bol bit X Y H Y H X H Y X H X Y H Y H Y X H X H Y X I sym bolbit y p Y H x y p x p x y p x p y x p y x p y p x y p x p x y p x p y x p y x p y p sym bolbit x y p x y p x p X Y H sym bolbit x p X H jj iji j i j i i i / 062.0749.0811.0)/()();(/ 749.0918.0980.0811.0)/()()()/()/()()/()();(/ 980.0)4167.0log 4167.05833.0log 5833.0()()(4167.032413143)/()()/()()()()(5833.031413243)/()()/()()()()(/ 918.0 10log )32lg 324131lg 314131lg 314332lg 3243( )/(log )/()()/(/ 811.0)41log 4143log 43()()(222221212221221211112111222=-==-==+-=+-=-=-==⨯+⨯-=-==⨯+⨯=+=+==⨯+⨯=+=+==⨯⨯+⨯+⨯+⨯-=-==⨯+⨯-=-=∑∑∑∑2)21)(/ 082.010log )32lg 3231lg 31(2log log );(max 222==⨯++=-==i mi x p sym bolbit H m Y X I C3．黑白气象传真图的消息只有黑色和白色两种，即信源X ={黑，白}。
信息论第二章课件及习题答案.ppt
2020/1/29
17
图2.2.1
H(X) 1.0
0.5
0
0.5
2020/1/29
1P
18
§2.2 离散型随机变量的平均 自信息量（熵）
定义2.2.2(条件熵) 给定一个二维离散型
随机变量 {(X, Y), (xk, yj), rkj,
k=1~K; j=1~J}。
量定义为I(xk; yj)
2020/1/29
2
§2.1 离散型随机变量的非平 均信息量（事件的信息量）
（本章将给出各种信息量的定义和 它们的性质。）
定义2.1.1(非平均互信息量) 给定 一个二维离散型随机变量
{(X, Y), (xk, yj), rkj, k=1~K; j=1~J} （因此就给定了两个离散型随机
（条件的非平均自信息量实际上是非平均自信息量的简单推 广，只不过将概率换成了条件概率）。
条件的非平均自信息量的特殊性质： h(xk|yj)=h(xk)-I(xk; yj) 。
2020/1/29
12
§2.1 离散型随机变量的非平 均信息量（事件的信息量）
定义2.1.5(联合的非平均自信息量) 给定一个二维离散型随机 变量{(X, Y), (xk, yj), rkj, k=1~K; j=1~J}。事件(xk, yj)∈(X, Y) 的自信息量定义为
I (xk ; y j )
log a
rkj qk wj
log a
P((X ,Y ) (xk , y j )) P( X xk )P(Y y j )
2020/1/29
4
§2.1 离散型随机变量的非平 均信息量（事件的信息量）
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第2章基本信息论信源是消息的来源，信道是消息传送媒介，信宿是消息的目的地。
Shannon信息论的中心问题“信息论”，又称为“通信的数学理论”，是研究信息的传输、存储、处理的科学。
信息论的中心问题：为设计有效而可靠的通信系统提供理论依据。
（具体地说，就是信源编码和信道编码。
以下来看所要解决的具体问题。
）问题一：信源消息常常不能够完全发送。
（否则发送量巨大，比如：无尽的天空。
因此优先捡有用的发送）问题二：信道因干扰而出现差错，如何进行检错和纠错。
第一个重要概念：信道上传送的是随机变量的值。
注意：（1）这就是说，我们在收到消息之前，并不知道消息的内容。
否则消息是没有必要发送的。
（2）消息随机变量有一个概率分布。
（3）消息随机变量的一个可能取值就称为一个事件。
第二个重要概念：事件发生的概率越小，此事件含有的信息量就越大。
（不太可能发生的事件竟然发生了，令人震惊）例事件“中国足球队3：0力克韩国足球队”含有的信息量大。
（小概率事件发生了，事件信息量大）例事件“中国足球队0：1负于韩国足球队”含有的信息量小。
（大概率事件发生了，事件信息量小）第三个重要概念：消息随机变量的随机性越大，此消息随机变量含有的信息量就越大。
例消息随机变量X=“中国足球队与韩国足球队比赛的结果”，则消息随机变量X含有的信息量小。
（随机性小，可预见性大，因此该消息随机变量含有的信息量小。
）例消息随机变量X=“意大利足球队与德国足球队比赛的结果”，则消息随机变量X含有的信息量大。
（随机性大，可预见性小，因此该消息随机变量含有的信息量大。
）第四个重要概念：两个消息随机变量的相互依赖性越大，它们的互信息量就越大（这里指的是绝对值大）。
例X=西安明日平均气温, Y=咸阳明日平均气温，Z=北京明日平均气温，W=纽约明日平均气温。
则X与Y互信息量大，X与Z互信息量小得多，X与W互信息量几乎为0。
信息的可度量性-建立信息论的基础；信息度量的方法:结构度量﹑统计度量﹑语义度量﹑模糊度量等；统计度量：用事件统计发生概率的对数来描述事物的不确定性，得到消息的信息量，建立熵的概念；熵概念是香农信息论最基本最重要的概念。
离散信源：可能输出的消息是有限的或可数的，每次只输出一个消息，即两两不相容。
连续信源：可能输出的消息数是无限的或不可数的，每次只输出一个消息。
离散无记忆信源：离散信源在不同时刻发出的符号之间是无依赖的，彼此统计独立的。
离散无记忆信源X的N次扩展信源：由离散无记忆信源输出N长的随机序列构成的信源。
有记忆信源：输出的随机序列X中各随机变量之间有依赖关系，但记忆长度有限。
m阶马尔可夫信源：信源每次发出的符号只与前m个符号有关，与更前面的符号无关。
X，Y代表随机变量，指的是信源整体；xi,yi代表随机事件的某一结果或信源的某个元素。
不可混淆!概率复习将（3）代入（6）得到实用公式。
∑∑∑∑∑∑∑∑∑∑========================≤≤m j j i j i i j n i j i j i j i j i j i i j i j i j j i j i j i j i m j i j i n i j j i m j ni j i m j i j n i j i m j j n i i j i i j j i j i m i n i y x p y x p x y p y x p y x p y x p y p x p y x p x p y x p y p x y p Y X y x p y p x y p x p y x p x p y x p y p y x p y x p x y p y x p y p x p y x p x y p y x p y p x p y y y y x x x x Y X 11111111112121)()()/(,)()()/()6()()()(),()/(),()/(,)5()/()()/()()()4()()(),()()3(1)(,1)/(,1)/(,1)(,1)()2(1)(),/(),/(),(,)(0)1(:},,,,{},,,,{,相互独立时与当和分别取值于集合随机变量2.1信源及信源的不确定性实际有用的信源应具有不确定性(也称为不肯定性)。
2.1.1不确定性的概念[例2.1.1]如某二元信源(含有两个不同消息的信源)发送1的概率为0.99，而发送0的概率为0.01，信宿仅凭猜测就可以简单地认为信源发出的消息始终都是1，即使如此，猜错的概率(差错率)也可以较低，仅为百分之一。
说明在这种情况下，信源基本上在发送1，信源的不确定性很小。
[例2.1.2]如果二元信源发1和发0的概率相等，均为0.5，这时信宿如果不依赖通信而猜测的话，其差错率就高达百分之五十，即会猜错一半。
说明信宿要猜测信源发什么消息困难了，因为信源发什么消息相当不确定。
[例2.1.3]如果信源具有更多的消息，例如发10个阿拉伯数字0，1…9（例如采用四位十进制数的中文电报）而且假定这10个消息是等概率分布的，均为十分之一，这对于信宿来讲更难猜了，因为现在变成了猜测10个消息里到底发的是哪一个的问题，显然比两个里猜一个难多了，因为信源发什么消息更不确定了。
[例2.1.4]现在讨论一种极端的情况。
信源只发送一种消息，即永远只发送1（信源相当于一个直流电源，例如+5V的稳压电源）或者永远只发送0（信源相当于一个电能耗尽，输出为0V的电池，或一根电阻为零的短路导线），现在从这样的信源我们不可能获得任何消息，相当于我们从一节电池不可能获得任何例如语音或图像的信息（只可能获得能量）。
如果信源只发出一个确定的消息，则信源的不确定性为零。
一个实际有用的信源应具有至少两种消息。
可以用概率空间描述信源。
对于信源，其概率空间为：XP(X) (2.1.1)各消息出现的概率满足：0≤p(xi)≤1 ∑p(xi)=1(2.1.2)和(2.1.3)根据以上分析的四个例子可以写出对应的概率空间：[例2.1.1]：[例2.1.2]：[例2.1.3]：[例2.1.4]：对上面四个例子进行归纳可得出以下有用的结论：（1）信源的不确定程度与其概率空间的消息数及其概率分布有关。
（2）信源的消息为等概率分布时，不确定度最大。
（3）信源的消息为等概率分布且其数目越多，其不确定度也越大。
（4）只发送一个确定消息的信源，其不确定度为零，这是一个实际无用的信源，因其实际上不发送任何信息。
根据上面的例子，容易写出下列表示信源不确定度大小的不等式：0 = [例2.1.4]＜[例2.1.1]＜[例2.1.2]＜[例2.1.3]＜∞2.1.2信源不确定度的定义哈特莱认为应该用概率空间的概率的倒数的对数来度量信源不确定度，即：H(X)=log(1/p)=-log p(2.1.4)如果信源消息不是等概率时，则用I来表示信源不等概率时输出一个消息所提供的信息量。
现在来看哈特莱的定义是否与人们的认识相一致，人们一般认为：（1）当某事件必然发生，就不存在不确定性，其不确定性为零；（2）当某事件几乎不发生（发生的概率极小）其不确定性应趋向无穷大；（3）发生概率小的事件其不确定性应比发生概率大的事件不确定性大；（4）两个互相独立事件的联合信息量应等于它们分别信息量之和。
2.1.3信息度量定义信息量的定量度量方法。
用I表示消息提供的信息量，则：I(xi)=lg 1/p(xi)(2.1.5)称I为消息的自信息量，表示信源发出一个消息所带有的信息量。
可以将信息量定义为：I（信息量）= 不肯定程度的减小量(2.1.6) 信宿在收信前后，其消息的概率分布发生了变化，即其概率空间变了。
设信源X的概率空间为：其不确定度为：H(X)=H(p(X))(2.1.7)信宿接收到信源发出的消息后，也形成了一个概率空间，称为信宿的概率空间Y其不肯定程度为：H(X/Y)=H(p(X/Y))(2.1.8)根据式（2.1.6），（2.1.7），（2.1.8）可以得到信息量的表达式如下：I=H(X)-H(X/Y)(2.1.9)将式（2.1.5）代入式（2.1.9）得：先验规律后验概率lg );( yi xi I (2.1.10) 信息量有三种单位：比特（bit ），对数取2为底，奈特（nat ），对数取为底，哈特莱（Hartley ），对数取10为底。
[例2.1.5] 某二元通信系统，它发送1和0的概率为由于信道中有干扰。
通信不能无差错地进行。
即有1/6的1在接收端错成0，1/2的0在接收端错成1。
问信宿收到一个消息后，获得的平均信息量是多少？2.1.4 离散信源的熵离散信源是一种仅输出有限个消息的信源。
则其概率空间为：如果信道中无任何干扰，则后验概率为1，通过无差错的通信，信宿完全消除了对信源的不确定度。
从离散信源输出的某个消息所获得的信息量为：Ij=Ii= -log p(xi) (2.1.11)信宿收到一个消息所获得的平均信息量：I平均=H(X) (2.1.12)把信源输出一个消息所提供的平均信息量或者信源的不确定度定义为信源的熵。
如果个消息中每个概率均相等，这是一种信源消息等概率分布情况，且概率P=1/N，则：H(X)=lbN 比特/消息(2.1.13)[例2.1.6] 仍以[例2.1.5]为例，计算该信源的熵。
[例2.1.7] 仍以[例2.1.5]为例，计算该通信系统信宿端，消息组成的概率空间的不确定度。
[例2.1.8]计算分析某二元数字通信系统中输出1，0两个消息的信源的信源熵。
[例2.1.9] 计算能输出26个英文字母的信源的信源熵。
假设各字母等概率分布，且互相独立。
2.1.5熵函数H（X）的性质已经定义熵函数H（X）=-∑p(x) lb p(x)（2.1.14)1．熵函数具有非负性2．熵函数具有确定性3．熵函数是的连续函数4．熵函数具有极值性—最大离散熵定理H(X)≤lbn(2.1.16)当且仅当信源中各消息为等概率分布时，上式取等号。
定理说明，当离散信源中各消息等概率分布时，可得最大熵，其值为：H(X)=lbn (2.1.19)5．单调增函数6．条件熵小于等于无条件熵2.1.6加权熵的概念为了要引入加权熵的概念，需要确定一个非负的实数作为信源各离散消息的权重，对信源应再构建一个相应的权重空间. 123456262122222,()0.20.190.180.170.160.17()log 6()()log ()[0.2log 0.20.19log 0.190.18log 0.182(0.17log 0.17)0.16log 0.162.66(/i i i X x x x x x x P X H X H X p x p x bit symb =⎡⎤⎧⎫=⎨⎬⎢⎥⎣⎦⎩⎭>=-=-++++=∑设信源求这信源的熵，并解释为什么不满足信源熵的极值性。