第二章 信源与信息度量 习题
信息论与编码-第2讲-信源及信息度量1
自信息含义
当事件xi发生以前：表示事件xi发生的不确定性。 当事件xi发生以后：表示事件xi所含有（或所提供）的信
息量。在无噪信道中，事件xi发生后，能正确无误地传输到 收信者，所以I(xi)可代表接收到消息xi后所获得的信息量。 这是因为消除了I(xi)大小的不确定性，才获得这么大小的信 息量。
2.1.1 单符号离散信源的数学模型
(1) 信源的描述方法 (2) 单符号离散信源数学模型
(1) 信源的描述方法
在通信系统中收信者在未收到消息以前，对信源发出 什么消息是不确定的。
① 离散信源：输出的消息常常是以一个个符号形式出现，
这些符号的取值是有限的或可数的。 单符号离散信源：只涉及一个随机事件，可用随机变量描述。 多符号离散信源：每次输出是一个符号序列，序列中每一位出现
② 联合自信息量
信源模型为
x2 y1 ,, x2 ym ,, xn y1 ,, xn y m XY x1 y1 ,, x1 ym , P( XY ) p( x y ),, p( x y ), p( x y ),, p( x y ),, p( x y ),, p( x y ) 1 m 2 1 2 m n 1 n m 1 1
计算y1与各种天气之间的互信息量 对天气x1，不必再考虑 对天气x2， I ( x2 ; y1 ) log2 p( x2 / y1 ) log2 1/ 2 1(比特) p( x ) 1/ 4
i i
验概率的函数。
函数f [p(xi)]应满足以下4个条件 根据上述条件可以从数学上证明这种函数形式是对 数形式。
第二章 信源习题
1、设英文字母E出现的概率为0.105，X出现的概率为0.002，试求E和X 的信息量。
2、某离散信源输出x1、x2、…、x8共8个不同的消息，符号速率为2400B，其中四个消息出现的概率为P(x1)=P(x2)=1/16，P(x3)=1/8，P(x4)=1/4，其他消息等概率出现。
①求该信源的平均信息速率；②求传送一小时的信息量。
3、设一离散信源分别以概率P A、P B、P C、P D发送四个消息A、B、C、D，每个消息的出现是相互独立的，试根据条件完成以下计算：①如果P A=1/4，P B =1/8，P C =1/8，P D=1/2，试计算该信源的熵；②对于传输的每一消息用二进制脉冲编码，00代表A，01代表B，11代表C，10代表D，每个脉冲宽度为5ms，如果不同的消息等可能出现，试计算传输的平均信息速率；③如果P A=1/5，P B =1/4，P C =1/4，P D=3/10，试用Huffman编码算法对该信源进行编码，并计算编码效率。
4、设A系统以2000bps的比特率传输2PSK调制信号的带宽为2000Hz，B 系统以2000bps的比特率传输4PSK调制信号的带宽为1000Hz。
试问：哪个系统更有效？5、设某四进制数字传输系统的每个码元的持续时间（宽度）为833×10-6s，连续工作1h后，接收端收到6个错码，且错误码元中仅发生1bit的错码。
①求该系统的码元速率和信息速率；②求该系统的误码率和误信率。
6、设某数字传输系统传送二进制码元的速率为1200B，试求该系统的信息速率；若该系统改为传送八进制信号码元，码元速率不变，则这时系统的信息速率为多少？7、设输入抽样器的信号为门函数G(t)，宽度为τ=20ms，若忽略其频谱第10个零点以外的频率分量，试求其最小抽样频率。
8、已知信号f(t)=6.4×sin(800πt)，按Nyquist速率进行抽样后，进行64个电平均匀量化编码，采用自然二进制码。
信息论第2章(2010)
ai 后所获得的信息量。
自信息量的性质：
1）非负性。 2) 单调递减性。 3) 可加性。
I xi ,y j log pxi ,y j
若两个符号x i , y j同时出现，可用联合概率px i , y j 来表示 这时的自信息量为 I y j I xi | y j
例题：二元信源，每个符号发生的概率分别为p(x1)=p，p(x2)=1-p. 试计算信源熵，并画出熵函数H(p)和p的曲线图。
① 等概时（p=0.5)：随机变量具有最大的不确定性
② p=0或1时：随机变量的不确定性消失。
信息熵的物理意义
1）表示了信源输出前，信源的平均不确定性。 2）表示了信源输出后，每个消息或符号所提供的 平均信息量。 3）信息熵反映了变量X的随机性。
平均自信息量H (X ) 表示信源输出消息中的每个符号所含信息量的统计 平均值，其表达式为 q
H ( X ) EI ( xi ) P( xi ) log P( xi )
i 1
式中， E 表示统计平均，
I ( xi ) 表示符号 x i 包含的自信息量。
平均信息量可以表示为：
任何一个物理量的定义都应当符合客观规律和逻辑上 的合理性，信息的度量也不例外。直观经验告诉我们： ① 消息中的信息量与消息发生的概率密切相关：出现消 息出现的可能性越小，则消息携带的信息量就越大。 ② 如果事件发生是必然的（概率为1），则它含有的信息 量应为零。如果一个几乎不可能事件发生了（概率趋 于0），则它含有巨大的信息量。 ③ 如果我们得到不是由一个事件而是由若干个独立事件 构成的消息，那么我们得到的信息量就是若干个独立 事件的信息量的总和。
② 联合信源中平均每个符号对所包含的信息量？
信息论基础第2章离散信源及其信息度量
第2章 离散信源及其信息度量
本章内容
2.1 离散信源的分类 2.2 离散信源的统计特性 2.3 离散随机变量的信息度量 2.4 离散信源的N次扩展信源 2.5 离散平稳信源 2.6 马尔可夫信源 2.7 离散信源的相关性和剩余度
《信息论基础》
2.1 离散信源的分类
离散信源的分类
按照离散信源输出的是一个消息符号还是消息符 号序列，可分为单符号离散信源和多符号离散信 源。
,
q2 pn
,
qm ) pn
n
m
其中， pi 1, qj pn 。
i1
j 1
可见，由于划分而产生的不确定性而导致熵的增加量为
pnHm (
q1 pn
,
q2 pn
, qm pn
)
6、上凸性
熵函数 H (p) 是概率矢量 p ( p1, p2 ,
pq ) 的严格∩型凸函数
（ 或 称 上 凸 函 数 ）。 即 对 任 意 概 率 矢 量 p1 ( p1, p2 , pq ) 和
成 H ( p1) 或 H ( p2 ) 。
和自信息相似，信息熵 H ( X ) 有两种物理含义：
① 信源输出前，信源的信息熵表示信源的平均 不确定度。
② 信源输出后，信源的信息熵表示信源输出一 个离散消息符号所提供的平均信息量。如果信道无噪 声干扰，信宿获得的平均信息量就等于信源的平均信 息量，即信息熵。需要注意的是，若信道中存在噪声， 信宿获得的平均信息量不再是信息熵，而是 2.5 节介 绍的平均互信息。
联合熵 H (XY ) 的物理含义表示联合离散符号集 XY 上
的每个元素对平均提供的信息量或平均不确定性。 单位为“bit/符号对”。 需要注意的是，两个随机变量 X 和 Y 既可以表示两个
信息论第二章试题
第二章随机过程的信息度量和渐进等分性
填空题
1、信源按其数学模型随机过程的统计特征来分类，随机过程的随
机变量之间互相独立的称（独立信源），不独立的称（不独立信源），平稳或遍历随机过程则对应（平稳或遍历信源）。
2、若存在X上的一个概率分布u，满足（uM=u），则称u为马氏
过程的平稳分布。
3、对无记忆信源{Xk，k〉=1 }有（-1/n㏒P（X^n））以概率收敛
到H（X）。
简答题
1、简述无记忆信源的定义
答：当X1，X2，……Xn，……为相互独立的随机变量序列，且服从相同的分布
Pr（Xi=x）=P（x）
对任意i成立，称它为无记忆信源。
2、简述平稳信源的定义
答：设X={X1，X2，……Xn，……}为平稳信源，则
（1）H’（X）=，存在
（2）H（X）=H'（X）
证明题
设f（n）是满足f（m+n）<=f（m）+f（n）的半可加数列，则
答记C=inf f(n)/n,假设C=!-,显然
>=C
对给定的任意ε>0,选取充大的K,使
f(K)/K<C+ε/2 （1）
令n=aK+b,其中a为整数,0<=b<K,则
f（n）〈=af（K）+（n-aK）f（b）
两边除以n，
f（n）/n〈=af（K）/（aK+b）+bf（1）/（aK+b）〈=C+ε（*）（2）其中*成立是是因为（2）右式中第二项当K充分大时小于ε/2，再用（1）即得，于是
〈=C+ε。
信息理论与编码课后答案第2章
第二章 信息的度量习题参考答案不确定性与信息（2.3）一副充分洗乱的牌（含52张），试问： （1）任一特定排列所给出的不确定性是多少？（2）随机抽取13张牌，13张牌的点数互不相同时的不确定性是多少？ 解：（1）一副充分洗乱的扑克牌，共有52张，这52张牌可以按不同的一定顺序排列，可能有的不同排列状态数就是全排列种数，为6752528.06610P =≈⨯!因为扑克牌充分洗乱，所以任一特定排列出现的概率是相等的。
设事件A 为任一特定排列，则其发生概率为 ()6811.241052P A -=≈⨯!可得，任一特定排列的不确定性为()()22log log 52225.58I A P A =-=≈!比特 （2）设事件B 为从中抽取13张牌，所给出的点数都不同。
扑克牌52张中抽取13张，不考虑其排列顺序，共有1352C 种可能的组合，各种组合都是等概率发生的。
13张牌中所有的点数都不相同（不考虑其顺序）就是13张牌中每张牌有4种花色，所以可能出现的状态数为413。
所以()131341352441339 1.05681052P B C -⨯!!==≈⨯!则事件B 发生所得到的信息量为()()13213524log log 13.208I B P B C =-=-≈ 比特2.4同时扔出两个正常的骰子，也就是各面呈现的概率都是1/6，求： （1）“2和6 同时出现”这事件的自信息量。
（2）“两个3同时出现”这事件的自信息量。
（3）两个点数的各种组合（无序对）的熵。
（4）两个点数之和（即2，3，…，12构成的子集）的熵。
（5）两个点数中至少有一个是1的自信息。
解：同时扔两个正常的骰子，可能呈现的状态数有36种，因为两骰子是独立的，又各面呈现的概率为61，所以36种中任一状态出现的概率相等，为361。
（1） 设“2和6同时出现”这事件为A 。
在这36种状态中，2和6同时出现有两种情况，即2，6和2，6。
信息论基础第二版习题答案
信息论基础第二版习题答案信息论是一门研究信息传输和处理的学科，它的基础理论是信息论。
信息论的基本概念和原理被广泛应用于通信、数据压缩、密码学等领域。
而《信息论基础》是信息论领域的经典教材之一，它的第二版是对第一版的修订和扩充。
本文将为读者提供《信息论基础第二版》中部分习题的答案，帮助读者更好地理解信息论的基本概念和原理。
第一章：信息论基础1.1 信息的定义和度量习题1：假设有一个事件发生的概率为p，其信息量定义为I(p) = -log(p)。
求当p=0.5时，事件的信息量。
答案：将p=0.5代入公式，得到I(0.5) = -log(0.5) = 1。
习题2：假设有两个互斥事件A和B，其概率分别为p和1-p，求事件A和B 同时发生的信息量。
答案：事件A和B同时发生的概率为p(1-p)，根据信息量定义，其信息量为I(p(1-p)) = -log(p(1-p))。
1.2 信息熵和条件熵习题1：假设有一个二进制信源，产生0和1的概率分别为p和1-p，求该信源的信息熵。
答案：根据信息熵的定义，信源的信息熵为H = -plog(p) - (1-p)log(1-p)。
习题2：假设有两个独立的二进制信源A和B，产生0和1的概率分别为p和1-p，求两个信源同时发生时的联合熵。
答案：由于A和B是独立的，所以联合熵等于两个信源的信息熵之和，即H(A,B) = H(A) + H(B) = -plog(p) - (1-p)log(1-p) - plog(p) - (1-p)log(1-p)。
第二章：信道容量2.1 信道的基本概念习题1：假设有一个二进制对称信道，其错误概率为p，求该信道的信道容量。
答案：对于二进制对称信道，其信道容量为C = 1 - H(p)，其中H(p)为错误概率为p时的信道容量。
习题2：假设有一个高斯信道，信道的信噪比为S/N，求该信道的信道容量。
答案：对于高斯信道，其信道容量为C = 0.5log(1 + S/N)。
习题讨论(第2、3、5章)
习题讨论
第3章习题： 1、（3.3题）设二元对称信道的传递矩阵为：
2 / 3 1/ 3
1/ 3
2/3
（1）若P（0）=3/4， P（1）=1/4，求H（X），
H（X/Y）， H（Y/X）和I（X；Y）； （2）求该信道的信道容量及其达到信道容量时的
输入概率分布。
习题讨论
2、（3.9题）有一个二元对称信道，其信道矩阵如 图所示。设该信道以1500个二元符号/秒的速度 输入符号。现有一消息序列共有14000个二元符 号，并设在这消息中P(0)=P(1)=1/2。问从信息 传输的角度来考虑，10秒钟内能否将这消息序 列无失真地传送完。
码。
2、现有一幅已离散化后的图像，图像的灰度量化分成8级，如 下表，表中数字为相应像素上的灰度级。另有一无噪无损二 元信道，单位时间（秒）内传输100个二元符号。分别求：
（1）现将图像通过给定的信道传输，不考虑图像的任何统计 特性，并采用二元等长码，问需要多长时间才能传送完这幅 图像？
（2）若考虑图像的统计特性（不考虑像素之间的依赖关系）， 求此图像的信源熵，并对每个灰度级进行霍夫曼最佳二元编 码，写出相应码字；问平均每个像素需要多少个二元码符号 来表示？这时需要多少时间才能传送完这幅图像？
1）若每3min传送一张图片，求所需的信道带宽。 2）若信道带宽为4kHz，问传送一张图片需多少
时间？
习题讨论
补充题2：设电话信号的信息率为 5.6×104bit/秒，在一个噪声功率谱为
N0= 5×10-6mw/Hz、限频F、限输入功率P 的高斯信道中传送，若F=4kHz，问无差 错传输所需的最小功率P是多少瓦？若 F=∞，则P是多少瓦？
0.98
0
信息论-第二章信源熵-习题答案
2.4 设离散无记忆信源⎭⎬⎫⎩⎨⎧=====⎥⎦⎤⎢⎣⎡8/14/1324/18/310)(4321x x x x X P X ，其发出的信息为(202120130213001203210110321010021032011223210)，求 (1) 此消息的自信息量是多少？(2) 此消息中平均每符号携带的信息量是多少？解：(1) 此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是：62514814183⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛=p此消息的信息量是：bit p I811.87log =-=(2) 此消息中平均每符号携带的信息量是：bitn I 951.145/811.87/==41()()log () 2.010i i i H X p x p x ==-=∑2.6 设信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡17.016.017.018.019.02.0)(654321x x x x x x X P X ，求这个信源的熵，并解释为什么H(X) > log6不满足信源熵的极值性。
解：585.26log )(/ 657.2 )17.0log 17.016.0log 16.017.0log 17.018.0log 18.019.0log 19.02.0log 2.0( )(log )()(26=>=+++++-=-=∑X H symbol bit x p x p X H ii i 不满足极值性的原因是107.1)(6>=∑iix p 。
2.7 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。
解：(1)用随机事件i x 表示“3和5同时出现”，则bitx p x I x p i i i 170.4181log )(log )(18161616161)(=-=-==⨯+⨯=(2) 用随机事件i x 表示“两个1同时出现”，则bitx p x I x p i i i 170.5361log )(log )(3616161)(=-=-==⨯=(3)两个点数的排列如下： 11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 61 6263646566共有21种组合：其中11，22，33，44，55，66的概率是3616161=⨯ 其他15个组合的概率是18161612=⨯⨯symbol bit x p x p X H ii i / 337.4181log 18115361log 3616)(log )()(=⎪⎭⎫ ⎝⎛⨯+⨯-=-=∑(4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：sym bolbit x p x p X H X P X ii i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 3612 )(log )()(36112181111211091936586173656915121418133612)(=⎪⎭⎫ ⎝⎛+⨯+⨯+⨯+⨯+⨯-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡∑(5)bitx p x I x p i i i 710.13611log )(log )(3611116161)(=-=-==⨯⨯=2.10 对某城市进行交通忙闲的调查，并把天气分成晴雨两种状态，气温分成冷暖两个状态，调查结果得联合出现的相对频度如下：忙晴雨冷 12暖 8暖 16冷 27闲晴雨冷 8暖 15暖 12冷 5若把这些频度看作概率测度，求： (1) 忙闲的无条件熵；(2) 天气状态和气温状态已知时忙闲的条件熵；(3) 从天气状态和气温状态获得的关于忙闲的信息。
信息论与编码第二章答案
第二章信息的度量2.1信源在何种分布时，熵值最大？又在何种分布时，熵值最小？答：信源在等概率分布时熵值最大；信源有一个为1，其余为0时熵值最小。
2.2平均互信息量I(X;Y)与信源概率分布q(x)有何关系？与p(y|x)又是什么关系？答：若信道给定，I(X;Y)是q(x)的上凸形函数；若信源给定，I(X;Y)是q(y|x)的下凸形函数。
2.3熵是对信源什么物理量的度量？答：平均信息量2.4设信道输入符号集为{x1,x2,……xk}，则平均每个信道输入符号所能携带的最大信息量是多少？答：kk k xi q xi q X H i log 1log 1)(log )()(2.5根据平均互信息量的链规则，写出I(X;YZ)的表达式。
答：)|;();();(Y Z X I Y X I YZ X I 2.6互信息量I(x;y)有时候取负值，是由于信道存在干扰或噪声的原因，这种说法对吗？答：互信息量)()|(log );(xi q yj xi Q y x I ，若互信息量取负值，即Q(xi|yj)<q(xi)，说明事件yi 的出现告知的是xi 出现的可能性更小了。
从通信角度看，视xi 为发送符号，yi 为接收符号，Q(xi|yj)<q(xi)，说明收到yi 后使发送是否为xi 的不确定性更大，这是由于信道干扰所引起的。
2.7一个马尔可夫信源如图所示，求稳态下各状态的概率分布和信源熵。
答：由图示可知：43)|(41)|(32)|(31)|(41)|(43)|(222111110201s x p s x p s x p s x p s x p s x p 即：43)|(0)|(41)|(31)|(32)|(0)|(0)|(41)|(43)|(222120121110020100s s p s s p s s p s s p s s p s s p s s p s s p s s p 可得：1)()()()(43)(31)()(31)(41)()(41)(43)(210212101200s p s p s p s p s p s p s p s p s p s p s p s p得：114)(113)(114)(210s p s p s p )]|(log )|()|(log )|()[()]|(log )|()|(log )|()[()]|(log )|()|(log )|()[(222220202121211111010100000s s p s s p s s p s s p s p s s p s s p s s p s s p s p s s p s s p s s p s s p s p H 0.25（bit/符号）2.8一个马尔可夫信源，已知：0)2|2(,1)2|1(,31)1|2(,32)1|1(x x p x x p x x p x x p 试画出它的香农线图，并求出信源熵。
第2章 离散信源和信息度量题目
第2章 离散信源和信息度量一、例题：【例2.1】 一个1, 0等概的二进制随机序列，求任一码元的自信息量。
解：二进制序列的任一码元不是为0就是为1，根据题意(0)(1)1/2P P ==，所以(0)(1)log(1/2)1I I bit ==-=【例2.2】 对于2n进制的数字序列，假设每一符号的出现完全随机且概率相等，求任一符号的自信息量。
解：设2n进制数字序列任一码元i a 的出现概率为()i P a ，根据题意，()12n i P a =()log ()log 1/2)()n i i I a P a n bit =-=-=（【例2.3】 某地某月份的气象资料如表2.1所示，求相应事件的自信息量。
表2.1 某地某月的气象资料解：()log ()1I P bit =-=晴晴，()log ()2I P bit =-=阴阴()log ()3I P bit =-=雨雨，()log ()3I P bit =-=多云多云【例2.4】 设有两个离散信源集合1201()0.60.4X a a P X ==⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦[][]1201Y b b === 其中[]11211222(|)(|)5/61/6(|)(|)(|)3/41/4p b a p b a P y x p b a p b a ⎡⎤⎡⎤==⎢⎥⎢⎥⎣⎦⎣⎦ 求：（1）自信息量()i I a ；（2）条件自信息量(|)i j I a b ；（3）互信息量(;)i j I a b解：（1）根据自信息量的定义可得11()log ()log0.60.737I a P a bit =-=-≈ 22()log ()log0.4 1.322I a P a bit =-=-≈（2）由全概率公式，可得2211111222221153()()()(|)0.60.40.86411()()()(|)0.60.40.264i i i i i i i i i i P b P a b P a P b a P b P a b P a P b a =======⨯+⨯====⨯+⨯=∑∑∑∑因为()(|)()i j i j j P a b P a b P b =，所以得11111()5(|)()8P a b P a b P b ==，21211()3(|)()8P a b P a b P b == 12122()1(|)()2P a b P a b P b ==，22222()1(|)()2P a b P a b P b == 根据条件自信息量的定义可得：11115(|)log (|)log 0.6788I a b P a b bit =-=-≈21213(|)log (|)log 1.4158I a b P a b bit =-=-≈12121(|)log (|)log 12I a b P a b bit =-=-=22221(|)log (|)log 12I a b P a b bit =-=-=（3）根据互信息量的定义可得：11111(;)()(|)0.059I a b I a I a b bit =-≈ 21221(;)()(|)0.093I a b I a I a b bit =-≈- 12112(;)()(|)0.263I a b I a I a b bit =-≈ 22222(;)()(|)0.322I a b I a I a b bit =-≈【例2.5】 二进制通信系统的信源空间为1()1X P x p p ⎡⎤⎡⎤=⎢⎥⎢⎥-⎣⎦⎣⎦求该信源的熵。
信息论第二章课后习题解答
每帧图像含有的信息量为：
按每秒传输30帧计算，每秒需要传输的比特数，即信息传输率 为：
（2）需30个不同的色彩度，设每个色彩度等概率出现，则其概 率空间为：
由于电平与色彩是互相独立的，因此有
这样，彩色电视系统的信息率与黑白电视系统信息率的比值为
【2.13】每帧电视图像可以认为是由3×105个像素组成，所以 像素均是独立变化，且每一像素又取128个不同的亮度电平，并 设亮度电平等概率出现。问每帧图像含有多少信息量？ 若现有一广播员在约 10000 个汉字的字汇中选 1000 个来口述 此电视图像，试问广播员描述此图像所广播的信息量是多少 （假设汉字是等概率分布，并且彼此无依赖）？若要恰当地描 述此图像，广播员在口述中至少需用多少汉字？
解： 信源为一阶马尔克夫信源，其状态转换图如下所示。
根据上述c) ，
【2.20】黑白气象传真图的消息只有黑色和白色两种，即信源, X={白 黑} ，设黑色出现的概率为 P(黑) =0.3 ，白色出现的 概率为P(白)=0.7。 （1） 假设图上黑白消息出现前后没有关联，求熵H(X) ； （2） 假设消息前后有关联，其依赖关系为P(白|白)=0.9 ， P(白|黑)=0.2 ，P(黑|白)=0.1 ，P(黑|黑)=0.8 ，求此一阶马 尔克夫信源的熵H2 。 （3） 分别求上述两种信源的冗余度，并比较H(X)和H2的大小， 并说明其物理意义。
解：（1）如果出现黑白消息前后没有关联，信息熵为：
（2）当消息前后有关联时，首先画出其状态转移图，如下所 示：
设黑白两个状态的极限概率为Q(黑) 和Q (白) ，
解得：
此信源的信息熵为： （3）两信源的冗余度分别为：
结果表明：当信源的消息之间有依赖时，信源输出消息的不确 定性减弱。有依赖时前面已是白色消息，后面绝大多数可能 是出现白色消息；前面是黑色消息，后面基本可猜测是黑色 消息。这时信源的平均不确定性减弱，所以信源消息之间有 依赖时信源熵小于信源消息之间无依赖时的信源熵，这表明 信源熵正是反映信源的平均不确定的大小。而信源剩余度正 是反映信源消息依赖关系的强弱，剩余度越大，信源消息之 间的依赖关系就越大。
第二章 信源与信息度量 习题解答
第二章 信源与信息度量 习题解答1.某大学设置五个学院，每个学院的学生数分别为学院： 数学 物理 外语 外贸 医学人数： 300 400 500 600 200问“某学生王某是外语学院学生”这一消息提供的信息量是多少？解：总人数为：300+400+500+600+200=2000人 是外语学院学生的概率为：5000.252000= 同理计算其它学院学生概率后，得信源的概率空间为：12345()0.150.20.250.30.1X x x x x x p X ⎡⎤⎧⎫=⎨⎬⎢⎥⎣⎦⎩⎭“学生王某是外语学院学生”这一消息提供的信息量：33()lb ()lb 0.252I x p x =-=-=比特2. 同时扔出两个正常的骰子，也就是各面呈现的概率都是1/6，求：（1） 事件“2和5同时呈现”的自信息量； （2） 事件“两个4同时呈现”的自信息量； （3） 事件“至少呈现一个1”的自信息量。
解：（1）事件“2和5同时呈现”的概率：1()18p A =，该事件的自信息量： 1()lb ()lb4.170 bit 18I A p A =-=-= （2）事件“两个4同时呈现”的概率：1()36p B =，该事件的自信息量：1()lb ()lb 5.170 bit 36I B p B =-=-=（3）事件“至少呈现一个1”的概率：11()36p C =，该事件的自信息量： 11()lb ()lb1.711 bit 36I C p C =-=-=3. 字母“e ” 在英文中出现的概率是0.103，字母“c ”出现的概率为0.022，字母“x ”出现的概率是0.001，求这些字母各自的自信息量。
解：（1）字母“e ”的自信息量：()lb ()lb0.103 3.279 bit I e p e =-=-=（2）字母“c ”的自信息量：()lb ()lb0.022 5.506 bit I c p c =-=-=（3）字母“x ”的自信息量：()lb ()lb0.0019.966 bit I x p x =-=-=4. 某电子厂共能生产A 、B 、C 、D 四种仪器，其中A 因技术落后停产了，B 占全部产量的20%，C 占30%，D 占50%。
通信原理第二章习题
《通信原理》第二章习题一、单项选择题1. 已知信源的熵为3bit/s 符号,信源每分钟传送３６００个符号,则信源的信息速率为( Ｃ )。
A ． 3bit/s B. 60b ｉt/s C ． 1８0bi ｔ／s D ． 10８0bit/s2. 设信源由A 、B 、C 3个符号组成,出现概率分别为1/2、1／4、1/4,假设各符号的出现相互独立,则信源的平均信息量为( D ）。
A. ３b ／符号 Ｂ． １b ／符号 C ． 2b ／符号 D. 1．5b ／符号 ３. 八进制数字信号,１分钟传送1８00b ｉt 的信息量，其码元速率是（ B )。
Ａ. 300Bd B. 100B ｄ Ｃ. ９00Ｂｄ Ｄ. 600Ｂd二、填空题1. 随参信道中发生瑞利衰落的原因是多径传播 。
2． 高斯信道带宽为４ｋＨz,信噪比为63，利用这种信道的理想通信系统的传信率为240００bit ／s ,差错率为零 。
３． 设某随参信道的最大多径时延等于4ms,则该信道的相关带宽B C 为２５0Hz ,为了避免受到选择性衰落，要求传输信号的带宽C B B ⎪⎭⎫⎝⎛51~31＝带宽,则在该信道上传输的数字信号的脉冲宽度为(12~２0)ｍs 。
4. 八进制的信息源的最大熵值为3bit/ｓ ,最小熵值为３/８ bit/s 。
5． 设信源由Ａ、B 、C 、D 四个信息符号组成，其中发送A 的概率为１/2,B 的概率为1／4，C 的概率为1/８，Ｄ的概率为1/8，则每一个符号的平均信息量为1.７５bit/s 。
6. 信号在恒参信道中传输时主要失真有幅频失真 和相频失真 。
7. 某随参信道的两径时延差为1ms,则对信号传输衰耗最大的频率为1000Hz ,传输极点为 。
8． 如果信息源每分钟传输6000个4进制码元，则码元速率R B 为2４00Ba ｕn ｄ,信息速率为4800bit ／ｓ ，１ｍin 传输的信息量为28800bit 。
9. 一个带宽为10００H ｚ的信道用来传输４进制码元,每秒钟最多能传送的信息量为4b ｉt 。
信息论与编码理论-第2章信息的度量-习题解答-20071017
1第2章 信息的度量习 题2.1 同时扔一对质地均匀的骰子，当得知“两骰子面朝上点数之和为5”或“面朝上点数之和为8”或“两骰子面朝上点数是3和6”时，试问这三种情况分别获得多少信息量？解：某一骰子扔得某一点数面朝上的概率是相等的，均为1/6，两骰子面朝上点数的状态共有36种,其中任一状态出现都是等概率的,出现概率为1/36。
设两骰子面朝上点数之和为事件a ，有：⑴ a=5时，有1+4，4+1，2+3，3+2，共4种，则该事件发生概率为4/36=1/9，则信息量为I(a)=-logp(a=5)=-log1/9≈3.17(bit)⑵ a=8时，有2+6，6+2，4+4，3+5，5+3，共5种，则p(a)=5/36,则I(a)= -log5/36≈2.85(bit) ⑶ p(a)=2/36=1/18,则I(a)=-log1/18≈4.17(bit)2.2 如果你在不知道今天是星期几的情况下问你的朋友“明天是星期几”，则答案中含有多少信息量？如果你在已知今天是星期三的情况下提出同样的问题，则答案中你能获得多少信息量（假设已知星期一至星期日的排序）？解：设“明天是星期几”为事件a ：⑴ 不知道今天是星期几：I(a)=-log1/7≈2.81(bit) ⑵ 知道今天是星期几：I(a)=-log1=0 (bit)2.3 居住某地区的女孩中有20%是大学生，在女大学生中有80%是身高1米6以上的，而女孩中身高1米6以上的占总数的一半。
假如我们得知“身高1米6以上的某女孩是大学生”的消息，求获得多少信息量？解：设“居住某地区的女孩是大学生”为事件a ，“身高1米6以上的女孩”为事件b ，则有： p(a)= 0.2，p(b|a)=0.8，p(b)=0.5，则“身高1米6以上的某女孩是大学生”的概率为：32.05.08.02.0)()|()()|(=⨯==b p a b p a p b a p信息量为：I=-logp(a|b)=-log0.32≈1.64(bit)2.4 从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男同志：“你是否是红绿色盲？”，他回答“是”或“否”，问这两个回答中各含有多少信息量？平均每个回答中含有多少信息量？如果你问一位女同志，则答案中含有的平均自信息量是多少？解：⑴ 男同志回答“是”的概率为7%=0.07，则信息量I=-log0.07≈3.84(bit) 男同志回答“否”的概率为1-7%=0.93，则信息量I=-log0.93≈0.10(bit)2平均信息量为：H 1=-(0.07×log0.07+0.93×log0.93) ≈0.37(bit/符号) ⑵ 问女同志的平均自信息量：H 2=-[0.05×log0.05+(1-0.05) ×log(1-0.05)] ≈0.045(bit/符号)2.5 如有7行9列的棋型方格，若有两个质点A 和B ，分别以等概率落入任一方格内，且它们的坐标分别为（X A ，Y A ）、（X B ，Y B ），但A 、B 不能落入同一方格内。
计算机网络_第2章习题答案
第二章习题解答2.01 试给出数据通信系统的基本模型并说明其主要组成构件的作用。
答：1）信源和信宿信源就是信息的发送端，是发出待传送信息的设备；信宿就是信息的接收端，是接收所传送信息的设备，在实际应用中，大部分信源和信宿设备都是计算机或其他数据终端设备(data terminal equipment，DTE)。
2）信道信道是通信双方以传输媒体为基础的传输信息的通道，它是建立在通信线路及其附属设备(如收发设备)上的。
该定义似乎与传输媒体一样，但实际上两者并不完全相同。
一条通信介质构成的线路上往往可包含多个信道。
信道本身也可以是模拟的或数字方式的，用以传输模拟信号的信道叫做模拟信道，用以传输数字信号的信道叫做数字信道。
3）信号转换设备其作用是将信源发出的信息转换成适合于在信道上传输的信号，对应不同的信源和信道，信号转换设备有不同的组成和变换功能。
发送端的信号转换设备可以是编码器或调制器，接收端的信号转换设备相对应的就是译码器或解调器。
2.02 试解释以下名词：数据，信号，模拟数据，模拟信号，数字数据，数字信号。
答：数据：通常是指预先约定的具有某种含义的数字、符号和字母的组合。
信号：信号是数据在传输过程中的电磁波的表示形式。
模拟数据：取值是连续的数据。
模拟信号：是指幅度随时间连续变化的信号。
数字数据：取值是离散的数据。
数字信号：时间上是不连续的、离散性的信号2.03 什么是传信速率？什么是传码速率？说明两者的不同与关系。
答：传信速率又称为比特率，记作R b，是指在数据通信系统中，每秒钟传输二进制码元的个数，单位是比特/秒（bit/s,或kbit/s或Mbit/s）。
传码速率又称为调制速率、波特率，记作N Bd，是指在数据通信系统中，每秒钟传输信号码元的个数，单位是波特（Baud）。
若是二电平传输，则在一个信号码元中包含一个二进制码元，即二者在数值上是相等的；若是多电平（M电平）传输，则二者在数值上有R b=N Bd×log2 M的关系。
2.1基本信息论例题及其分析
2.1基本信息论例题及其分析第2章基本信息论信源是消息的来源，信道是消息传送媒介，信宿是消息的目的地。
Shannon信息论的中心问题“信息论”，又称为“通信的数学理论”，是研究信息的传输、存储、处理的科学。
信息论的中心问题：为设计有效而可靠的通信系统提供理论依据。
（具体地说，就是信源编码和信道编码。
以下来看所要解决的具体问题。
）问题一：信源消息常常不能够完全发送。
（否则发送量巨大，比如：无尽的天空。
因此优先捡有用的发送）问题二：信道因干扰而出现差错，如何进行检错和纠错。
第一个重要概念：信道上传送的是随机变量的值。
注意：（1）这就是说，我们在收到消息之前，并不知道消息的内容。
否则消息是没有必要发送的。
（2）消息随机变量有一个概率分布。
（3）消息随机变量的一个可能取值就称为一个事件。
第二个重要概念：事件发生的概率越小，此事件含有的信息量就越大。
（不太可能发生的事件竟然发生了，令人震惊）例事件“中国足球队3：0力克韩国足球队”含有的信息量大。
（小概率事件发生了，事件信息量大）例事件“中国足球队0：1负于韩国足球队”含有的信息量小。
（大概率事件发生了，事件信息量小）第三个重要概念：消息随机变量的随机性越大，此消息随机变量含有的信息量就越大。
例消息随机变量X=“中国足球队与韩国足球队比赛的结果”，则消息随机变量X含有的信息量小。
（随机性小，可预见性大，因此该消息随机变量含有的信息量小。
）例消息随机变量X=“意大利足球队与德国足球队比赛的结果”，则消息随机变量X含有的信息量大。
（随机性大，可预见性小，因此该消息随机变量含有的信息量大。
）第四个重要概念：两个消息随机变量的相互依赖性越大，它们的互信息量就越大（这里指的是绝对值大）。
例X=西安明日平均气温, Y=咸阳明日平均气温，Z=北京明日平均气温，W=纽约明日平均气温。
则X与Y互信息量大，X与Z互信息量小得多，X与W互信息量几乎为0。
信息的可度量性-建立信息论的基础；信息度量的方法:结构度量﹑统计度量﹑语义度量﹑模糊度量等；统计度量：用事件统计发生概率的对数来描述事物的不确定性，得到消息的信息量，建立熵的概念；熵概念是香农信息论最基本最重要的概念。
第二章 信源熵练习题
-H(X)；
B、 H(XY)=H(X)+
H(X/Y)；
C、 H(XY)=H(Y)+
H(X/Y)；
D、H(XY)=H(X)
+H(Y)
9、已知离散随机变量 X 和 Y，及相应的熵 H(X)、H(Y)、H(XY)、 H(X/Y)、 H(Y/X) 以及平均互信息 I(X;Y) ， 则下列关系成立的是 （ B ）
j i
p ( y j ) p ( xi | y j ) log 2 p( xi ) i j p ( xi ) log 2 p( xi ) H ( X )
i
5. 平均互信息量的三种表达形式及其对应的物理意义：P27-28 均互信息的三种表达形式： 1） I ( X; Y) H X H X / Y ； 2） I (Y; X) H Y H Y / X ； 3） I ( X; Y) H X H Y H XY 。 6.
第一章 绪论练习题
一、 填空题
1. 信息是事物运动状态或存在方式的所有可能取值的描述，不确定性可以用 概率来表达，因而可以用概率论与随机过程来描述信源输出的消息。单符 号信源用概率空间来描述，即信源符号的所有可能取值及其对应的概率。 信源的某一种取值概率大，则其不确定性（度） 值概率小，则其不确定性（度） 大 。 小 ；相反，某一种取
H ( X ) log n
n 1 n 1 n p(ai ) 1 log e p(ai ) log e 0 i 1 i 1 n i 1 np(ai )
4. 条件熵不大于无条件熵即 H ( X Y ) H ( X ) 证明：
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第二章 信源与信息度量 习题
1. 某大学设置五个学院，每个学院的学生数分别为
学院： 数学 物理 外语 外贸 医学
人数： 300 400 500 600 200
问“某学生王某是外语学院学生”这一消息提供的信息量是多少？
2. 同时扔出两个正常的骰子，也就是各面呈现的概率都是1/6，求：
（1） 事件“2和5同时呈现”的自信息量；
（2） 事件“两个4同时呈现”的自信息量；
（3） 事件“至少呈现一个1”的自信息量。
3. 字母“e ” 在英文中出现的概率是0.103，字母“c ”出现的概率为0.022，字母“x ”出现的概率是0.001，求这些字母各自的自信息量。
4. 某电子厂共能生产A 、B 、C 、D 四种仪器，其中A 因技术落后停产了，B 占全部产量的20%，C 占30%，D 占50%。
有两个消息“现在完成1台仪器B ”，和“现在完成1台仪器C ”，试确定哪一种消息提供的信息量大些？其中有什么规律？
5. 某地，35%的女孩上大学，65%的女大学生身高超过1.6米，而一个女孩身高超过1.6米的概率是50%，现有一条消息：说某一个身高超过1.6米的女孩是大学生，求这条消息的信息量。
6. 试求：
（1） 在一付标准的扑克牌中抽出一张（每张牌均认为是不同的）的平均信息量。
（2） 若扑克牌仅按它的等级鉴定而不问它的花色(大、小王属同一等级)，重复上述计算。
7. 某地的天气预报为：晴（占4/8），多云（占2/8），雨（占1/8），雪（占1/8），冰雹（占0/8）；而当地老农对天气的预测只能做到：晴（占7/8），雨（占1/8）。
试求两者对天气预报各自提供的平均信息量，并说明从中得到的规律。
8. 某离散无记忆平稳信源的概率空间为：12340123()3/81/41/41/8X x x x x p X ====⎧⎫⎡⎤=⎨⎬⎢⎥⎩
⎭⎣⎦，若某消息符号序列为：202 120 130 213 001 203 210 110 321 010 021 032 011 223 210，求：
（1） 该消息的自信息量；
（2） 该消息平均每个符号携带的信息量。
9. 若每帧电视图像由3×105
个像素组成，且像素是独立变化的。
每个像素取128个不同的亮度电平，并设亮度电平等概率出现。
（1） 问每帧图像含有多少信息量？
（2） 若现有一广播员在约10，000个汉字的字汇中选1，000个字来口述此电视图像，问广播员描述此图像所播出的信息量是多少？（假设，10，000个汉字字汇等概率分布，并彼此无依赖）
（3） 若要恰当地描述出此图像的所有信息量，广播员在口述中至少需要多少汉字？
10. 设有一个信源，发送“0”和“1”两种符号，无论何时发出符号的概率均为p (0) = 0.4，p (1) = 0.6，并与以前发出的符号无关，
（1） 问该信源是否是平稳信源？
（2） 计算2()H X ，312()/H X X X 和lim ()N N H X →∞
； （3） 计算4()H X ，并写出4X 信源中所有可能的符号序列。
11. 有一二元数字通信系统，传送“0”和“1”的概率分别为1/4和3/4。
（1） 计算此系统的信源熵和其冗余度。
（2） 为了可靠地传输消息，对每个符号重复传输3次，试求其冗余度为多少；如果采用重复传输4次的方案呢？这样做是否合理？
12. 黑白电视消息只有黑色()B 和白色()W 两种，即信源(,)X B W =，设黑色出现的概率为()0.3p B =，白色出现的概率()0.7p W =。
（1） 假设图上黑白消息出现前后没有相关性，求熵()H X ；
（2） 假设消息前后有相关性，其依赖关系为(/)0.9p W W =，(/)0.1p B W =，(/)0.2p W B =，(/)0.8p B B =，求此一阶马尔可夫信源的熵2()H X ，画出其状态转移图；
（3） 分别求上述两种信源的剩余度，比较()H X 和2()H X 的大小，并说明其物理意义。
13. 马尔可夫信源的消息符号集为{0,1,2}，其状态转移图如右
图所示。
（1） 求稳定后信源符号的概率分布；
（2） 求此马尔可夫信源熵；
（3） 当p = 0或p = 1时，求此马尔可夫信源熵。
14. 某校入学考试中有1/4考生被录取，3/4考生未被录取。
被录取的考生中有50%来自本市，而落榜考生中有10%来自本市。
所有本市的考生都学过英语。
而外地落榜考生以及被录取的外地考生中都有40%学过英语。
（1） 当已知考生来自本市时，给出多少关于考生是否被录取的信息。
（2） 当已知考生学过英语时，给出多少关于考生是否被录取的信息。
（3） 以x 表示是否落榜，y 表示是否为本市学生，z 表示是否学过英语，试求H (X )，H (Y /X )，H (Z /XY )。
作业：1，2，3，5，6，7，8，9，11，12。